ARM: Tegra: Add CONFIG_TEGRA_USE_SECURE_KERNEL
[linux-3.10.git] / arch / arm / mach-tegra / timer.c
1 /*
2  * arch/arch/mach-tegra/timer.c
3  *
4  * Copyright (C) 2010 Google, Inc.
5  *
6  * Author:
7  *      Colin Cross <ccross@google.com>
8  *
9  * Copyright (C) 2010-2013 NVIDIA CORPORATION.  All rights reserved.
10  *
11  * This software is licensed under the terms of the GNU General Public
12  * License version 2, as published by the Free Software Foundation, and
13  * may be copied, distributed, and modified under those terms.
14  *
15  * This program is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  * GNU General Public License for more details.
19  *
20  */
21
22 #include <linux/init.h>
23 #include <linux/err.h>
24 #include <linux/time.h>
25 #include <linux/interrupt.h>
26 #include <linux/irq.h>
27 #include <linux/clockchips.h>
28 #include <linux/clocksource.h>
29 #include <linux/clk.h>
30 #include <linux/cpu.h>
31 #include <linux/io.h>
32 #include <linux/syscore_ops.h>
33 #include <linux/cpu_pm.h>
34 #include <linux/of.h>
35
36 #include <asm/mach/time.h>
37 #include <asm/arch_timer.h>
38 #include <asm/cputype.h>
39 #include <asm/delay.h>
40 #include <asm/smp_twd.h>
41 #include <asm/system.h>
42 #include <asm/sched_clock.h>
43
44 #include <mach/irqs.h>
45 #include <mach/hardware.h>
46
47 #include "board.h"
48 #include "clock.h"
49 #include "iomap.h"
50 #include "timer.h"
51 #include "fuse.h"
52
53 static void __iomem *timer_reg_base = IO_ADDRESS(TEGRA_TMR1_BASE);
54 static void __iomem *rtc_base = IO_ADDRESS(TEGRA_RTC_BASE);
55
56 #ifdef CONFIG_ARM_ARCH_TIMER
57 static u32 arch_timer_ns_mult, arch_timer_ns_shift;
58 static u32 arch_timer_us_mult, arch_timer_us_shift;
59 #else
60 static u64 persistent_ms, last_persistent_ms;
61 static struct timespec persistent_ts;
62 #endif
63 static u32 usec_config;
64
65 #ifdef CONFIG_ARCH_TEGRA_2x_SOC
66 static u32 system_timer = (TEGRA_TMR3_BASE - TEGRA_TMR1_BASE);
67 #else
68 static u32 system_timer = 0;
69 #endif
70
71 #define timer_writel(value, reg) \
72         __raw_writel(value, timer_reg_base + (reg))
73 #define timer_readl(reg) \
74         __raw_readl(timer_reg_base + (reg))
75
76 static int tegra_timer_set_next_event(unsigned long cycles,
77                                          struct clock_event_device *evt)
78 {
79         u32 reg;
80
81         reg = 0x80000000 | ((cycles > 1) ? (cycles-1) : 0);
82         timer_writel(reg, system_timer + TIMER_PTV);
83
84         return 0;
85 }
86
87 static void tegra_timer_set_mode(enum clock_event_mode mode,
88                                     struct clock_event_device *evt)
89 {
90         u32 reg;
91
92         timer_writel(0, system_timer + TIMER_PTV);
93
94         switch (mode) {
95         case CLOCK_EVT_MODE_PERIODIC:
96                 reg = 0xC0000000 | ((1000000/HZ)-1);
97                 timer_writel(reg, system_timer + TIMER_PTV);
98                 break;
99         case CLOCK_EVT_MODE_ONESHOT:
100                 break;
101         case CLOCK_EVT_MODE_UNUSED:
102         case CLOCK_EVT_MODE_SHUTDOWN:
103         case CLOCK_EVT_MODE_RESUME:
104                 break;
105         }
106 }
107
108 static struct clock_event_device tegra_clockevent = {
109         .name           = "timer0",
110         .rating         = 300,
111         .features       = CLOCK_EVT_FEAT_ONESHOT | CLOCK_EVT_FEAT_PERIODIC,
112         .set_next_event = tegra_timer_set_next_event,
113         .set_mode       = tegra_timer_set_mode,
114 };
115
116 u32 notrace tegra_read_usec_raw(void)
117 {
118         return timer_readl(TIMERUS_CNTR_1US);
119 }
120
121 static u32 notrace tegra_read_sched_clock(void)
122 {
123         return timer_readl(TIMERUS_CNTR_1US);
124 }
125
126 /*
127  * tegra_rtc_read - Reads the Tegra RTC registers
128  * Care must be taken that this funciton is not called while the
129  * tegra_rtc driver could be executing to avoid race conditions
130  * on the RTC shadow register
131  */
132 u64 tegra_rtc_read_ms(void)
133 {
134         u32 ms = readl(rtc_base + RTC_MILLISECONDS);
135         u32 s = readl(rtc_base + RTC_SHADOW_SECONDS);
136         return (u64)s * MSEC_PER_SEC + ms;
137 }
138
139 #ifdef CONFIG_ARM_ARCH_TIMER
140
141 /*
142  * tegra_read_persistent_clock -  Return time from a persistent clock.
143  *
144  * For systems with arch timer, TSC runs even during suspend
145  */
146 void tegra_read_persistent_clock(struct timespec *ts)
147 {
148         u32 cvalh, cvall;
149         s64 ns;
150
151         asm volatile("mrrc p15, 1, %0, %1, c14" : "=r" (cvall), "=r" (cvalh));
152
153         ns = ((u64)cvalh * arch_timer_ns_mult) << (32 - arch_timer_ns_shift);
154         ns += ((u64)cvall * arch_timer_ns_mult >> arch_timer_ns_shift);
155         *ts = ns_to_timespec(ns);
156 }
157 #else
158 /*
159  * tegra_read_persistent_clock -  Return time from a persistent clock.
160  *
161  * Reads the time from a source which isn't disabled during PM, the
162  * 32k sync timer.  Convert the cycles elapsed since last read into
163  * nsecs and adds to a monotonically increasing timespec.
164  * Care must be taken that this funciton is not called while the
165  * tegra_rtc driver could be executing to avoid race conditions
166  * on the RTC shadow register
167  */
168 static void tegra_read_persistent_clock(struct timespec *ts)
169 {
170         u64 delta;
171         struct timespec *tsp = &persistent_ts;
172
173         last_persistent_ms = persistent_ms;
174         persistent_ms = tegra_rtc_read_ms();
175         delta = persistent_ms - last_persistent_ms;
176
177         timespec_add_ns(tsp, delta * NSEC_PER_MSEC);
178         *ts = *tsp;
179 }
180 #endif
181
182 static irqreturn_t tegra_timer_interrupt(int irq, void *dev_id)
183 {
184         struct clock_event_device *evt = (struct clock_event_device *)dev_id;
185         timer_writel(1<<30, system_timer + TIMER_PCR);
186         evt->event_handler(evt);
187         return IRQ_HANDLED;
188 }
189
190 static struct irqaction tegra_timer_irq = {
191         .name           = "timer0",
192         .flags          = IRQF_DISABLED | IRQF_TIMER | IRQF_TRIGGER_HIGH,
193         .handler        = tegra_timer_interrupt,
194         .dev_id         = &tegra_clockevent,
195 #ifdef CONFIG_ARCH_TEGRA_2x_SOC
196         .irq            = INT_TMR3,
197 #else
198         .irq            = INT_TMR1,
199 #endif
200 };
201
202 static int tegra_timer_suspend(void)
203 {
204         usec_config = timer_readl(TIMERUS_USEC_CFG);
205         return 0;
206 }
207
208 static void tegra_timer_resume(void)
209 {
210         timer_writel(usec_config, TIMERUS_USEC_CFG);
211 }
212
213 static struct syscore_ops tegra_timer_syscore_ops = {
214         .suspend = tegra_timer_suspend,
215         .resume = tegra_timer_resume,
216 };
217
218 #ifdef CONFIG_HAVE_ARM_TWD
219 static DEFINE_TWD_LOCAL_TIMER(twd_local_timer,
220                               TEGRA_ARM_PERIF_BASE + 0x600,
221                               IRQ_LOCALTIMER);
222 static void __iomem *tegra_twd_base = IO_ADDRESS(TEGRA_ARM_PERIF_BASE + 0x600);
223
224 void __init tegra_cpu_timer_init(void)
225 {
226         struct clk *cpu, *twd_clk;
227         int err;
228
229         /* The twd clock is a detached child of the CPU complex clock.
230            Force an update of the twd clock after DVFS has updated the
231            CPU clock rate. */
232
233         twd_clk = tegra_get_clock_by_name("twd");
234         BUG_ON(!twd_clk);
235         cpu = tegra_get_clock_by_name("cpu");
236         err = clk_set_rate(twd_clk, clk_get_rate(cpu));
237
238         if (err)
239                 pr_err("Failed to set twd clock rate: %d\n", err);
240         else
241                 pr_debug("TWD clock rate: %ld\n", clk_get_rate(twd_clk));
242 }
243
244 int tegra_twd_get_state(struct tegra_twd_context *context)
245 {
246         context->twd_ctrl = readl(tegra_twd_base + TWD_TIMER_CONTROL);
247         context->twd_load = readl(tegra_twd_base + TWD_TIMER_LOAD);
248         context->twd_cnt = readl(tegra_twd_base + TWD_TIMER_COUNTER);
249
250         return 0;
251 }
252
253 void tegra_twd_suspend(struct tegra_twd_context *context)
254 {
255         context->twd_ctrl = readl(tegra_twd_base + TWD_TIMER_CONTROL);
256         context->twd_load = readl(tegra_twd_base + TWD_TIMER_LOAD);
257         if ((context->twd_load == 0) &&
258             (context->twd_ctrl & TWD_TIMER_CONTROL_PERIODIC) &&
259             (context->twd_ctrl & (TWD_TIMER_CONTROL_ENABLE |
260                                   TWD_TIMER_CONTROL_IT_ENABLE))) {
261                 WARN("%s: TWD enabled but counter was 0\n", __func__);
262                 context->twd_load = 1;
263         }
264         __raw_writel(0, tegra_twd_base + TWD_TIMER_CONTROL);
265 }
266
267 void tegra_twd_resume(struct tegra_twd_context *context)
268 {
269         BUG_ON((context->twd_load == 0) &&
270                (context->twd_ctrl & TWD_TIMER_CONTROL_PERIODIC) &&
271                (context->twd_ctrl & (TWD_TIMER_CONTROL_ENABLE |
272                                      TWD_TIMER_CONTROL_IT_ENABLE)));
273         writel(context->twd_load, tegra_twd_base + TWD_TIMER_LOAD);
274         writel(context->twd_ctrl, tegra_twd_base + TWD_TIMER_CONTROL);
275 }
276
277 static void __init tegra_init_late_timer(void)
278 {
279         int err;
280
281         if (of_have_populated_dt()) {
282                 twd_local_timer_of_register();
283                 return;
284         }
285
286         err = twd_local_timer_register(&twd_local_timer);
287         if (err)
288                 pr_err("twd_timer_register failed %d\n", err);
289 }
290 #else
291 #define tegra_twd_get_state     do {} while(0)
292 #define tegra_twd_suspend       do {} while(0)
293 #define tegra_twd_resume        do {} while(0)
294 #endif
295
296 #ifdef CONFIG_ARM_ARCH_TIMER
297
298 static bool arch_timer_initialized;
299
300 /* Is the optional system timer available? */
301 static int local_timer_is_architected(void)
302 {
303         return (cpu_architecture() >= CPU_ARCH_ARMv7) &&
304                ((read_cpuid_ext(CPUID_EXT_PFR1) >> 16) & 0xf) == 1;
305 }
306
307 void __init tegra_cpu_timer_init(void)
308 {
309         u32 tsc_ref_freq;
310
311         if (!local_timer_is_architected())
312                 return;
313
314         tsc_ref_freq = tegra_clk_measure_input_freq();
315         if (tsc_ref_freq == 115200 || tsc_ref_freq == 230400) {
316                 /*
317                  * OSC detection function will bug out if revision is not
318                  * QT and the detected frequency is one of these two.
319                  */
320                 tsc_ref_freq = 13000000;
321                 pr_info("fake tsc_ref_req=%d in QT\n", tsc_ref_freq);
322         }
323
324         clocks_calc_mult_shift(&arch_timer_ns_mult, &arch_timer_ns_shift,
325                                 tsc_ref_freq, NSEC_PER_SEC, 0);
326         clocks_calc_mult_shift(&arch_timer_us_mult, &arch_timer_us_shift,
327                                 tsc_ref_freq, USEC_PER_SEC, 0);
328         return;
329 }
330
331 static void tegra_arch_timer_per_cpu_init(void)
332 {
333 #if defined(CONFIG_TEGRA_USE_SECURE_KERNEL)
334         return;
335 #else
336         if (arch_timer_initialized) {
337                 u32 tsc_ref_freq = tegra_clk_measure_input_freq();
338
339                 /*
340                  * OSC detection function will bug out if revision is not QT and
341                  * the detected frequency is one of these two.
342                  */
343                 if (tsc_ref_freq == 115200 || tsc_ref_freq == 230400)
344                         tsc_ref_freq = 13000000;
345
346                 /* Program CNTFRQ to the input frequency.
347                    NOTE: this is a write once (per CPU reset) register. */
348                 __asm__("mcr p15, 0, %0, c14, c0, 0\n" : : "r" (tsc_ref_freq));
349         }
350 #endif
351 }
352
353 static int arch_timer_cpu_notify(struct notifier_block *self,
354                                     unsigned long action, void *data)
355 {
356         switch (action) {
357         case CPU_STARTING:
358         case CPU_STARTING_FROZEN:
359                 tegra_arch_timer_per_cpu_init();
360                 break;
361         default:
362                 break;
363         }
364
365         return NOTIFY_OK;
366 }
367
368 static struct notifier_block arch_timer_cpu_nb = {
369         .notifier_call = arch_timer_cpu_notify,
370 };
371
372 static int arch_timer_cpu_pm_notify(struct notifier_block *self,
373                                     unsigned long action, void *data)
374 {
375         switch (action) {
376         case CPU_PM_EXIT:
377                 tegra_arch_timer_per_cpu_init();
378                 break;
379         }
380
381         return NOTIFY_OK;
382 }
383
384 static struct notifier_block arch_timer_cpu_pm_nb = {
385         .notifier_call = arch_timer_cpu_pm_notify,
386 };
387
388 static int __init tegra_init_arch_timer(void)
389 {
390         int err;
391
392         if (!local_timer_is_architected())
393                 return -ENODEV;
394
395         arch_timer_of_register();
396
397         err = arch_timer_sched_clock_init();
398         if (err) {
399                 pr_err("%s: Unable to initialize arch timer sched_clock: %d\n",
400                      __func__, err);
401                 return err;
402         }
403
404         register_cpu_notifier(&arch_timer_cpu_nb);
405         cpu_pm_register_notifier(&arch_timer_cpu_pm_nb);
406         arch_timer_initialized = true;
407         return 0;
408 }
409
410 static void __init tegra_init_late_timer(void)
411 {}
412
413 #ifdef CONFIG_PM_SLEEP
414
415 static void __iomem *pmc = IO_ADDRESS(TEGRA_PMC_BASE);
416 static u32 tsc_suspend_start;
417 static u32 tsc_resume_start;
418
419 #define pmc_writel(value, reg) \
420                 writel(value, pmc + (reg))
421 #define pmc_readl(reg) \
422                 readl(pmc + (reg))
423
424 #define PMC_DPD_ENABLE                  0x24
425 #define PMC_DPD_ENABLE_TSC_MULT_ENABLE  (1 << 1)
426
427 #define PMC_TSC_MULT                    0x2b4
428 #define PMC_TSC_MULT_FREQ_STS           (1 << 16)
429
430 #define TSC_TIMEOUT_US                  32
431
432 void tegra_tsc_suspend(void)
433 {
434         if (arch_timer_initialized) {
435                 u32 reg = pmc_readl(PMC_DPD_ENABLE);
436                 BUG_ON(reg & PMC_DPD_ENABLE_TSC_MULT_ENABLE);
437                 reg |= PMC_DPD_ENABLE_TSC_MULT_ENABLE;
438                 pmc_writel(reg, PMC_DPD_ENABLE);
439                 tsc_suspend_start = timer_readl(TIMERUS_CNTR_1US);
440         }
441 }
442
443 void tegra_tsc_resume(void)
444 {
445         if (arch_timer_initialized) {
446                 u32 reg = pmc_readl(PMC_DPD_ENABLE);
447                 BUG_ON(!(reg & PMC_DPD_ENABLE_TSC_MULT_ENABLE));
448                 reg &= ~PMC_DPD_ENABLE_TSC_MULT_ENABLE;
449                 pmc_writel(reg, PMC_DPD_ENABLE);
450                 tsc_resume_start = timer_readl(TIMERUS_CNTR_1US);
451         }
452 }
453
454 void tegra_tsc_wait_for_suspend(void)
455 {
456         if (arch_timer_initialized) {
457                 while ((timer_readl(TIMERUS_CNTR_1US) - tsc_suspend_start) <
458                         TSC_TIMEOUT_US) {
459                         if (pmc_readl(PMC_TSC_MULT) & PMC_TSC_MULT_FREQ_STS)
460                                 break;
461                         cpu_relax();
462                 }
463         }
464 }
465
466 void tegra_tsc_wait_for_resume(void)
467 {
468         if (arch_timer_initialized) {
469                 while ((timer_readl(TIMERUS_CNTR_1US) - tsc_resume_start) <
470                         TSC_TIMEOUT_US) {
471                         if (!(pmc_readl(PMC_TSC_MULT) & PMC_TSC_MULT_FREQ_STS))
472                                 break;
473                         cpu_relax();
474                 }
475         }
476 }
477
478 int tegra_cpu_timer_get_remain(s64 *time)
479 {
480         s32 cntp_tval;
481         int ret = 0;
482
483         asm volatile("mrc p15, 0, %0, c14, c2, 0" : "=r" (cntp_tval));
484
485         if (cntp_tval <= 0)
486                 ret = -ETIME;
487         else
488                 *time = (s64)((s64)cntp_tval * arch_timer_us_mult)
489                         >> arch_timer_us_shift;
490
491         return ret;
492 }
493
494 #endif
495
496 #else
497 static inline int tegra_init_arch_timer(void) { return -ENODEV; }
498 static inline int tegra_init_late_arch_timer(void) { return -ENODEV; }
499 #endif
500
501 extern void __tegra_delay(unsigned long cycles);
502 extern void __tegra_const_udelay(unsigned long loops);
503 extern void __tegra_udelay(unsigned long usecs);
504
505 void __init tegra_init_timer(void)
506 {
507         struct clk *clk;
508         int ret;
509         unsigned long rate;
510
511         clk = clk_get_sys("timer", NULL);
512         if (IS_ERR(clk)) {
513                 pr_warn("Unable to get timer clock. Assuming 12Mhz input clock.\n");
514                 rate = 12000000;
515         } else {
516                 tegra_clk_prepare_enable(clk);
517                 rate = clk_get_rate(clk);
518         }
519
520         /*
521          * rtc registers are used by read_persistent_clock, keep the rtc clock
522          * enabled
523          */
524         clk = clk_get_sys("rtc-tegra", NULL);
525         if (IS_ERR(clk))
526                 pr_warn("Unable to get rtc-tegra clock\n");
527         else
528                 tegra_clk_prepare_enable(clk);
529
530         switch (rate) {
531         case 12000000:
532                 timer_writel(0x000b, TIMERUS_USEC_CFG);
533                 break;
534         case 13000000:
535                 timer_writel(0x000c, TIMERUS_USEC_CFG);
536                 break;
537         case 19200000:
538                 timer_writel(0x045f, TIMERUS_USEC_CFG);
539                 break;
540         case 26000000:
541                 timer_writel(0x0019, TIMERUS_USEC_CFG);
542                 break;
543 #ifndef CONFIG_ARCH_TEGRA_2x_SOC
544         case 16800000:
545                 timer_writel(0x0453, TIMERUS_USEC_CFG);
546                 break;
547         case 38400000:
548                 timer_writel(0x04BF, TIMERUS_USEC_CFG);
549                 break;
550         case 48000000:
551                 timer_writel(0x002F, TIMERUS_USEC_CFG);
552                 break;
553 #endif
554         default:
555                 if (tegra_platform_is_qt()) {
556                         timer_writel(0x000c, TIMERUS_USEC_CFG);
557                         break;
558                 }
559                 WARN(1, "Unknown clock rate");
560         }
561
562 #ifdef CONFIG_ARCH_TEGRA_2x_SOC
563         tegra20_init_timer();
564 #else
565         tegra30_init_timer();
566 #endif
567
568         /* Architectural timers take precedence over broadcast timers.
569            Only register a broadcast clockevent device if architectural
570            timers do not exist or cannot be initialized. */
571         if (tegra_init_arch_timer())
572                 /* Architectural timers do not exist or cannot be initialzied.
573                    Fall back to using the broadcast timer as the sched clock. */
574                 setup_sched_clock(tegra_read_sched_clock, 32, 1000000);
575
576         ret = clocksource_mmio_init(timer_reg_base + TIMERUS_CNTR_1US,
577                 "timer_us", 1000000, 300, 32,
578                 clocksource_mmio_readl_up);
579         if (ret) {
580                 pr_err("%s: Failed to register clocksource: %d\n",
581                         __func__, ret);
582                 BUG();
583         }
584
585         ret = setup_irq(tegra_timer_irq.irq, &tegra_timer_irq);
586         if (ret) {
587                 pr_err("%s: Failed to register timer IRQ: %d\n",
588                         __func__, ret);
589                 BUG();
590         }
591
592         clockevents_calc_mult_shift(&tegra_clockevent, 1000000, 5);
593         tegra_clockevent.max_delta_ns =
594                 clockevent_delta2ns(0x1fffffff, &tegra_clockevent);
595         tegra_clockevent.min_delta_ns =
596                 clockevent_delta2ns(0x1, &tegra_clockevent);
597         tegra_clockevent.cpumask = cpu_all_mask;
598         tegra_clockevent.irq = tegra_timer_irq.irq;
599         clockevents_register_device(&tegra_clockevent);
600
601         register_syscore_ops(&tegra_timer_syscore_ops);
602
603 #if defined(CONFIG_ARM_ARCH_TIMER) || defined(CONFIG_HAVE_ARM_TWD)
604         late_time_init = tegra_init_late_timer;
605 #endif
606
607         register_persistent_clock(NULL, tegra_read_persistent_clock);
608
609         //arm_delay_ops.delay           = __tegra_delay;
610         //arm_delay_ops.const_udelay    = __tegra_const_udelay;
611         //arm_delay_ops.udelay          = __tegra_udelay;
612 }