Revert "ARM: tegra: Increase broadcast timer clockevent rating"
[linux-3.10.git] / arch / arm / mach-tegra / timer.c
1 /*
2  * arch/arch/mach-tegra/timer.c
3  *
4  * Copyright (C) 2010 Google, Inc.
5  *
6  * Author:
7  *      Colin Cross <ccross@google.com>
8  *
9  * Copyright (C) 2010-2012 NVIDIA Corporation.
10  *
11  * This software is licensed under the terms of the GNU General Public
12  * License version 2, as published by the Free Software Foundation, and
13  * may be copied, distributed, and modified under those terms.
14  *
15  * This program is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  * GNU General Public License for more details.
19  *
20  */
21
22 #include <linux/init.h>
23 #include <linux/err.h>
24 #include <linux/time.h>
25 #include <linux/interrupt.h>
26 #include <linux/irq.h>
27 #include <linux/clockchips.h>
28 #include <linux/clocksource.h>
29 #include <linux/clk.h>
30 #include <linux/cpu.h>
31 #include <linux/io.h>
32 #include <linux/syscore_ops.h>
33
34 #include <asm/mach/time.h>
35 #include <asm/arch_timer.h>
36 #include <asm/cputype.h>
37 #include <asm/delay.h>
38 #include <asm/smp_twd.h>
39 #include <asm/system.h>
40 #include <asm/sched_clock.h>
41
42 #include <mach/irqs.h>
43
44 #include "board.h"
45 #include "clock.h"
46 #include "iomap.h"
47 #include "timer.h"
48
49 static void __iomem *timer_reg_base = IO_ADDRESS(TEGRA_TMR1_BASE);
50 static void __iomem *rtc_base = IO_ADDRESS(TEGRA_RTC_BASE);
51
52 static struct timespec persistent_ts;
53 static u64 persistent_ms, last_persistent_ms;
54 static u32 usec_config;
55 static u32 usec_offset;
56 static bool usec_suspended;
57
58 #ifdef CONFIG_ARCH_TEGRA_2x_SOC
59 static u32 system_timer = (TEGRA_TMR3_BASE - TEGRA_TMR1_BASE);
60 #else
61 static u32 system_timer = 0;
62 #endif
63
64 #define timer_writel(value, reg) \
65         __raw_writel(value, timer_reg_base + (reg))
66 #define timer_readl(reg) \
67         __raw_readl(timer_reg_base + (reg))
68
69 static int tegra_timer_set_next_event(unsigned long cycles,
70                                          struct clock_event_device *evt)
71 {
72         u32 reg;
73
74         reg = 0x80000000 | ((cycles > 1) ? (cycles-1) : 0);
75         timer_writel(reg, system_timer + TIMER_PTV);
76
77         return 0;
78 }
79
80 static void tegra_timer_set_mode(enum clock_event_mode mode,
81                                     struct clock_event_device *evt)
82 {
83         u32 reg;
84
85         timer_writel(0, system_timer + TIMER_PTV);
86
87         switch (mode) {
88         case CLOCK_EVT_MODE_PERIODIC:
89                 reg = 0xC0000000 | ((1000000/HZ)-1);
90                 timer_writel(reg, system_timer + TIMER_PTV);
91                 break;
92         case CLOCK_EVT_MODE_ONESHOT:
93                 break;
94         case CLOCK_EVT_MODE_UNUSED:
95         case CLOCK_EVT_MODE_SHUTDOWN:
96         case CLOCK_EVT_MODE_RESUME:
97                 break;
98         }
99 }
100
101 static struct clock_event_device tegra_clockevent = {
102         .name           = "timer0",
103         .rating         = 300,
104         .features       = CLOCK_EVT_FEAT_ONESHOT | CLOCK_EVT_FEAT_PERIODIC,
105         .set_next_event = tegra_timer_set_next_event,
106         .set_mode       = tegra_timer_set_mode,
107 };
108
109 static u32 notrace tegra_read_usec(void)
110 {
111         u32 cyc = usec_offset;
112         if (!usec_suspended)
113                 cyc += timer_readl(TIMERUS_CNTR_1US);
114         return cyc;
115 }
116
117 static u32 notrace tegra_read_sched_clock(void)
118 {
119         return tegra_read_usec();
120 }
121
122 /*
123  * tegra_rtc_read - Reads the Tegra RTC registers
124  * Care must be taken that this funciton is not called while the
125  * tegra_rtc driver could be executing to avoid race conditions
126  * on the RTC shadow register
127  */
128 static u64 tegra_rtc_read_ms(void)
129 {
130         u32 ms = readl(rtc_base + RTC_MILLISECONDS);
131         u32 s = readl(rtc_base + RTC_SHADOW_SECONDS);
132         return (u64)s * MSEC_PER_SEC + ms;
133 }
134
135 /*
136  * tegra_read_persistent_clock -  Return time from a persistent clock.
137  *
138  * Reads the time from a source which isn't disabled during PM, the
139  * 32k sync timer.  Convert the cycles elapsed since last read into
140  * nsecs and adds to a monotonically increasing timespec.
141  * Care must be taken that this funciton is not called while the
142  * tegra_rtc driver could be executing to avoid race conditions
143  * on the RTC shadow register
144  */
145 static void tegra_read_persistent_clock(struct timespec *ts)
146 {
147         u64 delta;
148         struct timespec *tsp = &persistent_ts;
149
150         last_persistent_ms = persistent_ms;
151         persistent_ms = tegra_rtc_read_ms();
152         delta = persistent_ms - last_persistent_ms;
153
154         timespec_add_ns(tsp, delta * NSEC_PER_MSEC);
155         *ts = *tsp;
156 }
157
158 static irqreturn_t tegra_timer_interrupt(int irq, void *dev_id)
159 {
160         struct clock_event_device *evt = (struct clock_event_device *)dev_id;
161         timer_writel(1<<30, system_timer + TIMER_PCR);
162         evt->event_handler(evt);
163         return IRQ_HANDLED;
164 }
165
166 static struct irqaction tegra_timer_irq = {
167         .name           = "timer0",
168         .flags          = IRQF_DISABLED | IRQF_TIMER | IRQF_TRIGGER_HIGH,
169         .handler        = tegra_timer_interrupt,
170         .dev_id         = &tegra_clockevent,
171 #ifdef CONFIG_ARCH_TEGRA_2x_SOC
172         .irq            = INT_TMR3,
173 #else
174         .irq            = INT_TMR1,
175 #endif
176 };
177
178 static int tegra_timer_suspend(void)
179 {
180         usec_config = timer_readl(TIMERUS_USEC_CFG);
181
182         usec_offset += timer_readl(TIMERUS_CNTR_1US);
183         usec_suspended = true;
184
185         return 0;
186 }
187
188 static void tegra_timer_resume(void)
189 {
190         timer_writel(usec_config, TIMERUS_USEC_CFG);
191
192         usec_offset -= timer_readl(TIMERUS_CNTR_1US);
193         usec_suspended = false;
194 }
195
196 static struct syscore_ops tegra_timer_syscore_ops = {
197         .suspend = tegra_timer_suspend,
198         .resume = tegra_timer_resume,
199 };
200
201 #ifdef CONFIG_HAVE_ARM_TWD
202 static DEFINE_TWD_LOCAL_TIMER(twd_local_timer,
203                               TEGRA_ARM_PERIF_BASE + 0x600,
204                               IRQ_LOCALTIMER);
205 static void __iomem *tegra_twd_base = IO_ADDRESS(TEGRA_ARM_PERIF_BASE + 0x600);
206
207 void __init tegra_twd_init(void)
208 {
209         struct clk *cpu, *twd_clk;
210         int ret;
211         int err;
212
213         /* The twd clock is a detached child of the CPU complex clock.
214            Force an update of the twd clock after DVFS has updated the
215            CPU clock rate. */
216
217         twd_clk = tegra_get_clock_by_name("twd");
218         BUG_ON(!twd_clk);
219         cpu = tegra_get_clock_by_name("cpu");
220         ret = clk_set_rate(twd_clk, clk_get_rate(cpu));
221
222         if (ret)
223                 pr_err("Failed to set twd clock rate: %d\n", ret);
224         else
225                 pr_debug("TWD clock rate: %ld\n", clk_get_rate(twd_clk));
226
227         err = twd_local_timer_register(&twd_local_timer);
228         if (err)
229                 pr_err("twd_local_timer_register failed %d\n", err);
230 }
231
232 int tegra_twd_get_state(struct tegra_twd_context *context)
233 {
234         context->twd_ctrl = readl(tegra_twd_base + TWD_TIMER_CONTROL);
235         context->twd_load = readl(tegra_twd_base + TWD_TIMER_LOAD);
236         context->twd_cnt = readl(tegra_twd_base + TWD_TIMER_COUNTER);
237
238         return 0;
239 }
240
241 void tegra_twd_suspend(struct tegra_twd_context *context)
242 {
243         context->twd_ctrl = readl(tegra_twd_base + TWD_TIMER_CONTROL);
244         context->twd_load = readl(tegra_twd_base + TWD_TIMER_LOAD);
245         if ((context->twd_load == 0) &&
246             (context->twd_ctrl & TWD_TIMER_CONTROL_PERIODIC) &&
247             (context->twd_ctrl & (TWD_TIMER_CONTROL_ENABLE |
248                                   TWD_TIMER_CONTROL_IT_ENABLE))) {
249                 WARN("%s: TWD enabled but counter was 0\n", __func__);
250                 context->twd_load = 1;
251         }
252         __raw_writel(0, tegra_twd_base + TWD_TIMER_CONTROL);
253 }
254
255 void tegra_twd_resume(struct tegra_twd_context *context)
256 {
257         BUG_ON((context->twd_load == 0) &&
258                (context->twd_ctrl & TWD_TIMER_CONTROL_PERIODIC) &&
259                (context->twd_ctrl & (TWD_TIMER_CONTROL_ENABLE |
260                                      TWD_TIMER_CONTROL_IT_ENABLE)));
261         writel(context->twd_load, tegra_twd_base + TWD_TIMER_LOAD);
262         writel(context->twd_ctrl, tegra_twd_base + TWD_TIMER_CONTROL);
263 }
264
265 static void __init tegra_init_late_twd(void)
266 {
267         int err = twd_local_timer_register(&twd_local_timer);
268         if (err)
269                 pr_err("twd_timer_register failed %d\n", err);
270 }
271 #else
272 #define tegra_twd_init()        do {} while(0)
273 static inline void tegra_init_late_twd(void) {}
274 #define tegra_twd_get_state     do {} while(0)
275 #define tegra_twd_suspend       do {} while(0)
276 #define tegra_twd_resume        do {} while(0)
277 #endif
278
279 #ifdef CONFIG_ARM_ARCH_TIMER
280
281 /* Time Stamp Counter (TSC) base address */
282 static void __iomem *tsc = IO_ADDRESS(TEGRA_TSC_BASE);
283 static bool arch_timer_initialized;
284
285 #define TSC_CNTCR               0               /* TSC control registers */
286 #define TSC_CNTCR_ENABLE        (1 << 0)        /* Enable*/
287 #define TSC_CNTCR_HDBG          (1 << 1)        /* Halt on debug */
288
289 #define TSC_CNTCV0              0x8             /* TSC counter (LSW) */
290 #define TSC_CNTCV1              0xC             /* TSC counter (MSW) */
291 #define TSC_CNTFID0             0x20            /* TSC freq id 0 */
292
293 #define tsc_writel(value, reg) \
294         __raw_writel(value, tsc + (reg))
295 #define tsc_readl(reg) \
296         __raw_readl(tsc + (reg))
297
298
299 /* Is the optional system timer available? */
300 static int local_timer_is_architected(void)
301 {
302 #ifdef CONFIG_TEGRA_SIMULATION_PLATFORM
303         /* HACK: The simulator does not yet support arch timers. */
304         return 0;
305 #else
306         return (cpu_architecture() >= CPU_ARCH_ARMv7) &&
307                ((read_cpuid_ext(CPUID_EXT_PFR1) >> 16) & 0xf) == 1;
308 #endif
309 }
310
311 static int __init tegra_init_early_arch_timer(void)
312 {
313         u32 tsc_ref_freq;
314         u32 reg;
315
316         if (!local_timer_is_architected())
317                 return -ENODEV;
318
319         tsc_ref_freq = tegra_clk_measure_input_freq();
320
321         /* Set the Timer System Counter (TSC) reference frequency
322            NOTE: this is a write once register */
323         tsc_writel(tsc_ref_freq, TSC_CNTFID0);
324
325         /* Program CNTFRQ to the same value.
326            NOTE: this is a write once (per CPU reset) register. */
327         __asm__("mcr p15, 0, %0, c14, c0, 0\n" : : "r" (tsc_ref_freq));
328
329         /* CNTFRQ must agree with the TSC reference frequency. */
330         __asm__("mrc p15, 0, %0, c14, c0, 0\n" : "=r" (reg));
331         BUG_ON(reg != tsc_ref_freq);
332
333         /* Enable the TSC. */
334         reg = tsc_readl(TSC_CNTCR);
335         reg |= TSC_CNTCR_ENABLE | TSC_CNTCR_HDBG;
336         tsc_writel(reg, TSC_CNTCR);
337         return 0;
338 }
339
340 static void tegra_arch_timer_per_cpu_init(void)
341 {
342         if (arch_timer_initialized) {
343                 u32 tsc_ref_freq = tegra_clk_measure_input_freq();
344
345                 /* Program CNTFRQ to the input frequency.
346                    NOTE: this is a write once (per CPU reset) register. */
347                 __asm__("mcr p15, 0, %0, c14, c0, 0\n" : : "r" (tsc_ref_freq));
348         }
349 }
350
351 static int arch_timer_cpu_notify(struct notifier_block *self,
352                                     unsigned long action, void *data)
353 {
354         switch (action) {
355         case CPU_STARTING:
356         case CPU_STARTING_FROZEN:
357                 tegra_arch_timer_per_cpu_init();
358                 break;
359         default:
360                 break;
361         }
362
363         return NOTIFY_OK;
364 }
365
366 static struct notifier_block arch_timer_cpu_nb = {
367         .notifier_call = arch_timer_cpu_notify,
368 };
369
370 static int arch_timer_cpu_pm_notify(struct notifier_block *self,
371                                     unsigned long action, void *data)
372 {
373         switch (action) {
374         case CPU_PM_EXIT:
375                 tegra_arch_timer_per_cpu_init();
376                 break;
377                 break;
378         }
379
380         return NOTIFY_OK;
381 }
382
383 static struct notifier_block arch_timer_cpu_pm_nb = {
384         .notifier_call = arch_timer_cpu_pm_notify,
385 };
386
387 static int __init tegra_init_arch_timer(void)
388 {
389         int err;
390
391         if (!local_timer_is_architected())
392                 return -ENODEV;
393
394         err = arch_timer_sched_clock_init();
395         if (err) {
396                 pr_err("%s: Unable to initialize arch timer sched_clock: %d\n",
397                      __func__, err);
398                 return err;
399         }
400
401         register_cpu_notifier(&arch_timer_cpu_nb);
402         cpu_pm_register_notifier(&arch_timer_cpu_pm_nb);
403         arch_timer_initialized = true;
404         return 0;
405 }
406
407 static struct resource arch_timer_resources[] __initdata = {
408         {
409                 .start  = 29,
410                 .end    = 29,
411                 .flags  = IORESOURCE_IRQ,
412         },
413         {
414                 .start  = 30,
415                 .end    = 30,
416                 .flags  = IORESOURCE_IRQ,
417         },
418 };
419
420 static int __init tegra_init_late_arch_timer(void)
421 {
422         int err = -ENODEV;
423
424         if (arch_timer_initialized) {
425                 err = arch_timer_register(arch_timer_resources,
426                         ARRAY_SIZE(arch_timer_resources));
427                 if (err)
428                         pr_err("%s: Unable to register arch timer: %d\n",
429                              __func__, err);
430         }
431         return err;
432 }
433
434 #ifdef CONFIG_PM_SLEEP
435
436 static void __iomem *pmc = IO_ADDRESS(TEGRA_PMC_BASE);
437 static u32 tsc_suspend_start;
438 static u32 tsc_resume_start;
439
440 #define pmc_writel(value, reg) \
441                 writel(value, pmc + (reg))
442 #define pmc_readl(reg) \
443                 readl(pmc + (reg))
444
445 #define PMC_DPD_ENABLE                  0x24
446 #define PMC_DPD_ENABLE_TSC_MULT_ENABLE  (1 << 1)
447
448 #define PMC_TSC_MULT                    0x2b4
449 #define PMC_TSC_MULT_FREQ_STS           (1 << 16)
450
451 #define TSC_TIMEOUT_US                  32
452
453 void tegra_tsc_suspend(void)
454 {
455         if (arch_timer_initialized) {
456                 u32 reg = pmc_readl(PMC_DPD_ENABLE);
457                 BUG_ON(reg & PMC_DPD_ENABLE_TSC_MULT_ENABLE);
458                 reg |= PMC_DPD_ENABLE_TSC_MULT_ENABLE;
459                 pmc_writel(reg, PMC_DPD_ENABLE);
460                 tsc_suspend_start = timer_readl(TIMERUS_CNTR_1US);
461         }
462 }
463
464 void tegra_tsc_resume(void)
465 {
466         if (arch_timer_initialized) {
467                 u32 reg = pmc_readl(PMC_DPD_ENABLE);
468                 BUG_ON(!(reg & PMC_DPD_ENABLE_TSC_MULT_ENABLE));
469                 reg &= ~PMC_DPD_ENABLE_TSC_MULT_ENABLE;
470                 pmc_writel(reg, PMC_DPD_ENABLE);
471                 tsc_resume_start = timer_readl(TIMERUS_CNTR_1US);
472         }
473 }
474
475 void tegra_tsc_wait_for_suspend(void)
476 {
477         if (arch_timer_initialized) {
478                 while ((timer_readl(TIMERUS_CNTR_1US) - tsc_suspend_start) <
479                         TSC_TIMEOUT_US) {
480                         if (pmc_readl(PMC_TSC_MULT) & PMC_TSC_MULT_FREQ_STS)
481                                 break;
482                         cpu_relax();
483                 }
484         }
485 }
486
487 void tegra_tsc_wait_for_resume(void)
488 {
489         if (arch_timer_initialized) {
490                 while ((timer_readl(TIMERUS_CNTR_1US) - tsc_resume_start) <
491                         TSC_TIMEOUT_US) {
492                         if (!(pmc_readl(PMC_TSC_MULT) & PMC_TSC_MULT_FREQ_STS))
493                                 break;
494                         cpu_relax();
495                 }
496         }
497 }
498
499 #endif
500
501 #else
502 static inline int tegra_init_early_arch_timer(void) { return -ENODEV; }
503 static inline int tegra_init_arch_timer(void) { return -ENODEV; }
504 static inline int tegra_init_late_arch_timer(void) { return -ENODEV; }
505 #endif
506
507 void __init tegra_init_early_timer(void)
508 {
509         if (tegra_init_early_arch_timer())
510                 tegra_twd_init();
511 }
512
513 static void __init tegra_init_late_timer(void)
514 {
515         if (tegra_init_late_arch_timer())
516                 tegra_init_late_twd();
517 }
518
519 extern void __tegra_delay(unsigned long cycles);
520 extern void __tegra_const_udelay(unsigned long loops);
521 extern void __tegra_udelay(unsigned long usecs);
522
523 void __init tegra_init_timer(void)
524 {
525         struct clk *clk;
526         int ret;
527         unsigned long rate;
528
529         clk = clk_get_sys("timer", NULL);
530         if (IS_ERR(clk)) {
531                 pr_warn("Unable to get timer clock. Assuming 12Mhz input clock.\n");
532                 rate = 12000000;
533         } else {
534                 clk_prepare_enable(clk);
535                 rate = clk_get_rate(clk);
536         }
537
538         /*
539          * rtc registers are used by read_persistent_clock, keep the rtc clock
540          * enabled
541          */
542         clk = clk_get_sys("rtc-tegra", NULL);
543         if (IS_ERR(clk))
544                 pr_warn("Unable to get rtc-tegra clock\n");
545         else
546                 clk_prepare_enable(clk);
547
548         switch (rate) {
549         case 12000000:
550                 timer_writel(0x000b, TIMERUS_USEC_CFG);
551                 break;
552         case 13000000:
553                 timer_writel(0x000c, TIMERUS_USEC_CFG);
554                 break;
555         case 19200000:
556                 timer_writel(0x045f, TIMERUS_USEC_CFG);
557                 break;
558         case 26000000:
559                 timer_writel(0x0019, TIMERUS_USEC_CFG);
560                 break;
561 #ifndef CONFIG_ARCH_TEGRA_2x_SOC
562         case 16800000:
563                 timer_writel(0x0453, TIMERUS_USEC_CFG);
564                 break;
565         case 38400000:
566                 timer_writel(0x04BF, TIMERUS_USEC_CFG);
567                 break;
568         case 48000000:
569                 timer_writel(0x002F, TIMERUS_USEC_CFG);
570                 break;
571 #endif
572         default:
573                 WARN(1, "Unknown clock rate");
574         }
575
576 #ifdef CONFIG_ARCH_TEGRA_2x_SOC
577         tegra20_init_timer();
578 #else
579         tegra30_init_timer();
580 #endif
581
582         /* Architectural timers take precedence over broadcast timers.
583            Only register a broadcast clockevent device if architectural
584            timers do not exist or cannot be initialized. */
585         if (tegra_init_arch_timer()) {
586                 /* Architectural timers do not exist or cannot be initialzied.
587                    Fall back to using the broadcast timer as the sched clock. */
588                 setup_sched_clock(tegra_read_sched_clock, 32, 1000000);
589
590                 ret = clocksource_mmio_init(timer_reg_base + TIMERUS_CNTR_1US,
591                         "timer_us", 1000000, 300, 32,
592                         clocksource_mmio_readl_up);
593                 if (ret) {
594                         pr_err("%s: Failed to register clocksource: %d\n",
595                                 __func__, ret);
596                         BUG();
597                 }
598
599                 ret = setup_irq(tegra_timer_irq.irq, &tegra_timer_irq);
600                 if (ret) {
601                         pr_err("%s: Failed to register timer IRQ: %d\n",
602                                 __func__, ret);
603                         BUG();
604                 }
605
606                 clockevents_calc_mult_shift(&tegra_clockevent, 1000000, 5);
607                 tegra_clockevent.max_delta_ns =
608                         clockevent_delta2ns(0x1fffffff, &tegra_clockevent);
609                 tegra_clockevent.min_delta_ns =
610                         clockevent_delta2ns(0x1, &tegra_clockevent);
611                 tegra_clockevent.cpumask = cpu_all_mask;
612                 tegra_clockevent.irq = tegra_timer_irq.irq;
613                 clockevents_register_device(&tegra_clockevent);
614         }
615
616         register_syscore_ops(&tegra_timer_syscore_ops);
617         late_time_init = tegra_init_late_timer;
618
619         register_persistent_clock(NULL, tegra_read_persistent_clock);
620
621         arm_delay_ops.delay             = __tegra_delay;
622         arm_delay_ops.const_udelay      = __tegra_const_udelay;
623         arm_delay_ops.udelay            = __tegra_udelay;
624 }