ARM: Build fix after Tegra14 K3.4 merge
[linux-3.10.git] / arch / arm / mach-tegra / timer.c
1 /*
2  * arch/arch/mach-tegra/timer.c
3  *
4  * Copyright (C) 2010 Google, Inc.
5  *
6  * Author:
7  *      Colin Cross <ccross@google.com>
8  *
9  * Copyright (C) 2010-2012 NVIDIA Corporation.
10  *
11  * This software is licensed under the terms of the GNU General Public
12  * License version 2, as published by the Free Software Foundation, and
13  * may be copied, distributed, and modified under those terms.
14  *
15  * This program is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  * GNU General Public License for more details.
19  *
20  */
21
22 #include <linux/init.h>
23 #include <linux/err.h>
24 #include <linux/time.h>
25 #include <linux/interrupt.h>
26 #include <linux/irq.h>
27 #include <linux/clockchips.h>
28 #include <linux/clocksource.h>
29 #include <linux/clk.h>
30 #include <linux/cpu.h>
31 #include <linux/io.h>
32 #include <linux/syscore_ops.h>
33 #include <linux/cpu_pm.h>
34
35 #include <asm/mach/time.h>
36 #include <asm/arch_timer.h>
37 #include <asm/cputype.h>
38 #include <asm/delay.h>
39 #include <asm/smp_twd.h>
40 #include <asm/system.h>
41 #include <asm/sched_clock.h>
42
43 #include <mach/irqs.h>
44 #include <mach/hardware.h>
45
46 #include "board.h"
47 #include "clock.h"
48 #include "iomap.h"
49 #include "timer.h"
50 #include "fuse.h"
51
52 static void __iomem *timer_reg_base = IO_ADDRESS(TEGRA_TMR1_BASE);
53 static void __iomem *rtc_base = IO_ADDRESS(TEGRA_RTC_BASE);
54
55 static struct timespec persistent_ts;
56 static u64 persistent_ms, last_persistent_ms;
57 static u32 usec_config;
58 static u32 usec_offset;
59 static bool usec_suspended;
60
61 #ifdef CONFIG_ARCH_TEGRA_2x_SOC
62 static u32 system_timer = (TEGRA_TMR3_BASE - TEGRA_TMR1_BASE);
63 #else
64 static u32 system_timer = 0;
65 #endif
66
67 #define timer_writel(value, reg) \
68         __raw_writel(value, timer_reg_base + (reg))
69 #define timer_readl(reg) \
70         __raw_readl(timer_reg_base + (reg))
71
72 static int tegra_timer_set_next_event(unsigned long cycles,
73                                          struct clock_event_device *evt)
74 {
75         u32 reg;
76
77         reg = 0x80000000 | ((cycles > 1) ? (cycles-1) : 0);
78         timer_writel(reg, system_timer + TIMER_PTV);
79
80         return 0;
81 }
82
83 static void tegra_timer_set_mode(enum clock_event_mode mode,
84                                     struct clock_event_device *evt)
85 {
86         u32 reg;
87
88         timer_writel(0, system_timer + TIMER_PTV);
89
90         switch (mode) {
91         case CLOCK_EVT_MODE_PERIODIC:
92                 reg = 0xC0000000 | ((1000000/HZ)-1);
93                 timer_writel(reg, system_timer + TIMER_PTV);
94                 break;
95         case CLOCK_EVT_MODE_ONESHOT:
96                 break;
97         case CLOCK_EVT_MODE_UNUSED:
98         case CLOCK_EVT_MODE_SHUTDOWN:
99         case CLOCK_EVT_MODE_RESUME:
100                 break;
101         }
102 }
103
104 static struct clock_event_device tegra_clockevent = {
105         .name           = "timer0",
106         .rating         = 300,
107         .features       = CLOCK_EVT_FEAT_ONESHOT | CLOCK_EVT_FEAT_PERIODIC,
108         .set_next_event = tegra_timer_set_next_event,
109         .set_mode       = tegra_timer_set_mode,
110 };
111
112 static u32 notrace tegra_read_usec(void)
113 {
114         u32 cyc = usec_offset;
115         if (!usec_suspended)
116                 cyc += timer_readl(TIMERUS_CNTR_1US);
117         return cyc;
118 }
119
120 u32 notrace tegra_read_usec_raw(void)
121 {
122         return timer_readl(TIMERUS_CNTR_1US);
123 }
124
125 static u32 notrace tegra_read_sched_clock(void)
126 {
127         return tegra_read_usec();
128 }
129
130 /*
131  * tegra_rtc_read - Reads the Tegra RTC registers
132  * Care must be taken that this funciton is not called while the
133  * tegra_rtc driver could be executing to avoid race conditions
134  * on the RTC shadow register
135  */
136 u64 tegra_rtc_read_ms(void)
137 {
138         u32 ms = readl(rtc_base + RTC_MILLISECONDS);
139         u32 s = readl(rtc_base + RTC_SHADOW_SECONDS);
140         return (u64)s * MSEC_PER_SEC + ms;
141 }
142
143 /*
144  * tegra_read_persistent_clock -  Return time from a persistent clock.
145  *
146  * Reads the time from a source which isn't disabled during PM, the
147  * 32k sync timer.  Convert the cycles elapsed since last read into
148  * nsecs and adds to a monotonically increasing timespec.
149  * Care must be taken that this funciton is not called while the
150  * tegra_rtc driver could be executing to avoid race conditions
151  * on the RTC shadow register
152  */
153 static void tegra_read_persistent_clock(struct timespec *ts)
154 {
155         u64 delta;
156         struct timespec *tsp = &persistent_ts;
157
158         last_persistent_ms = persistent_ms;
159         persistent_ms = tegra_rtc_read_ms();
160         delta = persistent_ms - last_persistent_ms;
161
162         timespec_add_ns(tsp, delta * NSEC_PER_MSEC);
163         *ts = *tsp;
164 }
165
166 static irqreturn_t tegra_timer_interrupt(int irq, void *dev_id)
167 {
168         struct clock_event_device *evt = (struct clock_event_device *)dev_id;
169         timer_writel(1<<30, system_timer + TIMER_PCR);
170         evt->event_handler(evt);
171         return IRQ_HANDLED;
172 }
173
174 static struct irqaction tegra_timer_irq = {
175         .name           = "timer0",
176         .flags          = IRQF_DISABLED | IRQF_TIMER | IRQF_TRIGGER_HIGH,
177         .handler        = tegra_timer_interrupt,
178         .dev_id         = &tegra_clockevent,
179 #ifdef CONFIG_ARCH_TEGRA_2x_SOC
180         .irq            = INT_TMR3,
181 #else
182         .irq            = INT_TMR1,
183 #endif
184 };
185
186 static int tegra_timer_suspend(void)
187 {
188         usec_config = timer_readl(TIMERUS_USEC_CFG);
189
190         usec_offset += timer_readl(TIMERUS_CNTR_1US);
191         usec_suspended = true;
192
193         return 0;
194 }
195
196 static void tegra_timer_resume(void)
197 {
198         timer_writel(usec_config, TIMERUS_USEC_CFG);
199
200         usec_offset -= timer_readl(TIMERUS_CNTR_1US);
201         usec_suspended = false;
202 }
203
204 static struct syscore_ops tegra_timer_syscore_ops = {
205         .suspend = tegra_timer_suspend,
206         .resume = tegra_timer_resume,
207 };
208
209 #ifdef CONFIG_HAVE_ARM_TWD
210 static DEFINE_TWD_LOCAL_TIMER(twd_local_timer,
211                               TEGRA_ARM_PERIF_BASE + 0x600,
212                               IRQ_LOCALTIMER);
213 static void __iomem *tegra_twd_base = IO_ADDRESS(TEGRA_ARM_PERIF_BASE + 0x600);
214
215 void __init tegra_cpu_timer_init(void)
216 {
217         struct clk *cpu, *twd_clk;
218         int err;
219
220         /* The twd clock is a detached child of the CPU complex clock.
221            Force an update of the twd clock after DVFS has updated the
222            CPU clock rate. */
223
224         twd_clk = tegra_get_clock_by_name("twd");
225         BUG_ON(!twd_clk);
226         cpu = tegra_get_clock_by_name("cpu");
227         err = clk_set_rate(twd_clk, clk_get_rate(cpu));
228
229         if (err)
230                 pr_err("Failed to set twd clock rate: %d\n", err);
231         else
232                 pr_debug("TWD clock rate: %ld\n", clk_get_rate(twd_clk));
233 }
234
235 int tegra_twd_get_state(struct tegra_twd_context *context)
236 {
237         context->twd_ctrl = readl(tegra_twd_base + TWD_TIMER_CONTROL);
238         context->twd_load = readl(tegra_twd_base + TWD_TIMER_LOAD);
239         context->twd_cnt = readl(tegra_twd_base + TWD_TIMER_COUNTER);
240
241         return 0;
242 }
243
244 void tegra_twd_suspend(struct tegra_twd_context *context)
245 {
246         context->twd_ctrl = readl(tegra_twd_base + TWD_TIMER_CONTROL);
247         context->twd_load = readl(tegra_twd_base + TWD_TIMER_LOAD);
248         if ((context->twd_load == 0) &&
249             (context->twd_ctrl & TWD_TIMER_CONTROL_PERIODIC) &&
250             (context->twd_ctrl & (TWD_TIMER_CONTROL_ENABLE |
251                                   TWD_TIMER_CONTROL_IT_ENABLE))) {
252                 WARN("%s: TWD enabled but counter was 0\n", __func__);
253                 context->twd_load = 1;
254         }
255         __raw_writel(0, tegra_twd_base + TWD_TIMER_CONTROL);
256 }
257
258 void tegra_twd_resume(struct tegra_twd_context *context)
259 {
260         BUG_ON((context->twd_load == 0) &&
261                (context->twd_ctrl & TWD_TIMER_CONTROL_PERIODIC) &&
262                (context->twd_ctrl & (TWD_TIMER_CONTROL_ENABLE |
263                                      TWD_TIMER_CONTROL_IT_ENABLE)));
264         writel(context->twd_load, tegra_twd_base + TWD_TIMER_LOAD);
265         writel(context->twd_ctrl, tegra_twd_base + TWD_TIMER_CONTROL);
266 }
267
268 static void __init tegra_init_late_timer(void)
269 {
270         int err = twd_local_timer_register(&twd_local_timer);
271         if (err)
272                 pr_err("twd_timer_register failed %d\n", err);
273 }
274 #else
275 #define tegra_twd_get_state     do {} while(0)
276 #define tegra_twd_suspend       do {} while(0)
277 #define tegra_twd_resume        do {} while(0)
278 void __init tegra_cpu_timer_init(void) {}
279 static void __init tegra_init_late_timer(void) {}
280 #endif
281
282 #ifdef CONFIG_ARM_ARCH_TIMER
283 int arch_timer_get_state(struct arch_timer_context *context)
284 {
285         s32 val;
286
287         asm volatile("mrc p15, 0, %0, c14, c2, 0" : "=r" (val));
288         context->cntp_tval = val;
289         asm volatile("mrc p15, 0, %0, c14, c2, 1" : "=r" (val));
290         context->cntp_ctl = val;
291         asm volatile("mrc p15, 0, %0, c14, c0, 0" : "=r" (val));
292         context->cntfrq = val;
293         return 0;
294 }
295
296 void arch_timer_suspend(struct arch_timer_context *context)
297 {
298         s32 val;
299
300         asm volatile("mrc p15, 0, %0, c14, c2, 0" : "=r" (val));
301         context->cntp_tval = val;
302         asm volatile("mrc p15, 0, %0, c14, c2, 1" : "=r" (val));
303         context->cntp_ctl = val;
304 }
305
306 void arch_timer_resume(struct arch_timer_context *context)
307 {
308         s32 val;
309
310         val = context->cntp_tval;
311         asm volatile("mcr p15, 0, %0, c14, c2, 0" : : "r"(val));
312         val = context->cntp_ctl;
313         asm volatile("mcr p15, 0, %0, c14, c2, 1" : : "r"(val));
314 }
315 #else
316 #define arch_timer_get_state do {} while(0)
317 #define arch_timer_suspend do {} while(0)
318 #define arch_timer_resume do {} while(0)
319 #endif
320
321 #ifdef CONFIG_ARM_ARCH_TIMER
322
323 #ifndef CONFIG_TRUSTED_FOUNDATIONS
324 /* Time Stamp Counter (TSC) base address */
325 static void __iomem *tsc = IO_ADDRESS(TEGRA_TSC_BASE);
326 #endif
327 static bool arch_timer_initialized;
328
329 #define TSC_CNTCR               0               /* TSC control registers */
330 #define TSC_CNTCR_ENABLE        (1 << 0)        /* Enable*/
331 #define TSC_CNTCR_HDBG          (1 << 1)        /* Halt on debug */
332
333 #define TSC_CNTCV0              0x8             /* TSC counter (LSW) */
334 #define TSC_CNTCV1              0xC             /* TSC counter (MSW) */
335 #define TSC_CNTFID0             0x20            /* TSC freq id 0 */
336
337 #define tsc_writel(value, reg) \
338         __raw_writel(value, tsc + (reg))
339 #define tsc_readl(reg) \
340         __raw_readl(tsc + (reg))
341
342
343 /* Is the optional system timer available? */
344 static int local_timer_is_architected(void)
345 {
346         return (cpu_architecture() >= CPU_ARCH_ARMv7) &&
347                ((read_cpuid_ext(CPUID_EXT_PFR1) >> 16) & 0xf) == 1;
348 }
349
350 void __init tegra_cpu_timer_init(void)
351 {
352 #ifdef CONFIG_TRUSTED_FOUNDATIONS
353         return;
354 #else
355         u32 tsc_ref_freq;
356         u32 reg;
357
358         if (!local_timer_is_architected())
359                 return;
360
361         tsc_ref_freq = tegra_clk_measure_input_freq();
362         if (tsc_ref_freq == 115200 || tsc_ref_freq == 230400) {
363                 /*
364                  * OSC detection function will bug out if revision is not QT and
365                  * the detected frequency is one of these two.
366                  */
367                 tsc_ref_freq = 13000000;
368                 pr_info("fake tsc_ref_req=%d in QT\n", tsc_ref_freq);
369         }
370
371         /* Set the Timer System Counter (TSC) reference frequency
372            NOTE: this is a write once register */
373         tsc_writel(tsc_ref_freq, TSC_CNTFID0);
374
375         /* Program CNTFRQ to the same value.
376            NOTE: this is a write once (per CPU reset) register. */
377         __asm__("mcr p15, 0, %0, c14, c0, 0\n" : : "r" (tsc_ref_freq));
378
379         /* CNTFRQ must agree with the TSC reference frequency. */
380         __asm__("mrc p15, 0, %0, c14, c0, 0\n" : "=r" (reg));
381         BUG_ON(reg != tsc_ref_freq);
382
383         /* Enable the TSC. */
384         reg = tsc_readl(TSC_CNTCR);
385         reg |= TSC_CNTCR_ENABLE | TSC_CNTCR_HDBG;
386         tsc_writel(reg, TSC_CNTCR);
387 #endif
388 }
389
390 static void tegra_arch_timer_per_cpu_init(void)
391 {
392 #ifdef CONFIG_TRUSTED_FOUNDATIONS
393         return;
394 #else
395         if (arch_timer_initialized) {
396                 u32 tsc_ref_freq = tegra_clk_measure_input_freq();
397
398                 /*
399                  * OSC detection function will bug out if revision is not QT and
400                  * the detected frequency is one of these two.
401                  */
402                 if (tsc_ref_freq == 115200 || tsc_ref_freq == 230400)
403                         tsc_ref_freq = 13000000;
404
405                 /* Program CNTFRQ to the input frequency.
406                    NOTE: this is a write once (per CPU reset) register. */
407                 __asm__("mcr p15, 0, %0, c14, c0, 0\n" : : "r" (tsc_ref_freq));
408         }
409 #endif
410 }
411
412 static int arch_timer_cpu_notify(struct notifier_block *self,
413                                     unsigned long action, void *data)
414 {
415         switch (action) {
416         case CPU_STARTING:
417         case CPU_STARTING_FROZEN:
418                 tegra_arch_timer_per_cpu_init();
419                 break;
420         default:
421                 break;
422         }
423
424         return NOTIFY_OK;
425 }
426
427 static struct notifier_block arch_timer_cpu_nb = {
428         .notifier_call = arch_timer_cpu_notify,
429 };
430
431 static int arch_timer_cpu_pm_notify(struct notifier_block *self,
432                                     unsigned long action, void *data)
433 {
434         switch (action) {
435         case CPU_PM_EXIT:
436                 tegra_arch_timer_per_cpu_init();
437                 break;
438         }
439
440         return NOTIFY_OK;
441 }
442
443 static struct notifier_block arch_timer_cpu_pm_nb = {
444         .notifier_call = arch_timer_cpu_pm_notify,
445 };
446
447 static int __init tegra_init_arch_timer(void)
448 {
449         int err;
450
451         if (!local_timer_is_architected())
452                 return -ENODEV;
453
454         arch_timer_of_register();
455
456         err = arch_timer_sched_clock_init();
457         if (err) {
458                 pr_err("%s: Unable to initialize arch timer sched_clock: %d\n",
459                      __func__, err);
460                 return err;
461         }
462
463         register_cpu_notifier(&arch_timer_cpu_nb);
464         cpu_pm_register_notifier(&arch_timer_cpu_pm_nb);
465         arch_timer_initialized = true;
466         return 0;
467 }
468
469 static void __init tegra_init_late_timer(void)
470 {}
471
472 #ifdef CONFIG_PM_SLEEP
473
474 static void __iomem *pmc = IO_ADDRESS(TEGRA_PMC_BASE);
475 static u32 tsc_suspend_start;
476 static u32 tsc_resume_start;
477
478 #define pmc_writel(value, reg) \
479                 writel(value, pmc + (reg))
480 #define pmc_readl(reg) \
481                 readl(pmc + (reg))
482
483 #define PMC_DPD_ENABLE                  0x24
484 #define PMC_DPD_ENABLE_TSC_MULT_ENABLE  (1 << 1)
485
486 #define PMC_TSC_MULT                    0x2b4
487 #define PMC_TSC_MULT_FREQ_STS           (1 << 16)
488
489 #define TSC_TIMEOUT_US                  32
490
491 void tegra_tsc_suspend(void)
492 {
493         if (arch_timer_initialized) {
494                 u32 reg = pmc_readl(PMC_DPD_ENABLE);
495                 BUG_ON(reg & PMC_DPD_ENABLE_TSC_MULT_ENABLE);
496                 reg |= PMC_DPD_ENABLE_TSC_MULT_ENABLE;
497                 pmc_writel(reg, PMC_DPD_ENABLE);
498                 tsc_suspend_start = timer_readl(TIMERUS_CNTR_1US);
499         }
500 }
501
502 void tegra_tsc_resume(void)
503 {
504         if (arch_timer_initialized) {
505                 u32 reg = pmc_readl(PMC_DPD_ENABLE);
506                 BUG_ON(!(reg & PMC_DPD_ENABLE_TSC_MULT_ENABLE));
507                 reg &= ~PMC_DPD_ENABLE_TSC_MULT_ENABLE;
508                 pmc_writel(reg, PMC_DPD_ENABLE);
509                 tsc_resume_start = timer_readl(TIMERUS_CNTR_1US);
510         }
511 }
512
513 void tegra_tsc_wait_for_suspend(void)
514 {
515         if (arch_timer_initialized) {
516                 while ((timer_readl(TIMERUS_CNTR_1US) - tsc_suspend_start) <
517                         TSC_TIMEOUT_US) {
518                         if (pmc_readl(PMC_TSC_MULT) & PMC_TSC_MULT_FREQ_STS)
519                                 break;
520                         cpu_relax();
521                 }
522         }
523 }
524
525 void tegra_tsc_wait_for_resume(void)
526 {
527         if (arch_timer_initialized) {
528                 while ((timer_readl(TIMERUS_CNTR_1US) - tsc_resume_start) <
529                         TSC_TIMEOUT_US) {
530                         if (!(pmc_readl(PMC_TSC_MULT) & PMC_TSC_MULT_FREQ_STS))
531                                 break;
532                         cpu_relax();
533                 }
534         }
535 }
536
537 #endif
538
539 #else
540 static inline int tegra_init_arch_timer(void) { return -ENODEV; }
541 static inline int tegra_init_late_arch_timer(void) { return -ENODEV; }
542 #endif
543
544 extern void __tegra_delay(unsigned long cycles);
545 extern void __tegra_const_udelay(unsigned long loops);
546 extern void __tegra_udelay(unsigned long usecs);
547
548 void __init tegra_init_timer(void)
549 {
550         struct clk *clk;
551         int ret;
552         unsigned long rate;
553
554         clk = clk_get_sys("timer", NULL);
555         if (IS_ERR(clk)) {
556                 pr_warn("Unable to get timer clock. Assuming 12Mhz input clock.\n");
557                 rate = 12000000;
558         } else {
559                 tegra_clk_prepare_enable(clk);
560                 rate = clk_get_rate(clk);
561         }
562
563         /*
564          * rtc registers are used by read_persistent_clock, keep the rtc clock
565          * enabled
566          */
567         clk = clk_get_sys("rtc-tegra", NULL);
568         if (IS_ERR(clk))
569                 pr_warn("Unable to get rtc-tegra clock\n");
570         else
571                 tegra_clk_prepare_enable(clk);
572
573         switch (rate) {
574         case 12000000:
575                 timer_writel(0x000b, TIMERUS_USEC_CFG);
576                 break;
577         case 13000000:
578                 timer_writel(0x000c, TIMERUS_USEC_CFG);
579                 break;
580         case 19200000:
581                 timer_writel(0x045f, TIMERUS_USEC_CFG);
582                 break;
583         case 26000000:
584                 timer_writel(0x0019, TIMERUS_USEC_CFG);
585                 break;
586 #ifndef CONFIG_ARCH_TEGRA_2x_SOC
587         case 16800000:
588                 timer_writel(0x0453, TIMERUS_USEC_CFG);
589                 break;
590         case 38400000:
591                 timer_writel(0x04BF, TIMERUS_USEC_CFG);
592                 break;
593         case 48000000:
594                 timer_writel(0x002F, TIMERUS_USEC_CFG);
595                 break;
596 #endif
597         default:
598                 if (tegra_platform_is_qt()) {
599                         timer_writel(0x000c, TIMERUS_USEC_CFG);
600                         break;
601                 }
602                 WARN(1, "Unknown clock rate");
603         }
604
605 #ifdef CONFIG_ARCH_TEGRA_2x_SOC
606         tegra20_init_timer();
607 #else
608         tegra30_init_timer();
609 #endif
610
611         /* Architectural timers take precedence over broadcast timers.
612            Only register a broadcast clockevent device if architectural
613            timers do not exist or cannot be initialized. */
614         if (tegra_init_arch_timer())
615                 /* Architectural timers do not exist or cannot be initialzied.
616                    Fall back to using the broadcast timer as the sched clock. */
617                 setup_sched_clock(tegra_read_sched_clock, 32, 1000000);
618
619         ret = clocksource_mmio_init(timer_reg_base + TIMERUS_CNTR_1US,
620                 "timer_us", 1000000, 300, 32,
621                 clocksource_mmio_readl_up);
622         if (ret) {
623                 pr_err("%s: Failed to register clocksource: %d\n",
624                         __func__, ret);
625                 BUG();
626         }
627
628         ret = setup_irq(tegra_timer_irq.irq, &tegra_timer_irq);
629         if (ret) {
630                 pr_err("%s: Failed to register timer IRQ: %d\n",
631                         __func__, ret);
632                 BUG();
633         }
634
635         clockevents_calc_mult_shift(&tegra_clockevent, 1000000, 5);
636         tegra_clockevent.max_delta_ns =
637                 clockevent_delta2ns(0x1fffffff, &tegra_clockevent);
638         tegra_clockevent.min_delta_ns =
639                 clockevent_delta2ns(0x1, &tegra_clockevent);
640         tegra_clockevent.cpumask = cpu_all_mask;
641         tegra_clockevent.irq = tegra_timer_irq.irq;
642         clockevents_register_device(&tegra_clockevent);
643
644         register_syscore_ops(&tegra_timer_syscore_ops);
645         late_time_init = tegra_init_late_timer;
646
647         register_persistent_clock(NULL, tegra_read_persistent_clock);
648
649         //arm_delay_ops.delay           = __tegra_delay;
650         //arm_delay_ops.const_udelay    = __tegra_const_udelay;
651         //arm_delay_ops.udelay          = __tegra_udelay;
652 }