]> nv-tegra.nvidia Code Review - linux-3.10.git/blob - arch/mips/kernel/time.c
abadb8cb77c001174e15db22b201040100286361
[linux-3.10.git] / arch / mips / kernel / time.c
1 /*
2  * Copyright 2001 MontaVista Software Inc.
3  * Author: Jun Sun, jsun@mvista.com or jsun@junsun.net
4  * Copyright (c) 2003, 2004  Maciej W. Rozycki
5  *
6  * Common time service routines for MIPS machines. See
7  * Documentation/mips/time.README.
8  *
9  * This program is free software; you can redistribute  it and/or modify it
10  * under  the terms of  the GNU General  Public License as published by the
11  * Free Software Foundation;  either version 2 of the  License, or (at your
12  * option) any later version.
13  */
14 #include <linux/clockchips.h>
15 #include <linux/types.h>
16 #include <linux/kernel.h>
17 #include <linux/init.h>
18 #include <linux/sched.h>
19 #include <linux/param.h>
20 #include <linux/profile.h>
21 #include <linux/time.h>
22 #include <linux/timex.h>
23 #include <linux/smp.h>
24 #include <linux/kernel_stat.h>
25 #include <linux/spinlock.h>
26 #include <linux/interrupt.h>
27 #include <linux/module.h>
28 #include <linux/kallsyms.h>
29
30 #include <asm/bootinfo.h>
31 #include <asm/cache.h>
32 #include <asm/compiler.h>
33 #include <asm/cpu.h>
34 #include <asm/cpu-features.h>
35 #include <asm/div64.h>
36 #include <asm/sections.h>
37 #include <asm/smtc_ipi.h>
38 #include <asm/time.h>
39
40 #include <irq.h>
41
42 /*
43  * The integer part of the number of usecs per jiffy is taken from tick,
44  * but the fractional part is not recorded, so we calculate it using the
45  * initial value of HZ.  This aids systems where tick isn't really an
46  * integer (e.g. for HZ = 128).
47  */
48 #define USECS_PER_JIFFY         TICK_SIZE
49 #define USECS_PER_JIFFY_FRAC    ((unsigned long)(u32)((1000000ULL << 32) / HZ))
50
51 #define TICK_SIZE       (tick_nsec / 1000)
52
53 /*
54  * forward reference
55  */
56 DEFINE_SPINLOCK(rtc_lock);
57 EXPORT_SYMBOL(rtc_lock);
58
59 int __weak rtc_mips_set_time(unsigned long sec)
60 {
61         return 0;
62 }
63 EXPORT_SYMBOL(rtc_mips_set_time);
64
65 int __weak rtc_mips_set_mmss(unsigned long nowtime)
66 {
67         return rtc_mips_set_time(nowtime);
68 }
69
70 int update_persistent_clock(struct timespec now)
71 {
72         return rtc_mips_set_mmss(now.tv_sec);
73 }
74
75 /*
76  * Null high precision timer functions for systems lacking one.
77  */
78 static cycle_t null_hpt_read(void)
79 {
80         return 0;
81 }
82
83 /*
84  * Timer ack for an R4k-compatible timer of a known frequency.
85  */
86 static void c0_timer_ack(void)
87 {
88         write_c0_compare(read_c0_compare());
89 }
90
91 /*
92  * High precision timer functions for a R4k-compatible timer.
93  */
94 static cycle_t c0_hpt_read(void)
95 {
96         return read_c0_count();
97 }
98
99 int (*mips_timer_state)(void);
100
101 /*
102  * local_timer_interrupt() does profiling and process accounting
103  * on a per-CPU basis.
104  *
105  * In UP mode, it is invoked from the (global) timer_interrupt.
106  *
107  * In SMP mode, it might invoked by per-CPU timer interrupt, or
108  * a broadcasted inter-processor interrupt which itself is triggered
109  * by the global timer interrupt.
110  */
111 void local_timer_interrupt(int irq, void *dev_id)
112 {
113         profile_tick(CPU_PROFILING);
114         update_process_times(user_mode(get_irq_regs()));
115 }
116
117 int null_perf_irq(void)
118 {
119         return 0;
120 }
121
122 EXPORT_SYMBOL(null_perf_irq);
123
124 int (*perf_irq)(void) = null_perf_irq;
125
126 EXPORT_SYMBOL(perf_irq);
127
128 /*
129  * Timer interrupt
130  */
131 int cp0_compare_irq;
132
133 /*
134  * Performance counter IRQ or -1 if shared with timer
135  */
136 int cp0_perfcount_irq;
137 EXPORT_SYMBOL_GPL(cp0_perfcount_irq);
138
139 /*
140  * Possibly handle a performance counter interrupt.
141  * Return true if the timer interrupt should not be checked
142  */
143 static inline int handle_perf_irq(int r2)
144 {
145         /*
146          * The performance counter overflow interrupt may be shared with the
147          * timer interrupt (cp0_perfcount_irq < 0). If it is and a
148          * performance counter has overflowed (perf_irq() == IRQ_HANDLED)
149          * and we can't reliably determine if a counter interrupt has also
150          * happened (!r2) then don't check for a timer interrupt.
151          */
152         return (cp0_perfcount_irq < 0) &&
153                 perf_irq() == IRQ_HANDLED &&
154                 !r2;
155 }
156
157 /*
158  * time_init() - it does the following things.
159  *
160  * 1) plat_time_init() -
161  *      a) (optional) set up RTC routines,
162  *      b) (optional) calibrate and set the mips_hpt_frequency
163  *          (only needed if you intended to use cpu counter as timer interrupt
164  *           source)
165  * 2) calculate a couple of cached variables for later usage
166  * 3) plat_timer_setup() -
167  *      a) (optional) over-write any choices made above by time_init().
168  *      b) machine specific code should setup the timer irqaction.
169  *      c) enable the timer interrupt
170  */
171
172 unsigned int mips_hpt_frequency;
173
174 static unsigned int __init calibrate_hpt(void)
175 {
176         cycle_t frequency, hpt_start, hpt_end, hpt_count, hz;
177
178         const int loops = HZ / 10;
179         int log_2_loops = 0;
180         int i;
181
182         /*
183          * We want to calibrate for 0.1s, but to avoid a 64-bit
184          * division we round the number of loops up to the nearest
185          * power of 2.
186          */
187         while (loops > 1 << log_2_loops)
188                 log_2_loops++;
189         i = 1 << log_2_loops;
190
191         /*
192          * Wait for a rising edge of the timer interrupt.
193          */
194         while (mips_timer_state());
195         while (!mips_timer_state());
196
197         /*
198          * Now see how many high precision timer ticks happen
199          * during the calculated number of periods between timer
200          * interrupts.
201          */
202         hpt_start = clocksource_mips.read();
203         do {
204                 while (mips_timer_state());
205                 while (!mips_timer_state());
206         } while (--i);
207         hpt_end = clocksource_mips.read();
208
209         hpt_count = (hpt_end - hpt_start) & clocksource_mips.mask;
210         hz = HZ;
211         frequency = hpt_count * hz;
212
213         return frequency >> log_2_loops;
214 }
215
216 struct clocksource clocksource_mips = {
217         .name           = "MIPS",
218         .mask           = CLOCKSOURCE_MASK(32),
219         .flags          = CLOCK_SOURCE_IS_CONTINUOUS,
220 };
221
222 static int mips_next_event(unsigned long delta,
223                            struct clock_event_device *evt)
224 {
225         unsigned int cnt;
226         int res;
227
228 #ifdef CONFIG_MIPS_MT_SMTC
229         {
230         unsigned long flags, vpflags;
231         local_irq_save(flags);
232         vpflags = dvpe();
233 #endif
234         cnt = read_c0_count();
235         cnt += delta;
236         write_c0_compare(cnt);
237         res = ((long)(read_c0_count() - cnt ) > 0) ? -ETIME : 0;
238 #ifdef CONFIG_MIPS_MT_SMTC
239         evpe(vpflags);
240         local_irq_restore(flags);
241         }
242 #endif
243         return res;
244 }
245
246 static void mips_set_mode(enum clock_event_mode mode,
247                           struct clock_event_device *evt)
248 {
249         /* Nothing to do ...  */
250 }
251
252 static DEFINE_PER_CPU(struct clock_event_device, mips_clockevent_device);
253 static int cp0_timer_irq_installed;
254
255 static irqreturn_t timer_interrupt(int irq, void *dev_id)
256 {
257         const int r2 = cpu_has_mips_r2;
258         struct clock_event_device *cd;
259         int cpu = smp_processor_id();
260
261         /*
262          * Suckage alert:
263          * Before R2 of the architecture there was no way to see if a
264          * performance counter interrupt was pending, so we have to run
265          * the performance counter interrupt handler anyway.
266          */
267         if (handle_perf_irq(r2))
268                 goto out;
269
270         /*
271          * The same applies to performance counter interrupts.  But with the
272          * above we now know that the reason we got here must be a timer
273          * interrupt.  Being the paranoiacs we are we check anyway.
274          */
275         if (!r2 || (read_c0_cause() & (1 << 30))) {
276                 c0_timer_ack();
277 #ifdef CONFIG_MIPS_MT_SMTC
278                 if (cpu_data[cpu].vpe_id)
279                         goto out;
280                 cpu = 0;
281 #endif
282                 cd = &per_cpu(mips_clockevent_device, cpu);
283                 cd->event_handler(cd);
284         }
285
286 out:
287         return IRQ_HANDLED;
288 }
289
290 static struct irqaction timer_irqaction = {
291         .handler = timer_interrupt,
292 #ifdef CONFIG_MIPS_MT_SMTC
293         .flags = IRQF_DISABLED,
294 #else
295         .flags = IRQF_DISABLED | IRQF_PERCPU,
296 #endif
297         .name = "timer",
298 };
299
300 static void __init init_mips_clocksource(void)
301 {
302         u64 temp;
303         u32 shift;
304
305         if (!mips_hpt_frequency || clocksource_mips.read == null_hpt_read)
306                 return;
307
308         /* Calclate a somewhat reasonable rating value */
309         clocksource_mips.rating = 200 + mips_hpt_frequency / 10000000;
310         /* Find a shift value */
311         for (shift = 32; shift > 0; shift--) {
312                 temp = (u64) NSEC_PER_SEC << shift;
313                 do_div(temp, mips_hpt_frequency);
314                 if ((temp >> 32) == 0)
315                         break;
316         }
317         clocksource_mips.shift = shift;
318         clocksource_mips.mult = (u32)temp;
319
320         clocksource_register(&clocksource_mips);
321 }
322
323 void __init __weak plat_time_init(void)
324 {
325 }
326
327 void __init __weak plat_timer_setup(struct irqaction *irq)
328 {
329 }
330
331 #ifdef CONFIG_MIPS_MT_SMTC
332 DEFINE_PER_CPU(struct clock_event_device, smtc_dummy_clockevent_device);
333
334 static void smtc_set_mode(enum clock_event_mode mode,
335                           struct clock_event_device *evt)
336 {
337 }
338
339 int dummycnt[NR_CPUS];
340
341 static void mips_broadcast(cpumask_t mask)
342 {
343         unsigned int cpu;
344
345         for_each_cpu_mask(cpu, mask)
346                 smtc_send_ipi(cpu, SMTC_CLOCK_TICK, 0);
347 }
348
349 static void setup_smtc_dummy_clockevent_device(void)
350 {
351         //uint64_t mips_freq = mips_hpt_^frequency;
352         unsigned int cpu = smp_processor_id();
353         struct clock_event_device *cd;
354
355         cd = &per_cpu(smtc_dummy_clockevent_device, cpu);
356
357         cd->name                = "SMTC";
358         cd->features            = CLOCK_EVT_FEAT_DUMMY;
359
360         /* Calculate the min / max delta */
361         cd->mult        = 0; //div_sc((unsigned long) mips_freq, NSEC_PER_SEC, 32);
362         cd->shift               = 0; //32;
363         cd->max_delta_ns        = 0; //clockevent_delta2ns(0x7fffffff, cd);
364         cd->min_delta_ns        = 0; //clockevent_delta2ns(0x30, cd);
365
366         cd->rating              = 200;
367         cd->irq                 = 17; //-1;
368 //      if (cpu)
369 //              cd->cpumask     = CPU_MASK_ALL; // cpumask_of_cpu(cpu);
370 //      else
371                 cd->cpumask     = cpumask_of_cpu(cpu);
372
373         cd->set_mode            = smtc_set_mode;
374
375         cd->broadcast           = mips_broadcast;
376
377         clockevents_register_device(cd);
378 }
379 #endif
380
381 static void mips_event_handler(struct clock_event_device *dev)
382 {
383 }
384
385 /*
386  * FIXME: This doesn't hold for the relocated E9000 compare interrupt.
387  */
388 static int c0_compare_int_pending(void)
389 {
390         return (read_c0_cause() >> cp0_compare_irq) & 0x100;
391 }
392
393 static int c0_compare_int_usable(void)
394 {
395         const unsigned int delta = 0x300000;
396         unsigned int cnt;
397
398         /*
399          * IP7 already pending?  Try to clear it by acking the timer.
400          */
401         if (c0_compare_int_pending()) {
402                 write_c0_compare(read_c0_compare());
403                 irq_disable_hazard();
404                 if (c0_compare_int_pending())
405                         return 0;
406         }
407
408         cnt = read_c0_count();
409         cnt += delta;
410         write_c0_compare(cnt);
411
412         while ((long)(read_c0_count() - cnt) <= 0)
413                 ;       /* Wait for expiry  */
414
415         if (!c0_compare_int_pending())
416                 return 0;
417
418         write_c0_compare(read_c0_compare());
419         irq_disable_hazard();
420         if (c0_compare_int_pending())
421                 return 0;
422
423         /*
424          * Feels like a real count / compare timer.
425          */
426         return 1;
427 }
428
429 void __cpuinit mips_clockevent_init(void)
430 {
431         uint64_t mips_freq = mips_hpt_frequency;
432         unsigned int cpu = smp_processor_id();
433         struct clock_event_device *cd;
434         unsigned int irq = MIPS_CPU_IRQ_BASE + 7;
435
436         if (!cpu_has_counter)
437                 return;
438
439 #ifdef CONFIG_MIPS_MT_SMTC
440         setup_smtc_dummy_clockevent_device();
441
442         /*
443          * On SMTC we only register VPE0's compare interrupt as clockevent
444          * device.
445          */
446         if (cpu)
447                 return;
448 #endif
449
450         if (!c0_compare_int_usable())
451                 return;
452
453         cd = &per_cpu(mips_clockevent_device, cpu);
454
455         cd->name                = "MIPS";
456         cd->features            = CLOCK_EVT_FEAT_ONESHOT;
457
458         /* Calculate the min / max delta */
459         cd->mult        = div_sc((unsigned long) mips_freq, NSEC_PER_SEC, 32);
460         cd->shift               = 32;
461         cd->max_delta_ns        = clockevent_delta2ns(0x7fffffff, cd);
462         cd->min_delta_ns        = clockevent_delta2ns(0x300, cd);
463
464         cd->rating              = 300;
465         cd->irq                 = irq;
466 #ifdef CONFIG_MIPS_MT_SMTC
467         cd->cpumask             = CPU_MASK_ALL;
468 #else
469         cd->cpumask             = cpumask_of_cpu(cpu);
470 #endif
471         cd->set_next_event      = mips_next_event;
472         cd->set_mode            = mips_set_mode;
473         cd->event_handler       = mips_event_handler;
474
475         clockevents_register_device(cd);
476
477         if (!cp0_timer_irq_installed) {
478 #ifdef CONFIG_MIPS_MT_SMTC
479 #define CPUCTR_IMASKBIT (0x100 << cp0_compare_irq)
480                 setup_irq_smtc(irq, &timer_irqaction, CPUCTR_IMASKBIT);
481 #else
482                 setup_irq(irq, &timer_irqaction);
483 #endif /* CONFIG_MIPS_MT_SMTC */
484                 cp0_timer_irq_installed = 1;
485         }
486 }
487
488 void __init time_init(void)
489 {
490         plat_time_init();
491
492         /* Choose appropriate high precision timer routines.  */
493         if (!cpu_has_counter && !clocksource_mips.read)
494                 /* No high precision timer -- sorry.  */
495                 clocksource_mips.read = null_hpt_read;
496         else if (!mips_hpt_frequency && !mips_timer_state) {
497                 /* A high precision timer of unknown frequency.  */
498                 if (!clocksource_mips.read)
499                         /* No external high precision timer -- use R4k.  */
500                         clocksource_mips.read = c0_hpt_read;
501         } else {
502                 /* We know counter frequency.  Or we can get it.  */
503                 if (!clocksource_mips.read) {
504                         /* No external high precision timer -- use R4k.  */
505                         clocksource_mips.read = c0_hpt_read;
506                 }
507                 if (!mips_hpt_frequency)
508                         mips_hpt_frequency = calibrate_hpt();
509
510                 /* Report the high precision timer rate for a reference.  */
511                 printk("Using %u.%03u MHz high precision timer.\n",
512                        ((mips_hpt_frequency + 500) / 1000) / 1000,
513                        ((mips_hpt_frequency + 500) / 1000) % 1000);
514
515 #ifdef CONFIG_IRQ_CPU
516                 setup_irq(MIPS_CPU_IRQ_BASE + 7, &timer_irqaction);
517 #endif
518         }
519
520         /*
521          * Call board specific timer interrupt setup.
522          *
523          * this pointer must be setup in machine setup routine.
524          *
525          * Even if a machine chooses to use a low-level timer interrupt,
526          * it still needs to setup the timer_irqaction.
527          * In that case, it might be better to set timer_irqaction.handler
528          * to be NULL function so that we are sure the high-level code
529          * is not invoked accidentally.
530          */
531         plat_timer_setup(&timer_irqaction);
532
533         init_mips_clocksource();
534         mips_clockevent_init();
535 }