c4eb71c8b2ea3290c6b83f2f6d72b3c8c62a7787
[linux-2.6.git] / kernel / time / clockevents.c
1 /*
2  * linux/kernel/time/clockevents.c
3  *
4  * This file contains functions which manage clock event devices.
5  *
6  * Copyright(C) 2005-2006, Thomas Gleixner <tglx@linutronix.de>
7  * Copyright(C) 2005-2007, Red Hat, Inc., Ingo Molnar
8  * Copyright(C) 2006-2007, Timesys Corp., Thomas Gleixner
9  *
10  * This code is licenced under the GPL version 2. For details see
11  * kernel-base/COPYING.
12  */
13
14 #include <linux/clockchips.h>
15 #include <linux/hrtimer.h>
16 #include <linux/init.h>
17 #include <linux/module.h>
18 #include <linux/notifier.h>
19 #include <linux/smp.h>
20 #include <linux/sysdev.h>
21
22 #include "tick-internal.h"
23
24 /* The registered clock event devices */
25 static LIST_HEAD(clockevent_devices);
26 static LIST_HEAD(clockevents_released);
27
28 /* Notification for clock events */
29 static RAW_NOTIFIER_HEAD(clockevents_chain);
30
31 /* Protection for the above */
32 static DEFINE_RAW_SPINLOCK(clockevents_lock);
33
34 /**
35  * clockevents_delta2ns - Convert a latch value (device ticks) to nanoseconds
36  * @latch:      value to convert
37  * @evt:        pointer to clock event device descriptor
38  *
39  * Math helper, returns latch value converted to nanoseconds (bound checked)
40  */
41 u64 clockevent_delta2ns(unsigned long latch, struct clock_event_device *evt)
42 {
43         u64 clc = (u64) latch << evt->shift;
44
45         if (unlikely(!evt->mult)) {
46                 evt->mult = 1;
47                 WARN_ON(1);
48         }
49
50         do_div(clc, evt->mult);
51         if (clc < 1000)
52                 clc = 1000;
53         if (clc > KTIME_MAX)
54                 clc = KTIME_MAX;
55
56         return clc;
57 }
58 EXPORT_SYMBOL_GPL(clockevent_delta2ns);
59
60 /**
61  * clockevents_set_mode - set the operating mode of a clock event device
62  * @dev:        device to modify
63  * @mode:       new mode
64  *
65  * Must be called with interrupts disabled !
66  */
67 void clockevents_set_mode(struct clock_event_device *dev,
68                                  enum clock_event_mode mode)
69 {
70         if (dev->mode != mode) {
71                 dev->set_mode(mode, dev);
72                 dev->mode = mode;
73
74                 /*
75                  * A nsec2cyc multiplicator of 0 is invalid and we'd crash
76                  * on it, so fix it up and emit a warning:
77                  */
78                 if (mode == CLOCK_EVT_MODE_ONESHOT) {
79                         if (unlikely(!dev->mult)) {
80                                 dev->mult = 1;
81                                 WARN_ON(1);
82                         }
83                 }
84         }
85 }
86
87 /**
88  * clockevents_shutdown - shutdown the device and clear next_event
89  * @dev:        device to shutdown
90  */
91 void clockevents_shutdown(struct clock_event_device *dev)
92 {
93         clockevents_set_mode(dev, CLOCK_EVT_MODE_SHUTDOWN);
94         dev->next_event.tv64 = KTIME_MAX;
95 }
96
97 #ifdef CONFIG_GENERIC_CLOCKEVENTS_MIN_ADJUST
98
99 /* Limit min_delta to a jiffie */
100 #define MIN_DELTA_LIMIT         (NSEC_PER_SEC / HZ)
101
102 /**
103  * clockevents_increase_min_delta - raise minimum delta of a clock event device
104  * @dev:       device to increase the minimum delta
105  *
106  * Returns 0 on success, -ETIME when the minimum delta reached the limit.
107  */
108 static int clockevents_increase_min_delta(struct clock_event_device *dev)
109 {
110         /* Nothing to do if we already reached the limit */
111         if (dev->min_delta_ns >= MIN_DELTA_LIMIT) {
112                 printk(KERN_WARNING "CE: Reprogramming failure. Giving up\n");
113                 dev->next_event.tv64 = KTIME_MAX;
114                 return -ETIME;
115         }
116
117         if (dev->min_delta_ns < 5000)
118                 dev->min_delta_ns = 5000;
119         else
120                 dev->min_delta_ns += dev->min_delta_ns >> 1;
121
122         if (dev->min_delta_ns > MIN_DELTA_LIMIT)
123                 dev->min_delta_ns = MIN_DELTA_LIMIT;
124
125         printk(KERN_WARNING "CE: %s increased min_delta_ns to %llu nsec\n",
126                dev->name ? dev->name : "?",
127                (unsigned long long) dev->min_delta_ns);
128         return 0;
129 }
130
131 /**
132  * clockevents_program_min_delta - Set clock event device to the minimum delay.
133  * @dev:        device to program
134  *
135  * Returns 0 on success, -ETIME when the retry loop failed.
136  */
137 static int clockevents_program_min_delta(struct clock_event_device *dev)
138 {
139         unsigned long long clc;
140         int64_t delta;
141         int i;
142
143         for (i = 0;;) {
144                 delta = dev->min_delta_ns;
145                 dev->next_event = ktime_add_ns(ktime_get(), delta);
146
147                 if (dev->mode == CLOCK_EVT_MODE_SHUTDOWN)
148                         return 0;
149
150                 dev->retries++;
151                 clc = ((unsigned long long) delta * dev->mult) >> dev->shift;
152                 if (dev->set_next_event((unsigned long) clc, dev) == 0)
153                         return 0;
154
155                 if (++i > 2) {
156                         /*
157                          * We tried 3 times to program the device with the
158                          * given min_delta_ns. Try to increase the minimum
159                          * delta, if that fails as well get out of here.
160                          */
161                         if (clockevents_increase_min_delta(dev))
162                                 return -ETIME;
163                         i = 0;
164                 }
165         }
166 }
167
168 #else  /* CONFIG_GENERIC_CLOCKEVENTS_MIN_ADJUST */
169
170 /**
171  * clockevents_program_min_delta - Set clock event device to the minimum delay.
172  * @dev:        device to program
173  *
174  * Returns 0 on success, -ETIME when the retry loop failed.
175  */
176 static int clockevents_program_min_delta(struct clock_event_device *dev)
177 {
178         unsigned long long clc;
179         int64_t delta;
180
181         delta = dev->min_delta_ns;
182         dev->next_event = ktime_add_ns(ktime_get(), delta);
183
184         if (dev->mode == CLOCK_EVT_MODE_SHUTDOWN)
185                 return 0;
186
187         dev->retries++;
188         clc = ((unsigned long long) delta * dev->mult) >> dev->shift;
189         return dev->set_next_event((unsigned long) clc, dev);
190 }
191
192 #endif /* CONFIG_GENERIC_CLOCKEVENTS_MIN_ADJUST */
193
194 /**
195  * clockevents_program_event - Reprogram the clock event device.
196  * @dev:        device to program
197  * @expires:    absolute expiry time (monotonic clock)
198  * @force:      program minimum delay if expires can not be set
199  *
200  * Returns 0 on success, -ETIME when the event is in the past.
201  */
202 int clockevents_program_event(struct clock_event_device *dev, ktime_t expires,
203                               bool force)
204 {
205         unsigned long long clc;
206         int64_t delta;
207         int rc;
208
209         if (unlikely(expires.tv64 < 0)) {
210                 WARN_ON_ONCE(1);
211                 return -ETIME;
212         }
213
214         dev->next_event = expires;
215
216         if (dev->mode == CLOCK_EVT_MODE_SHUTDOWN)
217                 return 0;
218
219         /* Shortcut for clockevent devices that can deal with ktime. */
220         if (dev->features & CLOCK_EVT_FEAT_KTIME)
221                 return dev->set_next_ktime(expires, dev);
222
223         delta = ktime_to_ns(ktime_sub(expires, ktime_get()));
224         if (delta <= 0)
225                 return force ? clockevents_program_min_delta(dev) : -ETIME;
226
227         delta = min(delta, (int64_t) dev->max_delta_ns);
228         delta = max(delta, (int64_t) dev->min_delta_ns);
229
230         clc = ((unsigned long long) delta * dev->mult) >> dev->shift;
231         rc = dev->set_next_event((unsigned long) clc, dev);
232
233         return (rc && force) ? clockevents_program_min_delta(dev) : rc;
234 }
235
236 /**
237  * clockevents_register_notifier - register a clock events change listener
238  */
239 int clockevents_register_notifier(struct notifier_block *nb)
240 {
241         unsigned long flags;
242         int ret;
243
244         raw_spin_lock_irqsave(&clockevents_lock, flags);
245         ret = raw_notifier_chain_register(&clockevents_chain, nb);
246         raw_spin_unlock_irqrestore(&clockevents_lock, flags);
247
248         return ret;
249 }
250
251 /*
252  * Notify about a clock event change. Called with clockevents_lock
253  * held.
254  */
255 static void clockevents_do_notify(unsigned long reason, void *dev)
256 {
257         raw_notifier_call_chain(&clockevents_chain, reason, dev);
258 }
259
260 /*
261  * Called after a notify add to make devices available which were
262  * released from the notifier call.
263  */
264 static void clockevents_notify_released(void)
265 {
266         struct clock_event_device *dev;
267
268         while (!list_empty(&clockevents_released)) {
269                 dev = list_entry(clockevents_released.next,
270                                  struct clock_event_device, list);
271                 list_del(&dev->list);
272                 list_add(&dev->list, &clockevent_devices);
273                 clockevents_do_notify(CLOCK_EVT_NOTIFY_ADD, dev);
274         }
275 }
276
277 /**
278  * clockevents_register_device - register a clock event device
279  * @dev:        device to register
280  */
281 void clockevents_register_device(struct clock_event_device *dev)
282 {
283         unsigned long flags;
284
285         BUG_ON(dev->mode != CLOCK_EVT_MODE_UNUSED);
286         if (!dev->cpumask) {
287                 WARN_ON(num_possible_cpus() > 1);
288                 dev->cpumask = cpumask_of(smp_processor_id());
289         }
290
291         raw_spin_lock_irqsave(&clockevents_lock, flags);
292
293         list_add(&dev->list, &clockevent_devices);
294         clockevents_do_notify(CLOCK_EVT_NOTIFY_ADD, dev);
295         clockevents_notify_released();
296
297         raw_spin_unlock_irqrestore(&clockevents_lock, flags);
298 }
299 EXPORT_SYMBOL_GPL(clockevents_register_device);
300
301 static void clockevents_config(struct clock_event_device *dev,
302                                u32 freq)
303 {
304         u64 sec;
305
306         if (!(dev->features & CLOCK_EVT_FEAT_ONESHOT))
307                 return;
308
309         /*
310          * Calculate the maximum number of seconds we can sleep. Limit
311          * to 10 minutes for hardware which can program more than
312          * 32bit ticks so we still get reasonable conversion values.
313          */
314         sec = dev->max_delta_ticks;
315         do_div(sec, freq);
316         if (!sec)
317                 sec = 1;
318         else if (sec > 600 && dev->max_delta_ticks > UINT_MAX)
319                 sec = 600;
320
321         clockevents_calc_mult_shift(dev, freq, sec);
322         dev->min_delta_ns = clockevent_delta2ns(dev->min_delta_ticks, dev);
323         dev->max_delta_ns = clockevent_delta2ns(dev->max_delta_ticks, dev);
324 }
325
326 /**
327  * clockevents_config_and_register - Configure and register a clock event device
328  * @dev:        device to register
329  * @freq:       The clock frequency
330  * @min_delta:  The minimum clock ticks to program in oneshot mode
331  * @max_delta:  The maximum clock ticks to program in oneshot mode
332  *
333  * min/max_delta can be 0 for devices which do not support oneshot mode.
334  */
335 void clockevents_config_and_register(struct clock_event_device *dev,
336                                      u32 freq, unsigned long min_delta,
337                                      unsigned long max_delta)
338 {
339         dev->min_delta_ticks = min_delta;
340         dev->max_delta_ticks = max_delta;
341         clockevents_config(dev, freq);
342         clockevents_register_device(dev);
343 }
344
345 /**
346  * clockevents_update_freq - Update frequency and reprogram a clock event device.
347  * @dev:        device to modify
348  * @freq:       new device frequency
349  *
350  * Reconfigure and reprogram a clock event device in oneshot
351  * mode. Must be called on the cpu for which the device delivers per
352  * cpu timer events with interrupts disabled!  Returns 0 on success,
353  * -ETIME when the event is in the past.
354  */
355 int clockevents_update_freq(struct clock_event_device *dev, u32 freq)
356 {
357         clockevents_config(dev, freq);
358
359         if (dev->mode != CLOCK_EVT_MODE_ONESHOT)
360                 return 0;
361
362         return clockevents_program_event(dev, dev->next_event, false);
363 }
364
365 /*
366  * Noop handler when we shut down an event device
367  */
368 void clockevents_handle_noop(struct clock_event_device *dev)
369 {
370 }
371
372 /**
373  * clockevents_exchange_device - release and request clock devices
374  * @old:        device to release (can be NULL)
375  * @new:        device to request (can be NULL)
376  *
377  * Called from the notifier chain. clockevents_lock is held already
378  */
379 void clockevents_exchange_device(struct clock_event_device *old,
380                                  struct clock_event_device *new)
381 {
382         unsigned long flags;
383
384         local_irq_save(flags);
385         /*
386          * Caller releases a clock event device. We queue it into the
387          * released list and do a notify add later.
388          */
389         if (old) {
390                 old->event_handler = clockevents_handle_noop;
391                 clockevents_set_mode(old, CLOCK_EVT_MODE_UNUSED);
392                 list_del(&old->list);
393                 list_add(&old->list, &clockevents_released);
394         }
395
396         if (new) {
397                 BUG_ON(new->mode != CLOCK_EVT_MODE_UNUSED);
398                 clockevents_shutdown(new);
399         }
400         local_irq_restore(flags);
401 }
402
403 #ifdef CONFIG_GENERIC_CLOCKEVENTS
404 /**
405  * clockevents_notify - notification about relevant events
406  */
407 void clockevents_notify(unsigned long reason, void *arg)
408 {
409         struct clock_event_device *dev, *tmp;
410         unsigned long flags;
411         int cpu;
412
413         raw_spin_lock_irqsave(&clockevents_lock, flags);
414         clockevents_do_notify(reason, arg);
415
416         switch (reason) {
417         case CLOCK_EVT_NOTIFY_CPU_DEAD:
418                 /*
419                  * Unregister the clock event devices which were
420                  * released from the users in the notify chain.
421                  */
422                 list_for_each_entry_safe(dev, tmp, &clockevents_released, list)
423                         list_del(&dev->list);
424                 /*
425                  * Now check whether the CPU has left unused per cpu devices
426                  */
427                 cpu = *((int *)arg);
428                 list_for_each_entry_safe(dev, tmp, &clockevent_devices, list) {
429                         if (cpumask_test_cpu(cpu, dev->cpumask) &&
430                             cpumask_weight(dev->cpumask) == 1 &&
431                             !tick_is_broadcast_device(dev)) {
432                                 BUG_ON(dev->mode != CLOCK_EVT_MODE_UNUSED);
433                                 list_del(&dev->list);
434                         }
435                 }
436                 break;
437         default:
438                 break;
439         }
440         raw_spin_unlock_irqrestore(&clockevents_lock, flags);
441 }
442 EXPORT_SYMBOL_GPL(clockevents_notify);
443 #endif