Revert "sys_time() speedup"
[linux-3.10.git] / kernel / time.c
1 /*
2  *  linux/kernel/time.c
3  *
4  *  Copyright (C) 1991, 1992  Linus Torvalds
5  *
6  *  This file contains the interface functions for the various
7  *  time related system calls: time, stime, gettimeofday, settimeofday,
8  *                             adjtime
9  */
10 /*
11  * Modification history kernel/time.c
12  * 
13  * 1993-09-02    Philip Gladstone
14  *      Created file with time related functions from sched.c and adjtimex() 
15  * 1993-10-08    Torsten Duwe
16  *      adjtime interface update and CMOS clock write code
17  * 1995-08-13    Torsten Duwe
18  *      kernel PLL updated to 1994-12-13 specs (rfc-1589)
19  * 1999-01-16    Ulrich Windl
20  *      Introduced error checking for many cases in adjtimex().
21  *      Updated NTP code according to technical memorandum Jan '96
22  *      "A Kernel Model for Precision Timekeeping" by Dave Mills
23  *      Allow time_constant larger than MAXTC(6) for NTP v4 (MAXTC == 10)
24  *      (Even though the technical memorandum forbids it)
25  * 2004-07-14    Christoph Lameter
26  *      Added getnstimeofday to allow the posix timer functions to return
27  *      with nanosecond accuracy
28  */
29
30 #include <linux/module.h>
31 #include <linux/timex.h>
32 #include <linux/capability.h>
33 #include <linux/errno.h>
34 #include <linux/syscalls.h>
35 #include <linux/security.h>
36 #include <linux/fs.h>
37 #include <linux/module.h>
38
39 #include <asm/uaccess.h>
40 #include <asm/unistd.h>
41
42 /* 
43  * The timezone where the local system is located.  Used as a default by some
44  * programs who obtain this value by using gettimeofday.
45  */
46 struct timezone sys_tz;
47
48 EXPORT_SYMBOL(sys_tz);
49
50 #ifdef __ARCH_WANT_SYS_TIME
51
52 /*
53  * sys_time() can be implemented in user-level using
54  * sys_gettimeofday().  Is this for backwards compatibility?  If so,
55  * why not move it into the appropriate arch directory (for those
56  * architectures that need it).
57  */
58 asmlinkage long sys_time(time_t __user * tloc)
59 {
60         time_t i;
61         struct timespec tv;
62
63         getnstimeofday(&tv);
64         i = tv.tv_sec;
65
66         if (tloc) {
67                 if (put_user(i,tloc))
68                         i = -EFAULT;
69         }
70         return i;
71 }
72
73 /*
74  * sys_stime() can be implemented in user-level using
75  * sys_settimeofday().  Is this for backwards compatibility?  If so,
76  * why not move it into the appropriate arch directory (for those
77  * architectures that need it).
78  */
79  
80 asmlinkage long sys_stime(time_t __user *tptr)
81 {
82         struct timespec tv;
83         int err;
84
85         if (get_user(tv.tv_sec, tptr))
86                 return -EFAULT;
87
88         tv.tv_nsec = 0;
89
90         err = security_settime(&tv, NULL);
91         if (err)
92                 return err;
93
94         do_settimeofday(&tv);
95         return 0;
96 }
97
98 #endif /* __ARCH_WANT_SYS_TIME */
99
100 asmlinkage long sys_gettimeofday(struct timeval __user *tv, struct timezone __user *tz)
101 {
102         if (likely(tv != NULL)) {
103                 struct timeval ktv;
104                 do_gettimeofday(&ktv);
105                 if (copy_to_user(tv, &ktv, sizeof(ktv)))
106                         return -EFAULT;
107         }
108         if (unlikely(tz != NULL)) {
109                 if (copy_to_user(tz, &sys_tz, sizeof(sys_tz)))
110                         return -EFAULT;
111         }
112         return 0;
113 }
114
115 /*
116  * Adjust the time obtained from the CMOS to be UTC time instead of
117  * local time.
118  * 
119  * This is ugly, but preferable to the alternatives.  Otherwise we
120  * would either need to write a program to do it in /etc/rc (and risk
121  * confusion if the program gets run more than once; it would also be 
122  * hard to make the program warp the clock precisely n hours)  or
123  * compile in the timezone information into the kernel.  Bad, bad....
124  *
125  *                                              - TYT, 1992-01-01
126  *
127  * The best thing to do is to keep the CMOS clock in universal time (UTC)
128  * as real UNIX machines always do it. This avoids all headaches about
129  * daylight saving times and warping kernel clocks.
130  */
131 static inline void warp_clock(void)
132 {
133         write_seqlock_irq(&xtime_lock);
134         wall_to_monotonic.tv_sec -= sys_tz.tz_minuteswest * 60;
135         xtime.tv_sec += sys_tz.tz_minuteswest * 60;
136         write_sequnlock_irq(&xtime_lock);
137         clock_was_set();
138 }
139
140 /*
141  * In case for some reason the CMOS clock has not already been running
142  * in UTC, but in some local time: The first time we set the timezone,
143  * we will warp the clock so that it is ticking UTC time instead of
144  * local time. Presumably, if someone is setting the timezone then we
145  * are running in an environment where the programs understand about
146  * timezones. This should be done at boot time in the /etc/rc script,
147  * as soon as possible, so that the clock can be set right. Otherwise,
148  * various programs will get confused when the clock gets warped.
149  */
150
151 int do_sys_settimeofday(struct timespec *tv, struct timezone *tz)
152 {
153         static int firsttime = 1;
154         int error = 0;
155
156         if (tv && !timespec_valid(tv))
157                 return -EINVAL;
158
159         error = security_settime(tv, tz);
160         if (error)
161                 return error;
162
163         if (tz) {
164                 /* SMP safe, global irq locking makes it work. */
165                 sys_tz = *tz;
166                 if (firsttime) {
167                         firsttime = 0;
168                         if (!tv)
169                                 warp_clock();
170                 }
171         }
172         if (tv)
173         {
174                 /* SMP safe, again the code in arch/foo/time.c should
175                  * globally block out interrupts when it runs.
176                  */
177                 return do_settimeofday(tv);
178         }
179         return 0;
180 }
181
182 asmlinkage long sys_settimeofday(struct timeval __user *tv,
183                                 struct timezone __user *tz)
184 {
185         struct timeval user_tv;
186         struct timespec new_ts;
187         struct timezone new_tz;
188
189         if (tv) {
190                 if (copy_from_user(&user_tv, tv, sizeof(*tv)))
191                         return -EFAULT;
192                 new_ts.tv_sec = user_tv.tv_sec;
193                 new_ts.tv_nsec = user_tv.tv_usec * NSEC_PER_USEC;
194         }
195         if (tz) {
196                 if (copy_from_user(&new_tz, tz, sizeof(*tz)))
197                         return -EFAULT;
198         }
199
200         return do_sys_settimeofday(tv ? &new_ts : NULL, tz ? &new_tz : NULL);
201 }
202
203 asmlinkage long sys_adjtimex(struct timex __user *txc_p)
204 {
205         struct timex txc;               /* Local copy of parameter */
206         int ret;
207
208         /* Copy the user data space into the kernel copy
209          * structure. But bear in mind that the structures
210          * may change
211          */
212         if(copy_from_user(&txc, txc_p, sizeof(struct timex)))
213                 return -EFAULT;
214         ret = do_adjtimex(&txc);
215         return copy_to_user(txc_p, &txc, sizeof(struct timex)) ? -EFAULT : ret;
216 }
217
218 inline struct timespec current_kernel_time(void)
219 {
220         struct timespec now;
221         unsigned long seq;
222
223         do {
224                 seq = read_seqbegin(&xtime_lock);
225                 
226                 now = xtime;
227         } while (read_seqretry(&xtime_lock, seq));
228
229         return now; 
230 }
231
232 EXPORT_SYMBOL(current_kernel_time);
233
234 /**
235  * current_fs_time - Return FS time
236  * @sb: Superblock.
237  *
238  * Return the current time truncated to the time granularity supported by
239  * the fs.
240  */
241 struct timespec current_fs_time(struct super_block *sb)
242 {
243         struct timespec now = current_kernel_time();
244         return timespec_trunc(now, sb->s_time_gran);
245 }
246 EXPORT_SYMBOL(current_fs_time);
247
248 /*
249  * Convert jiffies to milliseconds and back.
250  *
251  * Avoid unnecessary multiplications/divisions in the
252  * two most common HZ cases:
253  */
254 unsigned int inline jiffies_to_msecs(const unsigned long j)
255 {
256 #if HZ <= MSEC_PER_SEC && !(MSEC_PER_SEC % HZ)
257         return (MSEC_PER_SEC / HZ) * j;
258 #elif HZ > MSEC_PER_SEC && !(HZ % MSEC_PER_SEC)
259         return (j + (HZ / MSEC_PER_SEC) - 1)/(HZ / MSEC_PER_SEC);
260 #else
261         return (j * MSEC_PER_SEC) / HZ;
262 #endif
263 }
264 EXPORT_SYMBOL(jiffies_to_msecs);
265
266 unsigned int inline jiffies_to_usecs(const unsigned long j)
267 {
268 #if HZ <= USEC_PER_SEC && !(USEC_PER_SEC % HZ)
269         return (USEC_PER_SEC / HZ) * j;
270 #elif HZ > USEC_PER_SEC && !(HZ % USEC_PER_SEC)
271         return (j + (HZ / USEC_PER_SEC) - 1)/(HZ / USEC_PER_SEC);
272 #else
273         return (j * USEC_PER_SEC) / HZ;
274 #endif
275 }
276 EXPORT_SYMBOL(jiffies_to_usecs);
277
278 /**
279  * timespec_trunc - Truncate timespec to a granularity
280  * @t: Timespec
281  * @gran: Granularity in ns.
282  *
283  * Truncate a timespec to a granularity. gran must be smaller than a second.
284  * Always rounds down.
285  *
286  * This function should be only used for timestamps returned by
287  * current_kernel_time() or CURRENT_TIME, not with do_gettimeofday() because
288  * it doesn't handle the better resolution of the later.
289  */
290 struct timespec timespec_trunc(struct timespec t, unsigned gran)
291 {
292         /*
293          * Division is pretty slow so avoid it for common cases.
294          * Currently current_kernel_time() never returns better than
295          * jiffies resolution. Exploit that.
296          */
297         if (gran <= jiffies_to_usecs(1) * 1000) {
298                 /* nothing */
299         } else if (gran == 1000000000) {
300                 t.tv_nsec = 0;
301         } else {
302                 t.tv_nsec -= t.tv_nsec % gran;
303         }
304         return t;
305 }
306 EXPORT_SYMBOL(timespec_trunc);
307
308 #ifndef CONFIG_GENERIC_TIME
309 /*
310  * Simulate gettimeofday using do_gettimeofday which only allows a timeval
311  * and therefore only yields usec accuracy
312  */
313 void getnstimeofday(struct timespec *tv)
314 {
315         struct timeval x;
316
317         do_gettimeofday(&x);
318         tv->tv_sec = x.tv_sec;
319         tv->tv_nsec = x.tv_usec * NSEC_PER_USEC;
320 }
321 EXPORT_SYMBOL_GPL(getnstimeofday);
322 #endif
323
324 /* Converts Gregorian date to seconds since 1970-01-01 00:00:00.
325  * Assumes input in normal date format, i.e. 1980-12-31 23:59:59
326  * => year=1980, mon=12, day=31, hour=23, min=59, sec=59.
327  *
328  * [For the Julian calendar (which was used in Russia before 1917,
329  * Britain & colonies before 1752, anywhere else before 1582,
330  * and is still in use by some communities) leave out the
331  * -year/100+year/400 terms, and add 10.]
332  *
333  * This algorithm was first published by Gauss (I think).
334  *
335  * WARNING: this function will overflow on 2106-02-07 06:28:16 on
336  * machines were long is 32-bit! (However, as time_t is signed, we
337  * will already get problems at other places on 2038-01-19 03:14:08)
338  */
339 unsigned long
340 mktime(const unsigned int year0, const unsigned int mon0,
341        const unsigned int day, const unsigned int hour,
342        const unsigned int min, const unsigned int sec)
343 {
344         unsigned int mon = mon0, year = year0;
345
346         /* 1..12 -> 11,12,1..10 */
347         if (0 >= (int) (mon -= 2)) {
348                 mon += 12;      /* Puts Feb last since it has leap day */
349                 year -= 1;
350         }
351
352         return ((((unsigned long)
353                   (year/4 - year/100 + year/400 + 367*mon/12 + day) +
354                   year*365 - 719499
355             )*24 + hour /* now have hours */
356           )*60 + min /* now have minutes */
357         )*60 + sec; /* finally seconds */
358 }
359
360 EXPORT_SYMBOL(mktime);
361
362 /**
363  * set_normalized_timespec - set timespec sec and nsec parts and normalize
364  *
365  * @ts:         pointer to timespec variable to be set
366  * @sec:        seconds to set
367  * @nsec:       nanoseconds to set
368  *
369  * Set seconds and nanoseconds field of a timespec variable and
370  * normalize to the timespec storage format
371  *
372  * Note: The tv_nsec part is always in the range of
373  *      0 <= tv_nsec < NSEC_PER_SEC
374  * For negative values only the tv_sec field is negative !
375  */
376 void set_normalized_timespec(struct timespec *ts, time_t sec, long nsec)
377 {
378         while (nsec >= NSEC_PER_SEC) {
379                 nsec -= NSEC_PER_SEC;
380                 ++sec;
381         }
382         while (nsec < 0) {
383                 nsec += NSEC_PER_SEC;
384                 --sec;
385         }
386         ts->tv_sec = sec;
387         ts->tv_nsec = nsec;
388 }
389
390 /**
391  * ns_to_timespec - Convert nanoseconds to timespec
392  * @nsec:       the nanoseconds value to be converted
393  *
394  * Returns the timespec representation of the nsec parameter.
395  */
396 struct timespec ns_to_timespec(const s64 nsec)
397 {
398         struct timespec ts;
399
400         if (!nsec)
401                 return (struct timespec) {0, 0};
402
403         ts.tv_sec = div_long_long_rem_signed(nsec, NSEC_PER_SEC, &ts.tv_nsec);
404         if (unlikely(nsec < 0))
405                 set_normalized_timespec(&ts, ts.tv_sec, ts.tv_nsec);
406
407         return ts;
408 }
409 EXPORT_SYMBOL(ns_to_timespec);
410
411 /**
412  * ns_to_timeval - Convert nanoseconds to timeval
413  * @nsec:       the nanoseconds value to be converted
414  *
415  * Returns the timeval representation of the nsec parameter.
416  */
417 struct timeval ns_to_timeval(const s64 nsec)
418 {
419         struct timespec ts = ns_to_timespec(nsec);
420         struct timeval tv;
421
422         tv.tv_sec = ts.tv_sec;
423         tv.tv_usec = (suseconds_t) ts.tv_nsec / 1000;
424
425         return tv;
426 }
427 EXPORT_SYMBOL(ns_to_timeval);
428
429 /*
430  * When we convert to jiffies then we interpret incoming values
431  * the following way:
432  *
433  * - negative values mean 'infinite timeout' (MAX_JIFFY_OFFSET)
434  *
435  * - 'too large' values [that would result in larger than
436  *   MAX_JIFFY_OFFSET values] mean 'infinite timeout' too.
437  *
438  * - all other values are converted to jiffies by either multiplying
439  *   the input value by a factor or dividing it with a factor
440  *
441  * We must also be careful about 32-bit overflows.
442  */
443 unsigned long msecs_to_jiffies(const unsigned int m)
444 {
445         /*
446          * Negative value, means infinite timeout:
447          */
448         if ((int)m < 0)
449                 return MAX_JIFFY_OFFSET;
450
451 #if HZ <= MSEC_PER_SEC && !(MSEC_PER_SEC % HZ)
452         /*
453          * HZ is equal to or smaller than 1000, and 1000 is a nice
454          * round multiple of HZ, divide with the factor between them,
455          * but round upwards:
456          */
457         return (m + (MSEC_PER_SEC / HZ) - 1) / (MSEC_PER_SEC / HZ);
458 #elif HZ > MSEC_PER_SEC && !(HZ % MSEC_PER_SEC)
459         /*
460          * HZ is larger than 1000, and HZ is a nice round multiple of
461          * 1000 - simply multiply with the factor between them.
462          *
463          * But first make sure the multiplication result cannot
464          * overflow:
465          */
466         if (m > jiffies_to_msecs(MAX_JIFFY_OFFSET))
467                 return MAX_JIFFY_OFFSET;
468
469         return m * (HZ / MSEC_PER_SEC);
470 #else
471         /*
472          * Generic case - multiply, round and divide. But first
473          * check that if we are doing a net multiplication, that
474          * we wouldnt overflow:
475          */
476         if (HZ > MSEC_PER_SEC && m > jiffies_to_msecs(MAX_JIFFY_OFFSET))
477                 return MAX_JIFFY_OFFSET;
478
479         return (m * HZ + MSEC_PER_SEC - 1) / MSEC_PER_SEC;
480 #endif
481 }
482 EXPORT_SYMBOL(msecs_to_jiffies);
483
484 unsigned long usecs_to_jiffies(const unsigned int u)
485 {
486         if (u > jiffies_to_usecs(MAX_JIFFY_OFFSET))
487                 return MAX_JIFFY_OFFSET;
488 #if HZ <= USEC_PER_SEC && !(USEC_PER_SEC % HZ)
489         return (u + (USEC_PER_SEC / HZ) - 1) / (USEC_PER_SEC / HZ);
490 #elif HZ > USEC_PER_SEC && !(HZ % USEC_PER_SEC)
491         return u * (HZ / USEC_PER_SEC);
492 #else
493         return (u * HZ + USEC_PER_SEC - 1) / USEC_PER_SEC;
494 #endif
495 }
496 EXPORT_SYMBOL(usecs_to_jiffies);
497
498 /*
499  * The TICK_NSEC - 1 rounds up the value to the next resolution.  Note
500  * that a remainder subtract here would not do the right thing as the
501  * resolution values don't fall on second boundries.  I.e. the line:
502  * nsec -= nsec % TICK_NSEC; is NOT a correct resolution rounding.
503  *
504  * Rather, we just shift the bits off the right.
505  *
506  * The >> (NSEC_JIFFIE_SC - SEC_JIFFIE_SC) converts the scaled nsec
507  * value to a scaled second value.
508  */
509 unsigned long
510 timespec_to_jiffies(const struct timespec *value)
511 {
512         unsigned long sec = value->tv_sec;
513         long nsec = value->tv_nsec + TICK_NSEC - 1;
514
515         if (sec >= MAX_SEC_IN_JIFFIES){
516                 sec = MAX_SEC_IN_JIFFIES;
517                 nsec = 0;
518         }
519         return (((u64)sec * SEC_CONVERSION) +
520                 (((u64)nsec * NSEC_CONVERSION) >>
521                  (NSEC_JIFFIE_SC - SEC_JIFFIE_SC))) >> SEC_JIFFIE_SC;
522
523 }
524 EXPORT_SYMBOL(timespec_to_jiffies);
525
526 void
527 jiffies_to_timespec(const unsigned long jiffies, struct timespec *value)
528 {
529         /*
530          * Convert jiffies to nanoseconds and separate with
531          * one divide.
532          */
533         u64 nsec = (u64)jiffies * TICK_NSEC;
534         value->tv_sec = div_long_long_rem(nsec, NSEC_PER_SEC, &value->tv_nsec);
535 }
536 EXPORT_SYMBOL(jiffies_to_timespec);
537
538 /* Same for "timeval"
539  *
540  * Well, almost.  The problem here is that the real system resolution is
541  * in nanoseconds and the value being converted is in micro seconds.
542  * Also for some machines (those that use HZ = 1024, in-particular),
543  * there is a LARGE error in the tick size in microseconds.
544
545  * The solution we use is to do the rounding AFTER we convert the
546  * microsecond part.  Thus the USEC_ROUND, the bits to be shifted off.
547  * Instruction wise, this should cost only an additional add with carry
548  * instruction above the way it was done above.
549  */
550 unsigned long
551 timeval_to_jiffies(const struct timeval *value)
552 {
553         unsigned long sec = value->tv_sec;
554         long usec = value->tv_usec;
555
556         if (sec >= MAX_SEC_IN_JIFFIES){
557                 sec = MAX_SEC_IN_JIFFIES;
558                 usec = 0;
559         }
560         return (((u64)sec * SEC_CONVERSION) +
561                 (((u64)usec * USEC_CONVERSION + USEC_ROUND) >>
562                  (USEC_JIFFIE_SC - SEC_JIFFIE_SC))) >> SEC_JIFFIE_SC;
563 }
564 EXPORT_SYMBOL(timeval_to_jiffies);
565
566 void jiffies_to_timeval(const unsigned long jiffies, struct timeval *value)
567 {
568         /*
569          * Convert jiffies to nanoseconds and separate with
570          * one divide.
571          */
572         u64 nsec = (u64)jiffies * TICK_NSEC;
573         long tv_usec;
574
575         value->tv_sec = div_long_long_rem(nsec, NSEC_PER_SEC, &tv_usec);
576         tv_usec /= NSEC_PER_USEC;
577         value->tv_usec = tv_usec;
578 }
579 EXPORT_SYMBOL(jiffies_to_timeval);
580
581 /*
582  * Convert jiffies/jiffies_64 to clock_t and back.
583  */
584 clock_t jiffies_to_clock_t(long x)
585 {
586 #if (TICK_NSEC % (NSEC_PER_SEC / USER_HZ)) == 0
587         return x / (HZ / USER_HZ);
588 #else
589         u64 tmp = (u64)x * TICK_NSEC;
590         do_div(tmp, (NSEC_PER_SEC / USER_HZ));
591         return (long)tmp;
592 #endif
593 }
594 EXPORT_SYMBOL(jiffies_to_clock_t);
595
596 unsigned long clock_t_to_jiffies(unsigned long x)
597 {
598 #if (HZ % USER_HZ)==0
599         if (x >= ~0UL / (HZ / USER_HZ))
600                 return ~0UL;
601         return x * (HZ / USER_HZ);
602 #else
603         u64 jif;
604
605         /* Don't worry about loss of precision here .. */
606         if (x >= ~0UL / HZ * USER_HZ)
607                 return ~0UL;
608
609         /* .. but do try to contain it here */
610         jif = x * (u64) HZ;
611         do_div(jif, USER_HZ);
612         return jif;
613 #endif
614 }
615 EXPORT_SYMBOL(clock_t_to_jiffies);
616
617 u64 jiffies_64_to_clock_t(u64 x)
618 {
619 #if (TICK_NSEC % (NSEC_PER_SEC / USER_HZ)) == 0
620         do_div(x, HZ / USER_HZ);
621 #else
622         /*
623          * There are better ways that don't overflow early,
624          * but even this doesn't overflow in hundreds of years
625          * in 64 bits, so..
626          */
627         x *= TICK_NSEC;
628         do_div(x, (NSEC_PER_SEC / USER_HZ));
629 #endif
630         return x;
631 }
632
633 EXPORT_SYMBOL(jiffies_64_to_clock_t);
634
635 u64 nsec_to_clock_t(u64 x)
636 {
637 #if (NSEC_PER_SEC % USER_HZ) == 0
638         do_div(x, (NSEC_PER_SEC / USER_HZ));
639 #elif (USER_HZ % 512) == 0
640         x *= USER_HZ/512;
641         do_div(x, (NSEC_PER_SEC / 512));
642 #else
643         /*
644          * max relative error 5.7e-8 (1.8s per year) for USER_HZ <= 1024,
645          * overflow after 64.99 years.
646          * exact for HZ=60, 72, 90, 120, 144, 180, 300, 600, 900, ...
647          */
648         x *= 9;
649         do_div(x, (unsigned long)((9ull * NSEC_PER_SEC + (USER_HZ/2)) /
650                                   USER_HZ));
651 #endif
652         return x;
653 }
654
655 #if (BITS_PER_LONG < 64)
656 u64 get_jiffies_64(void)
657 {
658         unsigned long seq;
659         u64 ret;
660
661         do {
662                 seq = read_seqbegin(&xtime_lock);
663                 ret = jiffies_64;
664         } while (read_seqretry(&xtime_lock, seq));
665         return ret;
666 }
667
668 EXPORT_SYMBOL(get_jiffies_64);
669 #endif
670
671 EXPORT_SYMBOL(jiffies);