sys_time() speedup
[linux-3.10.git] / kernel / time.c
1 /*
2  *  linux/kernel/time.c
3  *
4  *  Copyright (C) 1991, 1992  Linus Torvalds
5  *
6  *  This file contains the interface functions for the various
7  *  time related system calls: time, stime, gettimeofday, settimeofday,
8  *                             adjtime
9  */
10 /*
11  * Modification history kernel/time.c
12  * 
13  * 1993-09-02    Philip Gladstone
14  *      Created file with time related functions from sched.c and adjtimex() 
15  * 1993-10-08    Torsten Duwe
16  *      adjtime interface update and CMOS clock write code
17  * 1995-08-13    Torsten Duwe
18  *      kernel PLL updated to 1994-12-13 specs (rfc-1589)
19  * 1999-01-16    Ulrich Windl
20  *      Introduced error checking for many cases in adjtimex().
21  *      Updated NTP code according to technical memorandum Jan '96
22  *      "A Kernel Model for Precision Timekeeping" by Dave Mills
23  *      Allow time_constant larger than MAXTC(6) for NTP v4 (MAXTC == 10)
24  *      (Even though the technical memorandum forbids it)
25  * 2004-07-14    Christoph Lameter
26  *      Added getnstimeofday to allow the posix timer functions to return
27  *      with nanosecond accuracy
28  */
29
30 #include <linux/module.h>
31 #include <linux/timex.h>
32 #include <linux/capability.h>
33 #include <linux/errno.h>
34 #include <linux/syscalls.h>
35 #include <linux/security.h>
36 #include <linux/fs.h>
37 #include <linux/module.h>
38
39 #include <asm/uaccess.h>
40 #include <asm/unistd.h>
41
42 /* 
43  * The timezone where the local system is located.  Used as a default by some
44  * programs who obtain this value by using gettimeofday.
45  */
46 struct timezone sys_tz;
47
48 EXPORT_SYMBOL(sys_tz);
49
50 #ifdef __ARCH_WANT_SYS_TIME
51
52 /*
53  * sys_time() can be implemented in user-level using
54  * sys_gettimeofday().  Is this for backwards compatibility?  If so,
55  * why not move it into the appropriate arch directory (for those
56  * architectures that need it).
57  */
58 asmlinkage long sys_time(time_t __user * tloc)
59 {
60         /*
61          * We read xtime.tv_sec atomically - it's updated
62          * atomically by update_wall_time(), so no need to
63          * even read-lock the xtime seqlock:
64          */
65         time_t i = xtime.tv_sec;
66
67         smp_rmb(); /* sys_time() results are coherent */
68
69         if (tloc) {
70                 if (put_user(i, tloc))
71                         i = -EFAULT;
72         }
73         return i;
74 }
75
76 /*
77  * sys_stime() can be implemented in user-level using
78  * sys_settimeofday().  Is this for backwards compatibility?  If so,
79  * why not move it into the appropriate arch directory (for those
80  * architectures that need it).
81  */
82  
83 asmlinkage long sys_stime(time_t __user *tptr)
84 {
85         struct timespec tv;
86         int err;
87
88         if (get_user(tv.tv_sec, tptr))
89                 return -EFAULT;
90
91         tv.tv_nsec = 0;
92
93         err = security_settime(&tv, NULL);
94         if (err)
95                 return err;
96
97         do_settimeofday(&tv);
98         return 0;
99 }
100
101 #endif /* __ARCH_WANT_SYS_TIME */
102
103 asmlinkage long sys_gettimeofday(struct timeval __user *tv, struct timezone __user *tz)
104 {
105         if (likely(tv != NULL)) {
106                 struct timeval ktv;
107                 do_gettimeofday(&ktv);
108                 if (copy_to_user(tv, &ktv, sizeof(ktv)))
109                         return -EFAULT;
110         }
111         if (unlikely(tz != NULL)) {
112                 if (copy_to_user(tz, &sys_tz, sizeof(sys_tz)))
113                         return -EFAULT;
114         }
115         return 0;
116 }
117
118 /*
119  * Adjust the time obtained from the CMOS to be UTC time instead of
120  * local time.
121  * 
122  * This is ugly, but preferable to the alternatives.  Otherwise we
123  * would either need to write a program to do it in /etc/rc (and risk
124  * confusion if the program gets run more than once; it would also be 
125  * hard to make the program warp the clock precisely n hours)  or
126  * compile in the timezone information into the kernel.  Bad, bad....
127  *
128  *                                              - TYT, 1992-01-01
129  *
130  * The best thing to do is to keep the CMOS clock in universal time (UTC)
131  * as real UNIX machines always do it. This avoids all headaches about
132  * daylight saving times and warping kernel clocks.
133  */
134 static inline void warp_clock(void)
135 {
136         write_seqlock_irq(&xtime_lock);
137         wall_to_monotonic.tv_sec -= sys_tz.tz_minuteswest * 60;
138         xtime.tv_sec += sys_tz.tz_minuteswest * 60;
139         time_interpolator_reset();
140         write_sequnlock_irq(&xtime_lock);
141         clock_was_set();
142 }
143
144 /*
145  * In case for some reason the CMOS clock has not already been running
146  * in UTC, but in some local time: The first time we set the timezone,
147  * we will warp the clock so that it is ticking UTC time instead of
148  * local time. Presumably, if someone is setting the timezone then we
149  * are running in an environment where the programs understand about
150  * timezones. This should be done at boot time in the /etc/rc script,
151  * as soon as possible, so that the clock can be set right. Otherwise,
152  * various programs will get confused when the clock gets warped.
153  */
154
155 int do_sys_settimeofday(struct timespec *tv, struct timezone *tz)
156 {
157         static int firsttime = 1;
158         int error = 0;
159
160         if (tv && !timespec_valid(tv))
161                 return -EINVAL;
162
163         error = security_settime(tv, tz);
164         if (error)
165                 return error;
166
167         if (tz) {
168                 /* SMP safe, global irq locking makes it work. */
169                 sys_tz = *tz;
170                 if (firsttime) {
171                         firsttime = 0;
172                         if (!tv)
173                                 warp_clock();
174                 }
175         }
176         if (tv)
177         {
178                 /* SMP safe, again the code in arch/foo/time.c should
179                  * globally block out interrupts when it runs.
180                  */
181                 return do_settimeofday(tv);
182         }
183         return 0;
184 }
185
186 asmlinkage long sys_settimeofday(struct timeval __user *tv,
187                                 struct timezone __user *tz)
188 {
189         struct timeval user_tv;
190         struct timespec new_ts;
191         struct timezone new_tz;
192
193         if (tv) {
194                 if (copy_from_user(&user_tv, tv, sizeof(*tv)))
195                         return -EFAULT;
196                 new_ts.tv_sec = user_tv.tv_sec;
197                 new_ts.tv_nsec = user_tv.tv_usec * NSEC_PER_USEC;
198         }
199         if (tz) {
200                 if (copy_from_user(&new_tz, tz, sizeof(*tz)))
201                         return -EFAULT;
202         }
203
204         return do_sys_settimeofday(tv ? &new_ts : NULL, tz ? &new_tz : NULL);
205 }
206
207 asmlinkage long sys_adjtimex(struct timex __user *txc_p)
208 {
209         struct timex txc;               /* Local copy of parameter */
210         int ret;
211
212         /* Copy the user data space into the kernel copy
213          * structure. But bear in mind that the structures
214          * may change
215          */
216         if(copy_from_user(&txc, txc_p, sizeof(struct timex)))
217                 return -EFAULT;
218         ret = do_adjtimex(&txc);
219         return copy_to_user(txc_p, &txc, sizeof(struct timex)) ? -EFAULT : ret;
220 }
221
222 inline struct timespec current_kernel_time(void)
223 {
224         struct timespec now;
225         unsigned long seq;
226
227         do {
228                 seq = read_seqbegin(&xtime_lock);
229                 
230                 now = xtime;
231         } while (read_seqretry(&xtime_lock, seq));
232
233         return now; 
234 }
235
236 EXPORT_SYMBOL(current_kernel_time);
237
238 /**
239  * current_fs_time - Return FS time
240  * @sb: Superblock.
241  *
242  * Return the current time truncated to the time granularity supported by
243  * the fs.
244  */
245 struct timespec current_fs_time(struct super_block *sb)
246 {
247         struct timespec now = current_kernel_time();
248         return timespec_trunc(now, sb->s_time_gran);
249 }
250 EXPORT_SYMBOL(current_fs_time);
251
252 /*
253  * Convert jiffies to milliseconds and back.
254  *
255  * Avoid unnecessary multiplications/divisions in the
256  * two most common HZ cases:
257  */
258 unsigned int inline jiffies_to_msecs(const unsigned long j)
259 {
260 #if HZ <= MSEC_PER_SEC && !(MSEC_PER_SEC % HZ)
261         return (MSEC_PER_SEC / HZ) * j;
262 #elif HZ > MSEC_PER_SEC && !(HZ % MSEC_PER_SEC)
263         return (j + (HZ / MSEC_PER_SEC) - 1)/(HZ / MSEC_PER_SEC);
264 #else
265         return (j * MSEC_PER_SEC) / HZ;
266 #endif
267 }
268 EXPORT_SYMBOL(jiffies_to_msecs);
269
270 unsigned int inline jiffies_to_usecs(const unsigned long j)
271 {
272 #if HZ <= USEC_PER_SEC && !(USEC_PER_SEC % HZ)
273         return (USEC_PER_SEC / HZ) * j;
274 #elif HZ > USEC_PER_SEC && !(HZ % USEC_PER_SEC)
275         return (j + (HZ / USEC_PER_SEC) - 1)/(HZ / USEC_PER_SEC);
276 #else
277         return (j * USEC_PER_SEC) / HZ;
278 #endif
279 }
280 EXPORT_SYMBOL(jiffies_to_usecs);
281
282 /**
283  * timespec_trunc - Truncate timespec to a granularity
284  * @t: Timespec
285  * @gran: Granularity in ns.
286  *
287  * Truncate a timespec to a granularity. gran must be smaller than a second.
288  * Always rounds down.
289  *
290  * This function should be only used for timestamps returned by
291  * current_kernel_time() or CURRENT_TIME, not with do_gettimeofday() because
292  * it doesn't handle the better resolution of the later.
293  */
294 struct timespec timespec_trunc(struct timespec t, unsigned gran)
295 {
296         /*
297          * Division is pretty slow so avoid it for common cases.
298          * Currently current_kernel_time() never returns better than
299          * jiffies resolution. Exploit that.
300          */
301         if (gran <= jiffies_to_usecs(1) * 1000) {
302                 /* nothing */
303         } else if (gran == 1000000000) {
304                 t.tv_nsec = 0;
305         } else {
306                 t.tv_nsec -= t.tv_nsec % gran;
307         }
308         return t;
309 }
310 EXPORT_SYMBOL(timespec_trunc);
311
312 #ifdef CONFIG_TIME_INTERPOLATION
313 void getnstimeofday (struct timespec *tv)
314 {
315         unsigned long seq,sec,nsec;
316
317         do {
318                 seq = read_seqbegin(&xtime_lock);
319                 sec = xtime.tv_sec;
320                 nsec = xtime.tv_nsec+time_interpolator_get_offset();
321         } while (unlikely(read_seqretry(&xtime_lock, seq)));
322
323         while (unlikely(nsec >= NSEC_PER_SEC)) {
324                 nsec -= NSEC_PER_SEC;
325                 ++sec;
326         }
327         tv->tv_sec = sec;
328         tv->tv_nsec = nsec;
329 }
330 EXPORT_SYMBOL_GPL(getnstimeofday);
331
332 int do_settimeofday (struct timespec *tv)
333 {
334         time_t wtm_sec, sec = tv->tv_sec;
335         long wtm_nsec, nsec = tv->tv_nsec;
336
337         if ((unsigned long)tv->tv_nsec >= NSEC_PER_SEC)
338                 return -EINVAL;
339
340         write_seqlock_irq(&xtime_lock);
341         {
342                 wtm_sec  = wall_to_monotonic.tv_sec + (xtime.tv_sec - sec);
343                 wtm_nsec = wall_to_monotonic.tv_nsec + (xtime.tv_nsec - nsec);
344
345                 set_normalized_timespec(&xtime, sec, nsec);
346                 set_normalized_timespec(&wall_to_monotonic, wtm_sec, wtm_nsec);
347
348                 time_adjust = 0;                /* stop active adjtime() */
349                 time_status |= STA_UNSYNC;
350                 time_maxerror = NTP_PHASE_LIMIT;
351                 time_esterror = NTP_PHASE_LIMIT;
352                 time_interpolator_reset();
353         }
354         write_sequnlock_irq(&xtime_lock);
355         clock_was_set();
356         return 0;
357 }
358 EXPORT_SYMBOL(do_settimeofday);
359
360 void do_gettimeofday (struct timeval *tv)
361 {
362         unsigned long seq, nsec, usec, sec, offset;
363         do {
364                 seq = read_seqbegin(&xtime_lock);
365                 offset = time_interpolator_get_offset();
366                 sec = xtime.tv_sec;
367                 nsec = xtime.tv_nsec;
368         } while (unlikely(read_seqretry(&xtime_lock, seq)));
369
370         usec = (nsec + offset) / 1000;
371
372         while (unlikely(usec >= USEC_PER_SEC)) {
373                 usec -= USEC_PER_SEC;
374                 ++sec;
375         }
376
377         tv->tv_sec = sec;
378         tv->tv_usec = usec;
379
380         /*
381          * Make sure xtime.tv_sec [returned by sys_time()] always
382          * follows the gettimeofday() result precisely. This
383          * condition is extremely unlikely, it can hit at most
384          * once per second:
385          */
386         if (unlikely(xtime.tv_sec != tv->tv_sec)) {
387                 unsigned long flags;
388
389                 write_seqlock_irqsave(&xtime_lock, flags);
390                 update_wall_time();
391                 write_sequnlock_irqrestore(&xtime_lock, flags);
392         }
393 }
394 EXPORT_SYMBOL(do_gettimeofday);
395
396 #else   /* CONFIG_TIME_INTERPOLATION */
397
398 #ifndef CONFIG_GENERIC_TIME
399 /*
400  * Simulate gettimeofday using do_gettimeofday which only allows a timeval
401  * and therefore only yields usec accuracy
402  */
403 void getnstimeofday(struct timespec *tv)
404 {
405         struct timeval x;
406
407         do_gettimeofday(&x);
408         tv->tv_sec = x.tv_sec;
409         tv->tv_nsec = x.tv_usec * NSEC_PER_USEC;
410 }
411 EXPORT_SYMBOL_GPL(getnstimeofday);
412 #endif
413 #endif  /* CONFIG_TIME_INTERPOLATION */
414
415 /* Converts Gregorian date to seconds since 1970-01-01 00:00:00.
416  * Assumes input in normal date format, i.e. 1980-12-31 23:59:59
417  * => year=1980, mon=12, day=31, hour=23, min=59, sec=59.
418  *
419  * [For the Julian calendar (which was used in Russia before 1917,
420  * Britain & colonies before 1752, anywhere else before 1582,
421  * and is still in use by some communities) leave out the
422  * -year/100+year/400 terms, and add 10.]
423  *
424  * This algorithm was first published by Gauss (I think).
425  *
426  * WARNING: this function will overflow on 2106-02-07 06:28:16 on
427  * machines were long is 32-bit! (However, as time_t is signed, we
428  * will already get problems at other places on 2038-01-19 03:14:08)
429  */
430 unsigned long
431 mktime(const unsigned int year0, const unsigned int mon0,
432        const unsigned int day, const unsigned int hour,
433        const unsigned int min, const unsigned int sec)
434 {
435         unsigned int mon = mon0, year = year0;
436
437         /* 1..12 -> 11,12,1..10 */
438         if (0 >= (int) (mon -= 2)) {
439                 mon += 12;      /* Puts Feb last since it has leap day */
440                 year -= 1;
441         }
442
443         return ((((unsigned long)
444                   (year/4 - year/100 + year/400 + 367*mon/12 + day) +
445                   year*365 - 719499
446             )*24 + hour /* now have hours */
447           )*60 + min /* now have minutes */
448         )*60 + sec; /* finally seconds */
449 }
450
451 EXPORT_SYMBOL(mktime);
452
453 /**
454  * set_normalized_timespec - set timespec sec and nsec parts and normalize
455  *
456  * @ts:         pointer to timespec variable to be set
457  * @sec:        seconds to set
458  * @nsec:       nanoseconds to set
459  *
460  * Set seconds and nanoseconds field of a timespec variable and
461  * normalize to the timespec storage format
462  *
463  * Note: The tv_nsec part is always in the range of
464  *      0 <= tv_nsec < NSEC_PER_SEC
465  * For negative values only the tv_sec field is negative !
466  */
467 void set_normalized_timespec(struct timespec *ts, time_t sec, long nsec)
468 {
469         while (nsec >= NSEC_PER_SEC) {
470                 nsec -= NSEC_PER_SEC;
471                 ++sec;
472         }
473         while (nsec < 0) {
474                 nsec += NSEC_PER_SEC;
475                 --sec;
476         }
477         ts->tv_sec = sec;
478         ts->tv_nsec = nsec;
479 }
480
481 /**
482  * ns_to_timespec - Convert nanoseconds to timespec
483  * @nsec:       the nanoseconds value to be converted
484  *
485  * Returns the timespec representation of the nsec parameter.
486  */
487 struct timespec ns_to_timespec(const s64 nsec)
488 {
489         struct timespec ts;
490
491         if (!nsec)
492                 return (struct timespec) {0, 0};
493
494         ts.tv_sec = div_long_long_rem_signed(nsec, NSEC_PER_SEC, &ts.tv_nsec);
495         if (unlikely(nsec < 0))
496                 set_normalized_timespec(&ts, ts.tv_sec, ts.tv_nsec);
497
498         return ts;
499 }
500 EXPORT_SYMBOL(ns_to_timespec);
501
502 /**
503  * ns_to_timeval - Convert nanoseconds to timeval
504  * @nsec:       the nanoseconds value to be converted
505  *
506  * Returns the timeval representation of the nsec parameter.
507  */
508 struct timeval ns_to_timeval(const s64 nsec)
509 {
510         struct timespec ts = ns_to_timespec(nsec);
511         struct timeval tv;
512
513         tv.tv_sec = ts.tv_sec;
514         tv.tv_usec = (suseconds_t) ts.tv_nsec / 1000;
515
516         return tv;
517 }
518 EXPORT_SYMBOL(ns_to_timeval);
519
520 /*
521  * When we convert to jiffies then we interpret incoming values
522  * the following way:
523  *
524  * - negative values mean 'infinite timeout' (MAX_JIFFY_OFFSET)
525  *
526  * - 'too large' values [that would result in larger than
527  *   MAX_JIFFY_OFFSET values] mean 'infinite timeout' too.
528  *
529  * - all other values are converted to jiffies by either multiplying
530  *   the input value by a factor or dividing it with a factor
531  *
532  * We must also be careful about 32-bit overflows.
533  */
534 unsigned long msecs_to_jiffies(const unsigned int m)
535 {
536         /*
537          * Negative value, means infinite timeout:
538          */
539         if ((int)m < 0)
540                 return MAX_JIFFY_OFFSET;
541
542 #if HZ <= MSEC_PER_SEC && !(MSEC_PER_SEC % HZ)
543         /*
544          * HZ is equal to or smaller than 1000, and 1000 is a nice
545          * round multiple of HZ, divide with the factor between them,
546          * but round upwards:
547          */
548         return (m + (MSEC_PER_SEC / HZ) - 1) / (MSEC_PER_SEC / HZ);
549 #elif HZ > MSEC_PER_SEC && !(HZ % MSEC_PER_SEC)
550         /*
551          * HZ is larger than 1000, and HZ is a nice round multiple of
552          * 1000 - simply multiply with the factor between them.
553          *
554          * But first make sure the multiplication result cannot
555          * overflow:
556          */
557         if (m > jiffies_to_msecs(MAX_JIFFY_OFFSET))
558                 return MAX_JIFFY_OFFSET;
559
560         return m * (HZ / MSEC_PER_SEC);
561 #else
562         /*
563          * Generic case - multiply, round and divide. But first
564          * check that if we are doing a net multiplication, that
565          * we wouldnt overflow:
566          */
567         if (HZ > MSEC_PER_SEC && m > jiffies_to_msecs(MAX_JIFFY_OFFSET))
568                 return MAX_JIFFY_OFFSET;
569
570         return (m * HZ + MSEC_PER_SEC - 1) / MSEC_PER_SEC;
571 #endif
572 }
573 EXPORT_SYMBOL(msecs_to_jiffies);
574
575 unsigned long usecs_to_jiffies(const unsigned int u)
576 {
577         if (u > jiffies_to_usecs(MAX_JIFFY_OFFSET))
578                 return MAX_JIFFY_OFFSET;
579 #if HZ <= USEC_PER_SEC && !(USEC_PER_SEC % HZ)
580         return (u + (USEC_PER_SEC / HZ) - 1) / (USEC_PER_SEC / HZ);
581 #elif HZ > USEC_PER_SEC && !(HZ % USEC_PER_SEC)
582         return u * (HZ / USEC_PER_SEC);
583 #else
584         return (u * HZ + USEC_PER_SEC - 1) / USEC_PER_SEC;
585 #endif
586 }
587 EXPORT_SYMBOL(usecs_to_jiffies);
588
589 /*
590  * The TICK_NSEC - 1 rounds up the value to the next resolution.  Note
591  * that a remainder subtract here would not do the right thing as the
592  * resolution values don't fall on second boundries.  I.e. the line:
593  * nsec -= nsec % TICK_NSEC; is NOT a correct resolution rounding.
594  *
595  * Rather, we just shift the bits off the right.
596  *
597  * The >> (NSEC_JIFFIE_SC - SEC_JIFFIE_SC) converts the scaled nsec
598  * value to a scaled second value.
599  */
600 unsigned long
601 timespec_to_jiffies(const struct timespec *value)
602 {
603         unsigned long sec = value->tv_sec;
604         long nsec = value->tv_nsec + TICK_NSEC - 1;
605
606         if (sec >= MAX_SEC_IN_JIFFIES){
607                 sec = MAX_SEC_IN_JIFFIES;
608                 nsec = 0;
609         }
610         return (((u64)sec * SEC_CONVERSION) +
611                 (((u64)nsec * NSEC_CONVERSION) >>
612                  (NSEC_JIFFIE_SC - SEC_JIFFIE_SC))) >> SEC_JIFFIE_SC;
613
614 }
615 EXPORT_SYMBOL(timespec_to_jiffies);
616
617 void
618 jiffies_to_timespec(const unsigned long jiffies, struct timespec *value)
619 {
620         /*
621          * Convert jiffies to nanoseconds and separate with
622          * one divide.
623          */
624         u64 nsec = (u64)jiffies * TICK_NSEC;
625         value->tv_sec = div_long_long_rem(nsec, NSEC_PER_SEC, &value->tv_nsec);
626 }
627 EXPORT_SYMBOL(jiffies_to_timespec);
628
629 /* Same for "timeval"
630  *
631  * Well, almost.  The problem here is that the real system resolution is
632  * in nanoseconds and the value being converted is in micro seconds.
633  * Also for some machines (those that use HZ = 1024, in-particular),
634  * there is a LARGE error in the tick size in microseconds.
635
636  * The solution we use is to do the rounding AFTER we convert the
637  * microsecond part.  Thus the USEC_ROUND, the bits to be shifted off.
638  * Instruction wise, this should cost only an additional add with carry
639  * instruction above the way it was done above.
640  */
641 unsigned long
642 timeval_to_jiffies(const struct timeval *value)
643 {
644         unsigned long sec = value->tv_sec;
645         long usec = value->tv_usec;
646
647         if (sec >= MAX_SEC_IN_JIFFIES){
648                 sec = MAX_SEC_IN_JIFFIES;
649                 usec = 0;
650         }
651         return (((u64)sec * SEC_CONVERSION) +
652                 (((u64)usec * USEC_CONVERSION + USEC_ROUND) >>
653                  (USEC_JIFFIE_SC - SEC_JIFFIE_SC))) >> SEC_JIFFIE_SC;
654 }
655 EXPORT_SYMBOL(timeval_to_jiffies);
656
657 void jiffies_to_timeval(const unsigned long jiffies, struct timeval *value)
658 {
659         /*
660          * Convert jiffies to nanoseconds and separate with
661          * one divide.
662          */
663         u64 nsec = (u64)jiffies * TICK_NSEC;
664         long tv_usec;
665
666         value->tv_sec = div_long_long_rem(nsec, NSEC_PER_SEC, &tv_usec);
667         tv_usec /= NSEC_PER_USEC;
668         value->tv_usec = tv_usec;
669 }
670 EXPORT_SYMBOL(jiffies_to_timeval);
671
672 /*
673  * Convert jiffies/jiffies_64 to clock_t and back.
674  */
675 clock_t jiffies_to_clock_t(long x)
676 {
677 #if (TICK_NSEC % (NSEC_PER_SEC / USER_HZ)) == 0
678         return x / (HZ / USER_HZ);
679 #else
680         u64 tmp = (u64)x * TICK_NSEC;
681         do_div(tmp, (NSEC_PER_SEC / USER_HZ));
682         return (long)tmp;
683 #endif
684 }
685 EXPORT_SYMBOL(jiffies_to_clock_t);
686
687 unsigned long clock_t_to_jiffies(unsigned long x)
688 {
689 #if (HZ % USER_HZ)==0
690         if (x >= ~0UL / (HZ / USER_HZ))
691                 return ~0UL;
692         return x * (HZ / USER_HZ);
693 #else
694         u64 jif;
695
696         /* Don't worry about loss of precision here .. */
697         if (x >= ~0UL / HZ * USER_HZ)
698                 return ~0UL;
699
700         /* .. but do try to contain it here */
701         jif = x * (u64) HZ;
702         do_div(jif, USER_HZ);
703         return jif;
704 #endif
705 }
706 EXPORT_SYMBOL(clock_t_to_jiffies);
707
708 u64 jiffies_64_to_clock_t(u64 x)
709 {
710 #if (TICK_NSEC % (NSEC_PER_SEC / USER_HZ)) == 0
711         do_div(x, HZ / USER_HZ);
712 #else
713         /*
714          * There are better ways that don't overflow early,
715          * but even this doesn't overflow in hundreds of years
716          * in 64 bits, so..
717          */
718         x *= TICK_NSEC;
719         do_div(x, (NSEC_PER_SEC / USER_HZ));
720 #endif
721         return x;
722 }
723
724 EXPORT_SYMBOL(jiffies_64_to_clock_t);
725
726 u64 nsec_to_clock_t(u64 x)
727 {
728 #if (NSEC_PER_SEC % USER_HZ) == 0
729         do_div(x, (NSEC_PER_SEC / USER_HZ));
730 #elif (USER_HZ % 512) == 0
731         x *= USER_HZ/512;
732         do_div(x, (NSEC_PER_SEC / 512));
733 #else
734         /*
735          * max relative error 5.7e-8 (1.8s per year) for USER_HZ <= 1024,
736          * overflow after 64.99 years.
737          * exact for HZ=60, 72, 90, 120, 144, 180, 300, 600, 900, ...
738          */
739         x *= 9;
740         do_div(x, (unsigned long)((9ull * NSEC_PER_SEC + (USER_HZ/2)) /
741                                   USER_HZ));
742 #endif
743         return x;
744 }
745
746 #if (BITS_PER_LONG < 64)
747 u64 get_jiffies_64(void)
748 {
749         unsigned long seq;
750         u64 ret;
751
752         do {
753                 seq = read_seqbegin(&xtime_lock);
754                 ret = jiffies_64;
755         } while (read_seqretry(&xtime_lock, seq));
756         return ret;
757 }
758
759 EXPORT_SYMBOL(get_jiffies_64);
760 #endif
761
762 EXPORT_SYMBOL(jiffies);