6f3d3d4cd97338162e6889f4eaae86b744f2a2ab
[linux-2.6.git] / arch / x86 / kernel / vsyscall_64.c
1 /*
2  *  Copyright (C) 2001 Andrea Arcangeli <andrea@suse.de> SuSE
3  *  Copyright 2003 Andi Kleen, SuSE Labs.
4  *
5  *  Thanks to hpa@transmeta.com for some useful hint.
6  *  Special thanks to Ingo Molnar for his early experience with
7  *  a different vsyscall implementation for Linux/IA32 and for the name.
8  *
9  *  vsyscall 1 is located at -10Mbyte, vsyscall 2 is located
10  *  at virtual address -10Mbyte+1024bytes etc... There are at max 4
11  *  vsyscalls. One vsyscall can reserve more than 1 slot to avoid
12  *  jumping out of line if necessary. We cannot add more with this
13  *  mechanism because older kernels won't return -ENOSYS.
14  *  If we want more than four we need a vDSO.
15  *
16  *  Note: the concept clashes with user mode linux. If you use UML and
17  *  want per guest time just set the kernel.vsyscall64 sysctl to 0.
18  */
19
20 /* Disable profiling for userspace code: */
21 #define DISABLE_BRANCH_PROFILING
22
23 #include <linux/time.h>
24 #include <linux/init.h>
25 #include <linux/kernel.h>
26 #include <linux/timer.h>
27 #include <linux/seqlock.h>
28 #include <linux/jiffies.h>
29 #include <linux/sysctl.h>
30 #include <linux/clocksource.h>
31 #include <linux/getcpu.h>
32 #include <linux/cpu.h>
33 #include <linux/smp.h>
34 #include <linux/notifier.h>
35
36 #include <asm/vsyscall.h>
37 #include <asm/pgtable.h>
38 #include <asm/page.h>
39 #include <asm/unistd.h>
40 #include <asm/fixmap.h>
41 #include <asm/errno.h>
42 #include <asm/io.h>
43 #include <asm/segment.h>
44 #include <asm/desc.h>
45 #include <asm/topology.h>
46 #include <asm/vgtod.h>
47
48 #define __vsyscall(nr) \
49                 __attribute__ ((unused, __section__(".vsyscall_" #nr))) notrace
50 #define __syscall_clobber "r11","cx","memory"
51
52 /*
53  * vsyscall_gtod_data contains data that is :
54  * - readonly from vsyscalls
55  * - written by timer interrupt or systcl (/proc/sys/kernel/vsyscall64)
56  * Try to keep this structure as small as possible to avoid cache line ping pongs
57  */
58 int __vgetcpu_mode __section_vgetcpu_mode;
59
60 struct vsyscall_gtod_data __vsyscall_gtod_data __section_vsyscall_gtod_data =
61 {
62         .lock = SEQLOCK_UNLOCKED,
63         .sysctl_enabled = 1,
64 };
65
66 void update_vsyscall_tz(void)
67 {
68         unsigned long flags;
69
70         write_seqlock_irqsave(&vsyscall_gtod_data.lock, flags);
71         /* sys_tz has changed */
72         vsyscall_gtod_data.sys_tz = sys_tz;
73         write_sequnlock_irqrestore(&vsyscall_gtod_data.lock, flags);
74 }
75
76 void update_vsyscall(struct timespec *wall_time, struct clocksource *clock)
77 {
78         unsigned long flags;
79
80         write_seqlock_irqsave(&vsyscall_gtod_data.lock, flags);
81         /* copy vsyscall data */
82         vsyscall_gtod_data.clock.vread = clock->vread;
83         vsyscall_gtod_data.clock.cycle_last = clock->cycle_last;
84         vsyscall_gtod_data.clock.mask = clock->mask;
85         vsyscall_gtod_data.clock.mult = clock->mult;
86         vsyscall_gtod_data.clock.shift = clock->shift;
87         vsyscall_gtod_data.wall_time_sec = wall_time->tv_sec;
88         vsyscall_gtod_data.wall_time_nsec = wall_time->tv_nsec;
89         vsyscall_gtod_data.wall_to_monotonic = wall_to_monotonic;
90         write_sequnlock_irqrestore(&vsyscall_gtod_data.lock, flags);
91 }
92
93 /* RED-PEN may want to readd seq locking, but then the variable should be
94  * write-once.
95  */
96 static __always_inline void do_get_tz(struct timezone * tz)
97 {
98         *tz = __vsyscall_gtod_data.sys_tz;
99 }
100
101 static __always_inline int gettimeofday(struct timeval *tv, struct timezone *tz)
102 {
103         int ret;
104         asm volatile("syscall"
105                 : "=a" (ret)
106                 : "0" (__NR_gettimeofday),"D" (tv),"S" (tz)
107                 : __syscall_clobber );
108         return ret;
109 }
110
111 static __always_inline long time_syscall(long *t)
112 {
113         long secs;
114         asm volatile("syscall"
115                 : "=a" (secs)
116                 : "0" (__NR_time),"D" (t) : __syscall_clobber);
117         return secs;
118 }
119
120 static __always_inline void do_vgettimeofday(struct timeval * tv)
121 {
122         cycle_t now, base, mask, cycle_delta;
123         unsigned seq;
124         unsigned long mult, shift, nsec;
125         cycle_t (*vread)(void);
126         do {
127                 seq = read_seqbegin(&__vsyscall_gtod_data.lock);
128
129                 vread = __vsyscall_gtod_data.clock.vread;
130                 if (unlikely(!__vsyscall_gtod_data.sysctl_enabled || !vread)) {
131                         gettimeofday(tv,NULL);
132                         return;
133                 }
134                 now = vread();
135                 base = __vsyscall_gtod_data.clock.cycle_last;
136                 mask = __vsyscall_gtod_data.clock.mask;
137                 mult = __vsyscall_gtod_data.clock.mult;
138                 shift = __vsyscall_gtod_data.clock.shift;
139
140                 tv->tv_sec = __vsyscall_gtod_data.wall_time_sec;
141                 nsec = __vsyscall_gtod_data.wall_time_nsec;
142         } while (read_seqretry(&__vsyscall_gtod_data.lock, seq));
143
144         /* calculate interval: */
145         cycle_delta = (now - base) & mask;
146         /* convert to nsecs: */
147         nsec += (cycle_delta * mult) >> shift;
148
149         while (nsec >= NSEC_PER_SEC) {
150                 tv->tv_sec += 1;
151                 nsec -= NSEC_PER_SEC;
152         }
153         tv->tv_usec = nsec / NSEC_PER_USEC;
154 }
155
156 int __vsyscall(0) vgettimeofday(struct timeval * tv, struct timezone * tz)
157 {
158         if (tv)
159                 do_vgettimeofday(tv);
160         if (tz)
161                 do_get_tz(tz);
162         return 0;
163 }
164
165 /* This will break when the xtime seconds get inaccurate, but that is
166  * unlikely */
167 time_t __vsyscall(1) vtime(time_t *t)
168 {
169         struct timeval tv;
170         time_t result;
171         if (unlikely(!__vsyscall_gtod_data.sysctl_enabled))
172                 return time_syscall(t);
173
174         vgettimeofday(&tv, NULL);
175         result = tv.tv_sec;
176         if (t)
177                 *t = result;
178         return result;
179 }
180
181 /* Fast way to get current CPU and node.
182    This helps to do per node and per CPU caches in user space.
183    The result is not guaranteed without CPU affinity, but usually
184    works out because the scheduler tries to keep a thread on the same
185    CPU.
186
187    tcache must point to a two element sized long array.
188    All arguments can be NULL. */
189 long __vsyscall(2)
190 vgetcpu(unsigned *cpu, unsigned *node, struct getcpu_cache *tcache)
191 {
192         unsigned int p;
193         unsigned long j = 0;
194
195         /* Fast cache - only recompute value once per jiffies and avoid
196            relatively costly rdtscp/cpuid otherwise.
197            This works because the scheduler usually keeps the process
198            on the same CPU and this syscall doesn't guarantee its
199            results anyways.
200            We do this here because otherwise user space would do it on
201            its own in a likely inferior way (no access to jiffies).
202            If you don't like it pass NULL. */
203         if (tcache && tcache->blob[0] == (j = __jiffies)) {
204                 p = tcache->blob[1];
205         } else if (__vgetcpu_mode == VGETCPU_RDTSCP) {
206                 /* Load per CPU data from RDTSCP */
207                 native_read_tscp(&p);
208         } else {
209                 /* Load per CPU data from GDT */
210                 asm("lsl %1,%0" : "=r" (p) : "r" (__PER_CPU_SEG));
211         }
212         if (tcache) {
213                 tcache->blob[0] = j;
214                 tcache->blob[1] = p;
215         }
216         if (cpu)
217                 *cpu = p & 0xfff;
218         if (node)
219                 *node = p >> 12;
220         return 0;
221 }
222
223 static long __vsyscall(3) venosys_1(void)
224 {
225         return -ENOSYS;
226 }
227
228 #ifdef CONFIG_SYSCTL
229
230 static int
231 vsyscall_sysctl_change(ctl_table *ctl, int write, struct file * filp,
232                        void __user *buffer, size_t *lenp, loff_t *ppos)
233 {
234         return proc_dointvec(ctl, write, filp, buffer, lenp, ppos);
235 }
236
237 static ctl_table kernel_table2[] = {
238         { .procname = "vsyscall64",
239           .data = &vsyscall_gtod_data.sysctl_enabled, .maxlen = sizeof(int),
240           .mode = 0644,
241           .proc_handler = vsyscall_sysctl_change },
242         {}
243 };
244
245 static ctl_table kernel_root_table2[] = {
246         { .ctl_name = CTL_KERN, .procname = "kernel", .mode = 0555,
247           .child = kernel_table2 },
248         {}
249 };
250 #endif
251
252 /* Assume __initcall executes before all user space. Hopefully kmod
253    doesn't violate that. We'll find out if it does. */
254 static void __cpuinit vsyscall_set_cpu(int cpu)
255 {
256         unsigned long d;
257         unsigned long node = 0;
258 #ifdef CONFIG_NUMA
259         node = cpu_to_node(cpu);
260 #endif
261         if (cpu_has(&cpu_data(cpu), X86_FEATURE_RDTSCP))
262                 write_rdtscp_aux((node << 12) | cpu);
263
264         /* Store cpu number in limit so that it can be loaded quickly
265            in user space in vgetcpu.
266            12 bits for the CPU and 8 bits for the node. */
267         d = 0x0f40000000000ULL;
268         d |= cpu;
269         d |= (node & 0xf) << 12;
270         d |= (node >> 4) << 48;
271         write_gdt_entry(get_cpu_gdt_table(cpu), GDT_ENTRY_PER_CPU, &d, DESCTYPE_S);
272 }
273
274 static void __cpuinit cpu_vsyscall_init(void *arg)
275 {
276         /* preemption should be already off */
277         vsyscall_set_cpu(raw_smp_processor_id());
278 }
279
280 static int __cpuinit
281 cpu_vsyscall_notifier(struct notifier_block *n, unsigned long action, void *arg)
282 {
283         long cpu = (long)arg;
284         if (action == CPU_ONLINE || action == CPU_ONLINE_FROZEN)
285                 smp_call_function_single(cpu, cpu_vsyscall_init, NULL, 1);
286         return NOTIFY_DONE;
287 }
288
289 void __init map_vsyscall(void)
290 {
291         extern char __vsyscall_0;
292         unsigned long physaddr_page0 = __pa_symbol(&__vsyscall_0);
293
294         /* Note that VSYSCALL_MAPPED_PAGES must agree with the code below. */
295         __set_fixmap(VSYSCALL_FIRST_PAGE, physaddr_page0, PAGE_KERNEL_VSYSCALL);
296 }
297
298 static int __init vsyscall_init(void)
299 {
300         BUG_ON(((unsigned long) &vgettimeofday !=
301                         VSYSCALL_ADDR(__NR_vgettimeofday)));
302         BUG_ON((unsigned long) &vtime != VSYSCALL_ADDR(__NR_vtime));
303         BUG_ON((VSYSCALL_ADDR(0) != __fix_to_virt(VSYSCALL_FIRST_PAGE)));
304         BUG_ON((unsigned long) &vgetcpu != VSYSCALL_ADDR(__NR_vgetcpu));
305 #ifdef CONFIG_SYSCTL
306         register_sysctl_table(kernel_root_table2);
307 #endif
308         on_each_cpu(cpu_vsyscall_init, NULL, 1);
309         hotcpu_notifier(cpu_vsyscall_notifier, 0);
310         return 0;
311 }
312
313 __initcall(vsyscall_init);