x86: vdso: Remove bogus locking in update_vsyscall_tz()
[linux-3.10.git] / arch / x86 / kernel / vsyscall_64.c
1 /*
2  *  Copyright (C) 2001 Andrea Arcangeli <andrea@suse.de> SuSE
3  *  Copyright 2003 Andi Kleen, SuSE Labs.
4  *
5  *  [ NOTE: this mechanism is now deprecated in favor of the vDSO. ]
6  *
7  *  Thanks to hpa@transmeta.com for some useful hint.
8  *  Special thanks to Ingo Molnar for his early experience with
9  *  a different vsyscall implementation for Linux/IA32 and for the name.
10  *
11  *  vsyscall 1 is located at -10Mbyte, vsyscall 2 is located
12  *  at virtual address -10Mbyte+1024bytes etc... There are at max 4
13  *  vsyscalls. One vsyscall can reserve more than 1 slot to avoid
14  *  jumping out of line if necessary. We cannot add more with this
15  *  mechanism because older kernels won't return -ENOSYS.
16  *
17  *  Note: the concept clashes with user mode linux.  UML users should
18  *  use the vDSO.
19  */
20
21 #include <linux/time.h>
22 #include <linux/init.h>
23 #include <linux/kernel.h>
24 #include <linux/timer.h>
25 #include <linux/seqlock.h>
26 #include <linux/jiffies.h>
27 #include <linux/sysctl.h>
28 #include <linux/topology.h>
29 #include <linux/clocksource.h>
30 #include <linux/getcpu.h>
31 #include <linux/cpu.h>
32 #include <linux/smp.h>
33 #include <linux/notifier.h>
34 #include <linux/syscalls.h>
35 #include <linux/ratelimit.h>
36
37 #include <asm/vsyscall.h>
38 #include <asm/pgtable.h>
39 #include <asm/compat.h>
40 #include <asm/page.h>
41 #include <asm/unistd.h>
42 #include <asm/fixmap.h>
43 #include <asm/errno.h>
44 #include <asm/io.h>
45 #include <asm/segment.h>
46 #include <asm/desc.h>
47 #include <asm/topology.h>
48 #include <asm/vgtod.h>
49 #include <asm/traps.h>
50
51 #define CREATE_TRACE_POINTS
52 #include "vsyscall_trace.h"
53
54 DEFINE_VVAR(int, vgetcpu_mode);
55 DEFINE_VVAR(struct vsyscall_gtod_data, vsyscall_gtod_data) =
56 {
57         .lock = __SEQLOCK_UNLOCKED(__vsyscall_gtod_data.lock),
58 };
59
60 static enum { EMULATE, NATIVE, NONE } vsyscall_mode = EMULATE;
61
62 static int __init vsyscall_setup(char *str)
63 {
64         if (str) {
65                 if (!strcmp("emulate", str))
66                         vsyscall_mode = EMULATE;
67                 else if (!strcmp("native", str))
68                         vsyscall_mode = NATIVE;
69                 else if (!strcmp("none", str))
70                         vsyscall_mode = NONE;
71                 else
72                         return -EINVAL;
73
74                 return 0;
75         }
76
77         return -EINVAL;
78 }
79 early_param("vsyscall", vsyscall_setup);
80
81 void update_vsyscall_tz(void)
82 {
83         vsyscall_gtod_data.sys_tz = sys_tz;
84 }
85
86 void update_vsyscall(struct timespec *wall_time, struct timespec *wtm,
87                         struct clocksource *clock, u32 mult)
88 {
89         unsigned long flags;
90
91         write_seqlock_irqsave(&vsyscall_gtod_data.lock, flags);
92
93         /* copy vsyscall data */
94         vsyscall_gtod_data.clock.vclock_mode    = clock->archdata.vclock_mode;
95         vsyscall_gtod_data.clock.cycle_last     = clock->cycle_last;
96         vsyscall_gtod_data.clock.mask           = clock->mask;
97         vsyscall_gtod_data.clock.mult           = mult;
98         vsyscall_gtod_data.clock.shift          = clock->shift;
99         vsyscall_gtod_data.wall_time_sec        = wall_time->tv_sec;
100         vsyscall_gtod_data.wall_time_nsec       = wall_time->tv_nsec;
101         vsyscall_gtod_data.wall_to_monotonic    = *wtm;
102         vsyscall_gtod_data.wall_time_coarse     = __current_kernel_time();
103
104         write_sequnlock_irqrestore(&vsyscall_gtod_data.lock, flags);
105 }
106
107 static void warn_bad_vsyscall(const char *level, struct pt_regs *regs,
108                               const char *message)
109 {
110         static DEFINE_RATELIMIT_STATE(rs, DEFAULT_RATELIMIT_INTERVAL, DEFAULT_RATELIMIT_BURST);
111         struct task_struct *tsk;
112
113         if (!show_unhandled_signals || !__ratelimit(&rs))
114                 return;
115
116         tsk = current;
117
118         printk("%s%s[%d] %s ip:%lx cs:%lx sp:%lx ax:%lx si:%lx di:%lx\n",
119                level, tsk->comm, task_pid_nr(tsk),
120                message, regs->ip, regs->cs,
121                regs->sp, regs->ax, regs->si, regs->di);
122 }
123
124 static int addr_to_vsyscall_nr(unsigned long addr)
125 {
126         int nr;
127
128         if ((addr & ~0xC00UL) != VSYSCALL_START)
129                 return -EINVAL;
130
131         nr = (addr & 0xC00UL) >> 10;
132         if (nr >= 3)
133                 return -EINVAL;
134
135         return nr;
136 }
137
138 static bool write_ok_or_segv(unsigned long ptr, size_t size)
139 {
140         /*
141          * XXX: if access_ok, get_user, and put_user handled
142          * sig_on_uaccess_error, this could go away.
143          */
144
145         if (!access_ok(VERIFY_WRITE, (void __user *)ptr, size)) {
146                 siginfo_t info;
147                 struct thread_struct *thread = &current->thread;
148
149                 thread->error_code      = 6;  /* user fault, no page, write */
150                 thread->cr2             = ptr;
151                 thread->trap_no         = 14;
152
153                 memset(&info, 0, sizeof(info));
154                 info.si_signo           = SIGSEGV;
155                 info.si_errno           = 0;
156                 info.si_code            = SEGV_MAPERR;
157                 info.si_addr            = (void __user *)ptr;
158
159                 force_sig_info(SIGSEGV, &info, current);
160                 return false;
161         } else {
162                 return true;
163         }
164 }
165
166 bool emulate_vsyscall(struct pt_regs *regs, unsigned long address)
167 {
168         struct task_struct *tsk;
169         unsigned long caller;
170         int vsyscall_nr;
171         int prev_sig_on_uaccess_error;
172         long ret;
173
174         /*
175          * No point in checking CS -- the only way to get here is a user mode
176          * trap to a high address, which means that we're in 64-bit user code.
177          */
178
179         WARN_ON_ONCE(address != regs->ip);
180
181         if (vsyscall_mode == NONE) {
182                 warn_bad_vsyscall(KERN_INFO, regs,
183                                   "vsyscall attempted with vsyscall=none");
184                 return false;
185         }
186
187         vsyscall_nr = addr_to_vsyscall_nr(address);
188
189         trace_emulate_vsyscall(vsyscall_nr);
190
191         if (vsyscall_nr < 0) {
192                 warn_bad_vsyscall(KERN_WARNING, regs,
193                                   "misaligned vsyscall (exploit attempt or buggy program) -- look up the vsyscall kernel parameter if you need a workaround");
194                 goto sigsegv;
195         }
196
197         if (get_user(caller, (unsigned long __user *)regs->sp) != 0) {
198                 warn_bad_vsyscall(KERN_WARNING, regs,
199                                   "vsyscall with bad stack (exploit attempt?)");
200                 goto sigsegv;
201         }
202
203         tsk = current;
204         if (seccomp_mode(&tsk->seccomp))
205                 do_exit(SIGKILL);
206
207         /*
208          * With a real vsyscall, page faults cause SIGSEGV.  We want to
209          * preserve that behavior to make writing exploits harder.
210          */
211         prev_sig_on_uaccess_error = current_thread_info()->sig_on_uaccess_error;
212         current_thread_info()->sig_on_uaccess_error = 1;
213
214         /*
215          * 0 is a valid user pointer (in the access_ok sense) on 32-bit and
216          * 64-bit, so we don't need to special-case it here.  For all the
217          * vsyscalls, 0 means "don't write anything" not "write it at
218          * address 0".
219          */
220         ret = -EFAULT;
221         switch (vsyscall_nr) {
222         case 0:
223                 if (!write_ok_or_segv(regs->di, sizeof(struct timeval)) ||
224                     !write_ok_or_segv(regs->si, sizeof(struct timezone)))
225                         break;
226
227                 ret = sys_gettimeofday(
228                         (struct timeval __user *)regs->di,
229                         (struct timezone __user *)regs->si);
230                 break;
231
232         case 1:
233                 if (!write_ok_or_segv(regs->di, sizeof(time_t)))
234                         break;
235
236                 ret = sys_time((time_t __user *)regs->di);
237                 break;
238
239         case 2:
240                 if (!write_ok_or_segv(regs->di, sizeof(unsigned)) ||
241                     !write_ok_or_segv(regs->si, sizeof(unsigned)))
242                         break;
243
244                 ret = sys_getcpu((unsigned __user *)regs->di,
245                                  (unsigned __user *)regs->si,
246                                  0);
247                 break;
248         }
249
250         current_thread_info()->sig_on_uaccess_error = prev_sig_on_uaccess_error;
251
252         if (ret == -EFAULT) {
253                 /* Bad news -- userspace fed a bad pointer to a vsyscall. */
254                 warn_bad_vsyscall(KERN_INFO, regs,
255                                   "vsyscall fault (exploit attempt?)");
256
257                 /*
258                  * If we failed to generate a signal for any reason,
259                  * generate one here.  (This should be impossible.)
260                  */
261                 if (WARN_ON_ONCE(!sigismember(&tsk->pending.signal, SIGBUS) &&
262                                  !sigismember(&tsk->pending.signal, SIGSEGV)))
263                         goto sigsegv;
264
265                 return true;  /* Don't emulate the ret. */
266         }
267
268         regs->ax = ret;
269
270         /* Emulate a ret instruction. */
271         regs->ip = caller;
272         regs->sp += 8;
273
274         return true;
275
276 sigsegv:
277         force_sig(SIGSEGV, current);
278         return true;
279 }
280
281 /*
282  * Assume __initcall executes before all user space. Hopefully kmod
283  * doesn't violate that. We'll find out if it does.
284  */
285 static void __cpuinit vsyscall_set_cpu(int cpu)
286 {
287         unsigned long d;
288         unsigned long node = 0;
289 #ifdef CONFIG_NUMA
290         node = cpu_to_node(cpu);
291 #endif
292         if (cpu_has(&cpu_data(cpu), X86_FEATURE_RDTSCP))
293                 write_rdtscp_aux((node << 12) | cpu);
294
295         /*
296          * Store cpu number in limit so that it can be loaded quickly
297          * in user space in vgetcpu. (12 bits for the CPU and 8 bits for the node)
298          */
299         d = 0x0f40000000000ULL;
300         d |= cpu;
301         d |= (node & 0xf) << 12;
302         d |= (node >> 4) << 48;
303
304         write_gdt_entry(get_cpu_gdt_table(cpu), GDT_ENTRY_PER_CPU, &d, DESCTYPE_S);
305 }
306
307 static void __cpuinit cpu_vsyscall_init(void *arg)
308 {
309         /* preemption should be already off */
310         vsyscall_set_cpu(raw_smp_processor_id());
311 }
312
313 static int __cpuinit
314 cpu_vsyscall_notifier(struct notifier_block *n, unsigned long action, void *arg)
315 {
316         long cpu = (long)arg;
317
318         if (action == CPU_ONLINE || action == CPU_ONLINE_FROZEN)
319                 smp_call_function_single(cpu, cpu_vsyscall_init, NULL, 1);
320
321         return NOTIFY_DONE;
322 }
323
324 void __init map_vsyscall(void)
325 {
326         extern char __vsyscall_page;
327         unsigned long physaddr_vsyscall = __pa_symbol(&__vsyscall_page);
328         extern char __vvar_page;
329         unsigned long physaddr_vvar_page = __pa_symbol(&__vvar_page);
330
331         __set_fixmap(VSYSCALL_FIRST_PAGE, physaddr_vsyscall,
332                      vsyscall_mode == NATIVE
333                      ? PAGE_KERNEL_VSYSCALL
334                      : PAGE_KERNEL_VVAR);
335         BUILD_BUG_ON((unsigned long)__fix_to_virt(VSYSCALL_FIRST_PAGE) !=
336                      (unsigned long)VSYSCALL_START);
337
338         __set_fixmap(VVAR_PAGE, physaddr_vvar_page, PAGE_KERNEL_VVAR);
339         BUILD_BUG_ON((unsigned long)__fix_to_virt(VVAR_PAGE) !=
340                      (unsigned long)VVAR_ADDRESS);
341 }
342
343 static int __init vsyscall_init(void)
344 {
345         BUG_ON(VSYSCALL_ADDR(0) != __fix_to_virt(VSYSCALL_FIRST_PAGE));
346
347         on_each_cpu(cpu_vsyscall_init, NULL, 1);
348         /* notifier priority > KVM */
349         hotcpu_notifier(cpu_vsyscall_notifier, 30);
350
351         return 0;
352 }
353 __initcall(vsyscall_init);