bddbd22706ed1ad76a791635b621784a80cde5a9
[linux-2.6.git] / arch / ia64 / ia32 / sys_ia32.c
1 /*
2  * sys_ia32.c: Conversion between 32bit and 64bit native syscalls. Derived from sys_sparc32.c.
3  *
4  * Copyright (C) 2000           VA Linux Co
5  * Copyright (C) 2000           Don Dugger <n0ano@valinux.com>
6  * Copyright (C) 1999           Arun Sharma <arun.sharma@intel.com>
7  * Copyright (C) 1997,1998      Jakub Jelinek (jj@sunsite.mff.cuni.cz)
8  * Copyright (C) 1997           David S. Miller (davem@caip.rutgers.edu)
9  * Copyright (C) 2000-2003, 2005 Hewlett-Packard Co
10  *      David Mosberger-Tang <davidm@hpl.hp.com>
11  * Copyright (C) 2004           Gordon Jin <gordon.jin@intel.com>
12  *
13  * These routines maintain argument size conversion between 32bit and 64bit
14  * environment.
15  */
16
17 #include <linux/kernel.h>
18 #include <linux/syscalls.h>
19 #include <linux/sysctl.h>
20 #include <linux/sched.h>
21 #include <linux/fs.h>
22 #include <linux/file.h>
23 #include <linux/signal.h>
24 #include <linux/resource.h>
25 #include <linux/times.h>
26 #include <linux/utsname.h>
27 #include <linux/smp.h>
28 #include <linux/smp_lock.h>
29 #include <linux/sem.h>
30 #include <linux/msg.h>
31 #include <linux/mm.h>
32 #include <linux/shm.h>
33 #include <linux/slab.h>
34 #include <linux/uio.h>
35 #include <linux/nfs_fs.h>
36 #include <linux/quota.h>
37 #include <linux/syscalls.h>
38 #include <linux/sunrpc/svc.h>
39 #include <linux/nfsd/nfsd.h>
40 #include <linux/nfsd/cache.h>
41 #include <linux/nfsd/xdr.h>
42 #include <linux/nfsd/syscall.h>
43 #include <linux/poll.h>
44 #include <linux/eventpoll.h>
45 #include <linux/personality.h>
46 #include <linux/ptrace.h>
47 #include <linux/stat.h>
48 #include <linux/ipc.h>
49 #include <linux/capability.h>
50 #include <linux/compat.h>
51 #include <linux/vfs.h>
52 #include <linux/mman.h>
53 #include <linux/mutex.h>
54
55 #include <asm/intrinsics.h>
56 #include <asm/types.h>
57 #include <asm/uaccess.h>
58 #include <asm/unistd.h>
59
60 #include "ia32priv.h"
61
62 #include <net/scm.h>
63 #include <net/sock.h>
64
65 #define DEBUG   0
66
67 #if DEBUG
68 # define DBG(fmt...)    printk(KERN_DEBUG fmt)
69 #else
70 # define DBG(fmt...)
71 #endif
72
73 #define ROUND_UP(x,a)   ((__typeof__(x))(((unsigned long)(x) + ((a) - 1)) & ~((a) - 1)))
74
75 #define OFFSET4K(a)             ((a) & 0xfff)
76 #define PAGE_START(addr)        ((addr) & PAGE_MASK)
77 #define MINSIGSTKSZ_IA32        2048
78
79 #define high2lowuid(uid) ((uid) > 65535 ? 65534 : (uid))
80 #define high2lowgid(gid) ((gid) > 65535 ? 65534 : (gid))
81
82 /*
83  * Anything that modifies or inspects ia32 user virtual memory must hold this semaphore
84  * while doing so.
85  */
86 /* XXX make per-mm: */
87 static DEFINE_MUTEX(ia32_mmap_mutex);
88
89 asmlinkage long
90 sys32_execve (char __user *name, compat_uptr_t __user *argv, compat_uptr_t __user *envp,
91               struct pt_regs *regs)
92 {
93         long error;
94         char *filename;
95         unsigned long old_map_base, old_task_size, tssd;
96
97         filename = getname(name);
98         error = PTR_ERR(filename);
99         if (IS_ERR(filename))
100                 return error;
101
102         old_map_base  = current->thread.map_base;
103         old_task_size = current->thread.task_size;
104         tssd = ia64_get_kr(IA64_KR_TSSD);
105
106         /* we may be exec'ing a 64-bit process: reset map base, task-size, and io-base: */
107         current->thread.map_base  = DEFAULT_MAP_BASE;
108         current->thread.task_size = DEFAULT_TASK_SIZE;
109         ia64_set_kr(IA64_KR_IO_BASE, current->thread.old_iob);
110         ia64_set_kr(IA64_KR_TSSD, current->thread.old_k1);
111
112         error = compat_do_execve(filename, argv, envp, regs);
113         putname(filename);
114
115         if (error < 0) {
116                 /* oops, execve failed, switch back to old values... */
117                 ia64_set_kr(IA64_KR_IO_BASE, IA32_IOBASE);
118                 ia64_set_kr(IA64_KR_TSSD, tssd);
119                 current->thread.map_base  = old_map_base;
120                 current->thread.task_size = old_task_size;
121         }
122
123         return error;
124 }
125
126 int cp_compat_stat(struct kstat *stat, struct compat_stat __user *ubuf)
127 {
128         int err;
129
130         if ((u64) stat->size > MAX_NON_LFS ||
131             !old_valid_dev(stat->dev) ||
132             !old_valid_dev(stat->rdev))
133                 return -EOVERFLOW;
134
135         if (clear_user(ubuf, sizeof(*ubuf)))
136                 return -EFAULT;
137
138         err  = __put_user(old_encode_dev(stat->dev), &ubuf->st_dev);
139         err |= __put_user(stat->ino, &ubuf->st_ino);
140         err |= __put_user(stat->mode, &ubuf->st_mode);
141         err |= __put_user(stat->nlink, &ubuf->st_nlink);
142         err |= __put_user(high2lowuid(stat->uid), &ubuf->st_uid);
143         err |= __put_user(high2lowgid(stat->gid), &ubuf->st_gid);
144         err |= __put_user(old_encode_dev(stat->rdev), &ubuf->st_rdev);
145         err |= __put_user(stat->size, &ubuf->st_size);
146         err |= __put_user(stat->atime.tv_sec, &ubuf->st_atime);
147         err |= __put_user(stat->atime.tv_nsec, &ubuf->st_atime_nsec);
148         err |= __put_user(stat->mtime.tv_sec, &ubuf->st_mtime);
149         err |= __put_user(stat->mtime.tv_nsec, &ubuf->st_mtime_nsec);
150         err |= __put_user(stat->ctime.tv_sec, &ubuf->st_ctime);
151         err |= __put_user(stat->ctime.tv_nsec, &ubuf->st_ctime_nsec);
152         err |= __put_user(stat->blksize, &ubuf->st_blksize);
153         err |= __put_user(stat->blocks, &ubuf->st_blocks);
154         return err;
155 }
156
157 #if PAGE_SHIFT > IA32_PAGE_SHIFT
158
159
160 static int
161 get_page_prot (struct vm_area_struct *vma, unsigned long addr)
162 {
163         int prot = 0;
164
165         if (!vma || vma->vm_start > addr)
166                 return 0;
167
168         if (vma->vm_flags & VM_READ)
169                 prot |= PROT_READ;
170         if (vma->vm_flags & VM_WRITE)
171                 prot |= PROT_WRITE;
172         if (vma->vm_flags & VM_EXEC)
173                 prot |= PROT_EXEC;
174         return prot;
175 }
176
177 /*
178  * Map a subpage by creating an anonymous page that contains the union of the old page and
179  * the subpage.
180  */
181 static unsigned long
182 mmap_subpage (struct file *file, unsigned long start, unsigned long end, int prot, int flags,
183               loff_t off)
184 {
185         void *page = NULL;
186         struct inode *inode;
187         unsigned long ret = 0;
188         struct vm_area_struct *vma = find_vma(current->mm, start);
189         int old_prot = get_page_prot(vma, start);
190
191         DBG("mmap_subpage(file=%p,start=0x%lx,end=0x%lx,prot=%x,flags=%x,off=0x%llx)\n",
192             file, start, end, prot, flags, off);
193
194
195         /* Optimize the case where the old mmap and the new mmap are both anonymous */
196         if ((old_prot & PROT_WRITE) && (flags & MAP_ANONYMOUS) && !vma->vm_file) {
197                 if (clear_user((void __user *) start, end - start)) {
198                         ret = -EFAULT;
199                         goto out;
200                 }
201                 goto skip_mmap;
202         }
203
204         page = (void *) get_zeroed_page(GFP_KERNEL);
205         if (!page)
206                 return -ENOMEM;
207
208         if (old_prot)
209                 copy_from_user(page, (void __user *) PAGE_START(start), PAGE_SIZE);
210
211         down_write(&current->mm->mmap_sem);
212         {
213                 ret = do_mmap(NULL, PAGE_START(start), PAGE_SIZE, prot | PROT_WRITE,
214                               flags | MAP_FIXED | MAP_ANONYMOUS, 0);
215         }
216         up_write(&current->mm->mmap_sem);
217
218         if (IS_ERR((void *) ret))
219                 goto out;
220
221         if (old_prot) {
222                 /* copy back the old page contents.  */
223                 if (offset_in_page(start))
224                         copy_to_user((void __user *) PAGE_START(start), page,
225                                      offset_in_page(start));
226                 if (offset_in_page(end))
227                         copy_to_user((void __user *) end, page + offset_in_page(end),
228                                      PAGE_SIZE - offset_in_page(end));
229         }
230
231         if (!(flags & MAP_ANONYMOUS)) {
232                 /* read the file contents */
233                 inode = file->f_dentry->d_inode;
234                 if (!inode->i_fop || !file->f_op->read
235                     || ((*file->f_op->read)(file, (char __user *) start, end - start, &off) < 0))
236                 {
237                         ret = -EINVAL;
238                         goto out;
239                 }
240         }
241
242  skip_mmap:
243         if (!(prot & PROT_WRITE))
244                 ret = sys_mprotect(PAGE_START(start), PAGE_SIZE, prot | old_prot);
245   out:
246         if (page)
247                 free_page((unsigned long) page);
248         return ret;
249 }
250
251 /* SLAB cache for partial_page structures */
252 kmem_cache_t *partial_page_cachep;
253
254 /*
255  * init partial_page_list.
256  * return 0 means kmalloc fail.
257  */
258 struct partial_page_list*
259 ia32_init_pp_list(void)
260 {
261         struct partial_page_list *p;
262
263         if ((p = kmalloc(sizeof(*p), GFP_KERNEL)) == NULL)
264                 return p;
265         p->pp_head = NULL;
266         p->ppl_rb = RB_ROOT;
267         p->pp_hint = NULL;
268         atomic_set(&p->pp_count, 1);
269         return p;
270 }
271
272 /*
273  * Search for the partial page with @start in partial page list @ppl.
274  * If finds the partial page, return the found partial page.
275  * Else, return 0 and provide @pprev, @rb_link, @rb_parent to
276  * be used by later __ia32_insert_pp().
277  */
278 static struct partial_page *
279 __ia32_find_pp(struct partial_page_list *ppl, unsigned int start,
280         struct partial_page **pprev, struct rb_node ***rb_link,
281         struct rb_node **rb_parent)
282 {
283         struct partial_page *pp;
284         struct rb_node **__rb_link, *__rb_parent, *rb_prev;
285
286         pp = ppl->pp_hint;
287         if (pp && pp->base == start)
288                 return pp;
289
290         __rb_link = &ppl->ppl_rb.rb_node;
291         rb_prev = __rb_parent = NULL;
292
293         while (*__rb_link) {
294                 __rb_parent = *__rb_link;
295                 pp = rb_entry(__rb_parent, struct partial_page, pp_rb);
296
297                 if (pp->base == start) {
298                         ppl->pp_hint = pp;
299                         return pp;
300                 } else if (pp->base < start) {
301                         rb_prev = __rb_parent;
302                         __rb_link = &__rb_parent->rb_right;
303                 } else {
304                         __rb_link = &__rb_parent->rb_left;
305                 }
306         }
307
308         *rb_link = __rb_link;
309         *rb_parent = __rb_parent;
310         *pprev = NULL;
311         if (rb_prev)
312                 *pprev = rb_entry(rb_prev, struct partial_page, pp_rb);
313         return NULL;
314 }
315
316 /*
317  * insert @pp into @ppl.
318  */
319 static void
320 __ia32_insert_pp(struct partial_page_list *ppl, struct partial_page *pp,
321          struct partial_page *prev, struct rb_node **rb_link,
322         struct rb_node *rb_parent)
323 {
324         /* link list */
325         if (prev) {
326                 pp->next = prev->next;
327                 prev->next = pp;
328         } else {
329                 ppl->pp_head = pp;
330                 if (rb_parent)
331                         pp->next = rb_entry(rb_parent,
332                                 struct partial_page, pp_rb);
333                 else
334                         pp->next = NULL;
335         }
336
337         /* link rb */
338         rb_link_node(&pp->pp_rb, rb_parent, rb_link);
339         rb_insert_color(&pp->pp_rb, &ppl->ppl_rb);
340
341         ppl->pp_hint = pp;
342 }
343
344 /*
345  * delete @pp from partial page list @ppl.
346  */
347 static void
348 __ia32_delete_pp(struct partial_page_list *ppl, struct partial_page *pp,
349         struct partial_page *prev)
350 {
351         if (prev) {
352                 prev->next = pp->next;
353                 if (ppl->pp_hint == pp)
354                         ppl->pp_hint = prev;
355         } else {
356                 ppl->pp_head = pp->next;
357                 if (ppl->pp_hint == pp)
358                         ppl->pp_hint = pp->next;
359         }
360         rb_erase(&pp->pp_rb, &ppl->ppl_rb);
361         kmem_cache_free(partial_page_cachep, pp);
362 }
363
364 static struct partial_page *
365 __pp_prev(struct partial_page *pp)
366 {
367         struct rb_node *prev = rb_prev(&pp->pp_rb);
368         if (prev)
369                 return rb_entry(prev, struct partial_page, pp_rb);
370         else
371                 return NULL;
372 }
373
374 /*
375  * Delete partial pages with address between @start and @end.
376  * @start and @end are page aligned.
377  */
378 static void
379 __ia32_delete_pp_range(unsigned int start, unsigned int end)
380 {
381         struct partial_page *pp, *prev;
382         struct rb_node **rb_link, *rb_parent;
383
384         if (start >= end)
385                 return;
386
387         pp = __ia32_find_pp(current->thread.ppl, start, &prev,
388                                         &rb_link, &rb_parent);
389         if (pp)
390                 prev = __pp_prev(pp);
391         else {
392                 if (prev)
393                         pp = prev->next;
394                 else
395                         pp = current->thread.ppl->pp_head;
396         }
397
398         while (pp && pp->base < end) {
399                 struct partial_page *tmp = pp->next;
400                 __ia32_delete_pp(current->thread.ppl, pp, prev);
401                 pp = tmp;
402         }
403 }
404
405 /*
406  * Set the range between @start and @end in bitmap.
407  * @start and @end should be IA32 page aligned and in the same IA64 page.
408  */
409 static int
410 __ia32_set_pp(unsigned int start, unsigned int end, int flags)
411 {
412         struct partial_page *pp, *prev;
413         struct rb_node ** rb_link, *rb_parent;
414         unsigned int pstart, start_bit, end_bit, i;
415
416         pstart = PAGE_START(start);
417         start_bit = (start % PAGE_SIZE) / IA32_PAGE_SIZE;
418         end_bit = (end % PAGE_SIZE) / IA32_PAGE_SIZE;
419         if (end_bit == 0)
420                 end_bit = PAGE_SIZE / IA32_PAGE_SIZE;
421         pp = __ia32_find_pp(current->thread.ppl, pstart, &prev,
422                                         &rb_link, &rb_parent);
423         if (pp) {
424                 for (i = start_bit; i < end_bit; i++)
425                         set_bit(i, &pp->bitmap);
426                 /*
427                  * Check: if this partial page has been set to a full page,
428                  * then delete it.
429                  */
430                 if (find_first_zero_bit(&pp->bitmap, sizeof(pp->bitmap)*8) >=
431                                 PAGE_SIZE/IA32_PAGE_SIZE) {
432                         __ia32_delete_pp(current->thread.ppl, pp, __pp_prev(pp));
433                 }
434                 return 0;
435         }
436
437         /*
438          * MAP_FIXED may lead to overlapping mmap.
439          * In this case, the requested mmap area may already mmaped as a full
440          * page. So check vma before adding a new partial page.
441          */
442         if (flags & MAP_FIXED) {
443                 struct vm_area_struct *vma = find_vma(current->mm, pstart);
444                 if (vma && vma->vm_start <= pstart)
445                         return 0;
446         }
447
448         /* new a partial_page */
449         pp = kmem_cache_alloc(partial_page_cachep, GFP_KERNEL);
450         if (!pp)
451                 return -ENOMEM;
452         pp->base = pstart;
453         pp->bitmap = 0;
454         for (i=start_bit; i<end_bit; i++)
455                 set_bit(i, &(pp->bitmap));
456         pp->next = NULL;
457         __ia32_insert_pp(current->thread.ppl, pp, prev, rb_link, rb_parent);
458         return 0;
459 }
460
461 /*
462  * @start and @end should be IA32 page aligned, but don't need to be in the
463  * same IA64 page. Split @start and @end to make sure they're in the same IA64
464  * page, then call __ia32_set_pp().
465  */
466 static void
467 ia32_set_pp(unsigned int start, unsigned int end, int flags)
468 {
469         down_write(&current->mm->mmap_sem);
470         if (flags & MAP_FIXED) {
471                 /*
472                  * MAP_FIXED may lead to overlapping mmap. When this happens,
473                  * a series of complete IA64 pages results in deletion of
474                  * old partial pages in that range.
475                  */
476                 __ia32_delete_pp_range(PAGE_ALIGN(start), PAGE_START(end));
477         }
478
479         if (end < PAGE_ALIGN(start)) {
480                 __ia32_set_pp(start, end, flags);
481         } else {
482                 if (offset_in_page(start))
483                         __ia32_set_pp(start, PAGE_ALIGN(start), flags);
484                 if (offset_in_page(end))
485                         __ia32_set_pp(PAGE_START(end), end, flags);
486         }
487         up_write(&current->mm->mmap_sem);
488 }
489
490 /*
491  * Unset the range between @start and @end in bitmap.
492  * @start and @end should be IA32 page aligned and in the same IA64 page.
493  * After doing that, if the bitmap is 0, then free the page and return 1,
494  *      else return 0;
495  * If not find the partial page in the list, then
496  *      If the vma exists, then the full page is set to a partial page;
497  *      Else return -ENOMEM.
498  */
499 static int
500 __ia32_unset_pp(unsigned int start, unsigned int end)
501 {
502         struct partial_page *pp, *prev;
503         struct rb_node ** rb_link, *rb_parent;
504         unsigned int pstart, start_bit, end_bit, i;
505         struct vm_area_struct *vma;
506
507         pstart = PAGE_START(start);
508         start_bit = (start % PAGE_SIZE) / IA32_PAGE_SIZE;
509         end_bit = (end % PAGE_SIZE) / IA32_PAGE_SIZE;
510         if (end_bit == 0)
511                 end_bit = PAGE_SIZE / IA32_PAGE_SIZE;
512
513         pp = __ia32_find_pp(current->thread.ppl, pstart, &prev,
514                                         &rb_link, &rb_parent);
515         if (pp) {
516                 for (i = start_bit; i < end_bit; i++)
517                         clear_bit(i, &pp->bitmap);
518                 if (pp->bitmap == 0) {
519                         __ia32_delete_pp(current->thread.ppl, pp, __pp_prev(pp));
520                         return 1;
521                 }
522                 return 0;
523         }
524
525         vma = find_vma(current->mm, pstart);
526         if (!vma || vma->vm_start > pstart) {
527                 return -ENOMEM;
528         }
529
530         /* new a partial_page */
531         pp = kmem_cache_alloc(partial_page_cachep, GFP_KERNEL);
532         if (!pp)
533                 return -ENOMEM;
534         pp->base = pstart;
535         pp->bitmap = 0;
536         for (i = 0; i < start_bit; i++)
537                 set_bit(i, &(pp->bitmap));
538         for (i = end_bit; i < PAGE_SIZE / IA32_PAGE_SIZE; i++)
539                 set_bit(i, &(pp->bitmap));
540         pp->next = NULL;
541         __ia32_insert_pp(current->thread.ppl, pp, prev, rb_link, rb_parent);
542         return 0;
543 }
544
545 /*
546  * Delete pp between PAGE_ALIGN(start) and PAGE_START(end) by calling
547  * __ia32_delete_pp_range(). Unset possible partial pages by calling
548  * __ia32_unset_pp().
549  * The returned value see __ia32_unset_pp().
550  */
551 static int
552 ia32_unset_pp(unsigned int *startp, unsigned int *endp)
553 {
554         unsigned int start = *startp, end = *endp;
555         int ret = 0;
556
557         down_write(&current->mm->mmap_sem);
558
559         __ia32_delete_pp_range(PAGE_ALIGN(start), PAGE_START(end));
560
561         if (end < PAGE_ALIGN(start)) {
562                 ret = __ia32_unset_pp(start, end);
563                 if (ret == 1) {
564                         *startp = PAGE_START(start);
565                         *endp = PAGE_ALIGN(end);
566                 }
567                 if (ret == 0) {
568                         /* to shortcut sys_munmap() in sys32_munmap() */
569                         *startp = PAGE_START(start);
570                         *endp = PAGE_START(end);
571                 }
572         } else {
573                 if (offset_in_page(start)) {
574                         ret = __ia32_unset_pp(start, PAGE_ALIGN(start));
575                         if (ret == 1)
576                                 *startp = PAGE_START(start);
577                         if (ret == 0)
578                                 *startp = PAGE_ALIGN(start);
579                         if (ret < 0)
580                                 goto out;
581                 }
582                 if (offset_in_page(end)) {
583                         ret = __ia32_unset_pp(PAGE_START(end), end);
584                         if (ret == 1)
585                                 *endp = PAGE_ALIGN(end);
586                         if (ret == 0)
587                                 *endp = PAGE_START(end);
588                 }
589         }
590
591  out:
592         up_write(&current->mm->mmap_sem);
593         return ret;
594 }
595
596 /*
597  * Compare the range between @start and @end with bitmap in partial page.
598  * @start and @end should be IA32 page aligned and in the same IA64 page.
599  */
600 static int
601 __ia32_compare_pp(unsigned int start, unsigned int end)
602 {
603         struct partial_page *pp, *prev;
604         struct rb_node ** rb_link, *rb_parent;
605         unsigned int pstart, start_bit, end_bit, size;
606         unsigned int first_bit, next_zero_bit;  /* the first range in bitmap */
607
608         pstart = PAGE_START(start);
609
610         pp = __ia32_find_pp(current->thread.ppl, pstart, &prev,
611                                         &rb_link, &rb_parent);
612         if (!pp)
613                 return 1;
614
615         start_bit = (start % PAGE_SIZE) / IA32_PAGE_SIZE;
616         end_bit = (end % PAGE_SIZE) / IA32_PAGE_SIZE;
617         size = sizeof(pp->bitmap) * 8;
618         first_bit = find_first_bit(&pp->bitmap, size);
619         next_zero_bit = find_next_zero_bit(&pp->bitmap, size, first_bit);
620         if ((start_bit < first_bit) || (end_bit > next_zero_bit)) {
621                 /* exceeds the first range in bitmap */
622                 return -ENOMEM;
623         } else if ((start_bit == first_bit) && (end_bit == next_zero_bit)) {
624                 first_bit = find_next_bit(&pp->bitmap, size, next_zero_bit);
625                 if ((next_zero_bit < first_bit) && (first_bit < size))
626                         return 1;       /* has next range */
627                 else
628                         return 0;       /* no next range */
629         } else
630                 return 1;
631 }
632
633 /*
634  * @start and @end should be IA32 page aligned, but don't need to be in the
635  * same IA64 page. Split @start and @end to make sure they're in the same IA64
636  * page, then call __ia32_compare_pp().
637  *
638  * Take this as example: the range is the 1st and 2nd 4K page.
639  * Return 0 if they fit bitmap exactly, i.e. bitmap = 00000011;
640  * Return 1 if the range doesn't cover whole bitmap, e.g. bitmap = 00001111;
641  * Return -ENOMEM if the range exceeds the bitmap, e.g. bitmap = 00000001 or
642  *      bitmap = 00000101.
643  */
644 static int
645 ia32_compare_pp(unsigned int *startp, unsigned int *endp)
646 {
647         unsigned int start = *startp, end = *endp;
648         int retval = 0;
649
650         down_write(&current->mm->mmap_sem);
651
652         if (end < PAGE_ALIGN(start)) {
653                 retval = __ia32_compare_pp(start, end);
654                 if (retval == 0) {
655                         *startp = PAGE_START(start);
656                         *endp = PAGE_ALIGN(end);
657                 }
658         } else {
659                 if (offset_in_page(start)) {
660                         retval = __ia32_compare_pp(start,
661                                                    PAGE_ALIGN(start));
662                         if (retval == 0)
663                                 *startp = PAGE_START(start);
664                         if (retval < 0)
665                                 goto out;
666                 }
667                 if (offset_in_page(end)) {
668                         retval = __ia32_compare_pp(PAGE_START(end), end);
669                         if (retval == 0)
670                                 *endp = PAGE_ALIGN(end);
671                 }
672         }
673
674  out:
675         up_write(&current->mm->mmap_sem);
676         return retval;
677 }
678
679 static void
680 __ia32_drop_pp_list(struct partial_page_list *ppl)
681 {
682         struct partial_page *pp = ppl->pp_head;
683
684         while (pp) {
685                 struct partial_page *next = pp->next;
686                 kmem_cache_free(partial_page_cachep, pp);
687                 pp = next;
688         }
689
690         kfree(ppl);
691 }
692
693 void
694 ia32_drop_partial_page_list(struct task_struct *task)
695 {
696         struct partial_page_list* ppl = task->thread.ppl;
697
698         if (ppl && atomic_dec_and_test(&ppl->pp_count))
699                 __ia32_drop_pp_list(ppl);
700 }
701
702 /*
703  * Copy current->thread.ppl to ppl (already initialized).
704  */
705 static int
706 __ia32_copy_pp_list(struct partial_page_list *ppl)
707 {
708         struct partial_page *pp, *tmp, *prev;
709         struct rb_node **rb_link, *rb_parent;
710
711         ppl->pp_head = NULL;
712         ppl->pp_hint = NULL;
713         ppl->ppl_rb = RB_ROOT;
714         rb_link = &ppl->ppl_rb.rb_node;
715         rb_parent = NULL;
716         prev = NULL;
717
718         for (pp = current->thread.ppl->pp_head; pp; pp = pp->next) {
719                 tmp = kmem_cache_alloc(partial_page_cachep, GFP_KERNEL);
720                 if (!tmp)
721                         return -ENOMEM;
722                 *tmp = *pp;
723                 __ia32_insert_pp(ppl, tmp, prev, rb_link, rb_parent);
724                 prev = tmp;
725                 rb_link = &tmp->pp_rb.rb_right;
726                 rb_parent = &tmp->pp_rb;
727         }
728         return 0;
729 }
730
731 int
732 ia32_copy_partial_page_list(struct task_struct *p, unsigned long clone_flags)
733 {
734         int retval = 0;
735
736         if (clone_flags & CLONE_VM) {
737                 atomic_inc(&current->thread.ppl->pp_count);
738                 p->thread.ppl = current->thread.ppl;
739         } else {
740                 p->thread.ppl = ia32_init_pp_list();
741                 if (!p->thread.ppl)
742                         return -ENOMEM;
743                 down_write(&current->mm->mmap_sem);
744                 {
745                         retval = __ia32_copy_pp_list(p->thread.ppl);
746                 }
747                 up_write(&current->mm->mmap_sem);
748         }
749
750         return retval;
751 }
752
753 static unsigned long
754 emulate_mmap (struct file *file, unsigned long start, unsigned long len, int prot, int flags,
755               loff_t off)
756 {
757         unsigned long tmp, end, pend, pstart, ret, is_congruent, fudge = 0;
758         struct inode *inode;
759         loff_t poff;
760
761         end = start + len;
762         pstart = PAGE_START(start);
763         pend = PAGE_ALIGN(end);
764
765         if (flags & MAP_FIXED) {
766                 ia32_set_pp((unsigned int)start, (unsigned int)end, flags);
767                 if (start > pstart) {
768                         if (flags & MAP_SHARED)
769                                 printk(KERN_INFO
770                                        "%s(%d): emulate_mmap() can't share head (addr=0x%lx)\n",
771                                        current->comm, current->pid, start);
772                         ret = mmap_subpage(file, start, min(PAGE_ALIGN(start), end), prot, flags,
773                                            off);
774                         if (IS_ERR((void *) ret))
775                                 return ret;
776                         pstart += PAGE_SIZE;
777                         if (pstart >= pend)
778                                 goto out;       /* done */
779                 }
780                 if (end < pend) {
781                         if (flags & MAP_SHARED)
782                                 printk(KERN_INFO
783                                        "%s(%d): emulate_mmap() can't share tail (end=0x%lx)\n",
784                                        current->comm, current->pid, end);
785                         ret = mmap_subpage(file, max(start, PAGE_START(end)), end, prot, flags,
786                                            (off + len) - offset_in_page(end));
787                         if (IS_ERR((void *) ret))
788                                 return ret;
789                         pend -= PAGE_SIZE;
790                         if (pstart >= pend)
791                                 goto out;       /* done */
792                 }
793         } else {
794                 /*
795                  * If a start address was specified, use it if the entire rounded out area
796                  * is available.
797                  */
798                 if (start && !pstart)
799                         fudge = 1;      /* handle case of mapping to range (0,PAGE_SIZE) */
800                 tmp = arch_get_unmapped_area(file, pstart - fudge, pend - pstart, 0, flags);
801                 if (tmp != pstart) {
802                         pstart = tmp;
803                         start = pstart + offset_in_page(off);   /* make start congruent with off */
804                         end = start + len;
805                         pend = PAGE_ALIGN(end);
806                 }
807         }
808
809         poff = off + (pstart - start);  /* note: (pstart - start) may be negative */
810         is_congruent = (flags & MAP_ANONYMOUS) || (offset_in_page(poff) == 0);
811
812         if ((flags & MAP_SHARED) && !is_congruent)
813                 printk(KERN_INFO "%s(%d): emulate_mmap() can't share contents of incongruent mmap "
814                        "(addr=0x%lx,off=0x%llx)\n", current->comm, current->pid, start, off);
815
816         DBG("mmap_body: mapping [0x%lx-0x%lx) %s with poff 0x%llx\n", pstart, pend,
817             is_congruent ? "congruent" : "not congruent", poff);
818
819         down_write(&current->mm->mmap_sem);
820         {
821                 if (!(flags & MAP_ANONYMOUS) && is_congruent)
822                         ret = do_mmap(file, pstart, pend - pstart, prot, flags | MAP_FIXED, poff);
823                 else
824                         ret = do_mmap(NULL, pstart, pend - pstart,
825                                       prot | ((flags & MAP_ANONYMOUS) ? 0 : PROT_WRITE),
826                                       flags | MAP_FIXED | MAP_ANONYMOUS, 0);
827         }
828         up_write(&current->mm->mmap_sem);
829
830         if (IS_ERR((void *) ret))
831                 return ret;
832
833         if (!is_congruent) {
834                 /* read the file contents */
835                 inode = file->f_dentry->d_inode;
836                 if (!inode->i_fop || !file->f_op->read
837                     || ((*file->f_op->read)(file, (char __user *) pstart, pend - pstart, &poff)
838                         < 0))
839                 {
840                         sys_munmap(pstart, pend - pstart);
841                         return -EINVAL;
842                 }
843                 if (!(prot & PROT_WRITE) && sys_mprotect(pstart, pend - pstart, prot) < 0)
844                         return -EINVAL;
845         }
846
847         if (!(flags & MAP_FIXED))
848                 ia32_set_pp((unsigned int)start, (unsigned int)end, flags);
849 out:
850         return start;
851 }
852
853 #endif /* PAGE_SHIFT > IA32_PAGE_SHIFT */
854
855 static inline unsigned int
856 get_prot32 (unsigned int prot)
857 {
858         if (prot & PROT_WRITE)
859                 /* on x86, PROT_WRITE implies PROT_READ which implies PROT_EEC */
860                 prot |= PROT_READ | PROT_WRITE | PROT_EXEC;
861         else if (prot & (PROT_READ | PROT_EXEC))
862                 /* on x86, there is no distinction between PROT_READ and PROT_EXEC */
863                 prot |= (PROT_READ | PROT_EXEC);
864
865         return prot;
866 }
867
868 unsigned long
869 ia32_do_mmap (struct file *file, unsigned long addr, unsigned long len, int prot, int flags,
870               loff_t offset)
871 {
872         DBG("ia32_do_mmap(file=%p,addr=0x%lx,len=0x%lx,prot=%x,flags=%x,offset=0x%llx)\n",
873             file, addr, len, prot, flags, offset);
874
875         if (file && (!file->f_op || !file->f_op->mmap))
876                 return -ENODEV;
877
878         len = IA32_PAGE_ALIGN(len);
879         if (len == 0)
880                 return addr;
881
882         if (len > IA32_PAGE_OFFSET || addr > IA32_PAGE_OFFSET - len)
883         {
884                 if (flags & MAP_FIXED)
885                         return -ENOMEM;
886                 else
887                 return -EINVAL;
888         }
889
890         if (OFFSET4K(offset))
891                 return -EINVAL;
892
893         prot = get_prot32(prot);
894
895 #if PAGE_SHIFT > IA32_PAGE_SHIFT
896         mutex_lock(&ia32_mmap_mutex);
897         {
898                 addr = emulate_mmap(file, addr, len, prot, flags, offset);
899         }
900         mutex_unlock(&ia32_mmap_mutex);
901 #else
902         down_write(&current->mm->mmap_sem);
903         {
904                 addr = do_mmap(file, addr, len, prot, flags, offset);
905         }
906         up_write(&current->mm->mmap_sem);
907 #endif
908         DBG("ia32_do_mmap: returning 0x%lx\n", addr);
909         return addr;
910 }
911
912 /*
913  * Linux/i386 didn't use to be able to handle more than 4 system call parameters, so these
914  * system calls used a memory block for parameter passing..
915  */
916
917 struct mmap_arg_struct {
918         unsigned int addr;
919         unsigned int len;
920         unsigned int prot;
921         unsigned int flags;
922         unsigned int fd;
923         unsigned int offset;
924 };
925
926 asmlinkage long
927 sys32_mmap (struct mmap_arg_struct __user *arg)
928 {
929         struct mmap_arg_struct a;
930         struct file *file = NULL;
931         unsigned long addr;
932         int flags;
933
934         if (copy_from_user(&a, arg, sizeof(a)))
935                 return -EFAULT;
936
937         if (OFFSET4K(a.offset))
938                 return -EINVAL;
939
940         flags = a.flags;
941
942         flags &= ~(MAP_EXECUTABLE | MAP_DENYWRITE);
943         if (!(flags & MAP_ANONYMOUS)) {
944                 file = fget(a.fd);
945                 if (!file)
946                         return -EBADF;
947         }
948
949         addr = ia32_do_mmap(file, a.addr, a.len, a.prot, flags, a.offset);
950
951         if (file)
952                 fput(file);
953         return addr;
954 }
955
956 asmlinkage long
957 sys32_mmap2 (unsigned int addr, unsigned int len, unsigned int prot, unsigned int flags,
958              unsigned int fd, unsigned int pgoff)
959 {
960         struct file *file = NULL;
961         unsigned long retval;
962
963         flags &= ~(MAP_EXECUTABLE | MAP_DENYWRITE);
964         if (!(flags & MAP_ANONYMOUS)) {
965                 file = fget(fd);
966                 if (!file)
967                         return -EBADF;
968         }
969
970         retval = ia32_do_mmap(file, addr, len, prot, flags,
971                               (unsigned long) pgoff << IA32_PAGE_SHIFT);
972
973         if (file)
974                 fput(file);
975         return retval;
976 }
977
978 asmlinkage long
979 sys32_munmap (unsigned int start, unsigned int len)
980 {
981         unsigned int end = start + len;
982         long ret;
983
984 #if PAGE_SHIFT <= IA32_PAGE_SHIFT
985         ret = sys_munmap(start, end - start);
986 #else
987         if (OFFSET4K(start))
988                 return -EINVAL;
989
990         end = IA32_PAGE_ALIGN(end);
991         if (start >= end)
992                 return -EINVAL;
993
994         ret = ia32_unset_pp(&start, &end);
995         if (ret < 0)
996                 return ret;
997
998         if (start >= end)
999                 return 0;
1000
1001         mutex_lock(&ia32_mmap_mutex);
1002         ret = sys_munmap(start, end - start);
1003         mutex_unlock(&ia32_mmap_mutex);
1004 #endif
1005         return ret;
1006 }
1007
1008 #if PAGE_SHIFT > IA32_PAGE_SHIFT
1009
1010 /*
1011  * When mprotect()ing a partial page, we set the permission to the union of the old
1012  * settings and the new settings.  In other words, it's only possible to make access to a
1013  * partial page less restrictive.
1014  */
1015 static long
1016 mprotect_subpage (unsigned long address, int new_prot)
1017 {
1018         int old_prot;
1019         struct vm_area_struct *vma;
1020
1021         if (new_prot == PROT_NONE)
1022                 return 0;               /* optimize case where nothing changes... */
1023         vma = find_vma(current->mm, address);
1024         old_prot = get_page_prot(vma, address);
1025         return sys_mprotect(address, PAGE_SIZE, new_prot | old_prot);
1026 }
1027
1028 #endif /* PAGE_SHIFT > IA32_PAGE_SHIFT */
1029
1030 asmlinkage long
1031 sys32_mprotect (unsigned int start, unsigned int len, int prot)
1032 {
1033         unsigned int end = start + len;
1034 #if PAGE_SHIFT > IA32_PAGE_SHIFT
1035         long retval = 0;
1036 #endif
1037
1038         prot = get_prot32(prot);
1039
1040 #if PAGE_SHIFT <= IA32_PAGE_SHIFT
1041         return sys_mprotect(start, end - start, prot);
1042 #else
1043         if (OFFSET4K(start))
1044                 return -EINVAL;
1045
1046         end = IA32_PAGE_ALIGN(end);
1047         if (end < start)
1048                 return -EINVAL;
1049
1050         retval = ia32_compare_pp(&start, &end);
1051
1052         if (retval < 0)
1053                 return retval;
1054
1055         mutex_lock(&ia32_mmap_mutex);
1056         {
1057                 if (offset_in_page(start)) {
1058                         /* start address is 4KB aligned but not page aligned. */
1059                         retval = mprotect_subpage(PAGE_START(start), prot);
1060                         if (retval < 0)
1061                                 goto out;
1062
1063                         start = PAGE_ALIGN(start);
1064                         if (start >= end)
1065                                 goto out;       /* retval is already zero... */
1066                 }
1067
1068                 if (offset_in_page(end)) {
1069                         /* end address is 4KB aligned but not page aligned. */
1070                         retval = mprotect_subpage(PAGE_START(end), prot);
1071                         if (retval < 0)
1072                                 goto out;
1073
1074                         end = PAGE_START(end);
1075                 }
1076                 retval = sys_mprotect(start, end - start, prot);
1077         }
1078   out:
1079         mutex_unlock(&ia32_mmap_mutex);
1080         return retval;
1081 #endif
1082 }
1083
1084 asmlinkage long
1085 sys32_mremap (unsigned int addr, unsigned int old_len, unsigned int new_len,
1086                 unsigned int flags, unsigned int new_addr)
1087 {
1088         long ret;
1089
1090 #if PAGE_SHIFT <= IA32_PAGE_SHIFT
1091         ret = sys_mremap(addr, old_len, new_len, flags, new_addr);
1092 #else
1093         unsigned int old_end, new_end;
1094
1095         if (OFFSET4K(addr))
1096                 return -EINVAL;
1097
1098         old_len = IA32_PAGE_ALIGN(old_len);
1099         new_len = IA32_PAGE_ALIGN(new_len);
1100         old_end = addr + old_len;
1101         new_end = addr + new_len;
1102
1103         if (!new_len)
1104                 return -EINVAL;
1105
1106         if ((flags & MREMAP_FIXED) && (OFFSET4K(new_addr)))
1107                 return -EINVAL;
1108
1109         if (old_len >= new_len) {
1110                 ret = sys32_munmap(addr + new_len, old_len - new_len);
1111                 if (ret && old_len != new_len)
1112                         return ret;
1113                 ret = addr;
1114                 if (!(flags & MREMAP_FIXED) || (new_addr == addr))
1115                         return ret;
1116                 old_len = new_len;
1117         }
1118
1119         addr = PAGE_START(addr);
1120         old_len = PAGE_ALIGN(old_end) - addr;
1121         new_len = PAGE_ALIGN(new_end) - addr;
1122
1123         mutex_lock(&ia32_mmap_mutex);
1124         ret = sys_mremap(addr, old_len, new_len, flags, new_addr);
1125         mutex_unlock(&ia32_mmap_mutex);
1126
1127         if ((ret >= 0) && (old_len < new_len)) {
1128                 /* mremap expanded successfully */
1129                 ia32_set_pp(old_end, new_end, flags);
1130         }
1131 #endif
1132         return ret;
1133 }
1134
1135 asmlinkage long
1136 sys32_pipe (int __user *fd)
1137 {
1138         int retval;
1139         int fds[2];
1140
1141         retval = do_pipe(fds);
1142         if (retval)
1143                 goto out;
1144         if (copy_to_user(fd, fds, sizeof(fds)))
1145                 retval = -EFAULT;
1146   out:
1147         return retval;
1148 }
1149
1150 static inline long
1151 get_tv32 (struct timeval *o, struct compat_timeval __user *i)
1152 {
1153         return (!access_ok(VERIFY_READ, i, sizeof(*i)) ||
1154                 (__get_user(o->tv_sec, &i->tv_sec) | __get_user(o->tv_usec, &i->tv_usec)));
1155 }
1156
1157 static inline long
1158 put_tv32 (struct compat_timeval __user *o, struct timeval *i)
1159 {
1160         return (!access_ok(VERIFY_WRITE, o, sizeof(*o)) ||
1161                 (__put_user(i->tv_sec, &o->tv_sec) | __put_user(i->tv_usec, &o->tv_usec)));
1162 }
1163
1164 asmlinkage unsigned long
1165 sys32_alarm (unsigned int seconds)
1166 {
1167         return alarm_setitimer(seconds);
1168 }
1169
1170 /* Translations due to time_t size differences.  Which affects all
1171    sorts of things, like timeval and itimerval.  */
1172
1173 extern struct timezone sys_tz;
1174
1175 asmlinkage long
1176 sys32_gettimeofday (struct compat_timeval __user *tv, struct timezone __user *tz)
1177 {
1178         if (tv) {
1179                 struct timeval ktv;
1180                 do_gettimeofday(&ktv);
1181                 if (put_tv32(tv, &ktv))
1182                         return -EFAULT;
1183         }
1184         if (tz) {
1185                 if (copy_to_user(tz, &sys_tz, sizeof(sys_tz)))
1186                         return -EFAULT;
1187         }
1188         return 0;
1189 }
1190
1191 asmlinkage long
1192 sys32_settimeofday (struct compat_timeval __user *tv, struct timezone __user *tz)
1193 {
1194         struct timeval ktv;
1195         struct timespec kts;
1196         struct timezone ktz;
1197
1198         if (tv) {
1199                 if (get_tv32(&ktv, tv))
1200                         return -EFAULT;
1201                 kts.tv_sec = ktv.tv_sec;
1202                 kts.tv_nsec = ktv.tv_usec * 1000;
1203         }
1204         if (tz) {
1205                 if (copy_from_user(&ktz, tz, sizeof(ktz)))
1206                         return -EFAULT;
1207         }
1208
1209         return do_sys_settimeofday(tv ? &kts : NULL, tz ? &ktz : NULL);
1210 }
1211
1212 struct getdents32_callback {
1213         struct compat_dirent __user *current_dir;
1214         struct compat_dirent __user *previous;
1215         int count;
1216         int error;
1217 };
1218
1219 struct readdir32_callback {
1220         struct old_linux32_dirent __user * dirent;
1221         int count;
1222 };
1223
1224 static int
1225 filldir32 (void *__buf, const char *name, int namlen, loff_t offset, ino_t ino,
1226            unsigned int d_type)
1227 {
1228         struct compat_dirent __user * dirent;
1229         struct getdents32_callback * buf = (struct getdents32_callback *) __buf;
1230         int reclen = ROUND_UP(offsetof(struct compat_dirent, d_name) + namlen + 1, 4);
1231
1232         buf->error = -EINVAL;   /* only used if we fail.. */
1233         if (reclen > buf->count)
1234                 return -EINVAL;
1235         buf->error = -EFAULT;   /* only used if we fail.. */
1236         dirent = buf->previous;
1237         if (dirent)
1238                 if (put_user(offset, &dirent->d_off))
1239                         return -EFAULT;
1240         dirent = buf->current_dir;
1241         buf->previous = dirent;
1242         if (put_user(ino, &dirent->d_ino)
1243             || put_user(reclen, &dirent->d_reclen)
1244             || copy_to_user(dirent->d_name, name, namlen)
1245             || put_user(0, dirent->d_name + namlen))
1246                 return -EFAULT;
1247         dirent = (struct compat_dirent __user *) ((char __user *) dirent + reclen);
1248         buf->current_dir = dirent;
1249         buf->count -= reclen;
1250         return 0;
1251 }
1252
1253 asmlinkage long
1254 sys32_getdents (unsigned int fd, struct compat_dirent __user *dirent, unsigned int count)
1255 {
1256         struct file * file;
1257         struct compat_dirent __user * lastdirent;
1258         struct getdents32_callback buf;
1259         int error;
1260
1261         error = -EBADF;
1262         file = fget(fd);
1263         if (!file)
1264                 goto out;
1265
1266         buf.current_dir = dirent;
1267         buf.previous = NULL;
1268         buf.count = count;
1269         buf.error = 0;
1270
1271         error = vfs_readdir(file, filldir32, &buf);
1272         if (error < 0)
1273                 goto out_putf;
1274         error = buf.error;
1275         lastdirent = buf.previous;
1276         if (lastdirent) {
1277                 error = -EINVAL;
1278                 if (put_user(file->f_pos, &lastdirent->d_off))
1279                         goto out_putf;
1280                 error = count - buf.count;
1281         }
1282
1283 out_putf:
1284         fput(file);
1285 out:
1286         return error;
1287 }
1288
1289 static int
1290 fillonedir32 (void * __buf, const char * name, int namlen, loff_t offset, ino_t ino,
1291               unsigned int d_type)
1292 {
1293         struct readdir32_callback * buf = (struct readdir32_callback *) __buf;
1294         struct old_linux32_dirent __user * dirent;
1295
1296         if (buf->count)
1297                 return -EINVAL;
1298         buf->count++;
1299         dirent = buf->dirent;
1300         if (put_user(ino, &dirent->d_ino)
1301             || put_user(offset, &dirent->d_offset)
1302             || put_user(namlen, &dirent->d_namlen)
1303             || copy_to_user(dirent->d_name, name, namlen)
1304             || put_user(0, dirent->d_name + namlen))
1305                 return -EFAULT;
1306         return 0;
1307 }
1308
1309 asmlinkage long
1310 sys32_readdir (unsigned int fd, void __user *dirent, unsigned int count)
1311 {
1312         int error;
1313         struct file * file;
1314         struct readdir32_callback buf;
1315
1316         error = -EBADF;
1317         file = fget(fd);
1318         if (!file)
1319                 goto out;
1320
1321         buf.count = 0;
1322         buf.dirent = dirent;
1323
1324         error = vfs_readdir(file, fillonedir32, &buf);
1325         if (error >= 0)
1326                 error = buf.count;
1327         fput(file);
1328 out:
1329         return error;
1330 }
1331
1332 struct sel_arg_struct {
1333         unsigned int n;
1334         unsigned int inp;
1335         unsigned int outp;
1336         unsigned int exp;
1337         unsigned int tvp;
1338 };
1339
1340 asmlinkage long
1341 sys32_old_select (struct sel_arg_struct __user *arg)
1342 {
1343         struct sel_arg_struct a;
1344
1345         if (copy_from_user(&a, arg, sizeof(a)))
1346                 return -EFAULT;
1347         return compat_sys_select(a.n, compat_ptr(a.inp), compat_ptr(a.outp),
1348                                  compat_ptr(a.exp), compat_ptr(a.tvp));
1349 }
1350
1351 #define SEMOP            1
1352 #define SEMGET           2
1353 #define SEMCTL           3
1354 #define SEMTIMEDOP       4
1355 #define MSGSND          11
1356 #define MSGRCV          12
1357 #define MSGGET          13
1358 #define MSGCTL          14
1359 #define SHMAT           21
1360 #define SHMDT           22
1361 #define SHMGET          23
1362 #define SHMCTL          24
1363
1364 asmlinkage long
1365 sys32_ipc(u32 call, int first, int second, int third, u32 ptr, u32 fifth)
1366 {
1367         int version;
1368
1369         version = call >> 16; /* hack for backward compatibility */
1370         call &= 0xffff;
1371
1372         switch (call) {
1373               case SEMTIMEDOP:
1374                 if (fifth)
1375                         return compat_sys_semtimedop(first, compat_ptr(ptr),
1376                                 second, compat_ptr(fifth));
1377                 /* else fall through for normal semop() */
1378               case SEMOP:
1379                 /* struct sembuf is the same on 32 and 64bit :)) */
1380                 return sys_semtimedop(first, compat_ptr(ptr), second,
1381                                       NULL);
1382               case SEMGET:
1383                 return sys_semget(first, second, third);
1384               case SEMCTL:
1385                 return compat_sys_semctl(first, second, third, compat_ptr(ptr));
1386
1387               case MSGSND:
1388                 return compat_sys_msgsnd(first, second, third, compat_ptr(ptr));
1389               case MSGRCV:
1390                 return compat_sys_msgrcv(first, second, fifth, third, version, compat_ptr(ptr));
1391               case MSGGET:
1392                 return sys_msgget((key_t) first, second);
1393               case MSGCTL:
1394                 return compat_sys_msgctl(first, second, compat_ptr(ptr));
1395
1396               case SHMAT:
1397                 return compat_sys_shmat(first, second, third, version, compat_ptr(ptr));
1398                 break;
1399               case SHMDT:
1400                 return sys_shmdt(compat_ptr(ptr));
1401               case SHMGET:
1402                 return sys_shmget(first, (unsigned)second, third);
1403               case SHMCTL:
1404                 return compat_sys_shmctl(first, second, compat_ptr(ptr));
1405
1406               default:
1407                 return -ENOSYS;
1408         }
1409         return -EINVAL;
1410 }
1411
1412 asmlinkage long
1413 compat_sys_wait4 (compat_pid_t pid, compat_uint_t * stat_addr, int options,
1414                  struct compat_rusage *ru);
1415
1416 asmlinkage long
1417 sys32_waitpid (int pid, unsigned int *stat_addr, int options)
1418 {
1419         return compat_sys_wait4(pid, stat_addr, options, NULL);
1420 }
1421
1422 static unsigned int
1423 ia32_peek (struct task_struct *child, unsigned long addr, unsigned int *val)
1424 {
1425         size_t copied;
1426         unsigned int ret;
1427
1428         copied = access_process_vm(child, addr, val, sizeof(*val), 0);
1429         return (copied != sizeof(ret)) ? -EIO : 0;
1430 }
1431
1432 static unsigned int
1433 ia32_poke (struct task_struct *child, unsigned long addr, unsigned int val)
1434 {
1435
1436         if (access_process_vm(child, addr, &val, sizeof(val), 1) != sizeof(val))
1437                 return -EIO;
1438         return 0;
1439 }
1440
1441 /*
1442  *  The order in which registers are stored in the ptrace regs structure
1443  */
1444 #define PT_EBX  0
1445 #define PT_ECX  1
1446 #define PT_EDX  2
1447 #define PT_ESI  3
1448 #define PT_EDI  4
1449 #define PT_EBP  5
1450 #define PT_EAX  6
1451 #define PT_DS   7
1452 #define PT_ES   8
1453 #define PT_FS   9
1454 #define PT_GS   10
1455 #define PT_ORIG_EAX 11
1456 #define PT_EIP  12
1457 #define PT_CS   13
1458 #define PT_EFL  14
1459 #define PT_UESP 15
1460 #define PT_SS   16
1461
1462 static unsigned int
1463 getreg (struct task_struct *child, int regno)
1464 {
1465         struct pt_regs *child_regs;
1466
1467         child_regs = task_pt_regs(child);
1468         switch (regno / sizeof(int)) {
1469               case PT_EBX: return child_regs->r11;
1470               case PT_ECX: return child_regs->r9;
1471               case PT_EDX: return child_regs->r10;
1472               case PT_ESI: return child_regs->r14;
1473               case PT_EDI: return child_regs->r15;
1474               case PT_EBP: return child_regs->r13;
1475               case PT_EAX: return child_regs->r8;
1476               case PT_ORIG_EAX: return child_regs->r1; /* see dispatch_to_ia32_handler() */
1477               case PT_EIP: return child_regs->cr_iip;
1478               case PT_UESP: return child_regs->r12;
1479               case PT_EFL: return child->thread.eflag;
1480               case PT_DS: case PT_ES: case PT_FS: case PT_GS: case PT_SS:
1481                 return __USER_DS;
1482               case PT_CS: return __USER_CS;
1483               default:
1484                 printk(KERN_ERR "ia32.getreg(): unknown register %d\n", regno);
1485                 break;
1486         }
1487         return 0;
1488 }
1489
1490 static void
1491 putreg (struct task_struct *child, int regno, unsigned int value)
1492 {
1493         struct pt_regs *child_regs;
1494
1495         child_regs = task_pt_regs(child);
1496         switch (regno / sizeof(int)) {
1497               case PT_EBX: child_regs->r11 = value; break;
1498               case PT_ECX: child_regs->r9 = value; break;
1499               case PT_EDX: child_regs->r10 = value; break;
1500               case PT_ESI: child_regs->r14 = value; break;
1501               case PT_EDI: child_regs->r15 = value; break;
1502               case PT_EBP: child_regs->r13 = value; break;
1503               case PT_EAX: child_regs->r8 = value; break;
1504               case PT_ORIG_EAX: child_regs->r1 = value; break;
1505               case PT_EIP: child_regs->cr_iip = value; break;
1506               case PT_UESP: child_regs->r12 = value; break;
1507               case PT_EFL: child->thread.eflag = value; break;
1508               case PT_DS: case PT_ES: case PT_FS: case PT_GS: case PT_SS:
1509                 if (value != __USER_DS)
1510                         printk(KERN_ERR
1511                                "ia32.putreg: attempt to set invalid segment register %d = %x\n",
1512                                regno, value);
1513                 break;
1514               case PT_CS:
1515                 if (value != __USER_CS)
1516                         printk(KERN_ERR
1517                                "ia32.putreg: attempt to to set invalid segment register %d = %x\n",
1518                                regno, value);
1519                 break;
1520               default:
1521                 printk(KERN_ERR "ia32.putreg: unknown register %d\n", regno);
1522                 break;
1523         }
1524 }
1525
1526 static void
1527 put_fpreg (int regno, struct _fpreg_ia32 __user *reg, struct pt_regs *ptp,
1528            struct switch_stack *swp, int tos)
1529 {
1530         struct _fpreg_ia32 *f;
1531         char buf[32];
1532
1533         f = (struct _fpreg_ia32 *)(((unsigned long)buf + 15) & ~15);
1534         if ((regno += tos) >= 8)
1535                 regno -= 8;
1536         switch (regno) {
1537               case 0:
1538                 ia64f2ia32f(f, &ptp->f8);
1539                 break;
1540               case 1:
1541                 ia64f2ia32f(f, &ptp->f9);
1542                 break;
1543               case 2:
1544                 ia64f2ia32f(f, &ptp->f10);
1545                 break;
1546               case 3:
1547                 ia64f2ia32f(f, &ptp->f11);
1548                 break;
1549               case 4:
1550               case 5:
1551               case 6:
1552               case 7:
1553                 ia64f2ia32f(f, &swp->f12 + (regno - 4));
1554                 break;
1555         }
1556         copy_to_user(reg, f, sizeof(*reg));
1557 }
1558
1559 static void
1560 get_fpreg (int regno, struct _fpreg_ia32 __user *reg, struct pt_regs *ptp,
1561            struct switch_stack *swp, int tos)
1562 {
1563
1564         if ((regno += tos) >= 8)
1565                 regno -= 8;
1566         switch (regno) {
1567               case 0:
1568                 copy_from_user(&ptp->f8, reg, sizeof(*reg));
1569                 break;
1570               case 1:
1571                 copy_from_user(&ptp->f9, reg, sizeof(*reg));
1572                 break;
1573               case 2:
1574                 copy_from_user(&ptp->f10, reg, sizeof(*reg));
1575                 break;
1576               case 3:
1577                 copy_from_user(&ptp->f11, reg, sizeof(*reg));
1578                 break;
1579               case 4:
1580               case 5:
1581               case 6:
1582               case 7:
1583                 copy_from_user(&swp->f12 + (regno - 4), reg, sizeof(*reg));
1584                 break;
1585         }
1586         return;
1587 }
1588
1589 int
1590 save_ia32_fpstate (struct task_struct *tsk, struct ia32_user_i387_struct __user *save)
1591 {
1592         struct switch_stack *swp;
1593         struct pt_regs *ptp;
1594         int i, tos;
1595
1596         if (!access_ok(VERIFY_WRITE, save, sizeof(*save)))
1597                 return -EFAULT;
1598
1599         __put_user(tsk->thread.fcr & 0xffff, &save->cwd);
1600         __put_user(tsk->thread.fsr & 0xffff, &save->swd);
1601         __put_user((tsk->thread.fsr>>16) & 0xffff, &save->twd);
1602         __put_user(tsk->thread.fir, &save->fip);
1603         __put_user((tsk->thread.fir>>32) & 0xffff, &save->fcs);
1604         __put_user(tsk->thread.fdr, &save->foo);
1605         __put_user((tsk->thread.fdr>>32) & 0xffff, &save->fos);
1606
1607         /*
1608          *  Stack frames start with 16-bytes of temp space
1609          */
1610         swp = (struct switch_stack *)(tsk->thread.ksp + 16);
1611         ptp = task_pt_regs(tsk);
1612         tos = (tsk->thread.fsr >> 11) & 7;
1613         for (i = 0; i < 8; i++)
1614                 put_fpreg(i, &save->st_space[i], ptp, swp, tos);
1615         return 0;
1616 }
1617
1618 static int
1619 restore_ia32_fpstate (struct task_struct *tsk, struct ia32_user_i387_struct __user *save)
1620 {
1621         struct switch_stack *swp;
1622         struct pt_regs *ptp;
1623         int i, tos;
1624         unsigned int fsrlo, fsrhi, num32;
1625
1626         if (!access_ok(VERIFY_READ, save, sizeof(*save)))
1627                 return(-EFAULT);
1628
1629         __get_user(num32, (unsigned int __user *)&save->cwd);
1630         tsk->thread.fcr = (tsk->thread.fcr & (~0x1f3f)) | (num32 & 0x1f3f);
1631         __get_user(fsrlo, (unsigned int __user *)&save->swd);
1632         __get_user(fsrhi, (unsigned int __user *)&save->twd);
1633         num32 = (fsrhi << 16) | fsrlo;
1634         tsk->thread.fsr = (tsk->thread.fsr & (~0xffffffff)) | num32;
1635         __get_user(num32, (unsigned int __user *)&save->fip);
1636         tsk->thread.fir = (tsk->thread.fir & (~0xffffffff)) | num32;
1637         __get_user(num32, (unsigned int __user *)&save->foo);
1638         tsk->thread.fdr = (tsk->thread.fdr & (~0xffffffff)) | num32;
1639
1640         /*
1641          *  Stack frames start with 16-bytes of temp space
1642          */
1643         swp = (struct switch_stack *)(tsk->thread.ksp + 16);
1644         ptp = task_pt_regs(tsk);
1645         tos = (tsk->thread.fsr >> 11) & 7;
1646         for (i = 0; i < 8; i++)
1647                 get_fpreg(i, &save->st_space[i], ptp, swp, tos);
1648         return 0;
1649 }
1650
1651 int
1652 save_ia32_fpxstate (struct task_struct *tsk, struct ia32_user_fxsr_struct __user *save)
1653 {
1654         struct switch_stack *swp;
1655         struct pt_regs *ptp;
1656         int i, tos;
1657         unsigned long mxcsr=0;
1658         unsigned long num128[2];
1659
1660         if (!access_ok(VERIFY_WRITE, save, sizeof(*save)))
1661                 return -EFAULT;
1662
1663         __put_user(tsk->thread.fcr & 0xffff, &save->cwd);
1664         __put_user(tsk->thread.fsr & 0xffff, &save->swd);
1665         __put_user((tsk->thread.fsr>>16) & 0xffff, &save->twd);
1666         __put_user(tsk->thread.fir, &save->fip);
1667         __put_user((tsk->thread.fir>>32) & 0xffff, &save->fcs);
1668         __put_user(tsk->thread.fdr, &save->foo);
1669         __put_user((tsk->thread.fdr>>32) & 0xffff, &save->fos);
1670
1671         /*
1672          *  Stack frames start with 16-bytes of temp space
1673          */
1674         swp = (struct switch_stack *)(tsk->thread.ksp + 16);
1675         ptp = task_pt_regs(tsk);
1676         tos = (tsk->thread.fsr >> 11) & 7;
1677         for (i = 0; i < 8; i++)
1678                 put_fpreg(i, (struct _fpreg_ia32 __user *)&save->st_space[4*i], ptp, swp, tos);
1679
1680         mxcsr = ((tsk->thread.fcr>>32) & 0xff80) | ((tsk->thread.fsr>>32) & 0x3f);
1681         __put_user(mxcsr & 0xffff, &save->mxcsr);
1682         for (i = 0; i < 8; i++) {
1683                 memcpy(&(num128[0]), &(swp->f16) + i*2, sizeof(unsigned long));
1684                 memcpy(&(num128[1]), &(swp->f17) + i*2, sizeof(unsigned long));
1685                 copy_to_user(&save->xmm_space[0] + 4*i, num128, sizeof(struct _xmmreg_ia32));
1686         }
1687         return 0;
1688 }
1689
1690 static int
1691 restore_ia32_fpxstate (struct task_struct *tsk, struct ia32_user_fxsr_struct __user *save)
1692 {
1693         struct switch_stack *swp;
1694         struct pt_regs *ptp;
1695         int i, tos;
1696         unsigned int fsrlo, fsrhi, num32;
1697         int mxcsr;
1698         unsigned long num64;
1699         unsigned long num128[2];
1700
1701         if (!access_ok(VERIFY_READ, save, sizeof(*save)))
1702                 return(-EFAULT);
1703
1704         __get_user(num32, (unsigned int __user *)&save->cwd);
1705         tsk->thread.fcr = (tsk->thread.fcr & (~0x1f3f)) | (num32 & 0x1f3f);
1706         __get_user(fsrlo, (unsigned int __user *)&save->swd);
1707         __get_user(fsrhi, (unsigned int __user *)&save->twd);
1708         num32 = (fsrhi << 16) | fsrlo;
1709         tsk->thread.fsr = (tsk->thread.fsr & (~0xffffffff)) | num32;
1710         __get_user(num32, (unsigned int __user *)&save->fip);
1711         tsk->thread.fir = (tsk->thread.fir & (~0xffffffff)) | num32;
1712         __get_user(num32, (unsigned int __user *)&save->foo);
1713         tsk->thread.fdr = (tsk->thread.fdr & (~0xffffffff)) | num32;
1714
1715         /*
1716          *  Stack frames start with 16-bytes of temp space
1717          */
1718         swp = (struct switch_stack *)(tsk->thread.ksp + 16);
1719         ptp = task_pt_regs(tsk);
1720         tos = (tsk->thread.fsr >> 11) & 7;
1721         for (i = 0; i < 8; i++)
1722         get_fpreg(i, (struct _fpreg_ia32 __user *)&save->st_space[4*i], ptp, swp, tos);
1723
1724         __get_user(mxcsr, (unsigned int __user *)&save->mxcsr);
1725         num64 = mxcsr & 0xff10;
1726         tsk->thread.fcr = (tsk->thread.fcr & (~0xff1000000000UL)) | (num64<<32);
1727         num64 = mxcsr & 0x3f;
1728         tsk->thread.fsr = (tsk->thread.fsr & (~0x3f00000000UL)) | (num64<<32);
1729
1730         for (i = 0; i < 8; i++) {
1731                 copy_from_user(num128, &save->xmm_space[0] + 4*i, sizeof(struct _xmmreg_ia32));
1732                 memcpy(&(swp->f16) + i*2, &(num128[0]), sizeof(unsigned long));
1733                 memcpy(&(swp->f17) + i*2, &(num128[1]), sizeof(unsigned long));
1734         }
1735         return 0;
1736 }
1737
1738 asmlinkage long
1739 sys32_ptrace (int request, pid_t pid, unsigned int addr, unsigned int data)
1740 {
1741         struct task_struct *child;
1742         unsigned int value, tmp;
1743         long i, ret;
1744
1745         lock_kernel();
1746         if (request == PTRACE_TRACEME) {
1747                 ret = ptrace_traceme();
1748                 goto out;
1749         }
1750
1751         child = ptrace_get_task_struct(pid);
1752         if (IS_ERR(child)) {
1753                 ret = PTR_ERR(child);
1754                 goto out;
1755         }
1756
1757         if (request == PTRACE_ATTACH) {
1758                 ret = sys_ptrace(request, pid, addr, data);
1759                 goto out_tsk;
1760         }
1761
1762         ret = ptrace_check_attach(child, request == PTRACE_KILL);
1763         if (ret < 0)
1764                 goto out_tsk;
1765
1766         switch (request) {
1767               case PTRACE_PEEKTEXT:
1768               case PTRACE_PEEKDATA:     /* read word at location addr */
1769                 ret = ia32_peek(child, addr, &value);
1770                 if (ret == 0)
1771                         ret = put_user(value, (unsigned int __user *) compat_ptr(data));
1772                 else
1773                         ret = -EIO;
1774                 goto out_tsk;
1775
1776               case PTRACE_POKETEXT:
1777               case PTRACE_POKEDATA:     /* write the word at location addr */
1778                 ret = ia32_poke(child, addr, data);
1779                 goto out_tsk;
1780
1781               case PTRACE_PEEKUSR:      /* read word at addr in USER area */
1782                 ret = -EIO;
1783                 if ((addr & 3) || addr > 17*sizeof(int))
1784                         break;
1785
1786                 tmp = getreg(child, addr);
1787                 if (!put_user(tmp, (unsigned int __user *) compat_ptr(data)))
1788                         ret = 0;
1789                 break;
1790
1791               case PTRACE_POKEUSR:      /* write word at addr in USER area */
1792                 ret = -EIO;
1793                 if ((addr & 3) || addr > 17*sizeof(int))
1794                         break;
1795
1796                 putreg(child, addr, data);
1797                 ret = 0;
1798                 break;
1799
1800               case IA32_PTRACE_GETREGS:
1801                 if (!access_ok(VERIFY_WRITE, compat_ptr(data), 17*sizeof(int))) {
1802                         ret = -EIO;
1803                         break;
1804                 }
1805                 for (i = 0; i < (int) (17*sizeof(int)); i += sizeof(int) ) {
1806                         put_user(getreg(child, i), (unsigned int __user *) compat_ptr(data));
1807                         data += sizeof(int);
1808                 }
1809                 ret = 0;
1810                 break;
1811
1812               case IA32_PTRACE_SETREGS:
1813                 if (!access_ok(VERIFY_READ, compat_ptr(data), 17*sizeof(int))) {
1814                         ret = -EIO;
1815                         break;
1816                 }
1817                 for (i = 0; i < (int) (17*sizeof(int)); i += sizeof(int) ) {
1818                         get_user(tmp, (unsigned int __user *) compat_ptr(data));
1819                         putreg(child, i, tmp);
1820                         data += sizeof(int);
1821                 }
1822                 ret = 0;
1823                 break;
1824
1825               case IA32_PTRACE_GETFPREGS:
1826                 ret = save_ia32_fpstate(child, (struct ia32_user_i387_struct __user *)
1827                                         compat_ptr(data));
1828                 break;
1829
1830               case IA32_PTRACE_GETFPXREGS:
1831                 ret = save_ia32_fpxstate(child, (struct ia32_user_fxsr_struct __user *)
1832                                          compat_ptr(data));
1833                 break;
1834
1835               case IA32_PTRACE_SETFPREGS:
1836                 ret = restore_ia32_fpstate(child, (struct ia32_user_i387_struct __user *)
1837                                            compat_ptr(data));
1838                 break;
1839
1840               case IA32_PTRACE_SETFPXREGS:
1841                 ret = restore_ia32_fpxstate(child, (struct ia32_user_fxsr_struct __user *)
1842                                             compat_ptr(data));
1843                 break;
1844
1845               case PTRACE_GETEVENTMSG:   
1846                 ret = put_user(child->ptrace_message, (unsigned int __user *) compat_ptr(data));
1847                 break;
1848
1849               case PTRACE_SYSCALL:      /* continue, stop after next syscall */
1850               case PTRACE_CONT:         /* restart after signal. */
1851               case PTRACE_KILL:
1852               case PTRACE_SINGLESTEP:   /* execute chile for one instruction */
1853               case PTRACE_DETACH:       /* detach a process */
1854                 ret = sys_ptrace(request, pid, addr, data);
1855                 break;
1856
1857               default:
1858                 ret = ptrace_request(child, request, addr, data);
1859                 break;
1860
1861         }
1862   out_tsk:
1863         put_task_struct(child);
1864   out:
1865         unlock_kernel();
1866         return ret;
1867 }
1868
1869 typedef struct {
1870         unsigned int    ss_sp;
1871         unsigned int    ss_flags;
1872         unsigned int    ss_size;
1873 } ia32_stack_t;
1874
1875 asmlinkage long
1876 sys32_sigaltstack (ia32_stack_t __user *uss32, ia32_stack_t __user *uoss32,
1877                    long arg2, long arg3, long arg4, long arg5, long arg6,
1878                    long arg7, struct pt_regs pt)
1879 {
1880         stack_t uss, uoss;
1881         ia32_stack_t buf32;
1882         int ret;
1883         mm_segment_t old_fs = get_fs();
1884
1885         if (uss32) {
1886                 if (copy_from_user(&buf32, uss32, sizeof(ia32_stack_t)))
1887                         return -EFAULT;
1888                 uss.ss_sp = (void __user *) (long) buf32.ss_sp;
1889                 uss.ss_flags = buf32.ss_flags;
1890                 /* MINSIGSTKSZ is different for ia32 vs ia64. We lie here to pass the
1891                    check and set it to the user requested value later */
1892                 if ((buf32.ss_flags != SS_DISABLE) && (buf32.ss_size < MINSIGSTKSZ_IA32)) {
1893                         ret = -ENOMEM;
1894                         goto out;
1895                 }
1896                 uss.ss_size = MINSIGSTKSZ;
1897         }
1898         set_fs(KERNEL_DS);
1899         ret = do_sigaltstack(uss32 ? (stack_t __user *) &uss : NULL,
1900                              (stack_t __user *) &uoss, pt.r12);
1901         current->sas_ss_size = buf32.ss_size;
1902         set_fs(old_fs);
1903 out:
1904         if (ret < 0)
1905                 return(ret);
1906         if (uoss32) {
1907                 buf32.ss_sp = (long __user) uoss.ss_sp;
1908                 buf32.ss_flags = uoss.ss_flags;
1909                 buf32.ss_size = uoss.ss_size;
1910                 if (copy_to_user(uoss32, &buf32, sizeof(ia32_stack_t)))
1911                         return -EFAULT;
1912         }
1913         return ret;
1914 }
1915
1916 asmlinkage int
1917 sys32_pause (void)
1918 {
1919         current->state = TASK_INTERRUPTIBLE;
1920         schedule();
1921         return -ERESTARTNOHAND;
1922 }
1923
1924 asmlinkage int
1925 sys32_msync (unsigned int start, unsigned int len, int flags)
1926 {
1927         unsigned int addr;
1928
1929         if (OFFSET4K(start))
1930                 return -EINVAL;
1931         addr = PAGE_START(start);
1932         return sys_msync(addr, len + (start - addr), flags);
1933 }
1934
1935 struct sysctl32 {
1936         unsigned int    name;
1937         int             nlen;
1938         unsigned int    oldval;
1939         unsigned int    oldlenp;
1940         unsigned int    newval;
1941         unsigned int    newlen;
1942         unsigned int    __unused[4];
1943 };
1944
1945 #ifdef CONFIG_SYSCTL_SYSCALL
1946 asmlinkage long
1947 sys32_sysctl (struct sysctl32 __user *args)
1948 {
1949         struct sysctl32 a32;
1950         mm_segment_t old_fs = get_fs ();
1951         void __user *oldvalp, *newvalp;
1952         size_t oldlen;
1953         int __user *namep;
1954         long ret;
1955
1956         if (copy_from_user(&a32, args, sizeof(a32)))
1957                 return -EFAULT;
1958
1959         /*
1960          * We need to pre-validate these because we have to disable address checking
1961          * before calling do_sysctl() because of OLDLEN but we can't run the risk of the
1962          * user specifying bad addresses here.  Well, since we're dealing with 32 bit
1963          * addresses, we KNOW that access_ok() will always succeed, so this is an
1964          * expensive NOP, but so what...
1965          */
1966         namep = (int __user *) compat_ptr(a32.name);
1967         oldvalp = compat_ptr(a32.oldval);
1968         newvalp = compat_ptr(a32.newval);
1969
1970         if ((oldvalp && get_user(oldlen, (int __user *) compat_ptr(a32.oldlenp)))
1971             || !access_ok(VERIFY_WRITE, namep, 0)
1972             || !access_ok(VERIFY_WRITE, oldvalp, 0)
1973             || !access_ok(VERIFY_WRITE, newvalp, 0))
1974                 return -EFAULT;
1975
1976         set_fs(KERNEL_DS);
1977         lock_kernel();
1978         ret = do_sysctl(namep, a32.nlen, oldvalp, (size_t __user *) &oldlen,
1979                         newvalp, (size_t) a32.newlen);
1980         unlock_kernel();
1981         set_fs(old_fs);
1982
1983         if (oldvalp && put_user (oldlen, (int __user *) compat_ptr(a32.oldlenp)))
1984                 return -EFAULT;
1985
1986         return ret;
1987 }
1988 #endif
1989
1990 asmlinkage long
1991 sys32_newuname (struct new_utsname __user *name)
1992 {
1993         int ret = sys_newuname(name);
1994
1995         if (!ret)
1996                 if (copy_to_user(name->machine, "i686\0\0\0", 8))
1997                         ret = -EFAULT;
1998         return ret;
1999 }
2000
2001 asmlinkage long
2002 sys32_getresuid16 (u16 __user *ruid, u16 __user *euid, u16 __user *suid)
2003 {
2004         uid_t a, b, c;
2005         int ret;
2006         mm_segment_t old_fs = get_fs();
2007
2008         set_fs(KERNEL_DS);
2009         ret = sys_getresuid((uid_t __user *) &a, (uid_t __user *) &b, (uid_t __user *) &c);
2010         set_fs(old_fs);
2011
2012         if (put_user(a, ruid) || put_user(b, euid) || put_user(c, suid))
2013                 return -EFAULT;
2014         return ret;
2015 }
2016
2017 asmlinkage long
2018 sys32_getresgid16 (u16 __user *rgid, u16 __user *egid, u16 __user *sgid)
2019 {
2020         gid_t a, b, c;
2021         int ret;
2022         mm_segment_t old_fs = get_fs();
2023
2024         set_fs(KERNEL_DS);
2025         ret = sys_getresgid((gid_t __user *) &a, (gid_t __user *) &b, (gid_t __user *) &c);
2026         set_fs(old_fs);
2027
2028         if (ret)
2029                 return ret;
2030
2031         return put_user(a, rgid) | put_user(b, egid) | put_user(c, sgid);
2032 }
2033
2034 asmlinkage long
2035 sys32_lseek (unsigned int fd, int offset, unsigned int whence)
2036 {
2037         /* Sign-extension of "offset" is important here... */
2038         return sys_lseek(fd, offset, whence);
2039 }
2040
2041 static int
2042 groups16_to_user(short __user *grouplist, struct group_info *group_info)
2043 {
2044         int i;
2045         short group;
2046
2047         for (i = 0; i < group_info->ngroups; i++) {
2048                 group = (short)GROUP_AT(group_info, i);
2049                 if (put_user(group, grouplist+i))
2050                         return -EFAULT;
2051         }
2052
2053         return 0;
2054 }
2055
2056 static int
2057 groups16_from_user(struct group_info *group_info, short __user *grouplist)
2058 {
2059         int i;
2060         short group;
2061
2062         for (i = 0; i < group_info->ngroups; i++) {
2063                 if (get_user(group, grouplist+i))
2064                         return  -EFAULT;
2065                 GROUP_AT(group_info, i) = (gid_t)group;
2066         }
2067
2068         return 0;
2069 }
2070
2071 asmlinkage long
2072 sys32_getgroups16 (int gidsetsize, short __user *grouplist)
2073 {
2074         int i;
2075
2076         if (gidsetsize < 0)
2077                 return -EINVAL;
2078
2079         get_group_info(current->group_info);
2080         i = current->group_info->ngroups;
2081         if (gidsetsize) {
2082                 if (i > gidsetsize) {
2083                         i = -EINVAL;
2084                         goto out;
2085                 }
2086                 if (groups16_to_user(grouplist, current->group_info)) {
2087                         i = -EFAULT;
2088                         goto out;
2089                 }
2090         }
2091 out:
2092         put_group_info(current->group_info);
2093         return i;
2094 }
2095
2096 asmlinkage long
2097 sys32_setgroups16 (int gidsetsize, short __user *grouplist)
2098 {
2099         struct group_info *group_info;
2100         int retval;
2101
2102         if (!capable(CAP_SETGID))
2103                 return -EPERM;
2104         if ((unsigned)gidsetsize > NGROUPS_MAX)
2105                 return -EINVAL;
2106
2107         group_info = groups_alloc(gidsetsize);
2108         if (!group_info)
2109                 return -ENOMEM;
2110         retval = groups16_from_user(group_info, grouplist);
2111         if (retval) {
2112                 put_group_info(group_info);
2113                 return retval;
2114         }
2115
2116         retval = set_current_groups(group_info);
2117         put_group_info(group_info);
2118
2119         return retval;
2120 }
2121
2122 asmlinkage long
2123 sys32_truncate64 (unsigned int path, unsigned int len_lo, unsigned int len_hi)
2124 {
2125         return sys_truncate(compat_ptr(path), ((unsigned long) len_hi << 32) | len_lo);
2126 }
2127
2128 asmlinkage long
2129 sys32_ftruncate64 (int fd, unsigned int len_lo, unsigned int len_hi)
2130 {
2131         return sys_ftruncate(fd, ((unsigned long) len_hi << 32) | len_lo);
2132 }
2133
2134 static int
2135 putstat64 (struct stat64 __user *ubuf, struct kstat *kbuf)
2136 {
2137         int err;
2138         u64 hdev;
2139
2140         if (clear_user(ubuf, sizeof(*ubuf)))
2141                 return -EFAULT;
2142
2143         hdev = huge_encode_dev(kbuf->dev);
2144         err  = __put_user(hdev, (u32 __user*)&ubuf->st_dev);
2145         err |= __put_user(hdev >> 32, ((u32 __user*)&ubuf->st_dev) + 1);
2146         err |= __put_user(kbuf->ino, &ubuf->__st_ino);
2147         err |= __put_user(kbuf->ino, &ubuf->st_ino_lo);
2148         err |= __put_user(kbuf->ino >> 32, &ubuf->st_ino_hi);
2149         err |= __put_user(kbuf->mode, &ubuf->st_mode);
2150         err |= __put_user(kbuf->nlink, &ubuf->st_nlink);
2151         err |= __put_user(kbuf->uid, &ubuf->st_uid);
2152         err |= __put_user(kbuf->gid, &ubuf->st_gid);
2153         hdev = huge_encode_dev(kbuf->rdev);
2154         err  = __put_user(hdev, (u32 __user*)&ubuf->st_rdev);
2155         err |= __put_user(hdev >> 32, ((u32 __user*)&ubuf->st_rdev) + 1);
2156         err |= __put_user(kbuf->size, &ubuf->st_size_lo);
2157         err |= __put_user((kbuf->size >> 32), &ubuf->st_size_hi);
2158         err |= __put_user(kbuf->atime.tv_sec, &ubuf->st_atime);
2159         err |= __put_user(kbuf->atime.tv_nsec, &ubuf->st_atime_nsec);
2160         err |= __put_user(kbuf->mtime.tv_sec, &ubuf->st_mtime);
2161         err |= __put_user(kbuf->mtime.tv_nsec, &ubuf->st_mtime_nsec);
2162         err |= __put_user(kbuf->ctime.tv_sec, &ubuf->st_ctime);
2163         err |= __put_user(kbuf->ctime.tv_nsec, &ubuf->st_ctime_nsec);
2164         err |= __put_user(kbuf->blksize, &ubuf->st_blksize);
2165         err |= __put_user(kbuf->blocks, &ubuf->st_blocks);
2166         return err;
2167 }
2168
2169 asmlinkage long
2170 sys32_stat64 (char __user *filename, struct stat64 __user *statbuf)
2171 {
2172         struct kstat s;
2173         long ret = vfs_stat(filename, &s);
2174         if (!ret)
2175                 ret = putstat64(statbuf, &s);
2176         return ret;
2177 }
2178
2179 asmlinkage long
2180 sys32_lstat64 (char __user *filename, struct stat64 __user *statbuf)
2181 {
2182         struct kstat s;
2183         long ret = vfs_lstat(filename, &s);
2184         if (!ret)
2185                 ret = putstat64(statbuf, &s);
2186         return ret;
2187 }
2188
2189 asmlinkage long
2190 sys32_fstat64 (unsigned int fd, struct stat64 __user *statbuf)
2191 {
2192         struct kstat s;
2193         long ret = vfs_fstat(fd, &s);
2194         if (!ret)
2195                 ret = putstat64(statbuf, &s);
2196         return ret;
2197 }
2198
2199 struct sysinfo32 {
2200         s32 uptime;
2201         u32 loads[3];
2202         u32 totalram;
2203         u32 freeram;
2204         u32 sharedram;
2205         u32 bufferram;
2206         u32 totalswap;
2207         u32 freeswap;
2208         u16 procs;
2209         u16 pad;
2210         u32 totalhigh;
2211         u32 freehigh;
2212         u32 mem_unit;
2213         char _f[8];
2214 };
2215
2216 asmlinkage long
2217 sys32_sysinfo (struct sysinfo32 __user *info)
2218 {
2219         struct sysinfo s;
2220         long ret, err;
2221         int bitcount = 0;
2222         mm_segment_t old_fs = get_fs();
2223
2224         set_fs(KERNEL_DS);
2225         ret = sys_sysinfo((struct sysinfo __user *) &s);
2226         set_fs(old_fs);
2227         /* Check to see if any memory value is too large for 32-bit and
2228          * scale down if needed.
2229          */
2230         if ((s.totalram >> 32) || (s.totalswap >> 32)) {
2231                 while (s.mem_unit < PAGE_SIZE) {
2232                         s.mem_unit <<= 1;
2233                         bitcount++;
2234                 }
2235                 s.totalram >>= bitcount;
2236                 s.freeram >>= bitcount;
2237                 s.sharedram >>= bitcount;
2238                 s.bufferram >>= bitcount;
2239                 s.totalswap >>= bitcount;
2240                 s.freeswap >>= bitcount;
2241                 s.totalhigh >>= bitcount;
2242                 s.freehigh >>= bitcount;
2243         }
2244
2245         if (!access_ok(VERIFY_WRITE, info, sizeof(*info)))
2246                 return -EFAULT;
2247
2248         err  = __put_user(s.uptime, &info->uptime);
2249         err |= __put_user(s.loads[0], &info->loads[0]);
2250         err |= __put_user(s.loads[1], &info->loads[1]);
2251         err |= __put_user(s.loads[2], &info->loads[2]);
2252         err |= __put_user(s.totalram, &info->totalram);
2253         err |= __put_user(s.freeram, &info->freeram);
2254         err |= __put_user(s.sharedram, &info->sharedram);
2255         err |= __put_user(s.bufferram, &info->bufferram);
2256         err |= __put_user(s.totalswap, &info->totalswap);
2257         err |= __put_user(s.freeswap, &info->freeswap);
2258         err |= __put_user(s.procs, &info->procs);
2259         err |= __put_user (s.totalhigh, &info->totalhigh);
2260         err |= __put_user (s.freehigh, &info->freehigh);
2261         err |= __put_user (s.mem_unit, &info->mem_unit);
2262         if (err)
2263                 return -EFAULT;
2264         return ret;
2265 }
2266
2267 asmlinkage long
2268 sys32_sched_rr_get_interval (pid_t pid, struct compat_timespec __user *interval)
2269 {
2270         mm_segment_t old_fs = get_fs();
2271         struct timespec t;
2272         long ret;
2273
2274         set_fs(KERNEL_DS);
2275         ret = sys_sched_rr_get_interval(pid, (struct timespec __user *) &t);
2276         set_fs(old_fs);
2277         if (put_compat_timespec(&t, interval))
2278                 return -EFAULT;
2279         return ret;
2280 }
2281
2282 asmlinkage long
2283 sys32_pread (unsigned int fd, void __user *buf, unsigned int count, u32 pos_lo, u32 pos_hi)
2284 {
2285         return sys_pread64(fd, buf, count, ((unsigned long) pos_hi << 32) | pos_lo);
2286 }
2287
2288 asmlinkage long
2289 sys32_pwrite (unsigned int fd, void __user *buf, unsigned int count, u32 pos_lo, u32 pos_hi)
2290 {
2291         return sys_pwrite64(fd, buf, count, ((unsigned long) pos_hi << 32) | pos_lo);
2292 }
2293
2294 asmlinkage long
2295 sys32_sendfile (int out_fd, int in_fd, int __user *offset, unsigned int count)
2296 {
2297         mm_segment_t old_fs = get_fs();
2298         long ret;
2299         off_t of;
2300
2301         if (offset && get_user(of, offset))
2302                 return -EFAULT;
2303
2304         set_fs(KERNEL_DS);
2305         ret = sys_sendfile(out_fd, in_fd, offset ? (off_t __user *) &of : NULL, count);
2306         set_fs(old_fs);
2307
2308         if (offset && put_user(of, offset))
2309                 return -EFAULT;
2310
2311         return ret;
2312 }
2313
2314 asmlinkage long
2315 sys32_personality (unsigned int personality)
2316 {
2317         long ret;
2318
2319         if (current->personality == PER_LINUX32 && personality == PER_LINUX)
2320                 personality = PER_LINUX32;
2321         ret = sys_personality(personality);
2322         if (ret == PER_LINUX32)
2323                 ret = PER_LINUX;
2324         return ret;
2325 }
2326
2327 asmlinkage unsigned long
2328 sys32_brk (unsigned int brk)
2329 {
2330         unsigned long ret, obrk;
2331         struct mm_struct *mm = current->mm;
2332
2333         obrk = mm->brk;
2334         ret = sys_brk(brk);
2335         if (ret < obrk)
2336                 clear_user(compat_ptr(ret), PAGE_ALIGN(ret) - ret);
2337         return ret;
2338 }
2339
2340 /* Structure for ia32 emulation on ia64 */
2341 struct epoll_event32
2342 {
2343         u32 events;
2344         u32 data[2];
2345 };
2346
2347 asmlinkage long
2348 sys32_epoll_ctl(int epfd, int op, int fd, struct epoll_event32 __user *event)
2349 {
2350         mm_segment_t old_fs = get_fs();
2351         struct epoll_event event64;
2352         int error;
2353         u32 data_halfword;
2354
2355         if (!access_ok(VERIFY_READ, event, sizeof(struct epoll_event32)))
2356                 return -EFAULT;
2357
2358         __get_user(event64.events, &event->events);
2359         __get_user(data_halfword, &event->data[0]);
2360         event64.data = data_halfword;
2361         __get_user(data_halfword, &event->data[1]);
2362         event64.data |= (u64)data_halfword << 32;
2363
2364         set_fs(KERNEL_DS);
2365         error = sys_epoll_ctl(epfd, op, fd, (struct epoll_event __user *) &event64);
2366         set_fs(old_fs);
2367
2368         return error;
2369 }
2370
2371 asmlinkage long
2372 sys32_epoll_wait(int epfd, struct epoll_event32 __user * events, int maxevents,
2373                  int timeout)
2374 {
2375         struct epoll_event *events64 = NULL;
2376         mm_segment_t old_fs = get_fs();
2377         int numevents, size;
2378         int evt_idx;
2379         int do_free_pages = 0;
2380
2381         if (maxevents <= 0) {
2382                 return -EINVAL;
2383         }
2384
2385         /* Verify that the area passed by the user is writeable */
2386         if (!access_ok(VERIFY_WRITE, events, maxevents * sizeof(struct epoll_event32)))
2387                 return -EFAULT;
2388
2389         /*
2390          * Allocate space for the intermediate copy.  If the space needed
2391          * is large enough to cause kmalloc to fail, then try again with
2392          * __get_free_pages.
2393          */
2394         size = maxevents * sizeof(struct epoll_event);
2395         events64 = kmalloc(size, GFP_KERNEL);
2396         if (events64 == NULL) {
2397                 events64 = (struct epoll_event *)
2398                                 __get_free_pages(GFP_KERNEL, get_order(size));
2399                 if (events64 == NULL)
2400                         return -ENOMEM;
2401                 do_free_pages = 1;
2402         }
2403
2404         /* Do the system call */
2405         set_fs(KERNEL_DS); /* copy_to/from_user should work on kernel mem*/
2406         numevents = sys_epoll_wait(epfd, (struct epoll_event __user *) events64,
2407                                    maxevents, timeout);
2408         set_fs(old_fs);
2409
2410         /* Don't modify userspace memory if we're returning an error */
2411         if (numevents > 0) {
2412                 /* Translate the 64-bit structures back into the 32-bit
2413                    structures */
2414                 for (evt_idx = 0; evt_idx < numevents; evt_idx++) {
2415                         __put_user(events64[evt_idx].events,
2416                                    &events[evt_idx].events);
2417                         __put_user((u32)events64[evt_idx].data,
2418                                    &events[evt_idx].data[0]);
2419                         __put_user((u32)(events64[evt_idx].data >> 32),
2420                                    &events[evt_idx].data[1]);
2421                 }
2422         }
2423
2424         if (do_free_pages)
2425                 free_pages((unsigned long) events64, get_order(size));
2426         else
2427                 kfree(events64);
2428         return numevents;
2429 }
2430
2431 /*
2432  * Get a yet unused TLS descriptor index.
2433  */
2434 static int
2435 get_free_idx (void)
2436 {
2437         struct thread_struct *t = &current->thread;
2438         int idx;
2439
2440         for (idx = 0; idx < GDT_ENTRY_TLS_ENTRIES; idx++)
2441                 if (desc_empty(t->tls_array + idx))
2442                         return idx + GDT_ENTRY_TLS_MIN;
2443         return -ESRCH;
2444 }
2445
2446 /*
2447  * Set a given TLS descriptor:
2448  */
2449 asmlinkage int
2450 sys32_set_thread_area (struct ia32_user_desc __user *u_info)
2451 {
2452         struct thread_struct *t = &current->thread;
2453         struct ia32_user_desc info;
2454         struct desc_struct *desc;
2455         int cpu, idx;
2456
2457         if (copy_from_user(&info, u_info, sizeof(info)))
2458                 return -EFAULT;
2459         idx = info.entry_number;
2460
2461         /*
2462          * index -1 means the kernel should try to find and allocate an empty descriptor:
2463          */
2464         if (idx == -1) {
2465                 idx = get_free_idx();
2466                 if (idx < 0)
2467                         return idx;
2468                 if (put_user(idx, &u_info->entry_number))
2469                         return -EFAULT;
2470         }
2471
2472         if (idx < GDT_ENTRY_TLS_MIN || idx > GDT_ENTRY_TLS_MAX)
2473                 return -EINVAL;
2474
2475         desc = t->tls_array + idx - GDT_ENTRY_TLS_MIN;
2476
2477         cpu = smp_processor_id();
2478
2479         if (LDT_empty(&info)) {
2480                 desc->a = 0;
2481                 desc->b = 0;
2482         } else {
2483                 desc->a = LDT_entry_a(&info);
2484                 desc->b = LDT_entry_b(&info);
2485         }
2486         load_TLS(t, cpu);
2487         return 0;
2488 }
2489
2490 /*
2491  * Get the current Thread-Local Storage area:
2492  */
2493
2494 #define GET_BASE(desc) (                        \
2495         (((desc)->a >> 16) & 0x0000ffff) |      \
2496         (((desc)->b << 16) & 0x00ff0000) |      \
2497         ( (desc)->b        & 0xff000000)   )
2498
2499 #define GET_LIMIT(desc) (                       \
2500         ((desc)->a & 0x0ffff) |                 \
2501          ((desc)->b & 0xf0000) )
2502
2503 #define GET_32BIT(desc)         (((desc)->b >> 22) & 1)
2504 #define GET_CONTENTS(desc)      (((desc)->b >> 10) & 3)
2505 #define GET_WRITABLE(desc)      (((desc)->b >>  9) & 1)
2506 #define GET_LIMIT_PAGES(desc)   (((desc)->b >> 23) & 1)
2507 #define GET_PRESENT(desc)       (((desc)->b >> 15) & 1)
2508 #define GET_USEABLE(desc)       (((desc)->b >> 20) & 1)
2509
2510 asmlinkage int
2511 sys32_get_thread_area (struct ia32_user_desc __user *u_info)
2512 {
2513         struct ia32_user_desc info;
2514         struct desc_struct *desc;
2515         int idx;
2516
2517         if (get_user(idx, &u_info->entry_number))
2518                 return -EFAULT;
2519         if (idx < GDT_ENTRY_TLS_MIN || idx > GDT_ENTRY_TLS_MAX)
2520                 return -EINVAL;
2521
2522         desc = current->thread.tls_array + idx - GDT_ENTRY_TLS_MIN;
2523
2524         info.entry_number = idx;
2525         info.base_addr = GET_BASE(desc);
2526         info.limit = GET_LIMIT(desc);
2527         info.seg_32bit = GET_32BIT(desc);
2528         info.contents = GET_CONTENTS(desc);
2529         info.read_exec_only = !GET_WRITABLE(desc);
2530         info.limit_in_pages = GET_LIMIT_PAGES(desc);
2531         info.seg_not_present = !GET_PRESENT(desc);
2532         info.useable = GET_USEABLE(desc);
2533
2534         if (copy_to_user(u_info, &info, sizeof(info)))
2535                 return -EFAULT;
2536         return 0;
2537 }
2538
2539 long sys32_fadvise64_64(int fd, __u32 offset_low, __u32 offset_high, 
2540                         __u32 len_low, __u32 len_high, int advice)
2541
2542         return sys_fadvise64_64(fd,
2543                                (((u64)offset_high)<<32) | offset_low,
2544                                (((u64)len_high)<<32) | len_low,
2545                                advice); 
2546
2547
2548 #ifdef  NOTYET  /* UNTESTED FOR IA64 FROM HERE DOWN */
2549
2550 asmlinkage long sys32_setreuid(compat_uid_t ruid, compat_uid_t euid)
2551 {
2552         uid_t sruid, seuid;
2553
2554         sruid = (ruid == (compat_uid_t)-1) ? ((uid_t)-1) : ((uid_t)ruid);
2555         seuid = (euid == (compat_uid_t)-1) ? ((uid_t)-1) : ((uid_t)euid);
2556         return sys_setreuid(sruid, seuid);
2557 }
2558
2559 asmlinkage long
2560 sys32_setresuid(compat_uid_t ruid, compat_uid_t euid,
2561                 compat_uid_t suid)
2562 {
2563         uid_t sruid, seuid, ssuid;
2564
2565         sruid = (ruid == (compat_uid_t)-1) ? ((uid_t)-1) : ((uid_t)ruid);
2566         seuid = (euid == (compat_uid_t)-1) ? ((uid_t)-1) : ((uid_t)euid);
2567         ssuid = (suid == (compat_uid_t)-1) ? ((uid_t)-1) : ((uid_t)suid);
2568         return sys_setresuid(sruid, seuid, ssuid);
2569 }
2570
2571 asmlinkage long
2572 sys32_setregid(compat_gid_t rgid, compat_gid_t egid)
2573 {
2574         gid_t srgid, segid;
2575
2576         srgid = (rgid == (compat_gid_t)-1) ? ((gid_t)-1) : ((gid_t)rgid);
2577         segid = (egid == (compat_gid_t)-1) ? ((gid_t)-1) : ((gid_t)egid);
2578         return sys_setregid(srgid, segid);
2579 }
2580
2581 asmlinkage long
2582 sys32_setresgid(compat_gid_t rgid, compat_gid_t egid,
2583                 compat_gid_t sgid)
2584 {
2585         gid_t srgid, segid, ssgid;
2586
2587         srgid = (rgid == (compat_gid_t)-1) ? ((gid_t)-1) : ((gid_t)rgid);
2588         segid = (egid == (compat_gid_t)-1) ? ((gid_t)-1) : ((gid_t)egid);
2589         ssgid = (sgid == (compat_gid_t)-1) ? ((gid_t)-1) : ((gid_t)sgid);
2590         return sys_setresgid(srgid, segid, ssgid);
2591 }
2592 #endif /* NOTYET */