[PATCH] kill nameidata passing to permission(), rename to inode_permission()
[linux-2.6.git] / fs / namei.c
1 /*
2  *  linux/fs/namei.c
3  *
4  *  Copyright (C) 1991, 1992  Linus Torvalds
5  */
6
7 /*
8  * Some corrections by tytso.
9  */
10
11 /* [Feb 1997 T. Schoebel-Theuer] Complete rewrite of the pathname
12  * lookup logic.
13  */
14 /* [Feb-Apr 2000, AV] Rewrite to the new namespace architecture.
15  */
16
17 #include <linux/init.h>
18 #include <linux/module.h>
19 #include <linux/slab.h>
20 #include <linux/fs.h>
21 #include <linux/namei.h>
22 #include <linux/quotaops.h>
23 #include <linux/pagemap.h>
24 #include <linux/fsnotify.h>
25 #include <linux/personality.h>
26 #include <linux/security.h>
27 #include <linux/syscalls.h>
28 #include <linux/mount.h>
29 #include <linux/audit.h>
30 #include <linux/capability.h>
31 #include <linux/file.h>
32 #include <linux/fcntl.h>
33 #include <linux/device_cgroup.h>
34 #include <asm/uaccess.h>
35
36 #define ACC_MODE(x) ("\000\004\002\006"[(x)&O_ACCMODE])
37
38 /* [Feb-1997 T. Schoebel-Theuer]
39  * Fundamental changes in the pathname lookup mechanisms (namei)
40  * were necessary because of omirr.  The reason is that omirr needs
41  * to know the _real_ pathname, not the user-supplied one, in case
42  * of symlinks (and also when transname replacements occur).
43  *
44  * The new code replaces the old recursive symlink resolution with
45  * an iterative one (in case of non-nested symlink chains).  It does
46  * this with calls to <fs>_follow_link().
47  * As a side effect, dir_namei(), _namei() and follow_link() are now 
48  * replaced with a single function lookup_dentry() that can handle all 
49  * the special cases of the former code.
50  *
51  * With the new dcache, the pathname is stored at each inode, at least as
52  * long as the refcount of the inode is positive.  As a side effect, the
53  * size of the dcache depends on the inode cache and thus is dynamic.
54  *
55  * [29-Apr-1998 C. Scott Ananian] Updated above description of symlink
56  * resolution to correspond with current state of the code.
57  *
58  * Note that the symlink resolution is not *completely* iterative.
59  * There is still a significant amount of tail- and mid- recursion in
60  * the algorithm.  Also, note that <fs>_readlink() is not used in
61  * lookup_dentry(): lookup_dentry() on the result of <fs>_readlink()
62  * may return different results than <fs>_follow_link().  Many virtual
63  * filesystems (including /proc) exhibit this behavior.
64  */
65
66 /* [24-Feb-97 T. Schoebel-Theuer] Side effects caused by new implementation:
67  * New symlink semantics: when open() is called with flags O_CREAT | O_EXCL
68  * and the name already exists in form of a symlink, try to create the new
69  * name indicated by the symlink. The old code always complained that the
70  * name already exists, due to not following the symlink even if its target
71  * is nonexistent.  The new semantics affects also mknod() and link() when
72  * the name is a symlink pointing to a non-existant name.
73  *
74  * I don't know which semantics is the right one, since I have no access
75  * to standards. But I found by trial that HP-UX 9.0 has the full "new"
76  * semantics implemented, while SunOS 4.1.1 and Solaris (SunOS 5.4) have the
77  * "old" one. Personally, I think the new semantics is much more logical.
78  * Note that "ln old new" where "new" is a symlink pointing to a non-existing
79  * file does succeed in both HP-UX and SunOs, but not in Solaris
80  * and in the old Linux semantics.
81  */
82
83 /* [16-Dec-97 Kevin Buhr] For security reasons, we change some symlink
84  * semantics.  See the comments in "open_namei" and "do_link" below.
85  *
86  * [10-Sep-98 Alan Modra] Another symlink change.
87  */
88
89 /* [Feb-Apr 2000 AV] Complete rewrite. Rules for symlinks:
90  *      inside the path - always follow.
91  *      in the last component in creation/removal/renaming - never follow.
92  *      if LOOKUP_FOLLOW passed - follow.
93  *      if the pathname has trailing slashes - follow.
94  *      otherwise - don't follow.
95  * (applied in that order).
96  *
97  * [Jun 2000 AV] Inconsistent behaviour of open() in case if flags==O_CREAT
98  * restored for 2.4. This is the last surviving part of old 4.2BSD bug.
99  * During the 2.4 we need to fix the userland stuff depending on it -
100  * hopefully we will be able to get rid of that wart in 2.5. So far only
101  * XEmacs seems to be relying on it...
102  */
103 /*
104  * [Sep 2001 AV] Single-semaphore locking scheme (kudos to David Holland)
105  * implemented.  Let's see if raised priority of ->s_vfs_rename_mutex gives
106  * any extra contention...
107  */
108
109 static int __link_path_walk(const char *name, struct nameidata *nd);
110
111 /* In order to reduce some races, while at the same time doing additional
112  * checking and hopefully speeding things up, we copy filenames to the
113  * kernel data space before using them..
114  *
115  * POSIX.1 2.4: an empty pathname is invalid (ENOENT).
116  * PATH_MAX includes the nul terminator --RR.
117  */
118 static int do_getname(const char __user *filename, char *page)
119 {
120         int retval;
121         unsigned long len = PATH_MAX;
122
123         if (!segment_eq(get_fs(), KERNEL_DS)) {
124                 if ((unsigned long) filename >= TASK_SIZE)
125                         return -EFAULT;
126                 if (TASK_SIZE - (unsigned long) filename < PATH_MAX)
127                         len = TASK_SIZE - (unsigned long) filename;
128         }
129
130         retval = strncpy_from_user(page, filename, len);
131         if (retval > 0) {
132                 if (retval < len)
133                         return 0;
134                 return -ENAMETOOLONG;
135         } else if (!retval)
136                 retval = -ENOENT;
137         return retval;
138 }
139
140 char * getname(const char __user * filename)
141 {
142         char *tmp, *result;
143
144         result = ERR_PTR(-ENOMEM);
145         tmp = __getname();
146         if (tmp)  {
147                 int retval = do_getname(filename, tmp);
148
149                 result = tmp;
150                 if (retval < 0) {
151                         __putname(tmp);
152                         result = ERR_PTR(retval);
153                 }
154         }
155         audit_getname(result);
156         return result;
157 }
158
159 #ifdef CONFIG_AUDITSYSCALL
160 void putname(const char *name)
161 {
162         if (unlikely(!audit_dummy_context()))
163                 audit_putname(name);
164         else
165                 __putname(name);
166 }
167 EXPORT_SYMBOL(putname);
168 #endif
169
170
171 /**
172  * generic_permission  -  check for access rights on a Posix-like filesystem
173  * @inode:      inode to check access rights for
174  * @mask:       right to check for (%MAY_READ, %MAY_WRITE, %MAY_EXEC)
175  * @check_acl:  optional callback to check for Posix ACLs
176  *
177  * Used to check for read/write/execute permissions on a file.
178  * We use "fsuid" for this, letting us set arbitrary permissions
179  * for filesystem access without changing the "normal" uids which
180  * are used for other things..
181  */
182 int generic_permission(struct inode *inode, int mask,
183                 int (*check_acl)(struct inode *inode, int mask))
184 {
185         umode_t                 mode = inode->i_mode;
186
187         mask &= MAY_READ | MAY_WRITE | MAY_EXEC;
188
189         if (current->fsuid == inode->i_uid)
190                 mode >>= 6;
191         else {
192                 if (IS_POSIXACL(inode) && (mode & S_IRWXG) && check_acl) {
193                         int error = check_acl(inode, mask);
194                         if (error == -EACCES)
195                                 goto check_capabilities;
196                         else if (error != -EAGAIN)
197                                 return error;
198                 }
199
200                 if (in_group_p(inode->i_gid))
201                         mode >>= 3;
202         }
203
204         /*
205          * If the DACs are ok we don't need any capability check.
206          */
207         if ((mask & ~mode) == 0)
208                 return 0;
209
210  check_capabilities:
211         /*
212          * Read/write DACs are always overridable.
213          * Executable DACs are overridable if at least one exec bit is set.
214          */
215         if (!(mask & MAY_EXEC) ||
216             (inode->i_mode & S_IXUGO) || S_ISDIR(inode->i_mode))
217                 if (capable(CAP_DAC_OVERRIDE))
218                         return 0;
219
220         /*
221          * Searching includes executable on directories, else just read.
222          */
223         if (mask == MAY_READ || (S_ISDIR(inode->i_mode) && !(mask & MAY_WRITE)))
224                 if (capable(CAP_DAC_READ_SEARCH))
225                         return 0;
226
227         return -EACCES;
228 }
229
230 int inode_permission(struct inode *inode, int mask)
231 {
232         int retval;
233
234         if (mask & MAY_WRITE) {
235                 umode_t mode = inode->i_mode;
236
237                 /*
238                  * Nobody gets write access to a read-only fs.
239                  */
240                 if (IS_RDONLY(inode) &&
241                     (S_ISREG(mode) || S_ISDIR(mode) || S_ISLNK(mode)))
242                         return -EROFS;
243
244                 /*
245                  * Nobody gets write access to an immutable file.
246                  */
247                 if (IS_IMMUTABLE(inode))
248                         return -EACCES;
249         }
250
251         /* Ordinary permission routines do not understand MAY_APPEND. */
252         if (inode->i_op && inode->i_op->permission) {
253                 retval = inode->i_op->permission(inode, mask);
254                 if (!retval) {
255                         /*
256                          * Exec permission on a regular file is denied if none
257                          * of the execute bits are set.
258                          *
259                          * This check should be done by the ->permission()
260                          * method.
261                          */
262                         if ((mask & MAY_EXEC) && S_ISREG(inode->i_mode) &&
263                             !(inode->i_mode & S_IXUGO))
264                                 return -EACCES;
265                 }
266         } else {
267                 retval = generic_permission(inode, mask, NULL);
268         }
269         if (retval)
270                 return retval;
271
272         retval = devcgroup_inode_permission(inode, mask);
273         if (retval)
274                 return retval;
275
276         return security_inode_permission(inode,
277                         mask & (MAY_READ|MAY_WRITE|MAY_EXEC));
278 }
279
280 /**
281  * vfs_permission  -  check for access rights to a given path
282  * @nd:         lookup result that describes the path
283  * @mask:       right to check for (%MAY_READ, %MAY_WRITE, %MAY_EXEC)
284  *
285  * Used to check for read/write/execute permissions on a path.
286  * We use "fsuid" for this, letting us set arbitrary permissions
287  * for filesystem access without changing the "normal" uids which
288  * are used for other things.
289  */
290 int vfs_permission(struct nameidata *nd, int mask)
291 {
292         return inode_permission(nd->path.dentry->d_inode, mask);
293 }
294
295 /**
296  * file_permission  -  check for additional access rights to a given file
297  * @file:       file to check access rights for
298  * @mask:       right to check for (%MAY_READ, %MAY_WRITE, %MAY_EXEC)
299  *
300  * Used to check for read/write/execute permissions on an already opened
301  * file.
302  *
303  * Note:
304  *      Do not use this function in new code.  All access checks should
305  *      be done using vfs_permission().
306  */
307 int file_permission(struct file *file, int mask)
308 {
309         return inode_permission(file->f_path.dentry->d_inode, mask);
310 }
311
312 /*
313  * get_write_access() gets write permission for a file.
314  * put_write_access() releases this write permission.
315  * This is used for regular files.
316  * We cannot support write (and maybe mmap read-write shared) accesses and
317  * MAP_DENYWRITE mmappings simultaneously. The i_writecount field of an inode
318  * can have the following values:
319  * 0: no writers, no VM_DENYWRITE mappings
320  * < 0: (-i_writecount) vm_area_structs with VM_DENYWRITE set exist
321  * > 0: (i_writecount) users are writing to the file.
322  *
323  * Normally we operate on that counter with atomic_{inc,dec} and it's safe
324  * except for the cases where we don't hold i_writecount yet. Then we need to
325  * use {get,deny}_write_access() - these functions check the sign and refuse
326  * to do the change if sign is wrong. Exclusion between them is provided by
327  * the inode->i_lock spinlock.
328  */
329
330 int get_write_access(struct inode * inode)
331 {
332         spin_lock(&inode->i_lock);
333         if (atomic_read(&inode->i_writecount) < 0) {
334                 spin_unlock(&inode->i_lock);
335                 return -ETXTBSY;
336         }
337         atomic_inc(&inode->i_writecount);
338         spin_unlock(&inode->i_lock);
339
340         return 0;
341 }
342
343 int deny_write_access(struct file * file)
344 {
345         struct inode *inode = file->f_path.dentry->d_inode;
346
347         spin_lock(&inode->i_lock);
348         if (atomic_read(&inode->i_writecount) > 0) {
349                 spin_unlock(&inode->i_lock);
350                 return -ETXTBSY;
351         }
352         atomic_dec(&inode->i_writecount);
353         spin_unlock(&inode->i_lock);
354
355         return 0;
356 }
357
358 /**
359  * path_get - get a reference to a path
360  * @path: path to get the reference to
361  *
362  * Given a path increment the reference count to the dentry and the vfsmount.
363  */
364 void path_get(struct path *path)
365 {
366         mntget(path->mnt);
367         dget(path->dentry);
368 }
369 EXPORT_SYMBOL(path_get);
370
371 /**
372  * path_put - put a reference to a path
373  * @path: path to put the reference to
374  *
375  * Given a path decrement the reference count to the dentry and the vfsmount.
376  */
377 void path_put(struct path *path)
378 {
379         dput(path->dentry);
380         mntput(path->mnt);
381 }
382 EXPORT_SYMBOL(path_put);
383
384 /**
385  * release_open_intent - free up open intent resources
386  * @nd: pointer to nameidata
387  */
388 void release_open_intent(struct nameidata *nd)
389 {
390         if (nd->intent.open.file->f_path.dentry == NULL)
391                 put_filp(nd->intent.open.file);
392         else
393                 fput(nd->intent.open.file);
394 }
395
396 static inline struct dentry *
397 do_revalidate(struct dentry *dentry, struct nameidata *nd)
398 {
399         int status = dentry->d_op->d_revalidate(dentry, nd);
400         if (unlikely(status <= 0)) {
401                 /*
402                  * The dentry failed validation.
403                  * If d_revalidate returned 0 attempt to invalidate
404                  * the dentry otherwise d_revalidate is asking us
405                  * to return a fail status.
406                  */
407                 if (!status) {
408                         if (!d_invalidate(dentry)) {
409                                 dput(dentry);
410                                 dentry = NULL;
411                         }
412                 } else {
413                         dput(dentry);
414                         dentry = ERR_PTR(status);
415                 }
416         }
417         return dentry;
418 }
419
420 /*
421  * Internal lookup() using the new generic dcache.
422  * SMP-safe
423  */
424 static struct dentry * cached_lookup(struct dentry * parent, struct qstr * name, struct nameidata *nd)
425 {
426         struct dentry * dentry = __d_lookup(parent, name);
427
428         /* lockess __d_lookup may fail due to concurrent d_move() 
429          * in some unrelated directory, so try with d_lookup
430          */
431         if (!dentry)
432                 dentry = d_lookup(parent, name);
433
434         if (dentry && dentry->d_op && dentry->d_op->d_revalidate)
435                 dentry = do_revalidate(dentry, nd);
436
437         return dentry;
438 }
439
440 /*
441  * Short-cut version of permission(), for calling by
442  * path_walk(), when dcache lock is held.  Combines parts
443  * of permission() and generic_permission(), and tests ONLY for
444  * MAY_EXEC permission.
445  *
446  * If appropriate, check DAC only.  If not appropriate, or
447  * short-cut DAC fails, then call permission() to do more
448  * complete permission check.
449  */
450 static int exec_permission_lite(struct inode *inode)
451 {
452         umode_t mode = inode->i_mode;
453
454         if (inode->i_op && inode->i_op->permission)
455                 return -EAGAIN;
456
457         if (current->fsuid == inode->i_uid)
458                 mode >>= 6;
459         else if (in_group_p(inode->i_gid))
460                 mode >>= 3;
461
462         if (mode & MAY_EXEC)
463                 goto ok;
464
465         if ((inode->i_mode & S_IXUGO) && capable(CAP_DAC_OVERRIDE))
466                 goto ok;
467
468         if (S_ISDIR(inode->i_mode) && capable(CAP_DAC_OVERRIDE))
469                 goto ok;
470
471         if (S_ISDIR(inode->i_mode) && capable(CAP_DAC_READ_SEARCH))
472                 goto ok;
473
474         return -EACCES;
475 ok:
476         return security_inode_permission(inode, MAY_EXEC);
477 }
478
479 /*
480  * This is called when everything else fails, and we actually have
481  * to go to the low-level filesystem to find out what we should do..
482  *
483  * We get the directory semaphore, and after getting that we also
484  * make sure that nobody added the entry to the dcache in the meantime..
485  * SMP-safe
486  */
487 static struct dentry * real_lookup(struct dentry * parent, struct qstr * name, struct nameidata *nd)
488 {
489         struct dentry * result;
490         struct inode *dir = parent->d_inode;
491
492         mutex_lock(&dir->i_mutex);
493         /*
494          * First re-do the cached lookup just in case it was created
495          * while we waited for the directory semaphore..
496          *
497          * FIXME! This could use version numbering or similar to
498          * avoid unnecessary cache lookups.
499          *
500          * The "dcache_lock" is purely to protect the RCU list walker
501          * from concurrent renames at this point (we mustn't get false
502          * negatives from the RCU list walk here, unlike the optimistic
503          * fast walk).
504          *
505          * so doing d_lookup() (with seqlock), instead of lockfree __d_lookup
506          */
507         result = d_lookup(parent, name);
508         if (!result) {
509                 struct dentry *dentry;
510
511                 /* Don't create child dentry for a dead directory. */
512                 result = ERR_PTR(-ENOENT);
513                 if (IS_DEADDIR(dir))
514                         goto out_unlock;
515
516                 dentry = d_alloc(parent, name);
517                 result = ERR_PTR(-ENOMEM);
518                 if (dentry) {
519                         result = dir->i_op->lookup(dir, dentry, nd);
520                         if (result)
521                                 dput(dentry);
522                         else
523                                 result = dentry;
524                 }
525 out_unlock:
526                 mutex_unlock(&dir->i_mutex);
527                 return result;
528         }
529
530         /*
531          * Uhhuh! Nasty case: the cache was re-populated while
532          * we waited on the semaphore. Need to revalidate.
533          */
534         mutex_unlock(&dir->i_mutex);
535         if (result->d_op && result->d_op->d_revalidate) {
536                 result = do_revalidate(result, nd);
537                 if (!result)
538                         result = ERR_PTR(-ENOENT);
539         }
540         return result;
541 }
542
543 /* SMP-safe */
544 static __always_inline void
545 walk_init_root(const char *name, struct nameidata *nd)
546 {
547         struct fs_struct *fs = current->fs;
548
549         read_lock(&fs->lock);
550         nd->path = fs->root;
551         path_get(&fs->root);
552         read_unlock(&fs->lock);
553 }
554
555 /*
556  * Wrapper to retry pathname resolution whenever the underlying
557  * file system returns an ESTALE.
558  *
559  * Retry the whole path once, forcing real lookup requests
560  * instead of relying on the dcache.
561  */
562 static __always_inline int link_path_walk(const char *name, struct nameidata *nd)
563 {
564         struct path save = nd->path;
565         int result;
566
567         /* make sure the stuff we saved doesn't go away */
568         path_get(&save);
569
570         result = __link_path_walk(name, nd);
571         if (result == -ESTALE) {
572                 /* nd->path had been dropped */
573                 nd->path = save;
574                 path_get(&nd->path);
575                 nd->flags |= LOOKUP_REVAL;
576                 result = __link_path_walk(name, nd);
577         }
578
579         path_put(&save);
580
581         return result;
582 }
583
584 static __always_inline int __vfs_follow_link(struct nameidata *nd, const char *link)
585 {
586         int res = 0;
587         char *name;
588         if (IS_ERR(link))
589                 goto fail;
590
591         if (*link == '/') {
592                 path_put(&nd->path);
593                 walk_init_root(link, nd);
594         }
595         res = link_path_walk(link, nd);
596         if (nd->depth || res || nd->last_type!=LAST_NORM)
597                 return res;
598         /*
599          * If it is an iterative symlinks resolution in open_namei() we
600          * have to copy the last component. And all that crap because of
601          * bloody create() on broken symlinks. Furrfu...
602          */
603         name = __getname();
604         if (unlikely(!name)) {
605                 path_put(&nd->path);
606                 return -ENOMEM;
607         }
608         strcpy(name, nd->last.name);
609         nd->last.name = name;
610         return 0;
611 fail:
612         path_put(&nd->path);
613         return PTR_ERR(link);
614 }
615
616 static void path_put_conditional(struct path *path, struct nameidata *nd)
617 {
618         dput(path->dentry);
619         if (path->mnt != nd->path.mnt)
620                 mntput(path->mnt);
621 }
622
623 static inline void path_to_nameidata(struct path *path, struct nameidata *nd)
624 {
625         dput(nd->path.dentry);
626         if (nd->path.mnt != path->mnt)
627                 mntput(nd->path.mnt);
628         nd->path.mnt = path->mnt;
629         nd->path.dentry = path->dentry;
630 }
631
632 static __always_inline int __do_follow_link(struct path *path, struct nameidata *nd)
633 {
634         int error;
635         void *cookie;
636         struct dentry *dentry = path->dentry;
637
638         touch_atime(path->mnt, dentry);
639         nd_set_link(nd, NULL);
640
641         if (path->mnt != nd->path.mnt) {
642                 path_to_nameidata(path, nd);
643                 dget(dentry);
644         }
645         mntget(path->mnt);
646         cookie = dentry->d_inode->i_op->follow_link(dentry, nd);
647         error = PTR_ERR(cookie);
648         if (!IS_ERR(cookie)) {
649                 char *s = nd_get_link(nd);
650                 error = 0;
651                 if (s)
652                         error = __vfs_follow_link(nd, s);
653                 if (dentry->d_inode->i_op->put_link)
654                         dentry->d_inode->i_op->put_link(dentry, nd, cookie);
655         }
656         path_put(path);
657
658         return error;
659 }
660
661 /*
662  * This limits recursive symlink follows to 8, while
663  * limiting consecutive symlinks to 40.
664  *
665  * Without that kind of total limit, nasty chains of consecutive
666  * symlinks can cause almost arbitrarily long lookups. 
667  */
668 static inline int do_follow_link(struct path *path, struct nameidata *nd)
669 {
670         int err = -ELOOP;
671         if (current->link_count >= MAX_NESTED_LINKS)
672                 goto loop;
673         if (current->total_link_count >= 40)
674                 goto loop;
675         BUG_ON(nd->depth >= MAX_NESTED_LINKS);
676         cond_resched();
677         err = security_inode_follow_link(path->dentry, nd);
678         if (err)
679                 goto loop;
680         current->link_count++;
681         current->total_link_count++;
682         nd->depth++;
683         err = __do_follow_link(path, nd);
684         current->link_count--;
685         nd->depth--;
686         return err;
687 loop:
688         path_put_conditional(path, nd);
689         path_put(&nd->path);
690         return err;
691 }
692
693 int follow_up(struct vfsmount **mnt, struct dentry **dentry)
694 {
695         struct vfsmount *parent;
696         struct dentry *mountpoint;
697         spin_lock(&vfsmount_lock);
698         parent=(*mnt)->mnt_parent;
699         if (parent == *mnt) {
700                 spin_unlock(&vfsmount_lock);
701                 return 0;
702         }
703         mntget(parent);
704         mountpoint=dget((*mnt)->mnt_mountpoint);
705         spin_unlock(&vfsmount_lock);
706         dput(*dentry);
707         *dentry = mountpoint;
708         mntput(*mnt);
709         *mnt = parent;
710         return 1;
711 }
712
713 /* no need for dcache_lock, as serialization is taken care in
714  * namespace.c
715  */
716 static int __follow_mount(struct path *path)
717 {
718         int res = 0;
719         while (d_mountpoint(path->dentry)) {
720                 struct vfsmount *mounted = lookup_mnt(path->mnt, path->dentry);
721                 if (!mounted)
722                         break;
723                 dput(path->dentry);
724                 if (res)
725                         mntput(path->mnt);
726                 path->mnt = mounted;
727                 path->dentry = dget(mounted->mnt_root);
728                 res = 1;
729         }
730         return res;
731 }
732
733 static void follow_mount(struct vfsmount **mnt, struct dentry **dentry)
734 {
735         while (d_mountpoint(*dentry)) {
736                 struct vfsmount *mounted = lookup_mnt(*mnt, *dentry);
737                 if (!mounted)
738                         break;
739                 dput(*dentry);
740                 mntput(*mnt);
741                 *mnt = mounted;
742                 *dentry = dget(mounted->mnt_root);
743         }
744 }
745
746 /* no need for dcache_lock, as serialization is taken care in
747  * namespace.c
748  */
749 int follow_down(struct vfsmount **mnt, struct dentry **dentry)
750 {
751         struct vfsmount *mounted;
752
753         mounted = lookup_mnt(*mnt, *dentry);
754         if (mounted) {
755                 dput(*dentry);
756                 mntput(*mnt);
757                 *mnt = mounted;
758                 *dentry = dget(mounted->mnt_root);
759                 return 1;
760         }
761         return 0;
762 }
763
764 static __always_inline void follow_dotdot(struct nameidata *nd)
765 {
766         struct fs_struct *fs = current->fs;
767
768         while(1) {
769                 struct vfsmount *parent;
770                 struct dentry *old = nd->path.dentry;
771
772                 read_lock(&fs->lock);
773                 if (nd->path.dentry == fs->root.dentry &&
774                     nd->path.mnt == fs->root.mnt) {
775                         read_unlock(&fs->lock);
776                         break;
777                 }
778                 read_unlock(&fs->lock);
779                 spin_lock(&dcache_lock);
780                 if (nd->path.dentry != nd->path.mnt->mnt_root) {
781                         nd->path.dentry = dget(nd->path.dentry->d_parent);
782                         spin_unlock(&dcache_lock);
783                         dput(old);
784                         break;
785                 }
786                 spin_unlock(&dcache_lock);
787                 spin_lock(&vfsmount_lock);
788                 parent = nd->path.mnt->mnt_parent;
789                 if (parent == nd->path.mnt) {
790                         spin_unlock(&vfsmount_lock);
791                         break;
792                 }
793                 mntget(parent);
794                 nd->path.dentry = dget(nd->path.mnt->mnt_mountpoint);
795                 spin_unlock(&vfsmount_lock);
796                 dput(old);
797                 mntput(nd->path.mnt);
798                 nd->path.mnt = parent;
799         }
800         follow_mount(&nd->path.mnt, &nd->path.dentry);
801 }
802
803 /*
804  *  It's more convoluted than I'd like it to be, but... it's still fairly
805  *  small and for now I'd prefer to have fast path as straight as possible.
806  *  It _is_ time-critical.
807  */
808 static int do_lookup(struct nameidata *nd, struct qstr *name,
809                      struct path *path)
810 {
811         struct vfsmount *mnt = nd->path.mnt;
812         struct dentry *dentry = __d_lookup(nd->path.dentry, name);
813
814         if (!dentry)
815                 goto need_lookup;
816         if (dentry->d_op && dentry->d_op->d_revalidate)
817                 goto need_revalidate;
818 done:
819         path->mnt = mnt;
820         path->dentry = dentry;
821         __follow_mount(path);
822         return 0;
823
824 need_lookup:
825         dentry = real_lookup(nd->path.dentry, name, nd);
826         if (IS_ERR(dentry))
827                 goto fail;
828         goto done;
829
830 need_revalidate:
831         dentry = do_revalidate(dentry, nd);
832         if (!dentry)
833                 goto need_lookup;
834         if (IS_ERR(dentry))
835                 goto fail;
836         goto done;
837
838 fail:
839         return PTR_ERR(dentry);
840 }
841
842 /*
843  * Name resolution.
844  * This is the basic name resolution function, turning a pathname into
845  * the final dentry. We expect 'base' to be positive and a directory.
846  *
847  * Returns 0 and nd will have valid dentry and mnt on success.
848  * Returns error and drops reference to input namei data on failure.
849  */
850 static int __link_path_walk(const char *name, struct nameidata *nd)
851 {
852         struct path next;
853         struct inode *inode;
854         int err;
855         unsigned int lookup_flags = nd->flags;
856         
857         while (*name=='/')
858                 name++;
859         if (!*name)
860                 goto return_reval;
861
862         inode = nd->path.dentry->d_inode;
863         if (nd->depth)
864                 lookup_flags = LOOKUP_FOLLOW | (nd->flags & LOOKUP_CONTINUE);
865
866         /* At this point we know we have a real path component. */
867         for(;;) {
868                 unsigned long hash;
869                 struct qstr this;
870                 unsigned int c;
871
872                 nd->flags |= LOOKUP_CONTINUE;
873                 err = exec_permission_lite(inode);
874                 if (err == -EAGAIN)
875                         err = vfs_permission(nd, MAY_EXEC);
876                 if (err)
877                         break;
878
879                 this.name = name;
880                 c = *(const unsigned char *)name;
881
882                 hash = init_name_hash();
883                 do {
884                         name++;
885                         hash = partial_name_hash(c, hash);
886                         c = *(const unsigned char *)name;
887                 } while (c && (c != '/'));
888                 this.len = name - (const char *) this.name;
889                 this.hash = end_name_hash(hash);
890
891                 /* remove trailing slashes? */
892                 if (!c)
893                         goto last_component;
894                 while (*++name == '/');
895                 if (!*name)
896                         goto last_with_slashes;
897
898                 /*
899                  * "." and ".." are special - ".." especially so because it has
900                  * to be able to know about the current root directory and
901                  * parent relationships.
902                  */
903                 if (this.name[0] == '.') switch (this.len) {
904                         default:
905                                 break;
906                         case 2: 
907                                 if (this.name[1] != '.')
908                                         break;
909                                 follow_dotdot(nd);
910                                 inode = nd->path.dentry->d_inode;
911                                 /* fallthrough */
912                         case 1:
913                                 continue;
914                 }
915                 /*
916                  * See if the low-level filesystem might want
917                  * to use its own hash..
918                  */
919                 if (nd->path.dentry->d_op && nd->path.dentry->d_op->d_hash) {
920                         err = nd->path.dentry->d_op->d_hash(nd->path.dentry,
921                                                             &this);
922                         if (err < 0)
923                                 break;
924                 }
925                 /* This does the actual lookups.. */
926                 err = do_lookup(nd, &this, &next);
927                 if (err)
928                         break;
929
930                 err = -ENOENT;
931                 inode = next.dentry->d_inode;
932                 if (!inode)
933                         goto out_dput;
934                 err = -ENOTDIR; 
935                 if (!inode->i_op)
936                         goto out_dput;
937
938                 if (inode->i_op->follow_link) {
939                         err = do_follow_link(&next, nd);
940                         if (err)
941                                 goto return_err;
942                         err = -ENOENT;
943                         inode = nd->path.dentry->d_inode;
944                         if (!inode)
945                                 break;
946                         err = -ENOTDIR; 
947                         if (!inode->i_op)
948                                 break;
949                 } else
950                         path_to_nameidata(&next, nd);
951                 err = -ENOTDIR; 
952                 if (!inode->i_op->lookup)
953                         break;
954                 continue;
955                 /* here ends the main loop */
956
957 last_with_slashes:
958                 lookup_flags |= LOOKUP_FOLLOW | LOOKUP_DIRECTORY;
959 last_component:
960                 /* Clear LOOKUP_CONTINUE iff it was previously unset */
961                 nd->flags &= lookup_flags | ~LOOKUP_CONTINUE;
962                 if (lookup_flags & LOOKUP_PARENT)
963                         goto lookup_parent;
964                 if (this.name[0] == '.') switch (this.len) {
965                         default:
966                                 break;
967                         case 2: 
968                                 if (this.name[1] != '.')
969                                         break;
970                                 follow_dotdot(nd);
971                                 inode = nd->path.dentry->d_inode;
972                                 /* fallthrough */
973                         case 1:
974                                 goto return_reval;
975                 }
976                 if (nd->path.dentry->d_op && nd->path.dentry->d_op->d_hash) {
977                         err = nd->path.dentry->d_op->d_hash(nd->path.dentry,
978                                                             &this);
979                         if (err < 0)
980                                 break;
981                 }
982                 err = do_lookup(nd, &this, &next);
983                 if (err)
984                         break;
985                 inode = next.dentry->d_inode;
986                 if ((lookup_flags & LOOKUP_FOLLOW)
987                     && inode && inode->i_op && inode->i_op->follow_link) {
988                         err = do_follow_link(&next, nd);
989                         if (err)
990                                 goto return_err;
991                         inode = nd->path.dentry->d_inode;
992                 } else
993                         path_to_nameidata(&next, nd);
994                 err = -ENOENT;
995                 if (!inode)
996                         break;
997                 if (lookup_flags & LOOKUP_DIRECTORY) {
998                         err = -ENOTDIR; 
999                         if (!inode->i_op || !inode->i_op->lookup)
1000                                 break;
1001                 }
1002                 goto return_base;
1003 lookup_parent:
1004                 nd->last = this;
1005                 nd->last_type = LAST_NORM;
1006                 if (this.name[0] != '.')
1007                         goto return_base;
1008                 if (this.len == 1)
1009                         nd->last_type = LAST_DOT;
1010                 else if (this.len == 2 && this.name[1] == '.')
1011                         nd->last_type = LAST_DOTDOT;
1012                 else
1013                         goto return_base;
1014 return_reval:
1015                 /*
1016                  * We bypassed the ordinary revalidation routines.
1017                  * We may need to check the cached dentry for staleness.
1018                  */
1019                 if (nd->path.dentry && nd->path.dentry->d_sb &&
1020                     (nd->path.dentry->d_sb->s_type->fs_flags & FS_REVAL_DOT)) {
1021                         err = -ESTALE;
1022                         /* Note: we do not d_invalidate() */
1023                         if (!nd->path.dentry->d_op->d_revalidate(
1024                                         nd->path.dentry, nd))
1025                                 break;
1026                 }
1027 return_base:
1028                 return 0;
1029 out_dput:
1030                 path_put_conditional(&next, nd);
1031                 break;
1032         }
1033         path_put(&nd->path);
1034 return_err:
1035         return err;
1036 }
1037
1038 static int path_walk(const char *name, struct nameidata *nd)
1039 {
1040         current->total_link_count = 0;
1041         return link_path_walk(name, nd);
1042 }
1043
1044 /* Returns 0 and nd will be valid on success; Retuns error, otherwise. */
1045 static int do_path_lookup(int dfd, const char *name,
1046                                 unsigned int flags, struct nameidata *nd)
1047 {
1048         int retval = 0;
1049         int fput_needed;
1050         struct file *file;
1051         struct fs_struct *fs = current->fs;
1052
1053         nd->last_type = LAST_ROOT; /* if there are only slashes... */
1054         nd->flags = flags;
1055         nd->depth = 0;
1056
1057         if (*name=='/') {
1058                 read_lock(&fs->lock);
1059                 nd->path = fs->root;
1060                 path_get(&fs->root);
1061                 read_unlock(&fs->lock);
1062         } else if (dfd == AT_FDCWD) {
1063                 read_lock(&fs->lock);
1064                 nd->path = fs->pwd;
1065                 path_get(&fs->pwd);
1066                 read_unlock(&fs->lock);
1067         } else {
1068                 struct dentry *dentry;
1069
1070                 file = fget_light(dfd, &fput_needed);
1071                 retval = -EBADF;
1072                 if (!file)
1073                         goto out_fail;
1074
1075                 dentry = file->f_path.dentry;
1076
1077                 retval = -ENOTDIR;
1078                 if (!S_ISDIR(dentry->d_inode->i_mode))
1079                         goto fput_fail;
1080
1081                 retval = file_permission(file, MAY_EXEC);
1082                 if (retval)
1083                         goto fput_fail;
1084
1085                 nd->path = file->f_path;
1086                 path_get(&file->f_path);
1087
1088                 fput_light(file, fput_needed);
1089         }
1090
1091         retval = path_walk(name, nd);
1092         if (unlikely(!retval && !audit_dummy_context() && nd->path.dentry &&
1093                                 nd->path.dentry->d_inode))
1094                 audit_inode(name, nd->path.dentry);
1095 out_fail:
1096         return retval;
1097
1098 fput_fail:
1099         fput_light(file, fput_needed);
1100         goto out_fail;
1101 }
1102
1103 int path_lookup(const char *name, unsigned int flags,
1104                         struct nameidata *nd)
1105 {
1106         return do_path_lookup(AT_FDCWD, name, flags, nd);
1107 }
1108
1109 /**
1110  * vfs_path_lookup - lookup a file path relative to a dentry-vfsmount pair
1111  * @dentry:  pointer to dentry of the base directory
1112  * @mnt: pointer to vfs mount of the base directory
1113  * @name: pointer to file name
1114  * @flags: lookup flags
1115  * @nd: pointer to nameidata
1116  */
1117 int vfs_path_lookup(struct dentry *dentry, struct vfsmount *mnt,
1118                     const char *name, unsigned int flags,
1119                     struct nameidata *nd)
1120 {
1121         int retval;
1122
1123         /* same as do_path_lookup */
1124         nd->last_type = LAST_ROOT;
1125         nd->flags = flags;
1126         nd->depth = 0;
1127
1128         nd->path.dentry = dentry;
1129         nd->path.mnt = mnt;
1130         path_get(&nd->path);
1131
1132         retval = path_walk(name, nd);
1133         if (unlikely(!retval && !audit_dummy_context() && nd->path.dentry &&
1134                                 nd->path.dentry->d_inode))
1135                 audit_inode(name, nd->path.dentry);
1136
1137         return retval;
1138
1139 }
1140
1141 static int __path_lookup_intent_open(int dfd, const char *name,
1142                 unsigned int lookup_flags, struct nameidata *nd,
1143                 int open_flags, int create_mode)
1144 {
1145         struct file *filp = get_empty_filp();
1146         int err;
1147
1148         if (filp == NULL)
1149                 return -ENFILE;
1150         nd->intent.open.file = filp;
1151         nd->intent.open.flags = open_flags;
1152         nd->intent.open.create_mode = create_mode;
1153         err = do_path_lookup(dfd, name, lookup_flags|LOOKUP_OPEN, nd);
1154         if (IS_ERR(nd->intent.open.file)) {
1155                 if (err == 0) {
1156                         err = PTR_ERR(nd->intent.open.file);
1157                         path_put(&nd->path);
1158                 }
1159         } else if (err != 0)
1160                 release_open_intent(nd);
1161         return err;
1162 }
1163
1164 /**
1165  * path_lookup_open - lookup a file path with open intent
1166  * @dfd: the directory to use as base, or AT_FDCWD
1167  * @name: pointer to file name
1168  * @lookup_flags: lookup intent flags
1169  * @nd: pointer to nameidata
1170  * @open_flags: open intent flags
1171  */
1172 int path_lookup_open(int dfd, const char *name, unsigned int lookup_flags,
1173                 struct nameidata *nd, int open_flags)
1174 {
1175         return __path_lookup_intent_open(dfd, name, lookup_flags, nd,
1176                         open_flags, 0);
1177 }
1178
1179 /**
1180  * path_lookup_create - lookup a file path with open + create intent
1181  * @dfd: the directory to use as base, or AT_FDCWD
1182  * @name: pointer to file name
1183  * @lookup_flags: lookup intent flags
1184  * @nd: pointer to nameidata
1185  * @open_flags: open intent flags
1186  * @create_mode: create intent flags
1187  */
1188 static int path_lookup_create(int dfd, const char *name,
1189                               unsigned int lookup_flags, struct nameidata *nd,
1190                               int open_flags, int create_mode)
1191 {
1192         return __path_lookup_intent_open(dfd, name, lookup_flags|LOOKUP_CREATE,
1193                         nd, open_flags, create_mode);
1194 }
1195
1196 int __user_path_lookup_open(const char __user *name, unsigned int lookup_flags,
1197                 struct nameidata *nd, int open_flags)
1198 {
1199         char *tmp = getname(name);
1200         int err = PTR_ERR(tmp);
1201
1202         if (!IS_ERR(tmp)) {
1203                 err = __path_lookup_intent_open(AT_FDCWD, tmp, lookup_flags, nd, open_flags, 0);
1204                 putname(tmp);
1205         }
1206         return err;
1207 }
1208
1209 static struct dentry *__lookup_hash(struct qstr *name,
1210                 struct dentry *base, struct nameidata *nd)
1211 {
1212         struct dentry *dentry;
1213         struct inode *inode;
1214         int err;
1215
1216         inode = base->d_inode;
1217
1218         /*
1219          * See if the low-level filesystem might want
1220          * to use its own hash..
1221          */
1222         if (base->d_op && base->d_op->d_hash) {
1223                 err = base->d_op->d_hash(base, name);
1224                 dentry = ERR_PTR(err);
1225                 if (err < 0)
1226                         goto out;
1227         }
1228
1229         dentry = cached_lookup(base, name, nd);
1230         if (!dentry) {
1231                 struct dentry *new;
1232
1233                 /* Don't create child dentry for a dead directory. */
1234                 dentry = ERR_PTR(-ENOENT);
1235                 if (IS_DEADDIR(inode))
1236                         goto out;
1237
1238                 new = d_alloc(base, name);
1239                 dentry = ERR_PTR(-ENOMEM);
1240                 if (!new)
1241                         goto out;
1242                 dentry = inode->i_op->lookup(inode, new, nd);
1243                 if (!dentry)
1244                         dentry = new;
1245                 else
1246                         dput(new);
1247         }
1248 out:
1249         return dentry;
1250 }
1251
1252 /*
1253  * Restricted form of lookup. Doesn't follow links, single-component only,
1254  * needs parent already locked. Doesn't follow mounts.
1255  * SMP-safe.
1256  */
1257 static struct dentry *lookup_hash(struct nameidata *nd)
1258 {
1259         int err;
1260
1261         err = inode_permission(nd->path.dentry->d_inode, MAY_EXEC);
1262         if (err)
1263                 return ERR_PTR(err);
1264         return __lookup_hash(&nd->last, nd->path.dentry, nd);
1265 }
1266
1267 static int __lookup_one_len(const char *name, struct qstr *this,
1268                 struct dentry *base, int len)
1269 {
1270         unsigned long hash;
1271         unsigned int c;
1272
1273         this->name = name;
1274         this->len = len;
1275         if (!len)
1276                 return -EACCES;
1277
1278         hash = init_name_hash();
1279         while (len--) {
1280                 c = *(const unsigned char *)name++;
1281                 if (c == '/' || c == '\0')
1282                         return -EACCES;
1283                 hash = partial_name_hash(c, hash);
1284         }
1285         this->hash = end_name_hash(hash);
1286         return 0;
1287 }
1288
1289 /**
1290  * lookup_one_len - filesystem helper to lookup single pathname component
1291  * @name:       pathname component to lookup
1292  * @base:       base directory to lookup from
1293  * @len:        maximum length @len should be interpreted to
1294  *
1295  * Note that this routine is purely a helper for filesystem usage and should
1296  * not be called by generic code.  Also note that by using this function the
1297  * nameidata argument is passed to the filesystem methods and a filesystem
1298  * using this helper needs to be prepared for that.
1299  */
1300 struct dentry *lookup_one_len(const char *name, struct dentry *base, int len)
1301 {
1302         int err;
1303         struct qstr this;
1304
1305         err = __lookup_one_len(name, &this, base, len);
1306         if (err)
1307                 return ERR_PTR(err);
1308
1309         err = inode_permission(base->d_inode, MAY_EXEC);
1310         if (err)
1311                 return ERR_PTR(err);
1312         return __lookup_hash(&this, base, NULL);
1313 }
1314
1315 /**
1316  * lookup_one_noperm - bad hack for sysfs
1317  * @name:       pathname component to lookup
1318  * @base:       base directory to lookup from
1319  *
1320  * This is a variant of lookup_one_len that doesn't perform any permission
1321  * checks.   It's a horrible hack to work around the braindead sysfs
1322  * architecture and should not be used anywhere else.
1323  *
1324  * DON'T USE THIS FUNCTION EVER, thanks.
1325  */
1326 struct dentry *lookup_one_noperm(const char *name, struct dentry *base)
1327 {
1328         int err;
1329         struct qstr this;
1330
1331         err = __lookup_one_len(name, &this, base, strlen(name));
1332         if (err)
1333                 return ERR_PTR(err);
1334         return __lookup_hash(&this, base, NULL);
1335 }
1336
1337 int __user_walk_fd(int dfd, const char __user *name, unsigned flags,
1338                             struct nameidata *nd)
1339 {
1340         char *tmp = getname(name);
1341         int err = PTR_ERR(tmp);
1342
1343         if (!IS_ERR(tmp)) {
1344                 err = do_path_lookup(dfd, tmp, flags, nd);
1345                 putname(tmp);
1346         }
1347         return err;
1348 }
1349
1350 int __user_walk(const char __user *name, unsigned flags, struct nameidata *nd)
1351 {
1352         return __user_walk_fd(AT_FDCWD, name, flags, nd);
1353 }
1354
1355 /*
1356  * It's inline, so penalty for filesystems that don't use sticky bit is
1357  * minimal.
1358  */
1359 static inline int check_sticky(struct inode *dir, struct inode *inode)
1360 {
1361         if (!(dir->i_mode & S_ISVTX))
1362                 return 0;
1363         if (inode->i_uid == current->fsuid)
1364                 return 0;
1365         if (dir->i_uid == current->fsuid)
1366                 return 0;
1367         return !capable(CAP_FOWNER);
1368 }
1369
1370 /*
1371  *      Check whether we can remove a link victim from directory dir, check
1372  *  whether the type of victim is right.
1373  *  1. We can't do it if dir is read-only (done in permission())
1374  *  2. We should have write and exec permissions on dir
1375  *  3. We can't remove anything from append-only dir
1376  *  4. We can't do anything with immutable dir (done in permission())
1377  *  5. If the sticky bit on dir is set we should either
1378  *      a. be owner of dir, or
1379  *      b. be owner of victim, or
1380  *      c. have CAP_FOWNER capability
1381  *  6. If the victim is append-only or immutable we can't do antyhing with
1382  *     links pointing to it.
1383  *  7. If we were asked to remove a directory and victim isn't one - ENOTDIR.
1384  *  8. If we were asked to remove a non-directory and victim isn't one - EISDIR.
1385  *  9. We can't remove a root or mountpoint.
1386  * 10. We don't allow removal of NFS sillyrenamed files; it's handled by
1387  *     nfs_async_unlink().
1388  */
1389 static int may_delete(struct inode *dir,struct dentry *victim,int isdir)
1390 {
1391         int error;
1392
1393         if (!victim->d_inode)
1394                 return -ENOENT;
1395
1396         BUG_ON(victim->d_parent->d_inode != dir);
1397         audit_inode_child(victim->d_name.name, victim, dir);
1398
1399         error = inode_permission(dir, MAY_WRITE | MAY_EXEC);
1400         if (error)
1401                 return error;
1402         if (IS_APPEND(dir))
1403                 return -EPERM;
1404         if (check_sticky(dir, victim->d_inode)||IS_APPEND(victim->d_inode)||
1405             IS_IMMUTABLE(victim->d_inode))
1406                 return -EPERM;
1407         if (isdir) {
1408                 if (!S_ISDIR(victim->d_inode->i_mode))
1409                         return -ENOTDIR;
1410                 if (IS_ROOT(victim))
1411                         return -EBUSY;
1412         } else if (S_ISDIR(victim->d_inode->i_mode))
1413                 return -EISDIR;
1414         if (IS_DEADDIR(dir))
1415                 return -ENOENT;
1416         if (victim->d_flags & DCACHE_NFSFS_RENAMED)
1417                 return -EBUSY;
1418         return 0;
1419 }
1420
1421 /*      Check whether we can create an object with dentry child in directory
1422  *  dir.
1423  *  1. We can't do it if child already exists (open has special treatment for
1424  *     this case, but since we are inlined it's OK)
1425  *  2. We can't do it if dir is read-only (done in permission())
1426  *  3. We should have write and exec permissions on dir
1427  *  4. We can't do it if dir is immutable (done in permission())
1428  */
1429 static inline int may_create(struct inode *dir, struct dentry *child,
1430                              struct nameidata *nd)
1431 {
1432         if (child->d_inode)
1433                 return -EEXIST;
1434         if (IS_DEADDIR(dir))
1435                 return -ENOENT;
1436         return inode_permission(dir, MAY_WRITE | MAY_EXEC);
1437 }
1438
1439 /* 
1440  * O_DIRECTORY translates into forcing a directory lookup.
1441  */
1442 static inline int lookup_flags(unsigned int f)
1443 {
1444         unsigned long retval = LOOKUP_FOLLOW;
1445
1446         if (f & O_NOFOLLOW)
1447                 retval &= ~LOOKUP_FOLLOW;
1448         
1449         if (f & O_DIRECTORY)
1450                 retval |= LOOKUP_DIRECTORY;
1451
1452         return retval;
1453 }
1454
1455 /*
1456  * p1 and p2 should be directories on the same fs.
1457  */
1458 struct dentry *lock_rename(struct dentry *p1, struct dentry *p2)
1459 {
1460         struct dentry *p;
1461
1462         if (p1 == p2) {
1463                 mutex_lock_nested(&p1->d_inode->i_mutex, I_MUTEX_PARENT);
1464                 return NULL;
1465         }
1466
1467         mutex_lock(&p1->d_inode->i_sb->s_vfs_rename_mutex);
1468
1469         for (p = p1; p->d_parent != p; p = p->d_parent) {
1470                 if (p->d_parent == p2) {
1471                         mutex_lock_nested(&p2->d_inode->i_mutex, I_MUTEX_PARENT);
1472                         mutex_lock_nested(&p1->d_inode->i_mutex, I_MUTEX_CHILD);
1473                         return p;
1474                 }
1475         }
1476
1477         for (p = p2; p->d_parent != p; p = p->d_parent) {
1478                 if (p->d_parent == p1) {
1479                         mutex_lock_nested(&p1->d_inode->i_mutex, I_MUTEX_PARENT);
1480                         mutex_lock_nested(&p2->d_inode->i_mutex, I_MUTEX_CHILD);
1481                         return p;
1482                 }
1483         }
1484
1485         mutex_lock_nested(&p1->d_inode->i_mutex, I_MUTEX_PARENT);
1486         mutex_lock_nested(&p2->d_inode->i_mutex, I_MUTEX_CHILD);
1487         return NULL;
1488 }
1489
1490 void unlock_rename(struct dentry *p1, struct dentry *p2)
1491 {
1492         mutex_unlock(&p1->d_inode->i_mutex);
1493         if (p1 != p2) {
1494                 mutex_unlock(&p2->d_inode->i_mutex);
1495                 mutex_unlock(&p1->d_inode->i_sb->s_vfs_rename_mutex);
1496         }
1497 }
1498
1499 int vfs_create(struct inode *dir, struct dentry *dentry, int mode,
1500                 struct nameidata *nd)
1501 {
1502         int error = may_create(dir, dentry, nd);
1503
1504         if (error)
1505                 return error;
1506
1507         if (!dir->i_op || !dir->i_op->create)
1508                 return -EACCES; /* shouldn't it be ENOSYS? */
1509         mode &= S_IALLUGO;
1510         mode |= S_IFREG;
1511         error = security_inode_create(dir, dentry, mode);
1512         if (error)
1513                 return error;
1514         DQUOT_INIT(dir);
1515         error = dir->i_op->create(dir, dentry, mode, nd);
1516         if (!error)
1517                 fsnotify_create(dir, dentry);
1518         return error;
1519 }
1520
1521 int may_open(struct nameidata *nd, int acc_mode, int flag)
1522 {
1523         struct dentry *dentry = nd->path.dentry;
1524         struct inode *inode = dentry->d_inode;
1525         int error;
1526
1527         if (!inode)
1528                 return -ENOENT;
1529
1530         if (S_ISLNK(inode->i_mode))
1531                 return -ELOOP;
1532         
1533         if (S_ISDIR(inode->i_mode) && (acc_mode & MAY_WRITE))
1534                 return -EISDIR;
1535
1536         /*
1537          * FIFO's, sockets and device files are special: they don't
1538          * actually live on the filesystem itself, and as such you
1539          * can write to them even if the filesystem is read-only.
1540          */
1541         if (S_ISFIFO(inode->i_mode) || S_ISSOCK(inode->i_mode)) {
1542                 flag &= ~O_TRUNC;
1543         } else if (S_ISBLK(inode->i_mode) || S_ISCHR(inode->i_mode)) {
1544                 if (nd->path.mnt->mnt_flags & MNT_NODEV)
1545                         return -EACCES;
1546
1547                 flag &= ~O_TRUNC;
1548         }
1549
1550         error = vfs_permission(nd, acc_mode);
1551         if (error)
1552                 return error;
1553         /*
1554          * An append-only file must be opened in append mode for writing.
1555          */
1556         if (IS_APPEND(inode)) {
1557                 if  ((flag & FMODE_WRITE) && !(flag & O_APPEND))
1558                         return -EPERM;
1559                 if (flag & O_TRUNC)
1560                         return -EPERM;
1561         }
1562
1563         /* O_NOATIME can only be set by the owner or superuser */
1564         if (flag & O_NOATIME)
1565                 if (!is_owner_or_cap(inode))
1566                         return -EPERM;
1567
1568         /*
1569          * Ensure there are no outstanding leases on the file.
1570          */
1571         error = break_lease(inode, flag);
1572         if (error)
1573                 return error;
1574
1575         if (flag & O_TRUNC) {
1576                 error = get_write_access(inode);
1577                 if (error)
1578                         return error;
1579
1580                 /*
1581                  * Refuse to truncate files with mandatory locks held on them.
1582                  */
1583                 error = locks_verify_locked(inode);
1584                 if (!error) {
1585                         DQUOT_INIT(inode);
1586
1587                         error = do_truncate(dentry, 0,
1588                                             ATTR_MTIME|ATTR_CTIME|ATTR_OPEN,
1589                                             NULL);
1590                 }
1591                 put_write_access(inode);
1592                 if (error)
1593                         return error;
1594         } else
1595                 if (flag & FMODE_WRITE)
1596                         DQUOT_INIT(inode);
1597
1598         return 0;
1599 }
1600
1601 /*
1602  * Be careful about ever adding any more callers of this
1603  * function.  Its flags must be in the namei format, not
1604  * what get passed to sys_open().
1605  */
1606 static int __open_namei_create(struct nameidata *nd, struct path *path,
1607                                 int flag, int mode)
1608 {
1609         int error;
1610         struct dentry *dir = nd->path.dentry;
1611
1612         if (!IS_POSIXACL(dir->d_inode))
1613                 mode &= ~current->fs->umask;
1614         error = vfs_create(dir->d_inode, path->dentry, mode, nd);
1615         mutex_unlock(&dir->d_inode->i_mutex);
1616         dput(nd->path.dentry);
1617         nd->path.dentry = path->dentry;
1618         if (error)
1619                 return error;
1620         /* Don't check for write permission, don't truncate */
1621         return may_open(nd, 0, flag & ~O_TRUNC);
1622 }
1623
1624 /*
1625  * Note that while the flag value (low two bits) for sys_open means:
1626  *      00 - read-only
1627  *      01 - write-only
1628  *      10 - read-write
1629  *      11 - special
1630  * it is changed into
1631  *      00 - no permissions needed
1632  *      01 - read-permission
1633  *      10 - write-permission
1634  *      11 - read-write
1635  * for the internal routines (ie open_namei()/follow_link() etc)
1636  * This is more logical, and also allows the 00 "no perm needed"
1637  * to be used for symlinks (where the permissions are checked
1638  * later).
1639  *
1640 */
1641 static inline int open_to_namei_flags(int flag)
1642 {
1643         if ((flag+1) & O_ACCMODE)
1644                 flag++;
1645         return flag;
1646 }
1647
1648 static int open_will_write_to_fs(int flag, struct inode *inode)
1649 {
1650         /*
1651          * We'll never write to the fs underlying
1652          * a device file.
1653          */
1654         if (special_file(inode->i_mode))
1655                 return 0;
1656         return (flag & O_TRUNC);
1657 }
1658
1659 /*
1660  * Note that the low bits of the passed in "open_flag"
1661  * are not the same as in the local variable "flag". See
1662  * open_to_namei_flags() for more details.
1663  */
1664 struct file *do_filp_open(int dfd, const char *pathname,
1665                 int open_flag, int mode)
1666 {
1667         struct file *filp;
1668         struct nameidata nd;
1669         int acc_mode, error;
1670         struct path path;
1671         struct dentry *dir;
1672         int count = 0;
1673         int will_write;
1674         int flag = open_to_namei_flags(open_flag);
1675
1676         acc_mode = MAY_OPEN | ACC_MODE(flag);
1677
1678         /* O_TRUNC implies we need access checks for write permissions */
1679         if (flag & O_TRUNC)
1680                 acc_mode |= MAY_WRITE;
1681
1682         /* Allow the LSM permission hook to distinguish append 
1683            access from general write access. */
1684         if (flag & O_APPEND)
1685                 acc_mode |= MAY_APPEND;
1686
1687         /*
1688          * The simplest case - just a plain lookup.
1689          */
1690         if (!(flag & O_CREAT)) {
1691                 error = path_lookup_open(dfd, pathname, lookup_flags(flag),
1692                                          &nd, flag);
1693                 if (error)
1694                         return ERR_PTR(error);
1695                 goto ok;
1696         }
1697
1698         /*
1699          * Create - we need to know the parent.
1700          */
1701         error = path_lookup_create(dfd, pathname, LOOKUP_PARENT,
1702                                    &nd, flag, mode);
1703         if (error)
1704                 return ERR_PTR(error);
1705
1706         /*
1707          * We have the parent and last component. First of all, check
1708          * that we are not asked to creat(2) an obvious directory - that
1709          * will not do.
1710          */
1711         error = -EISDIR;
1712         if (nd.last_type != LAST_NORM || nd.last.name[nd.last.len])
1713                 goto exit;
1714
1715         dir = nd.path.dentry;
1716         nd.flags &= ~LOOKUP_PARENT;
1717         mutex_lock(&dir->d_inode->i_mutex);
1718         path.dentry = lookup_hash(&nd);
1719         path.mnt = nd.path.mnt;
1720
1721 do_last:
1722         error = PTR_ERR(path.dentry);
1723         if (IS_ERR(path.dentry)) {
1724                 mutex_unlock(&dir->d_inode->i_mutex);
1725                 goto exit;
1726         }
1727
1728         if (IS_ERR(nd.intent.open.file)) {
1729                 error = PTR_ERR(nd.intent.open.file);
1730                 goto exit_mutex_unlock;
1731         }
1732
1733         /* Negative dentry, just create the file */
1734         if (!path.dentry->d_inode) {
1735                 /*
1736                  * This write is needed to ensure that a
1737                  * ro->rw transition does not occur between
1738                  * the time when the file is created and when
1739                  * a permanent write count is taken through
1740                  * the 'struct file' in nameidata_to_filp().
1741                  */
1742                 error = mnt_want_write(nd.path.mnt);
1743                 if (error)
1744                         goto exit_mutex_unlock;
1745                 error = __open_namei_create(&nd, &path, flag, mode);
1746                 if (error) {
1747                         mnt_drop_write(nd.path.mnt);
1748                         goto exit;
1749                 }
1750                 filp = nameidata_to_filp(&nd, open_flag);
1751                 mnt_drop_write(nd.path.mnt);
1752                 return filp;
1753         }
1754
1755         /*
1756          * It already exists.
1757          */
1758         mutex_unlock(&dir->d_inode->i_mutex);
1759         audit_inode(pathname, path.dentry);
1760
1761         error = -EEXIST;
1762         if (flag & O_EXCL)
1763                 goto exit_dput;
1764
1765         if (__follow_mount(&path)) {
1766                 error = -ELOOP;
1767                 if (flag & O_NOFOLLOW)
1768                         goto exit_dput;
1769         }
1770
1771         error = -ENOENT;
1772         if (!path.dentry->d_inode)
1773                 goto exit_dput;
1774         if (path.dentry->d_inode->i_op && path.dentry->d_inode->i_op->follow_link)
1775                 goto do_link;
1776
1777         path_to_nameidata(&path, &nd);
1778         error = -EISDIR;
1779         if (path.dentry->d_inode && S_ISDIR(path.dentry->d_inode->i_mode))
1780                 goto exit;
1781 ok:
1782         /*
1783          * Consider:
1784          * 1. may_open() truncates a file
1785          * 2. a rw->ro mount transition occurs
1786          * 3. nameidata_to_filp() fails due to
1787          *    the ro mount.
1788          * That would be inconsistent, and should
1789          * be avoided. Taking this mnt write here
1790          * ensures that (2) can not occur.
1791          */
1792         will_write = open_will_write_to_fs(flag, nd.path.dentry->d_inode);
1793         if (will_write) {
1794                 error = mnt_want_write(nd.path.mnt);
1795                 if (error)
1796                         goto exit;
1797         }
1798         error = may_open(&nd, acc_mode, flag);
1799         if (error) {
1800                 if (will_write)
1801                         mnt_drop_write(nd.path.mnt);
1802                 goto exit;
1803         }
1804         filp = nameidata_to_filp(&nd, open_flag);
1805         /*
1806          * It is now safe to drop the mnt write
1807          * because the filp has had a write taken
1808          * on its behalf.
1809          */
1810         if (will_write)
1811                 mnt_drop_write(nd.path.mnt);
1812         return filp;
1813
1814 exit_mutex_unlock:
1815         mutex_unlock(&dir->d_inode->i_mutex);
1816 exit_dput:
1817         path_put_conditional(&path, &nd);
1818 exit:
1819         if (!IS_ERR(nd.intent.open.file))
1820                 release_open_intent(&nd);
1821         path_put(&nd.path);
1822         return ERR_PTR(error);
1823
1824 do_link:
1825         error = -ELOOP;
1826         if (flag & O_NOFOLLOW)
1827                 goto exit_dput;
1828         /*
1829          * This is subtle. Instead of calling do_follow_link() we do the
1830          * thing by hands. The reason is that this way we have zero link_count
1831          * and path_walk() (called from ->follow_link) honoring LOOKUP_PARENT.
1832          * After that we have the parent and last component, i.e.
1833          * we are in the same situation as after the first path_walk().
1834          * Well, almost - if the last component is normal we get its copy
1835          * stored in nd->last.name and we will have to putname() it when we
1836          * are done. Procfs-like symlinks just set LAST_BIND.
1837          */
1838         nd.flags |= LOOKUP_PARENT;
1839         error = security_inode_follow_link(path.dentry, &nd);
1840         if (error)
1841                 goto exit_dput;
1842         error = __do_follow_link(&path, &nd);
1843         if (error) {
1844                 /* Does someone understand code flow here? Or it is only
1845                  * me so stupid? Anathema to whoever designed this non-sense
1846                  * with "intent.open".
1847                  */
1848                 release_open_intent(&nd);
1849                 return ERR_PTR(error);
1850         }
1851         nd.flags &= ~LOOKUP_PARENT;
1852         if (nd.last_type == LAST_BIND)
1853                 goto ok;
1854         error = -EISDIR;
1855         if (nd.last_type != LAST_NORM)
1856                 goto exit;
1857         if (nd.last.name[nd.last.len]) {
1858                 __putname(nd.last.name);
1859                 goto exit;
1860         }
1861         error = -ELOOP;
1862         if (count++==32) {
1863                 __putname(nd.last.name);
1864                 goto exit;
1865         }
1866         dir = nd.path.dentry;
1867         mutex_lock(&dir->d_inode->i_mutex);
1868         path.dentry = lookup_hash(&nd);
1869         path.mnt = nd.path.mnt;
1870         __putname(nd.last.name);
1871         goto do_last;
1872 }
1873
1874 /**
1875  * filp_open - open file and return file pointer
1876  *
1877  * @filename:   path to open
1878  * @flags:      open flags as per the open(2) second argument
1879  * @mode:       mode for the new file if O_CREAT is set, else ignored
1880  *
1881  * This is the helper to open a file from kernelspace if you really
1882  * have to.  But in generally you should not do this, so please move
1883  * along, nothing to see here..
1884  */
1885 struct file *filp_open(const char *filename, int flags, int mode)
1886 {
1887         return do_filp_open(AT_FDCWD, filename, flags, mode);
1888 }
1889 EXPORT_SYMBOL(filp_open);
1890
1891 /**
1892  * lookup_create - lookup a dentry, creating it if it doesn't exist
1893  * @nd: nameidata info
1894  * @is_dir: directory flag
1895  *
1896  * Simple function to lookup and return a dentry and create it
1897  * if it doesn't exist.  Is SMP-safe.
1898  *
1899  * Returns with nd->path.dentry->d_inode->i_mutex locked.
1900  */
1901 struct dentry *lookup_create(struct nameidata *nd, int is_dir)
1902 {
1903         struct dentry *dentry = ERR_PTR(-EEXIST);
1904
1905         mutex_lock_nested(&nd->path.dentry->d_inode->i_mutex, I_MUTEX_PARENT);
1906         /*
1907          * Yucky last component or no last component at all?
1908          * (foo/., foo/.., /////)
1909          */
1910         if (nd->last_type != LAST_NORM)
1911                 goto fail;
1912         nd->flags &= ~LOOKUP_PARENT;
1913         nd->flags |= LOOKUP_CREATE;
1914         nd->intent.open.flags = O_EXCL;
1915
1916         /*
1917          * Do the final lookup.
1918          */
1919         dentry = lookup_hash(nd);
1920         if (IS_ERR(dentry))
1921                 goto fail;
1922
1923         if (dentry->d_inode)
1924                 goto eexist;
1925         /*
1926          * Special case - lookup gave negative, but... we had foo/bar/
1927          * From the vfs_mknod() POV we just have a negative dentry -
1928          * all is fine. Let's be bastards - you had / on the end, you've
1929          * been asking for (non-existent) directory. -ENOENT for you.
1930          */
1931         if (unlikely(!is_dir && nd->last.name[nd->last.len])) {
1932                 dput(dentry);
1933                 dentry = ERR_PTR(-ENOENT);
1934         }
1935         return dentry;
1936 eexist:
1937         dput(dentry);
1938         dentry = ERR_PTR(-EEXIST);
1939 fail:
1940         return dentry;
1941 }
1942 EXPORT_SYMBOL_GPL(lookup_create);
1943
1944 int vfs_mknod(struct inode *dir, struct dentry *dentry, int mode, dev_t dev)
1945 {
1946         int error = may_create(dir, dentry, NULL);
1947
1948         if (error)
1949                 return error;
1950
1951         if ((S_ISCHR(mode) || S_ISBLK(mode)) && !capable(CAP_MKNOD))
1952                 return -EPERM;
1953
1954         if (!dir->i_op || !dir->i_op->mknod)
1955                 return -EPERM;
1956
1957         error = devcgroup_inode_mknod(mode, dev);
1958         if (error)
1959                 return error;
1960
1961         error = security_inode_mknod(dir, dentry, mode, dev);
1962         if (error)
1963                 return error;
1964
1965         DQUOT_INIT(dir);
1966         error = dir->i_op->mknod(dir, dentry, mode, dev);
1967         if (!error)
1968                 fsnotify_create(dir, dentry);
1969         return error;
1970 }
1971
1972 static int may_mknod(mode_t mode)
1973 {
1974         switch (mode & S_IFMT) {
1975         case S_IFREG:
1976         case S_IFCHR:
1977         case S_IFBLK:
1978         case S_IFIFO:
1979         case S_IFSOCK:
1980         case 0: /* zero mode translates to S_IFREG */
1981                 return 0;
1982         case S_IFDIR:
1983                 return -EPERM;
1984         default:
1985                 return -EINVAL;
1986         }
1987 }
1988
1989 asmlinkage long sys_mknodat(int dfd, const char __user *filename, int mode,
1990                                 unsigned dev)
1991 {
1992         int error = 0;
1993         char * tmp;
1994         struct dentry * dentry;
1995         struct nameidata nd;
1996
1997         if (S_ISDIR(mode))
1998                 return -EPERM;
1999         tmp = getname(filename);
2000         if (IS_ERR(tmp))
2001                 return PTR_ERR(tmp);
2002
2003         error = do_path_lookup(dfd, tmp, LOOKUP_PARENT, &nd);
2004         if (error)
2005                 goto out;
2006         dentry = lookup_create(&nd, 0);
2007         if (IS_ERR(dentry)) {
2008                 error = PTR_ERR(dentry);
2009                 goto out_unlock;
2010         }
2011         if (!IS_POSIXACL(nd.path.dentry->d_inode))
2012                 mode &= ~current->fs->umask;
2013         error = may_mknod(mode);
2014         if (error)
2015                 goto out_dput;
2016         error = mnt_want_write(nd.path.mnt);
2017         if (error)
2018                 goto out_dput;
2019         switch (mode & S_IFMT) {
2020                 case 0: case S_IFREG:
2021                         error = vfs_create(nd.path.dentry->d_inode,dentry,mode,&nd);
2022                         break;
2023                 case S_IFCHR: case S_IFBLK:
2024                         error = vfs_mknod(nd.path.dentry->d_inode,dentry,mode,
2025                                         new_decode_dev(dev));
2026                         break;
2027                 case S_IFIFO: case S_IFSOCK:
2028                         error = vfs_mknod(nd.path.dentry->d_inode,dentry,mode,0);
2029                         break;
2030         }
2031         mnt_drop_write(nd.path.mnt);
2032 out_dput:
2033         dput(dentry);
2034 out_unlock:
2035         mutex_unlock(&nd.path.dentry->d_inode->i_mutex);
2036         path_put(&nd.path);
2037 out:
2038         putname(tmp);
2039
2040         return error;
2041 }
2042
2043 asmlinkage long sys_mknod(const char __user *filename, int mode, unsigned dev)
2044 {
2045         return sys_mknodat(AT_FDCWD, filename, mode, dev);
2046 }
2047
2048 int vfs_mkdir(struct inode *dir, struct dentry *dentry, int mode)
2049 {
2050         int error = may_create(dir, dentry, NULL);
2051
2052         if (error)
2053                 return error;
2054
2055         if (!dir->i_op || !dir->i_op->mkdir)
2056                 return -EPERM;
2057
2058         mode &= (S_IRWXUGO|S_ISVTX);
2059         error = security_inode_mkdir(dir, dentry, mode);
2060         if (error)
2061                 return error;
2062
2063         DQUOT_INIT(dir);
2064         error = dir->i_op->mkdir(dir, dentry, mode);
2065         if (!error)
2066                 fsnotify_mkdir(dir, dentry);
2067         return error;
2068 }
2069
2070 asmlinkage long sys_mkdirat(int dfd, const char __user *pathname, int mode)
2071 {
2072         int error = 0;
2073         char * tmp;
2074         struct dentry *dentry;
2075         struct nameidata nd;
2076
2077         tmp = getname(pathname);
2078         error = PTR_ERR(tmp);
2079         if (IS_ERR(tmp))
2080                 goto out_err;
2081
2082         error = do_path_lookup(dfd, tmp, LOOKUP_PARENT, &nd);
2083         if (error)
2084                 goto out;
2085         dentry = lookup_create(&nd, 1);
2086         error = PTR_ERR(dentry);
2087         if (IS_ERR(dentry))
2088                 goto out_unlock;
2089
2090         if (!IS_POSIXACL(nd.path.dentry->d_inode))
2091                 mode &= ~current->fs->umask;
2092         error = mnt_want_write(nd.path.mnt);
2093         if (error)
2094                 goto out_dput;
2095         error = vfs_mkdir(nd.path.dentry->d_inode, dentry, mode);
2096         mnt_drop_write(nd.path.mnt);
2097 out_dput:
2098         dput(dentry);
2099 out_unlock:
2100         mutex_unlock(&nd.path.dentry->d_inode->i_mutex);
2101         path_put(&nd.path);
2102 out:
2103         putname(tmp);
2104 out_err:
2105         return error;
2106 }
2107
2108 asmlinkage long sys_mkdir(const char __user *pathname, int mode)
2109 {
2110         return sys_mkdirat(AT_FDCWD, pathname, mode);
2111 }
2112
2113 /*
2114  * We try to drop the dentry early: we should have
2115  * a usage count of 2 if we're the only user of this
2116  * dentry, and if that is true (possibly after pruning
2117  * the dcache), then we drop the dentry now.
2118  *
2119  * A low-level filesystem can, if it choses, legally
2120  * do a
2121  *
2122  *      if (!d_unhashed(dentry))
2123  *              return -EBUSY;
2124  *
2125  * if it cannot handle the case of removing a directory
2126  * that is still in use by something else..
2127  */
2128 void dentry_unhash(struct dentry *dentry)
2129 {
2130         dget(dentry);
2131         shrink_dcache_parent(dentry);
2132         spin_lock(&dcache_lock);
2133         spin_lock(&dentry->d_lock);
2134         if (atomic_read(&dentry->d_count) == 2)
2135                 __d_drop(dentry);
2136         spin_unlock(&dentry->d_lock);
2137         spin_unlock(&dcache_lock);
2138 }
2139
2140 int vfs_rmdir(struct inode *dir, struct dentry *dentry)
2141 {
2142         int error = may_delete(dir, dentry, 1);
2143
2144         if (error)
2145                 return error;
2146
2147         if (!dir->i_op || !dir->i_op->rmdir)
2148                 return -EPERM;
2149
2150         DQUOT_INIT(dir);
2151
2152         mutex_lock(&dentry->d_inode->i_mutex);
2153         dentry_unhash(dentry);
2154         if (d_mountpoint(dentry))
2155                 error = -EBUSY;
2156         else {
2157                 error = security_inode_rmdir(dir, dentry);
2158                 if (!error) {
2159                         error = dir->i_op->rmdir(dir, dentry);
2160                         if (!error)
2161                                 dentry->d_inode->i_flags |= S_DEAD;
2162                 }
2163         }
2164         mutex_unlock(&dentry->d_inode->i_mutex);
2165         if (!error) {
2166                 d_delete(dentry);
2167         }
2168         dput(dentry);
2169
2170         return error;
2171 }
2172
2173 static long do_rmdir(int dfd, const char __user *pathname)
2174 {
2175         int error = 0;
2176         char * name;
2177         struct dentry *dentry;
2178         struct nameidata nd;
2179
2180         name = getname(pathname);
2181         if(IS_ERR(name))
2182                 return PTR_ERR(name);
2183
2184         error = do_path_lookup(dfd, name, LOOKUP_PARENT, &nd);
2185         if (error)
2186                 goto exit;
2187
2188         switch(nd.last_type) {
2189                 case LAST_DOTDOT:
2190                         error = -ENOTEMPTY;
2191                         goto exit1;
2192                 case LAST_DOT:
2193                         error = -EINVAL;
2194                         goto exit1;
2195                 case LAST_ROOT:
2196                         error = -EBUSY;
2197                         goto exit1;
2198         }
2199         mutex_lock_nested(&nd.path.dentry->d_inode->i_mutex, I_MUTEX_PARENT);
2200         dentry = lookup_hash(&nd);
2201         error = PTR_ERR(dentry);
2202         if (IS_ERR(dentry))
2203                 goto exit2;
2204         error = mnt_want_write(nd.path.mnt);
2205         if (error)
2206                 goto exit3;
2207         error = vfs_rmdir(nd.path.dentry->d_inode, dentry);
2208         mnt_drop_write(nd.path.mnt);
2209 exit3:
2210         dput(dentry);
2211 exit2:
2212         mutex_unlock(&nd.path.dentry->d_inode->i_mutex);
2213 exit1:
2214         path_put(&nd.path);
2215 exit:
2216         putname(name);
2217         return error;
2218 }
2219
2220 asmlinkage long sys_rmdir(const char __user *pathname)
2221 {
2222         return do_rmdir(AT_FDCWD, pathname);
2223 }
2224
2225 int vfs_unlink(struct inode *dir, struct dentry *dentry)
2226 {
2227         int error = may_delete(dir, dentry, 0);
2228
2229         if (error)
2230                 return error;
2231
2232         if (!dir->i_op || !dir->i_op->unlink)
2233                 return -EPERM;
2234
2235         DQUOT_INIT(dir);
2236
2237         mutex_lock(&dentry->d_inode->i_mutex);
2238         if (d_mountpoint(dentry))
2239                 error = -EBUSY;
2240         else {
2241                 error = security_inode_unlink(dir, dentry);
2242                 if (!error)
2243                         error = dir->i_op->unlink(dir, dentry);
2244         }
2245         mutex_unlock(&dentry->d_inode->i_mutex);
2246
2247         /* We don't d_delete() NFS sillyrenamed files--they still exist. */
2248         if (!error && !(dentry->d_flags & DCACHE_NFSFS_RENAMED)) {
2249                 fsnotify_link_count(dentry->d_inode);
2250                 d_delete(dentry);
2251         }
2252
2253         return error;
2254 }
2255
2256 /*
2257  * Make sure that the actual truncation of the file will occur outside its
2258  * directory's i_mutex.  Truncate can take a long time if there is a lot of
2259  * writeout happening, and we don't want to prevent access to the directory
2260  * while waiting on the I/O.
2261  */
2262 static long do_unlinkat(int dfd, const char __user *pathname)
2263 {
2264         int error = 0;
2265         char * name;
2266         struct dentry *dentry;
2267         struct nameidata nd;
2268         struct inode *inode = NULL;
2269
2270         name = getname(pathname);
2271         if(IS_ERR(name))
2272                 return PTR_ERR(name);
2273
2274         error = do_path_lookup(dfd, name, LOOKUP_PARENT, &nd);
2275         if (error)
2276                 goto exit;
2277         error = -EISDIR;
2278         if (nd.last_type != LAST_NORM)
2279                 goto exit1;
2280         mutex_lock_nested(&nd.path.dentry->d_inode->i_mutex, I_MUTEX_PARENT);
2281         dentry = lookup_hash(&nd);
2282         error = PTR_ERR(dentry);
2283         if (!IS_ERR(dentry)) {
2284                 /* Why not before? Because we want correct error value */
2285                 if (nd.last.name[nd.last.len])
2286                         goto slashes;
2287                 inode = dentry->d_inode;
2288                 if (inode)
2289                         atomic_inc(&inode->i_count);
2290                 error = mnt_want_write(nd.path.mnt);
2291                 if (error)
2292                         goto exit2;
2293                 error = vfs_unlink(nd.path.dentry->d_inode, dentry);
2294                 mnt_drop_write(nd.path.mnt);
2295         exit2:
2296                 dput(dentry);
2297         }
2298         mutex_unlock(&nd.path.dentry->d_inode->i_mutex);
2299         if (inode)
2300                 iput(inode);    /* truncate the inode here */
2301 exit1:
2302         path_put(&nd.path);
2303 exit:
2304         putname(name);
2305         return error;
2306
2307 slashes:
2308         error = !dentry->d_inode ? -ENOENT :
2309                 S_ISDIR(dentry->d_inode->i_mode) ? -EISDIR : -ENOTDIR;
2310         goto exit2;
2311 }
2312
2313 asmlinkage long sys_unlinkat(int dfd, const char __user *pathname, int flag)
2314 {
2315         if ((flag & ~AT_REMOVEDIR) != 0)
2316                 return -EINVAL;
2317
2318         if (flag & AT_REMOVEDIR)
2319                 return do_rmdir(dfd, pathname);
2320
2321         return do_unlinkat(dfd, pathname);
2322 }
2323
2324 asmlinkage long sys_unlink(const char __user *pathname)
2325 {
2326         return do_unlinkat(AT_FDCWD, pathname);
2327 }
2328
2329 int vfs_symlink(struct inode *dir, struct dentry *dentry, const char *oldname)
2330 {
2331         int error = may_create(dir, dentry, NULL);
2332
2333         if (error)
2334                 return error;
2335
2336         if (!dir->i_op || !dir->i_op->symlink)
2337                 return -EPERM;
2338
2339         error = security_inode_symlink(dir, dentry, oldname);
2340         if (error)
2341                 return error;
2342
2343         DQUOT_INIT(dir);
2344         error = dir->i_op->symlink(dir, dentry, oldname);
2345         if (!error)
2346                 fsnotify_create(dir, dentry);
2347         return error;
2348 }
2349
2350 asmlinkage long sys_symlinkat(const char __user *oldname,
2351                               int newdfd, const char __user *newname)
2352 {
2353         int error = 0;
2354         char * from;
2355         char * to;
2356         struct dentry *dentry;
2357         struct nameidata nd;
2358
2359         from = getname(oldname);
2360         if(IS_ERR(from))
2361                 return PTR_ERR(from);
2362         to = getname(newname);
2363         error = PTR_ERR(to);
2364         if (IS_ERR(to))
2365                 goto out_putname;
2366
2367         error = do_path_lookup(newdfd, to, LOOKUP_PARENT, &nd);
2368         if (error)
2369                 goto out;
2370         dentry = lookup_create(&nd, 0);
2371         error = PTR_ERR(dentry);
2372         if (IS_ERR(dentry))
2373                 goto out_unlock;
2374
2375         error = mnt_want_write(nd.path.mnt);
2376         if (error)
2377                 goto out_dput;
2378         error = vfs_symlink(nd.path.dentry->d_inode, dentry, from);
2379         mnt_drop_write(nd.path.mnt);
2380 out_dput:
2381         dput(dentry);
2382 out_unlock:
2383         mutex_unlock(&nd.path.dentry->d_inode->i_mutex);
2384         path_put(&nd.path);
2385 out:
2386         putname(to);
2387 out_putname:
2388         putname(from);
2389         return error;
2390 }
2391
2392 asmlinkage long sys_symlink(const char __user *oldname, const char __user *newname)
2393 {
2394         return sys_symlinkat(oldname, AT_FDCWD, newname);
2395 }
2396
2397 int vfs_link(struct dentry *old_dentry, struct inode *dir, struct dentry *new_dentry)
2398 {
2399         struct inode *inode = old_dentry->d_inode;
2400         int error;
2401
2402         if (!inode)
2403                 return -ENOENT;
2404
2405         error = may_create(dir, new_dentry, NULL);
2406         if (error)
2407                 return error;
2408
2409         if (dir->i_sb != inode->i_sb)
2410                 return -EXDEV;
2411
2412         /*
2413          * A link to an append-only or immutable file cannot be created.
2414          */
2415         if (IS_APPEND(inode) || IS_IMMUTABLE(inode))
2416                 return -EPERM;
2417         if (!dir->i_op || !dir->i_op->link)
2418                 return -EPERM;
2419         if (S_ISDIR(inode->i_mode))
2420                 return -EPERM;
2421
2422         error = security_inode_link(old_dentry, dir, new_dentry);
2423         if (error)
2424                 return error;
2425
2426         mutex_lock(&inode->i_mutex);
2427         DQUOT_INIT(dir);
2428         error = dir->i_op->link(old_dentry, dir, new_dentry);
2429         mutex_unlock(&inode->i_mutex);
2430         if (!error)
2431                 fsnotify_link(dir, inode, new_dentry);
2432         return error;
2433 }
2434
2435 /*
2436  * Hardlinks are often used in delicate situations.  We avoid
2437  * security-related surprises by not following symlinks on the
2438  * newname.  --KAB
2439  *
2440  * We don't follow them on the oldname either to be compatible
2441  * with linux 2.0, and to avoid hard-linking to directories
2442  * and other special files.  --ADM
2443  */
2444 asmlinkage long sys_linkat(int olddfd, const char __user *oldname,
2445                            int newdfd, const char __user *newname,
2446                            int flags)
2447 {
2448         struct dentry *new_dentry;
2449         struct nameidata nd, old_nd;
2450         int error;
2451         char * to;
2452
2453         if ((flags & ~AT_SYMLINK_FOLLOW) != 0)
2454                 return -EINVAL;
2455
2456         to = getname(newname);
2457         if (IS_ERR(to))
2458                 return PTR_ERR(to);
2459
2460         error = __user_walk_fd(olddfd, oldname,
2461                                flags & AT_SYMLINK_FOLLOW ? LOOKUP_FOLLOW : 0,
2462                                &old_nd);
2463         if (error)
2464                 goto exit;
2465         error = do_path_lookup(newdfd, to, LOOKUP_PARENT, &nd);
2466         if (error)
2467                 goto out;
2468         error = -EXDEV;
2469         if (old_nd.path.mnt != nd.path.mnt)
2470                 goto out_release;
2471         new_dentry = lookup_create(&nd, 0);
2472         error = PTR_ERR(new_dentry);
2473         if (IS_ERR(new_dentry))
2474                 goto out_unlock;
2475         error = mnt_want_write(nd.path.mnt);
2476         if (error)
2477                 goto out_dput;
2478         error = vfs_link(old_nd.path.dentry, nd.path.dentry->d_inode, new_dentry);
2479         mnt_drop_write(nd.path.mnt);
2480 out_dput:
2481         dput(new_dentry);
2482 out_unlock:
2483         mutex_unlock(&nd.path.dentry->d_inode->i_mutex);
2484 out_release:
2485         path_put(&nd.path);
2486 out:
2487         path_put(&old_nd.path);
2488 exit:
2489         putname(to);
2490
2491         return error;
2492 }
2493
2494 asmlinkage long sys_link(const char __user *oldname, const char __user *newname)
2495 {
2496         return sys_linkat(AT_FDCWD, oldname, AT_FDCWD, newname, 0);
2497 }
2498
2499 /*
2500  * The worst of all namespace operations - renaming directory. "Perverted"
2501  * doesn't even start to describe it. Somebody in UCB had a heck of a trip...
2502  * Problems:
2503  *      a) we can get into loop creation. Check is done in is_subdir().
2504  *      b) race potential - two innocent renames can create a loop together.
2505  *         That's where 4.4 screws up. Current fix: serialization on
2506  *         sb->s_vfs_rename_mutex. We might be more accurate, but that's another
2507  *         story.
2508  *      c) we have to lock _three_ objects - parents and victim (if it exists).
2509  *         And that - after we got ->i_mutex on parents (until then we don't know
2510  *         whether the target exists).  Solution: try to be smart with locking
2511  *         order for inodes.  We rely on the fact that tree topology may change
2512  *         only under ->s_vfs_rename_mutex _and_ that parent of the object we
2513  *         move will be locked.  Thus we can rank directories by the tree
2514  *         (ancestors first) and rank all non-directories after them.
2515  *         That works since everybody except rename does "lock parent, lookup,
2516  *         lock child" and rename is under ->s_vfs_rename_mutex.
2517  *         HOWEVER, it relies on the assumption that any object with ->lookup()
2518  *         has no more than 1 dentry.  If "hybrid" objects will ever appear,
2519  *         we'd better make sure that there's no link(2) for them.
2520  *      d) some filesystems don't support opened-but-unlinked directories,
2521  *         either because of layout or because they are not ready to deal with
2522  *         all cases correctly. The latter will be fixed (taking this sort of
2523  *         stuff into VFS), but the former is not going away. Solution: the same
2524  *         trick as in rmdir().
2525  *      e) conversion from fhandle to dentry may come in the wrong moment - when
2526  *         we are removing the target. Solution: we will have to grab ->i_mutex
2527  *         in the fhandle_to_dentry code. [FIXME - current nfsfh.c relies on
2528  *         ->i_mutex on parents, which works but leads to some truely excessive
2529  *         locking].
2530  */
2531 static int vfs_rename_dir(struct inode *old_dir, struct dentry *old_dentry,
2532                           struct inode *new_dir, struct dentry *new_dentry)
2533 {
2534         int error = 0;
2535         struct inode *target;
2536
2537         /*
2538          * If we are going to change the parent - check write permissions,
2539          * we'll need to flip '..'.
2540          */
2541         if (new_dir != old_dir) {
2542                 error = inode_permission(old_dentry->d_inode, MAY_WRITE);
2543                 if (error)
2544                         return error;
2545         }
2546
2547         error = security_inode_rename(old_dir, old_dentry, new_dir, new_dentry);
2548         if (error)
2549                 return error;
2550
2551         target = new_dentry->d_inode;
2552         if (target) {
2553                 mutex_lock(&target->i_mutex);
2554                 dentry_unhash(new_dentry);
2555         }
2556         if (d_mountpoint(old_dentry)||d_mountpoint(new_dentry))
2557                 error = -EBUSY;
2558         else 
2559                 error = old_dir->i_op->rename(old_dir, old_dentry, new_dir, new_dentry);
2560         if (target) {
2561                 if (!error)
2562                         target->i_flags |= S_DEAD;
2563                 mutex_unlock(&target->i_mutex);
2564                 if (d_unhashed(new_dentry))
2565                         d_rehash(new_dentry);
2566                 dput(new_dentry);
2567         }
2568         if (!error)
2569                 if (!(old_dir->i_sb->s_type->fs_flags & FS_RENAME_DOES_D_MOVE))
2570                         d_move(old_dentry,new_dentry);
2571         return error;
2572 }
2573
2574 static int vfs_rename_other(struct inode *old_dir, struct dentry *old_dentry,
2575                             struct inode *new_dir, struct dentry *new_dentry)
2576 {
2577         struct inode *target;
2578         int error;
2579
2580         error = security_inode_rename(old_dir, old_dentry, new_dir, new_dentry);
2581         if (error)
2582                 return error;
2583
2584         dget(new_dentry);
2585         target = new_dentry->d_inode;
2586         if (target)
2587                 mutex_lock(&target->i_mutex);
2588         if (d_mountpoint(old_dentry)||d_mountpoint(new_dentry))
2589                 error = -EBUSY;
2590         else
2591                 error = old_dir->i_op->rename(old_dir, old_dentry, new_dir, new_dentry);
2592         if (!error) {
2593                 if (!(old_dir->i_sb->s_type->fs_flags & FS_RENAME_DOES_D_MOVE))
2594                         d_move(old_dentry, new_dentry);
2595         }
2596         if (target)
2597                 mutex_unlock(&target->i_mutex);
2598         dput(new_dentry);
2599         return error;
2600 }
2601
2602 int vfs_rename(struct inode *old_dir, struct dentry *old_dentry,
2603                struct inode *new_dir, struct dentry *new_dentry)
2604 {
2605         int error;
2606         int is_dir = S_ISDIR(old_dentry->d_inode->i_mode);
2607         const char *old_name;
2608
2609         if (old_dentry->d_inode == new_dentry->d_inode)
2610                 return 0;
2611  
2612         error = may_delete(old_dir, old_dentry, is_dir);
2613         if (error)
2614                 return error;
2615
2616         if (!new_dentry->d_inode)
2617                 error = may_create(new_dir, new_dentry, NULL);
2618         else
2619                 error = may_delete(new_dir, new_dentry, is_dir);
2620         if (error)
2621                 return error;
2622
2623         if (!old_dir->i_op || !old_dir->i_op->rename)
2624                 return -EPERM;
2625
2626         DQUOT_INIT(old_dir);
2627         DQUOT_INIT(new_dir);
2628
2629         old_name = fsnotify_oldname_init(old_dentry->d_name.name);
2630
2631         if (is_dir)
2632                 error = vfs_rename_dir(old_dir,old_dentry,new_dir,new_dentry);
2633         else
2634                 error = vfs_rename_other(old_dir,old_dentry,new_dir,new_dentry);
2635         if (!error) {
2636                 const char *new_name = old_dentry->d_name.name;
2637                 fsnotify_move(old_dir, new_dir, old_name, new_name, is_dir,
2638                               new_dentry->d_inode, old_dentry);
2639         }
2640         fsnotify_oldname_free(old_name);
2641
2642         return error;
2643 }
2644
2645 static int do_rename(int olddfd, const char *oldname,
2646                         int newdfd, const char *newname)
2647 {
2648         int error = 0;
2649         struct dentry * old_dir, * new_dir;
2650         struct dentry * old_dentry, *new_dentry;
2651         struct dentry * trap;
2652         struct nameidata oldnd, newnd;
2653
2654         error = do_path_lookup(olddfd, oldname, LOOKUP_PARENT, &oldnd);
2655         if (error)
2656                 goto exit;
2657
2658         error = do_path_lookup(newdfd, newname, LOOKUP_PARENT, &newnd);
2659         if (error)
2660                 goto exit1;
2661
2662         error = -EXDEV;
2663         if (oldnd.path.mnt != newnd.path.mnt)
2664                 goto exit2;
2665
2666         old_dir = oldnd.path.dentry;
2667         error = -EBUSY;
2668         if (oldnd.last_type != LAST_NORM)
2669                 goto exit2;
2670
2671         new_dir = newnd.path.dentry;
2672         if (newnd.last_type != LAST_NORM)
2673                 goto exit2;
2674
2675         trap = lock_rename(new_dir, old_dir);
2676
2677         old_dentry = lookup_hash(&oldnd);
2678         error = PTR_ERR(old_dentry);
2679         if (IS_ERR(old_dentry))
2680                 goto exit3;
2681         /* source must exist */
2682         error = -ENOENT;
2683         if (!old_dentry->d_inode)
2684                 goto exit4;
2685         /* unless the source is a directory trailing slashes give -ENOTDIR */
2686         if (!S_ISDIR(old_dentry->d_inode->i_mode)) {
2687                 error = -ENOTDIR;
2688                 if (oldnd.last.name[oldnd.last.len])
2689                         goto exit4;
2690                 if (newnd.last.name[newnd.last.len])
2691                         goto exit4;
2692         }
2693         /* source should not be ancestor of target */
2694         error = -EINVAL;
2695         if (old_dentry == trap)
2696                 goto exit4;
2697         new_dentry = lookup_hash(&newnd);
2698         error = PTR_ERR(new_dentry);
2699         if (IS_ERR(new_dentry))
2700                 goto exit4;
2701         /* target should not be an ancestor of source */
2702         error = -ENOTEMPTY;
2703         if (new_dentry == trap)
2704                 goto exit5;
2705
2706         error = mnt_want_write(oldnd.path.mnt);
2707         if (error)
2708                 goto exit5;
2709         error = vfs_rename(old_dir->d_inode, old_dentry,
2710                                    new_dir->d_inode, new_dentry);
2711         mnt_drop_write(oldnd.path.mnt);
2712 exit5:
2713         dput(new_dentry);
2714 exit4:
2715         dput(old_dentry);
2716 exit3:
2717         unlock_rename(new_dir, old_dir);
2718 exit2:
2719         path_put(&newnd.path);
2720 exit1:
2721         path_put(&oldnd.path);
2722 exit:
2723         return error;
2724 }
2725
2726 asmlinkage long sys_renameat(int olddfd, const char __user *oldname,
2727                              int newdfd, const char __user *newname)
2728 {
2729         int error;
2730         char * from;
2731         char * to;
2732
2733         from = getname(oldname);
2734         if(IS_ERR(from))
2735                 return PTR_ERR(from);
2736         to = getname(newname);
2737         error = PTR_ERR(to);
2738         if (!IS_ERR(to)) {
2739                 error = do_rename(olddfd, from, newdfd, to);
2740                 putname(to);
2741         }
2742         putname(from);
2743         return error;
2744 }
2745
2746 asmlinkage long sys_rename(const char __user *oldname, const char __user *newname)
2747 {
2748         return sys_renameat(AT_FDCWD, oldname, AT_FDCWD, newname);
2749 }
2750
2751 int vfs_readlink(struct dentry *dentry, char __user *buffer, int buflen, const char *link)
2752 {
2753         int len;
2754
2755         len = PTR_ERR(link);
2756         if (IS_ERR(link))
2757                 goto out;
2758
2759         len = strlen(link);
2760         if (len > (unsigned) buflen)
2761                 len = buflen;
2762         if (copy_to_user(buffer, link, len))
2763                 len = -EFAULT;
2764 out:
2765         return len;
2766 }
2767
2768 /*
2769  * A helper for ->readlink().  This should be used *ONLY* for symlinks that
2770  * have ->follow_link() touching nd only in nd_set_link().  Using (or not
2771  * using) it for any given inode is up to filesystem.
2772  */
2773 int generic_readlink(struct dentry *dentry, char __user *buffer, int buflen)
2774 {
2775         struct nameidata nd;
2776         void *cookie;
2777         int res;
2778
2779         nd.depth = 0;
2780         cookie = dentry->d_inode->i_op->follow_link(dentry, &nd);
2781         if (IS_ERR(cookie))
2782                 return PTR_ERR(cookie);
2783
2784         res = vfs_readlink(dentry, buffer, buflen, nd_get_link(&nd));
2785         if (dentry->d_inode->i_op->put_link)
2786                 dentry->d_inode->i_op->put_link(dentry, &nd, cookie);
2787         return res;
2788 }
2789
2790 int vfs_follow_link(struct nameidata *nd, const char *link)
2791 {
2792         return __vfs_follow_link(nd, link);
2793 }
2794
2795 /* get the link contents into pagecache */
2796 static char *page_getlink(struct dentry * dentry, struct page **ppage)
2797 {
2798         struct page * page;
2799         struct address_space *mapping = dentry->d_inode->i_mapping;
2800         page = read_mapping_page(mapping, 0, NULL);
2801         if (IS_ERR(page))
2802                 return (char*)page;
2803         *ppage = page;
2804         return kmap(page);
2805 }
2806
2807 int page_readlink(struct dentry *dentry, char __user *buffer, int buflen)
2808 {
2809         struct page *page = NULL;
2810         char *s = page_getlink(dentry, &page);
2811         int res = vfs_readlink(dentry,buffer,buflen,s);
2812         if (page) {
2813                 kunmap(page);
2814                 page_cache_release(page);
2815         }
2816         return res;
2817 }
2818
2819 void *page_follow_link_light(struct dentry *dentry, struct nameidata *nd)
2820 {
2821         struct page *page = NULL;
2822         nd_set_link(nd, page_getlink(dentry, &page));
2823         return page;
2824 }
2825
2826 void page_put_link(struct dentry *dentry, struct nameidata *nd, void *cookie)
2827 {
2828         struct page *page = cookie;
2829
2830         if (page) {
2831                 kunmap(page);
2832                 page_cache_release(page);
2833         }
2834 }
2835
2836 int __page_symlink(struct inode *inode, const char *symname, int len,
2837                 gfp_t gfp_mask)
2838 {
2839         struct address_space *mapping = inode->i_mapping;
2840         struct page *page;
2841         void *fsdata;
2842         int err;
2843         char *kaddr;
2844
2845 retry:
2846         err = pagecache_write_begin(NULL, mapping, 0, len-1,
2847                                 AOP_FLAG_UNINTERRUPTIBLE, &page, &fsdata);
2848         if (err)
2849                 goto fail;
2850
2851         kaddr = kmap_atomic(page, KM_USER0);
2852         memcpy(kaddr, symname, len-1);
2853         kunmap_atomic(kaddr, KM_USER0);
2854
2855         err = pagecache_write_end(NULL, mapping, 0, len-1, len-1,
2856                                                         page, fsdata);
2857         if (err < 0)
2858                 goto fail;
2859         if (err < len-1)
2860                 goto retry;
2861
2862         mark_inode_dirty(inode);
2863         return 0;
2864 fail:
2865         return err;
2866 }
2867
2868 int page_symlink(struct inode *inode, const char *symname, int len)
2869 {
2870         return __page_symlink(inode, symname, len,
2871                         mapping_gfp_mask(inode->i_mapping));
2872 }
2873
2874 const struct inode_operations page_symlink_inode_operations = {
2875         .readlink       = generic_readlink,
2876         .follow_link    = page_follow_link_light,
2877         .put_link       = page_put_link,
2878 };
2879
2880 EXPORT_SYMBOL(__user_walk);
2881 EXPORT_SYMBOL(__user_walk_fd);
2882 EXPORT_SYMBOL(follow_down);
2883 EXPORT_SYMBOL(follow_up);
2884 EXPORT_SYMBOL(get_write_access); /* binfmt_aout */
2885 EXPORT_SYMBOL(getname);
2886 EXPORT_SYMBOL(lock_rename);
2887 EXPORT_SYMBOL(lookup_one_len);
2888 EXPORT_SYMBOL(page_follow_link_light);
2889 EXPORT_SYMBOL(page_put_link);
2890 EXPORT_SYMBOL(page_readlink);
2891 EXPORT_SYMBOL(__page_symlink);
2892 EXPORT_SYMBOL(page_symlink);
2893 EXPORT_SYMBOL(page_symlink_inode_operations);
2894 EXPORT_SYMBOL(path_lookup);
2895 EXPORT_SYMBOL(vfs_path_lookup);
2896 EXPORT_SYMBOL(inode_permission);
2897 EXPORT_SYMBOL(vfs_permission);
2898 EXPORT_SYMBOL(file_permission);
2899 EXPORT_SYMBOL(unlock_rename);
2900 EXPORT_SYMBOL(vfs_create);
2901 EXPORT_SYMBOL(vfs_follow_link);
2902 EXPORT_SYMBOL(vfs_link);
2903 EXPORT_SYMBOL(vfs_mkdir);
2904 EXPORT_SYMBOL(vfs_mknod);
2905 EXPORT_SYMBOL(generic_permission);
2906 EXPORT_SYMBOL(vfs_readlink);
2907 EXPORT_SYMBOL(vfs_rename);
2908 EXPORT_SYMBOL(vfs_rmdir);
2909 EXPORT_SYMBOL(vfs_symlink);
2910 EXPORT_SYMBOL(vfs_unlink);
2911 EXPORT_SYMBOL(dentry_unhash);
2912 EXPORT_SYMBOL(generic_readlink);