Merge git://git.kernel.org/pub/scm/linux/kernel/git/ebiederm/sysctl
[linux-2.6.git] / fs / proc / proc_sysctl.c
index 13faa48..21d836f 100644 (file)
@@ -6,7 +6,9 @@
 #include <linux/poll.h>
 #include <linux/proc_fs.h>
 #include <linux/security.h>
+#include <linux/sched.h>
 #include <linux/namei.h>
+#include <linux/mm.h>
 #include <linux/module.h>
 #include "internal.h"
 
@@ -25,23 +27,186 @@ void proc_sys_poll_notify(struct ctl_table_poll *poll)
        wake_up_interruptible(&poll->wait);
 }
 
-static struct ctl_table root_table[1];
-static struct ctl_table_root sysctl_table_root;
-static struct ctl_table_header root_table_header = {
-       {{.count = 1,
-         .nreg = 1,
-         .ctl_table = root_table,
-         .ctl_entry = LIST_HEAD_INIT(sysctl_table_root.default_set.list),}},
-       .root = &sysctl_table_root,
-       .set = &sysctl_table_root.default_set,
+static struct ctl_table root_table[] = {
+       {
+               .procname = "",
+               .mode = S_IFDIR|S_IRUGO|S_IXUGO,
+       },
+       { }
 };
 static struct ctl_table_root sysctl_table_root = {
-       .root_list = LIST_HEAD_INIT(sysctl_table_root.root_list),
-       .default_set.list = LIST_HEAD_INIT(root_table_header.ctl_entry),
+       .default_set.dir.header = {
+               {{.count = 1,
+                 .nreg = 1,
+                 .ctl_table = root_table }},
+               .ctl_table_arg = root_table,
+               .root = &sysctl_table_root,
+               .set = &sysctl_table_root.default_set,
+       },
 };
 
 static DEFINE_SPINLOCK(sysctl_lock);
 
+static void drop_sysctl_table(struct ctl_table_header *header);
+static int sysctl_follow_link(struct ctl_table_header **phead,
+       struct ctl_table **pentry, struct nsproxy *namespaces);
+static int insert_links(struct ctl_table_header *head);
+static void put_links(struct ctl_table_header *header);
+
+static void sysctl_print_dir(struct ctl_dir *dir)
+{
+       if (dir->header.parent)
+               sysctl_print_dir(dir->header.parent);
+       printk(KERN_CONT "%s/", dir->header.ctl_table[0].procname);
+}
+
+static int namecmp(const char *name1, int len1, const char *name2, int len2)
+{
+       int minlen;
+       int cmp;
+
+       minlen = len1;
+       if (minlen > len2)
+               minlen = len2;
+
+       cmp = memcmp(name1, name2, minlen);
+       if (cmp == 0)
+               cmp = len1 - len2;
+       return cmp;
+}
+
+/* Called under sysctl_lock */
+static struct ctl_table *find_entry(struct ctl_table_header **phead,
+       struct ctl_dir *dir, const char *name, int namelen)
+{
+       struct ctl_table_header *head;
+       struct ctl_table *entry;
+       struct rb_node *node = dir->root.rb_node;
+
+       while (node)
+       {
+               struct ctl_node *ctl_node;
+               const char *procname;
+               int cmp;
+
+               ctl_node = rb_entry(node, struct ctl_node, node);
+               head = ctl_node->header;
+               entry = &head->ctl_table[ctl_node - head->node];
+               procname = entry->procname;
+
+               cmp = namecmp(name, namelen, procname, strlen(procname));
+               if (cmp < 0)
+                       node = node->rb_left;
+               else if (cmp > 0)
+                       node = node->rb_right;
+               else {
+                       *phead = head;
+                       return entry;
+               }
+       }
+       return NULL;
+}
+
+static int insert_entry(struct ctl_table_header *head, struct ctl_table *entry)
+{
+       struct rb_node *node = &head->node[entry - head->ctl_table].node;
+       struct rb_node **p = &head->parent->root.rb_node;
+       struct rb_node *parent = NULL;
+       const char *name = entry->procname;
+       int namelen = strlen(name);
+
+       while (*p) {
+               struct ctl_table_header *parent_head;
+               struct ctl_table *parent_entry;
+               struct ctl_node *parent_node;
+               const char *parent_name;
+               int cmp;
+
+               parent = *p;
+               parent_node = rb_entry(parent, struct ctl_node, node);
+               parent_head = parent_node->header;
+               parent_entry = &parent_head->ctl_table[parent_node - parent_head->node];
+               parent_name = parent_entry->procname;
+
+               cmp = namecmp(name, namelen, parent_name, strlen(parent_name));
+               if (cmp < 0)
+                       p = &(*p)->rb_left;
+               else if (cmp > 0)
+                       p = &(*p)->rb_right;
+               else {
+                       printk(KERN_ERR "sysctl duplicate entry: ");
+                       sysctl_print_dir(head->parent);
+                       printk(KERN_CONT "/%s\n", entry->procname);
+                       return -EEXIST;
+               }
+       }
+
+       rb_link_node(node, parent, p);
+       return 0;
+}
+
+static void erase_entry(struct ctl_table_header *head, struct ctl_table *entry)
+{
+       struct rb_node *node = &head->node[entry - head->ctl_table].node;
+
+       rb_erase(node, &head->parent->root);
+}
+
+static void init_header(struct ctl_table_header *head,
+       struct ctl_table_root *root, struct ctl_table_set *set,
+       struct ctl_node *node, struct ctl_table *table)
+{
+       head->ctl_table = table;
+       head->ctl_table_arg = table;
+       head->used = 0;
+       head->count = 1;
+       head->nreg = 1;
+       head->unregistering = NULL;
+       head->root = root;
+       head->set = set;
+       head->parent = NULL;
+       head->node = node;
+       if (node) {
+               struct ctl_table *entry;
+               for (entry = table; entry->procname; entry++, node++) {
+                       rb_init_node(&node->node);
+                       node->header = head;
+               }
+       }
+}
+
+static void erase_header(struct ctl_table_header *head)
+{
+       struct ctl_table *entry;
+       for (entry = head->ctl_table; entry->procname; entry++)
+               erase_entry(head, entry);
+}
+
+static int insert_header(struct ctl_dir *dir, struct ctl_table_header *header)
+{
+       struct ctl_table *entry;
+       int err;
+
+       dir->header.nreg++;
+       header->parent = dir;
+       err = insert_links(header);
+       if (err)
+               goto fail_links;
+       for (entry = header->ctl_table; entry->procname; entry++) {
+               err = insert_entry(header, entry);
+               if (err)
+                       goto fail;
+       }
+       return 0;
+fail:
+       erase_header(header);
+       put_links(header);
+fail_links:
+       header->parent = NULL;
+       drop_sysctl_table(&dir->header);
+       return err;
+}
+
 /* called under sysctl_lock */
 static int use_table(struct ctl_table_header *p)
 {
@@ -81,7 +246,7 @@ static void start_unregistering(struct ctl_table_header *p)
         * do not remove from the list until nobody holds it; walking the
         * list in do_sysctl() relies on that.
         */
-       list_del_init(&p->ctl_entry);
+       erase_header(p);
 }
 
 static void sysctl_head_get(struct ctl_table_header *head)
@@ -128,67 +293,75 @@ lookup_header_set(struct ctl_table_root *root, struct nsproxy *namespaces)
        return set;
 }
 
-static struct list_head *
-lookup_header_list(struct ctl_table_root *root, struct nsproxy *namespaces)
+static struct ctl_table *lookup_entry(struct ctl_table_header **phead,
+                                     struct ctl_dir *dir,
+                                     const char *name, int namelen)
 {
-       struct ctl_table_set *set = lookup_header_set(root, namespaces);
-       return &set->list;
-}
-
-static struct ctl_table_header *__sysctl_head_next(struct nsproxy *namespaces,
-                                               struct ctl_table_header *prev)
-{
-       struct ctl_table_root *root;
-       struct list_head *header_list;
        struct ctl_table_header *head;
-       struct list_head *tmp;
+       struct ctl_table *entry;
 
        spin_lock(&sysctl_lock);
-       if (prev) {
-               head = prev;
-               tmp = &prev->ctl_entry;
-               unuse_table(prev);
-               goto next;
-       }
-       tmp = &root_table_header.ctl_entry;
-       for (;;) {
-               head = list_entry(tmp, struct ctl_table_header, ctl_entry);
+       entry = find_entry(&head, dir, name, namelen);
+       if (entry && use_table(head))
+               *phead = head;
+       else
+               entry = NULL;
+       spin_unlock(&sysctl_lock);
+       return entry;
+}
 
-               if (!use_table(head))
-                       goto next;
-               spin_unlock(&sysctl_lock);
-               return head;
-       next:
-               root = head->root;
-               tmp = tmp->next;
-               header_list = lookup_header_list(root, namespaces);
-               if (tmp != header_list)
-                       continue;
+static struct ctl_node *first_usable_entry(struct rb_node *node)
+{
+       struct ctl_node *ctl_node;
 
-               do {
-                       root = list_entry(root->root_list.next,
-                                       struct ctl_table_root, root_list);
-                       if (root == &sysctl_table_root)
-                               goto out;
-                       header_list = lookup_header_list(root, namespaces);
-               } while (list_empty(header_list));
-               tmp = header_list->next;
+       for (;node; node = rb_next(node)) {
+               ctl_node = rb_entry(node, struct ctl_node, node);
+               if (use_table(ctl_node->header))
+                       return ctl_node;
        }
-out:
-       spin_unlock(&sysctl_lock);
        return NULL;
 }
 
-static struct ctl_table_header *sysctl_head_next(struct ctl_table_header *prev)
+static void first_entry(struct ctl_dir *dir,
+       struct ctl_table_header **phead, struct ctl_table **pentry)
 {
-       return __sysctl_head_next(current->nsproxy, prev);
+       struct ctl_table_header *head = NULL;
+       struct ctl_table *entry = NULL;
+       struct ctl_node *ctl_node;
+
+       spin_lock(&sysctl_lock);
+       ctl_node = first_usable_entry(rb_first(&dir->root));
+       spin_unlock(&sysctl_lock);
+       if (ctl_node) {
+               head = ctl_node->header;
+               entry = &head->ctl_table[ctl_node - head->node];
+       }
+       *phead = head;
+       *pentry = entry;
 }
 
-void register_sysctl_root(struct ctl_table_root *root)
+static void next_entry(struct ctl_table_header **phead, struct ctl_table **pentry)
 {
+       struct ctl_table_header *head = *phead;
+       struct ctl_table *entry = *pentry;
+       struct ctl_node *ctl_node = &head->node[entry - head->ctl_table];
+
        spin_lock(&sysctl_lock);
-       list_add_tail(&root->root_list, &sysctl_table_root.root_list);
+       unuse_table(head);
+
+       ctl_node = first_usable_entry(rb_next(&ctl_node->node));
        spin_unlock(&sysctl_lock);
+       head = NULL;
+       if (ctl_node) {
+               head = ctl_node->header;
+               entry = &head->ctl_table[ctl_node - head->node];
+       }
+       *phead = head;
+       *pentry = entry;
+}
+
+void register_sysctl_root(struct ctl_table_root *root)
+{
 }
 
 /*
@@ -238,7 +411,7 @@ static struct inode *proc_sys_make_inode(struct super_block *sb,
 
        inode->i_mtime = inode->i_atime = inode->i_ctime = CURRENT_TIME;
        inode->i_mode = table->mode;
-       if (!table->child) {
+       if (!S_ISDIR(table->mode)) {
                inode->i_mode |= S_IFREG;
                inode->i_op = &proc_sys_inode_operations;
                inode->i_fop = &proc_sys_file_operations;
@@ -251,26 +424,11 @@ out:
        return inode;
 }
 
-static struct ctl_table *find_in_table(struct ctl_table *p, struct qstr *name)
-{
-       for ( ; p->procname; p++) {
-               if (strlen(p->procname) != name->len)
-                       continue;
-
-               if (memcmp(p->procname, name->name, name->len) != 0)
-                       continue;
-
-               /* I have a match */
-               return p;
-       }
-       return NULL;
-}
-
 static struct ctl_table_header *grab_header(struct inode *inode)
 {
        struct ctl_table_header *head = PROC_I(inode)->sysctl;
        if (!head)
-               head = &root_table_header;
+               head = &sysctl_table_root.default_set.dir.header;
        return sysctl_head_grab(head);
 }
 
@@ -278,37 +436,30 @@ static struct dentry *proc_sys_lookup(struct inode *dir, struct dentry *dentry,
                                        struct nameidata *nd)
 {
        struct ctl_table_header *head = grab_header(dir);
-       struct ctl_table *table = PROC_I(dir)->sysctl_entry;
        struct ctl_table_header *h = NULL;
        struct qstr *name = &dentry->d_name;
        struct ctl_table *p;
        struct inode *inode;
        struct dentry *err = ERR_PTR(-ENOENT);
+       struct ctl_dir *ctl_dir;
+       int ret;
 
        if (IS_ERR(head))
                return ERR_CAST(head);
 
-       if (table && !table->child) {
-               WARN_ON(1);
-               goto out;
-       }
-
-       table = table ? table->child : head->ctl_table;
-
-       p = find_in_table(table, name);
-       if (!p) {
-               for (h = sysctl_head_next(NULL); h; h = sysctl_head_next(h)) {
-                       if (h->attached_to != table)
-                               continue;
-                       p = find_in_table(h->attached_by, name);
-                       if (p)
-                               break;
-               }
-       }
+       ctl_dir = container_of(head, struct ctl_dir, header);
 
+       p = lookup_entry(&h, ctl_dir, name->name, name->len);
        if (!p)
                goto out;
 
+       if (S_ISLNK(p->mode)) {
+               ret = sysctl_follow_link(&h, &p, current->nsproxy);
+               err = ERR_PTR(ret);
+               if (ret)
+                       goto out;
+       }
+
        err = ERR_PTR(-ENOMEM);
        inode = proc_sys_make_inode(dir->i_sb, h ? h : head, p);
        if (h)
@@ -376,20 +527,32 @@ static ssize_t proc_sys_write(struct file *filp, const char __user *buf,
 
 static int proc_sys_open(struct inode *inode, struct file *filp)
 {
+       struct ctl_table_header *head = grab_header(inode);
        struct ctl_table *table = PROC_I(inode)->sysctl_entry;
 
+       /* sysctl was unregistered */
+       if (IS_ERR(head))
+               return PTR_ERR(head);
+
        if (table->poll)
                filp->private_data = proc_sys_poll_event(table->poll);
 
+       sysctl_head_finish(head);
+
        return 0;
 }
 
 static unsigned int proc_sys_poll(struct file *filp, poll_table *wait)
 {
        struct inode *inode = filp->f_path.dentry->d_inode;
+       struct ctl_table_header *head = grab_header(inode);
        struct ctl_table *table = PROC_I(inode)->sysctl_entry;
-       unsigned long event = (unsigned long)filp->private_data;
        unsigned int ret = DEFAULT_POLLMASK;
+       unsigned long event;
+
+       /* sysctl was unregistered */
+       if (IS_ERR(head))
+               return POLLERR | POLLHUP;
 
        if (!table->proc_handler)
                goto out;
@@ -397,6 +560,7 @@ static unsigned int proc_sys_poll(struct file *filp, poll_table *wait)
        if (!table->poll)
                goto out;
 
+       event = (unsigned long)filp->private_data;
        poll_wait(filp, &table->poll->wait, wait);
 
        if (event != atomic_read(&table->poll->event)) {
@@ -405,6 +569,8 @@ static unsigned int proc_sys_poll(struct file *filp, poll_table *wait)
        }
 
 out:
+       sysctl_head_finish(head);
+
        return ret;
 }
 
@@ -446,24 +612,45 @@ static int proc_sys_fill_cache(struct file *filp, void *dirent,
        return !!filldir(dirent, qname.name, qname.len, filp->f_pos, ino, type);
 }
 
+static int proc_sys_link_fill_cache(struct file *filp, void *dirent,
+                                   filldir_t filldir,
+                                   struct ctl_table_header *head,
+                                   struct ctl_table *table)
+{
+       int err, ret = 0;
+       head = sysctl_head_grab(head);
+
+       if (S_ISLNK(table->mode)) {
+               /* It is not an error if we can not follow the link ignore it */
+               err = sysctl_follow_link(&head, &table, current->nsproxy);
+               if (err)
+                       goto out;
+       }
+
+       ret = proc_sys_fill_cache(filp, dirent, filldir, head, table);
+out:
+       sysctl_head_finish(head);
+       return ret;
+}
+
 static int scan(struct ctl_table_header *head, ctl_table *table,
                unsigned long *pos, struct file *file,
                void *dirent, filldir_t filldir)
 {
+       int res;
 
-       for (; table->procname; table++, (*pos)++) {
-               int res;
-
-               if (*pos < file->f_pos)
-                       continue;
+       if ((*pos)++ < file->f_pos)
+               return 0;
 
+       if (unlikely(S_ISLNK(table->mode)))
+               res = proc_sys_link_fill_cache(file, dirent, filldir, head, table);
+       else
                res = proc_sys_fill_cache(file, dirent, filldir, head, table);
-               if (res)
-                       return res;
 
-               file->f_pos = *pos + 1;
-       }
-       return 0;
+       if (res == 0)
+               file->f_pos = *pos;
+
+       return res;
 }
 
 static int proc_sys_readdir(struct file *filp, void *dirent, filldir_t filldir)
@@ -471,20 +658,16 @@ static int proc_sys_readdir(struct file *filp, void *dirent, filldir_t filldir)
        struct dentry *dentry = filp->f_path.dentry;
        struct inode *inode = dentry->d_inode;
        struct ctl_table_header *head = grab_header(inode);
-       struct ctl_table *table = PROC_I(inode)->sysctl_entry;
        struct ctl_table_header *h = NULL;
+       struct ctl_table *entry;
+       struct ctl_dir *ctl_dir;
        unsigned long pos;
        int ret = -EINVAL;
 
        if (IS_ERR(head))
                return PTR_ERR(head);
 
-       if (table && !table->child) {
-               WARN_ON(1);
-               goto out;
-       }
-
-       table = table ? table->child : head->ctl_table;
+       ctl_dir = container_of(head, struct ctl_dir, header);
 
        ret = 0;
        /* Avoid a switch here: arm builds fail with missing __cmpdi2 */
@@ -502,14 +685,8 @@ static int proc_sys_readdir(struct file *filp, void *dirent, filldir_t filldir)
        }
        pos = 2;
 
-       ret = scan(head, table, &pos, filp, dirent, filldir);
-       if (ret)
-               goto out;
-
-       for (h = sysctl_head_next(NULL); h; h = sysctl_head_next(h)) {
-               if (h->attached_to != table)
-                       continue;
-               ret = scan(h, h->attached_by, &pos, filp, dirent, filldir);
+       for (first_entry(ctl_dir, &h, &entry); h; next_entry(&h, &entry)) {
+               ret = scan(h, entry, &pos, filp, dirent, filldir);
                if (ret) {
                        sysctl_head_finish(h);
                        break;
@@ -669,107 +846,153 @@ static const struct dentry_operations proc_sys_dentry_operations = {
        .d_compare      = proc_sys_compare,
 };
 
-static struct ctl_table *is_branch_in(struct ctl_table *branch,
-                                     struct ctl_table *table)
+static struct ctl_dir *find_subdir(struct ctl_dir *dir,
+                                  const char *name, int namelen)
 {
-       struct ctl_table *p;
-       const char *s = branch->procname;
+       struct ctl_table_header *head;
+       struct ctl_table *entry;
 
-       /* branch should have named subdirectory as its first element */
-       if (!s || !branch->child)
-               return NULL;
+       entry = find_entry(&head, dir, name, namelen);
+       if (!entry)
+               return ERR_PTR(-ENOENT);
+       if (!S_ISDIR(entry->mode))
+               return ERR_PTR(-ENOTDIR);
+       return container_of(head, struct ctl_dir, header);
+}
+
+static struct ctl_dir *new_dir(struct ctl_table_set *set,
+                              const char *name, int namelen)
+{
+       struct ctl_table *table;
+       struct ctl_dir *new;
+       struct ctl_node *node;
+       char *new_name;
 
-       /* ... and nothing else */
-       if (branch[1].procname)
+       new = kzalloc(sizeof(*new) + sizeof(struct ctl_node) +
+                     sizeof(struct ctl_table)*2 +  namelen + 1,
+                     GFP_KERNEL);
+       if (!new)
                return NULL;
 
-       /* table should contain subdirectory with the same name */
-       for (p = table; p->procname; p++) {
-               if (!p->child)
-                       continue;
-               if (p->procname && strcmp(p->procname, s) == 0)
-                       return p;
-       }
-       return NULL;
+       node = (struct ctl_node *)(new + 1);
+       table = (struct ctl_table *)(node + 1);
+       new_name = (char *)(table + 2);
+       memcpy(new_name, name, namelen);
+       new_name[namelen] = '\0';
+       table[0].procname = new_name;
+       table[0].mode = S_IFDIR|S_IRUGO|S_IXUGO;
+       init_header(&new->header, set->dir.header.root, set, node, table);
+
+       return new;
 }
 
-/* see if attaching q to p would be an improvement */
-static void try_attach(struct ctl_table_header *p, struct ctl_table_header *q)
+/**
+ * get_subdir - find or create a subdir with the specified name.
+ * @dir:  Directory to create the subdirectory in
+ * @name: The name of the subdirectory to find or create
+ * @namelen: The length of name
+ *
+ * Takes a directory with an elevated reference count so we know that
+ * if we drop the lock the directory will not go away.  Upon success
+ * the reference is moved from @dir to the returned subdirectory.
+ * Upon error an error code is returned and the reference on @dir is
+ * simply dropped.
+ */
+static struct ctl_dir *get_subdir(struct ctl_dir *dir,
+                                 const char *name, int namelen)
 {
-       struct ctl_table *to = p->ctl_table, *by = q->ctl_table;
-       struct ctl_table *next;
-       int is_better = 0;
-       int not_in_parent = !p->attached_by;
+       struct ctl_table_set *set = dir->header.set;
+       struct ctl_dir *subdir, *new = NULL;
+       int err;
 
-       while ((next = is_branch_in(by, to)) != NULL) {
-               if (by == q->attached_by)
-                       is_better = 1;
-               if (to == p->attached_by)
-                       not_in_parent = 1;
-               by = by->child;
-               to = next->child;
-       }
+       spin_lock(&sysctl_lock);
+       subdir = find_subdir(dir, name, namelen);
+       if (!IS_ERR(subdir))
+               goto found;
+       if (PTR_ERR(subdir) != -ENOENT)
+               goto failed;
 
-       if (is_better && not_in_parent) {
-               q->attached_by = by;
-               q->attached_to = to;
-               q->parent = p;
+       spin_unlock(&sysctl_lock);
+       new = new_dir(set, name, namelen);
+       spin_lock(&sysctl_lock);
+       subdir = ERR_PTR(-ENOMEM);
+       if (!new)
+               goto failed;
+
+       /* Was the subdir added while we dropped the lock? */
+       subdir = find_subdir(dir, name, namelen);
+       if (!IS_ERR(subdir))
+               goto found;
+       if (PTR_ERR(subdir) != -ENOENT)
+               goto failed;
+
+       /* Nope.  Use the our freshly made directory entry. */
+       err = insert_header(dir, &new->header);
+       subdir = ERR_PTR(err);
+       if (err)
+               goto failed;
+       subdir = new;
+found:
+       subdir->header.nreg++;
+failed:
+       if (unlikely(IS_ERR(subdir))) {
+               printk(KERN_ERR "sysctl could not get directory: ");
+               sysctl_print_dir(dir);
+               printk(KERN_CONT "/%*.*s %ld\n",
+                       namelen, namelen, name, PTR_ERR(subdir));
        }
+       drop_sysctl_table(&dir->header);
+       if (new)
+               drop_sysctl_table(&new->header);
+       spin_unlock(&sysctl_lock);
+       return subdir;
 }
 
-static int sysctl_check_table_dups(const char *path, struct ctl_table *old,
-       struct ctl_table *table)
+static struct ctl_dir *xlate_dir(struct ctl_table_set *set, struct ctl_dir *dir)
 {
-       struct ctl_table *entry, *test;
-       int error = 0;
-
-       for (entry = old; entry->procname; entry++) {
-               for (test = table; test->procname; test++) {
-                       if (strcmp(entry->procname, test->procname) == 0) {
-                               printk(KERN_ERR "sysctl duplicate entry: %s/%s\n",
-                                       path, test->procname);
-                               error = -EEXIST;
-                       }
-               }
-       }
-       return error;
+       struct ctl_dir *parent;
+       const char *procname;
+       if (!dir->header.parent)
+               return &set->dir;
+       parent = xlate_dir(set, dir->header.parent);
+       if (IS_ERR(parent))
+               return parent;
+       procname = dir->header.ctl_table[0].procname;
+       return find_subdir(parent, procname, strlen(procname));
 }
 
-static int sysctl_check_dups(struct nsproxy *namespaces,
-       struct ctl_table_header *header,
-       const char *path, struct ctl_table *table)
+static int sysctl_follow_link(struct ctl_table_header **phead,
+       struct ctl_table **pentry, struct nsproxy *namespaces)
 {
+       struct ctl_table_header *head;
        struct ctl_table_root *root;
        struct ctl_table_set *set;
-       struct ctl_table_header *dir_head, *head;
-       struct ctl_table *dir_table;
-       int error = 0;
-
-       /* No dups if we are the only member of our directory */
-       if (header->attached_by != table)
-               return 0;
-
-       dir_head = header->parent;
-       dir_table = header->attached_to;
-
-       error = sysctl_check_table_dups(path, dir_table, table);
-
-       root = &sysctl_table_root;
-       do {
-               set = lookup_header_set(root, namespaces);
+       struct ctl_table *entry;
+       struct ctl_dir *dir;
+       int ret;
 
-               list_for_each_entry(head, &set->list, ctl_entry) {
-                       if (head->unregistering)
-                               continue;
-                       if (head->attached_to != dir_table)
-                               continue;
-                       error = sysctl_check_table_dups(path, head->attached_by,
-                                                       table);
+       ret = 0;
+       spin_lock(&sysctl_lock);
+       root = (*pentry)->data;
+       set = lookup_header_set(root, namespaces);
+       dir = xlate_dir(set, (*phead)->parent);
+       if (IS_ERR(dir))
+               ret = PTR_ERR(dir);
+       else {
+               const char *procname = (*pentry)->procname;
+               head = NULL;
+               entry = find_entry(&head, dir, procname, strlen(procname));
+               ret = -ENOENT;
+               if (entry && use_table(head)) {
+                       unuse_table(*phead);
+                       *phead = head;
+                       *pentry = entry;
+                       ret = 0;
                }
-               root = list_entry(root->root_list.next,
-                                 struct ctl_table_root, root_list);
-       } while (root != &sysctl_table_root);
-       return error;
+       }
+
+       spin_unlock(&sysctl_lock);
+       return ret;
 }
 
 static int sysctl_err(const char *path, struct ctl_table *table, char *fmt, ...)
@@ -818,10 +1041,121 @@ static int sysctl_check_table(const char *path, struct ctl_table *table)
        return err;
 }
 
+static struct ctl_table_header *new_links(struct ctl_dir *dir, struct ctl_table *table,
+       struct ctl_table_root *link_root)
+{
+       struct ctl_table *link_table, *entry, *link;
+       struct ctl_table_header *links;
+       struct ctl_node *node;
+       char *link_name;
+       int nr_entries, name_bytes;
+
+       name_bytes = 0;
+       nr_entries = 0;
+       for (entry = table; entry->procname; entry++) {
+               nr_entries++;
+               name_bytes += strlen(entry->procname) + 1;
+       }
+
+       links = kzalloc(sizeof(struct ctl_table_header) +
+                       sizeof(struct ctl_node)*nr_entries +
+                       sizeof(struct ctl_table)*(nr_entries + 1) +
+                       name_bytes,
+                       GFP_KERNEL);
+
+       if (!links)
+               return NULL;
+
+       node = (struct ctl_node *)(links + 1);
+       link_table = (struct ctl_table *)(node + nr_entries);
+       link_name = (char *)&link_table[nr_entries + 1];
+
+       for (link = link_table, entry = table; entry->procname; link++, entry++) {
+               int len = strlen(entry->procname) + 1;
+               memcpy(link_name, entry->procname, len);
+               link->procname = link_name;
+               link->mode = S_IFLNK|S_IRWXUGO;
+               link->data = link_root;
+               link_name += len;
+       }
+       init_header(links, dir->header.root, dir->header.set, node, link_table);
+       links->nreg = nr_entries;
+
+       return links;
+}
+
+static bool get_links(struct ctl_dir *dir,
+       struct ctl_table *table, struct ctl_table_root *link_root)
+{
+       struct ctl_table_header *head;
+       struct ctl_table *entry, *link;
+
+       /* Are there links available for every entry in table? */
+       for (entry = table; entry->procname; entry++) {
+               const char *procname = entry->procname;
+               link = find_entry(&head, dir, procname, strlen(procname));
+               if (!link)
+                       return false;
+               if (S_ISDIR(link->mode) && S_ISDIR(entry->mode))
+                       continue;
+               if (S_ISLNK(link->mode) && (link->data == link_root))
+                       continue;
+               return false;
+       }
+
+       /* The checks passed.  Increase the registration count on the links */
+       for (entry = table; entry->procname; entry++) {
+               const char *procname = entry->procname;
+               link = find_entry(&head, dir, procname, strlen(procname));
+               head->nreg++;
+       }
+       return true;
+}
+
+static int insert_links(struct ctl_table_header *head)
+{
+       struct ctl_table_set *root_set = &sysctl_table_root.default_set;
+       struct ctl_dir *core_parent = NULL;
+       struct ctl_table_header *links;
+       int err;
+
+       if (head->set == root_set)
+               return 0;
+
+       core_parent = xlate_dir(root_set, head->parent);
+       if (IS_ERR(core_parent))
+               return 0;
+
+       if (get_links(core_parent, head->ctl_table, head->root))
+               return 0;
+
+       core_parent->header.nreg++;
+       spin_unlock(&sysctl_lock);
+
+       links = new_links(core_parent, head->ctl_table, head->root);
+
+       spin_lock(&sysctl_lock);
+       err = -ENOMEM;
+       if (!links)
+               goto out;
+
+       err = 0;
+       if (get_links(core_parent, head->ctl_table, head->root)) {
+               kfree(links);
+               goto out;
+       }
+
+       err = insert_header(core_parent, links);
+       if (err)
+               kfree(links);
+out:
+       drop_sysctl_table(&core_parent->header);
+       return err;
+}
+
 /**
  * __register_sysctl_table - register a leaf sysctl table
- * @root: List of sysctl headers to register on
- * @namespaces: Data to compute which lists of sysctl entries are visible
+ * @set: Sysctl tree to register on
  * @path: The path to the directory the sysctl table is in.
  * @table: the top-level table structure
  *
@@ -862,52 +1196,37 @@ static int sysctl_check_table(const char *path, struct ctl_table *table)
  * to the table header on success.
  */
 struct ctl_table_header *__register_sysctl_table(
-       struct ctl_table_root *root,
-       struct nsproxy *namespaces,
+       struct ctl_table_set *set,
        const char *path, struct ctl_table *table)
 {
+       struct ctl_table_root *root = set->dir.header.root;
        struct ctl_table_header *header;
-       struct ctl_table *new, **prevp;
        const char *name, *nextname;
-       unsigned int npath = 0;
-       struct ctl_table_set *set;
-       size_t path_bytes = 0;
-       char *new_name;
+       struct ctl_dir *dir;
+       struct ctl_table *entry;
+       struct ctl_node *node;
+       int nr_entries = 0;
 
-       /* Count the path components */
-       for (name = path; name; name = nextname) {
-               int namelen;
-               nextname = strchr(name, '/');
-               if (nextname) {
-                       namelen = nextname - name;
-                       nextname++;
-               } else {
-                       namelen = strlen(name);
-               }
-               if (namelen == 0)
-                       continue;
-               path_bytes += namelen + 1;
-               npath++;
-       }
+       for (entry = table; entry->procname; entry++)
+               nr_entries++;
 
-       /*
-        * For each path component, allocate a 2-element ctl_table array.
-        * The first array element will be filled with the sysctl entry
-        * for this, the second will be the sentinel (procname == 0).
-        *
-        * We allocate everything in one go so that we don't have to
-        * worry about freeing additional memory in unregister_sysctl_table.
-        */
-       header = kzalloc(sizeof(struct ctl_table_header) + path_bytes +
-                        (2 * npath * sizeof(struct ctl_table)), GFP_KERNEL);
+       header = kzalloc(sizeof(struct ctl_table_header) +
+                        sizeof(struct ctl_node)*nr_entries, GFP_KERNEL);
        if (!header)
                return NULL;
 
-       new = (struct ctl_table *) (header + 1);
-       new_name = (char *)(new + (2 * npath));
+       node = (struct ctl_node *)(header + 1);
+       init_header(header, root, set, node, table);
+       if (sysctl_check_table(path, table))
+               goto fail;
+
+       spin_lock(&sysctl_lock);
+       dir = &set->dir;
+       /* Reference moved down the diretory tree get_subdir */
+       dir->header.nreg++;
+       spin_unlock(&sysctl_lock);
 
-       /* Now connect the dots */
-       prevp = &header->ctl_table;
+       /* Find the directory for the ctl_table */
        for (name = path; name; name = nextname) {
                int namelen;
                nextname = strchr(name, '/');
@@ -919,58 +1238,23 @@ struct ctl_table_header *__register_sysctl_table(
                }
                if (namelen == 0)
                        continue;
-               memcpy(new_name, name, namelen);
-               new_name[namelen] = '\0';
 
-               new->procname = new_name;
-               new->mode     = 0555;
-
-               *prevp = new;
-               prevp = &new->child;
-
-               new += 2;
-               new_name += namelen + 1;
+               dir = get_subdir(dir, name, namelen);
+               if (IS_ERR(dir))
+                       goto fail;
        }
-       *prevp = table;
-       header->ctl_table_arg = table;
-
-       INIT_LIST_HEAD(&header->ctl_entry);
-       header->used = 0;
-       header->unregistering = NULL;
-       header->root = root;
-       header->count = 1;
-       header->nreg = 1;
-       if (sysctl_check_table(path, table))
-               goto fail;
 
        spin_lock(&sysctl_lock);
-       header->set = lookup_header_set(root, namespaces);
-       header->attached_by = header->ctl_table;
-       header->attached_to = root_table;
-       header->parent = &root_table_header;
-       set = header->set;
-       root = header->root;
-       for (;;) {
-               struct ctl_table_header *p;
-               list_for_each_entry(p, &set->list, ctl_entry) {
-                       if (p->unregistering)
-                               continue;
-                       try_attach(p, header);
-               }
-               if (root == &sysctl_table_root)
-                       break;
-               root = list_entry(root->root_list.prev,
-                                 struct ctl_table_root, root_list);
-               set = lookup_header_set(root, namespaces);
-       }
-       if (sysctl_check_dups(namespaces, header, path, table))
-               goto fail_locked;
-       header->parent->count++;
-       list_add_tail(&header->ctl_entry, &header->set->list);
+       if (insert_header(dir, header))
+               goto fail_put_dir_locked;
+
+       drop_sysctl_table(&dir->header);
        spin_unlock(&sysctl_lock);
 
        return header;
-fail_locked:
+
+fail_put_dir_locked:
+       drop_sysctl_table(&dir->header);
        spin_unlock(&sysctl_lock);
 fail:
        kfree(header);
@@ -978,6 +1262,23 @@ fail:
        return NULL;
 }
 
+/**
+ * register_sysctl - register a sysctl table
+ * @path: The path to the directory the sysctl table is in.
+ * @table: the table structure
+ *
+ * Register a sysctl table. @table should be a filled in ctl_table
+ * array. A completely 0 filled entry terminates the table.
+ *
+ * See __register_sysctl_table for more details.
+ */
+struct ctl_table_header *register_sysctl(const char *path, struct ctl_table *table)
+{
+       return __register_sysctl_table(&sysctl_table_root.default_set,
+                                       path, table);
+}
+EXPORT_SYMBOL(register_sysctl);
+
 static char *append_path(const char *path, char *pos, const char *name)
 {
        int namelen;
@@ -1011,8 +1312,7 @@ static int count_subheaders(struct ctl_table *table)
 }
 
 static int register_leaf_sysctl_tables(const char *path, char *pos,
-       struct ctl_table_header ***subheader,
-       struct ctl_table_root *root, struct nsproxy *namespaces,
+       struct ctl_table_header ***subheader, struct ctl_table_set *set,
        struct ctl_table *table)
 {
        struct ctl_table *ctl_table_arg = NULL;
@@ -1049,7 +1349,7 @@ static int register_leaf_sysctl_tables(const char *path, char *pos,
        /* Register everything except a directory full of subdirectories */
        if (nr_files || !nr_dirs) {
                struct ctl_table_header *header;
-               header = __register_sysctl_table(root, namespaces, path, files);
+               header = __register_sysctl_table(set, path, files);
                if (!header) {
                        kfree(ctl_table_arg);
                        goto out;
@@ -1074,7 +1374,7 @@ static int register_leaf_sysctl_tables(const char *path, char *pos,
                        goto out;
 
                err = register_leaf_sysctl_tables(path, child_pos, subheader,
-                                                 root, namespaces, entry->child);
+                                                 set, entry->child);
                pos[0] = '\0';
                if (err)
                        goto out;
@@ -1087,8 +1387,7 @@ out:
 
 /**
  * __register_sysctl_paths - register a sysctl table hierarchy
- * @root: List of sysctl headers to register on
- * @namespaces: Data to compute which lists of sysctl entries are visible
+ * @set: Sysctl tree to register on
  * @path: The path to the directory the sysctl table is in.
  * @table: the top-level table structure
  *
@@ -1098,8 +1397,7 @@ out:
  * See __register_sysctl_table for more details.
  */
 struct ctl_table_header *__register_sysctl_paths(
-       struct ctl_table_root *root,
-       struct nsproxy *namespaces,
+       struct ctl_table_set *set,
        const struct ctl_path *path, struct ctl_table *table)
 {
        struct ctl_table *ctl_table_arg = table;
@@ -1125,7 +1423,7 @@ struct ctl_table_header *__register_sysctl_paths(
                table = table->child;
        }
        if (nr_subheaders == 1) {
-               header = __register_sysctl_table(root, namespaces, new_path, table);
+               header = __register_sysctl_table(set, new_path, table);
                if (header)
                        header->ctl_table_arg = ctl_table_arg;
        } else {
@@ -1139,7 +1437,7 @@ struct ctl_table_header *__register_sysctl_paths(
                header->ctl_table_arg = ctl_table_arg;
 
                if (register_leaf_sysctl_tables(new_path, pos, &subheader,
-                                               root, namespaces, table))
+                                               set, table))
                        goto err_register_leaves;
        }
 
@@ -1172,7 +1470,7 @@ err_register_leaves:
 struct ctl_table_header *register_sysctl_paths(const struct ctl_path *path,
                                                struct ctl_table *table)
 {
-       return __register_sysctl_paths(&sysctl_table_root, current->nsproxy,
+       return __register_sysctl_paths(&sysctl_table_root.default_set,
                                        path, table);
 }
 EXPORT_SYMBOL(register_sysctl_paths);
@@ -1194,18 +1492,54 @@ struct ctl_table_header *register_sysctl_table(struct ctl_table *table)
 }
 EXPORT_SYMBOL(register_sysctl_table);
 
+static void put_links(struct ctl_table_header *header)
+{
+       struct ctl_table_set *root_set = &sysctl_table_root.default_set;
+       struct ctl_table_root *root = header->root;
+       struct ctl_dir *parent = header->parent;
+       struct ctl_dir *core_parent;
+       struct ctl_table *entry;
+
+       if (header->set == root_set)
+               return;
+
+       core_parent = xlate_dir(root_set, parent);
+       if (IS_ERR(core_parent))
+               return;
+
+       for (entry = header->ctl_table; entry->procname; entry++) {
+               struct ctl_table_header *link_head;
+               struct ctl_table *link;
+               const char *name = entry->procname;
+
+               link = find_entry(&link_head, core_parent, name, strlen(name));
+               if (link &&
+                   ((S_ISDIR(link->mode) && S_ISDIR(entry->mode)) ||
+                    (S_ISLNK(link->mode) && (link->data == root)))) {
+                       drop_sysctl_table(link_head);
+               }
+               else {
+                       printk(KERN_ERR "sysctl link missing during unregister: ");
+                       sysctl_print_dir(parent);
+                       printk(KERN_CONT "/%s\n", name);
+               }
+       }
+}
+
 static void drop_sysctl_table(struct ctl_table_header *header)
 {
+       struct ctl_dir *parent = header->parent;
+
        if (--header->nreg)
                return;
 
+       put_links(header);
        start_unregistering(header);
-       if (!--header->parent->count) {
-               WARN_ON(1);
-               kfree_rcu(header->parent, rcu);
-       }
        if (!--header->count)
                kfree_rcu(header, rcu);
+
+       if (parent)
+               drop_sysctl_table(&parent->header);
 }
 
 /**
@@ -1245,16 +1579,18 @@ void unregister_sysctl_table(struct ctl_table_header * header)
 }
 EXPORT_SYMBOL(unregister_sysctl_table);
 
-void setup_sysctl_set(struct ctl_table_set *p,
+void setup_sysctl_set(struct ctl_table_set *set,
+       struct ctl_table_root *root,
        int (*is_seen)(struct ctl_table_set *))
 {
-       INIT_LIST_HEAD(&p->list);
-       p->is_seen = is_seen;
+       memset(set, 0, sizeof(*set));
+       set->is_seen = is_seen;
+       init_header(&set->dir.header, root, set, NULL, root_table);
 }
 
 void retire_sysctl_set(struct ctl_table_set *set)
 {
-       WARN_ON(!list_empty(&set->list));
+       WARN_ON(!RB_EMPTY_ROOT(&set->dir.root));
 }
 
 int __init proc_sys_init(void)