Merge git://git.kernel.org/pub/scm/linux/kernel/git/ebiederm/sysctl
[linux-2.6.git] / fs / proc / proc_sysctl.c
index 06e6f10..21d836f 100644 (file)
@@ -6,7 +6,9 @@
 #include <linux/poll.h>
 #include <linux/proc_fs.h>
 #include <linux/security.h>
+#include <linux/sched.h>
 #include <linux/namei.h>
+#include <linux/mm.h>
 #include <linux/module.h>
 #include "internal.h"
 
@@ -25,22 +27,186 @@ void proc_sys_poll_notify(struct ctl_table_poll *poll)
        wake_up_interruptible(&poll->wait);
 }
 
-static struct ctl_table root_table[1];
-static struct ctl_table_root sysctl_table_root;
-static struct ctl_table_header root_table_header = {
-       {{.count = 1,
-       .ctl_table = root_table,
-       .ctl_entry = LIST_HEAD_INIT(sysctl_table_root.default_set.list),}},
-       .root = &sysctl_table_root,
-       .set = &sysctl_table_root.default_set,
+static struct ctl_table root_table[] = {
+       {
+               .procname = "",
+               .mode = S_IFDIR|S_IRUGO|S_IXUGO,
+       },
+       { }
 };
 static struct ctl_table_root sysctl_table_root = {
-       .root_list = LIST_HEAD_INIT(sysctl_table_root.root_list),
-       .default_set.list = LIST_HEAD_INIT(root_table_header.ctl_entry),
+       .default_set.dir.header = {
+               {{.count = 1,
+                 .nreg = 1,
+                 .ctl_table = root_table }},
+               .ctl_table_arg = root_table,
+               .root = &sysctl_table_root,
+               .set = &sysctl_table_root.default_set,
+       },
 };
 
 static DEFINE_SPINLOCK(sysctl_lock);
 
+static void drop_sysctl_table(struct ctl_table_header *header);
+static int sysctl_follow_link(struct ctl_table_header **phead,
+       struct ctl_table **pentry, struct nsproxy *namespaces);
+static int insert_links(struct ctl_table_header *head);
+static void put_links(struct ctl_table_header *header);
+
+static void sysctl_print_dir(struct ctl_dir *dir)
+{
+       if (dir->header.parent)
+               sysctl_print_dir(dir->header.parent);
+       printk(KERN_CONT "%s/", dir->header.ctl_table[0].procname);
+}
+
+static int namecmp(const char *name1, int len1, const char *name2, int len2)
+{
+       int minlen;
+       int cmp;
+
+       minlen = len1;
+       if (minlen > len2)
+               minlen = len2;
+
+       cmp = memcmp(name1, name2, minlen);
+       if (cmp == 0)
+               cmp = len1 - len2;
+       return cmp;
+}
+
+/* Called under sysctl_lock */
+static struct ctl_table *find_entry(struct ctl_table_header **phead,
+       struct ctl_dir *dir, const char *name, int namelen)
+{
+       struct ctl_table_header *head;
+       struct ctl_table *entry;
+       struct rb_node *node = dir->root.rb_node;
+
+       while (node)
+       {
+               struct ctl_node *ctl_node;
+               const char *procname;
+               int cmp;
+
+               ctl_node = rb_entry(node, struct ctl_node, node);
+               head = ctl_node->header;
+               entry = &head->ctl_table[ctl_node - head->node];
+               procname = entry->procname;
+
+               cmp = namecmp(name, namelen, procname, strlen(procname));
+               if (cmp < 0)
+                       node = node->rb_left;
+               else if (cmp > 0)
+                       node = node->rb_right;
+               else {
+                       *phead = head;
+                       return entry;
+               }
+       }
+       return NULL;
+}
+
+static int insert_entry(struct ctl_table_header *head, struct ctl_table *entry)
+{
+       struct rb_node *node = &head->node[entry - head->ctl_table].node;
+       struct rb_node **p = &head->parent->root.rb_node;
+       struct rb_node *parent = NULL;
+       const char *name = entry->procname;
+       int namelen = strlen(name);
+
+       while (*p) {
+               struct ctl_table_header *parent_head;
+               struct ctl_table *parent_entry;
+               struct ctl_node *parent_node;
+               const char *parent_name;
+               int cmp;
+
+               parent = *p;
+               parent_node = rb_entry(parent, struct ctl_node, node);
+               parent_head = parent_node->header;
+               parent_entry = &parent_head->ctl_table[parent_node - parent_head->node];
+               parent_name = parent_entry->procname;
+
+               cmp = namecmp(name, namelen, parent_name, strlen(parent_name));
+               if (cmp < 0)
+                       p = &(*p)->rb_left;
+               else if (cmp > 0)
+                       p = &(*p)->rb_right;
+               else {
+                       printk(KERN_ERR "sysctl duplicate entry: ");
+                       sysctl_print_dir(head->parent);
+                       printk(KERN_CONT "/%s\n", entry->procname);
+                       return -EEXIST;
+               }
+       }
+
+       rb_link_node(node, parent, p);
+       return 0;
+}
+
+static void erase_entry(struct ctl_table_header *head, struct ctl_table *entry)
+{
+       struct rb_node *node = &head->node[entry - head->ctl_table].node;
+
+       rb_erase(node, &head->parent->root);
+}
+
+static void init_header(struct ctl_table_header *head,
+       struct ctl_table_root *root, struct ctl_table_set *set,
+       struct ctl_node *node, struct ctl_table *table)
+{
+       head->ctl_table = table;
+       head->ctl_table_arg = table;
+       head->used = 0;
+       head->count = 1;
+       head->nreg = 1;
+       head->unregistering = NULL;
+       head->root = root;
+       head->set = set;
+       head->parent = NULL;
+       head->node = node;
+       if (node) {
+               struct ctl_table *entry;
+               for (entry = table; entry->procname; entry++, node++) {
+                       rb_init_node(&node->node);
+                       node->header = head;
+               }
+       }
+}
+
+static void erase_header(struct ctl_table_header *head)
+{
+       struct ctl_table *entry;
+       for (entry = head->ctl_table; entry->procname; entry++)
+               erase_entry(head, entry);
+}
+
+static int insert_header(struct ctl_dir *dir, struct ctl_table_header *header)
+{
+       struct ctl_table *entry;
+       int err;
+
+       dir->header.nreg++;
+       header->parent = dir;
+       err = insert_links(header);
+       if (err)
+               goto fail_links;
+       for (entry = header->ctl_table; entry->procname; entry++) {
+               err = insert_entry(header, entry);
+               if (err)
+                       goto fail;
+       }
+       return 0;
+fail:
+       erase_header(header);
+       put_links(header);
+fail_links:
+       header->parent = NULL;
+       drop_sysctl_table(&dir->header);
+       return err;
+}
+
 /* called under sysctl_lock */
 static int use_table(struct ctl_table_header *p)
 {
@@ -80,7 +246,7 @@ static void start_unregistering(struct ctl_table_header *p)
         * do not remove from the list until nobody holds it; walking the
         * list in do_sysctl() relies on that.
         */
-       list_del_init(&p->ctl_entry);
+       erase_header(p);
 }
 
 static void sysctl_head_get(struct ctl_table_header *head)
@@ -127,67 +293,75 @@ lookup_header_set(struct ctl_table_root *root, struct nsproxy *namespaces)
        return set;
 }
 
-static struct list_head *
-lookup_header_list(struct ctl_table_root *root, struct nsproxy *namespaces)
-{
-       struct ctl_table_set *set = lookup_header_set(root, namespaces);
-       return &set->list;
-}
-
-static struct ctl_table_header *__sysctl_head_next(struct nsproxy *namespaces,
-                                               struct ctl_table_header *prev)
+static struct ctl_table *lookup_entry(struct ctl_table_header **phead,
+                                     struct ctl_dir *dir,
+                                     const char *name, int namelen)
 {
-       struct ctl_table_root *root;
-       struct list_head *header_list;
        struct ctl_table_header *head;
-       struct list_head *tmp;
+       struct ctl_table *entry;
 
        spin_lock(&sysctl_lock);
-       if (prev) {
-               head = prev;
-               tmp = &prev->ctl_entry;
-               unuse_table(prev);
-               goto next;
-       }
-       tmp = &root_table_header.ctl_entry;
-       for (;;) {
-               head = list_entry(tmp, struct ctl_table_header, ctl_entry);
+       entry = find_entry(&head, dir, name, namelen);
+       if (entry && use_table(head))
+               *phead = head;
+       else
+               entry = NULL;
+       spin_unlock(&sysctl_lock);
+       return entry;
+}
 
-               if (!use_table(head))
-                       goto next;
-               spin_unlock(&sysctl_lock);
-               return head;
-       next:
-               root = head->root;
-               tmp = tmp->next;
-               header_list = lookup_header_list(root, namespaces);
-               if (tmp != header_list)
-                       continue;
+static struct ctl_node *first_usable_entry(struct rb_node *node)
+{
+       struct ctl_node *ctl_node;
 
-               do {
-                       root = list_entry(root->root_list.next,
-                                       struct ctl_table_root, root_list);
-                       if (root == &sysctl_table_root)
-                               goto out;
-                       header_list = lookup_header_list(root, namespaces);
-               } while (list_empty(header_list));
-               tmp = header_list->next;
+       for (;node; node = rb_next(node)) {
+               ctl_node = rb_entry(node, struct ctl_node, node);
+               if (use_table(ctl_node->header))
+                       return ctl_node;
        }
-out:
-       spin_unlock(&sysctl_lock);
        return NULL;
 }
 
-static struct ctl_table_header *sysctl_head_next(struct ctl_table_header *prev)
+static void first_entry(struct ctl_dir *dir,
+       struct ctl_table_header **phead, struct ctl_table **pentry)
 {
-       return __sysctl_head_next(current->nsproxy, prev);
+       struct ctl_table_header *head = NULL;
+       struct ctl_table *entry = NULL;
+       struct ctl_node *ctl_node;
+
+       spin_lock(&sysctl_lock);
+       ctl_node = first_usable_entry(rb_first(&dir->root));
+       spin_unlock(&sysctl_lock);
+       if (ctl_node) {
+               head = ctl_node->header;
+               entry = &head->ctl_table[ctl_node - head->node];
+       }
+       *phead = head;
+       *pentry = entry;
 }
 
-void register_sysctl_root(struct ctl_table_root *root)
+static void next_entry(struct ctl_table_header **phead, struct ctl_table **pentry)
 {
+       struct ctl_table_header *head = *phead;
+       struct ctl_table *entry = *pentry;
+       struct ctl_node *ctl_node = &head->node[entry - head->ctl_table];
+
        spin_lock(&sysctl_lock);
-       list_add_tail(&root->root_list, &sysctl_table_root.root_list);
+       unuse_table(head);
+
+       ctl_node = first_usable_entry(rb_next(&ctl_node->node));
        spin_unlock(&sysctl_lock);
+       head = NULL;
+       if (ctl_node) {
+               head = ctl_node->header;
+               entry = &head->ctl_table[ctl_node - head->node];
+       }
+       *phead = head;
+       *pentry = entry;
+}
+
+void register_sysctl_root(struct ctl_table_root *root)
+{
 }
 
 /*
@@ -218,16 +392,6 @@ static int sysctl_perm(struct ctl_table_root *root, struct ctl_table *table, int
        return test_perm(mode, op);
 }
 
-static void sysctl_set_parent(struct ctl_table *parent, struct ctl_table *table)
-{
-       for (; table->procname; table++) {
-               table->parent = parent;
-               if (table->child)
-                       sysctl_set_parent(table, table->child);
-       }
-}
-
-
 static struct inode *proc_sys_make_inode(struct super_block *sb,
                struct ctl_table_header *head, struct ctl_table *table)
 {
@@ -247,13 +411,12 @@ static struct inode *proc_sys_make_inode(struct super_block *sb,
 
        inode->i_mtime = inode->i_atime = inode->i_ctime = CURRENT_TIME;
        inode->i_mode = table->mode;
-       if (!table->child) {
+       if (!S_ISDIR(table->mode)) {
                inode->i_mode |= S_IFREG;
                inode->i_op = &proc_sys_inode_operations;
                inode->i_fop = &proc_sys_file_operations;
        } else {
                inode->i_mode |= S_IFDIR;
-               clear_nlink(inode);
                inode->i_op = &proc_sys_dir_operations;
                inode->i_fop = &proc_sys_dir_file_operations;
        }
@@ -261,64 +424,42 @@ out:
        return inode;
 }
 
-static struct ctl_table *find_in_table(struct ctl_table *p, struct qstr *name)
-{
-       for ( ; p->procname; p++) {
-               if (strlen(p->procname) != name->len)
-                       continue;
-
-               if (memcmp(p->procname, name->name, name->len) != 0)
-                       continue;
-
-               /* I have a match */
-               return p;
-       }
-       return NULL;
-}
-
 static struct ctl_table_header *grab_header(struct inode *inode)
 {
-       if (PROC_I(inode)->sysctl)
-               return sysctl_head_grab(PROC_I(inode)->sysctl);
-       else
-               return sysctl_head_next(NULL);
+       struct ctl_table_header *head = PROC_I(inode)->sysctl;
+       if (!head)
+               head = &sysctl_table_root.default_set.dir.header;
+       return sysctl_head_grab(head);
 }
 
 static struct dentry *proc_sys_lookup(struct inode *dir, struct dentry *dentry,
                                        struct nameidata *nd)
 {
        struct ctl_table_header *head = grab_header(dir);
-       struct ctl_table *table = PROC_I(dir)->sysctl_entry;
        struct ctl_table_header *h = NULL;
        struct qstr *name = &dentry->d_name;
        struct ctl_table *p;
        struct inode *inode;
        struct dentry *err = ERR_PTR(-ENOENT);
+       struct ctl_dir *ctl_dir;
+       int ret;
 
        if (IS_ERR(head))
                return ERR_CAST(head);
 
-       if (table && !table->child) {
-               WARN_ON(1);
-               goto out;
-       }
-
-       table = table ? table->child : head->ctl_table;
-
-       p = find_in_table(table, name);
-       if (!p) {
-               for (h = sysctl_head_next(NULL); h; h = sysctl_head_next(h)) {
-                       if (h->attached_to != table)
-                               continue;
-                       p = find_in_table(h->attached_by, name);
-                       if (p)
-                               break;
-               }
-       }
+       ctl_dir = container_of(head, struct ctl_dir, header);
 
+       p = lookup_entry(&h, ctl_dir, name->name, name->len);
        if (!p)
                goto out;
 
+       if (S_ISLNK(p->mode)) {
+               ret = sysctl_follow_link(&h, &p, current->nsproxy);
+               err = ERR_PTR(ret);
+               if (ret)
+                       goto out;
+       }
+
        err = ERR_PTR(-ENOMEM);
        inode = proc_sys_make_inode(dir->i_sb, h ? h : head, p);
        if (h)
@@ -386,20 +527,32 @@ static ssize_t proc_sys_write(struct file *filp, const char __user *buf,
 
 static int proc_sys_open(struct inode *inode, struct file *filp)
 {
+       struct ctl_table_header *head = grab_header(inode);
        struct ctl_table *table = PROC_I(inode)->sysctl_entry;
 
+       /* sysctl was unregistered */
+       if (IS_ERR(head))
+               return PTR_ERR(head);
+
        if (table->poll)
                filp->private_data = proc_sys_poll_event(table->poll);
 
+       sysctl_head_finish(head);
+
        return 0;
 }
 
 static unsigned int proc_sys_poll(struct file *filp, poll_table *wait)
 {
        struct inode *inode = filp->f_path.dentry->d_inode;
+       struct ctl_table_header *head = grab_header(inode);
        struct ctl_table *table = PROC_I(inode)->sysctl_entry;
-       unsigned long event = (unsigned long)filp->private_data;
        unsigned int ret = DEFAULT_POLLMASK;
+       unsigned long event;
+
+       /* sysctl was unregistered */
+       if (IS_ERR(head))
+               return POLLERR | POLLHUP;
 
        if (!table->proc_handler)
                goto out;
@@ -407,6 +560,7 @@ static unsigned int proc_sys_poll(struct file *filp, poll_table *wait)
        if (!table->poll)
                goto out;
 
+       event = (unsigned long)filp->private_data;
        poll_wait(filp, &table->poll->wait, wait);
 
        if (event != atomic_read(&table->poll->event)) {
@@ -415,6 +569,8 @@ static unsigned int proc_sys_poll(struct file *filp, poll_table *wait)
        }
 
 out:
+       sysctl_head_finish(head);
+
        return ret;
 }
 
@@ -456,24 +612,45 @@ static int proc_sys_fill_cache(struct file *filp, void *dirent,
        return !!filldir(dirent, qname.name, qname.len, filp->f_pos, ino, type);
 }
 
+static int proc_sys_link_fill_cache(struct file *filp, void *dirent,
+                                   filldir_t filldir,
+                                   struct ctl_table_header *head,
+                                   struct ctl_table *table)
+{
+       int err, ret = 0;
+       head = sysctl_head_grab(head);
+
+       if (S_ISLNK(table->mode)) {
+               /* It is not an error if we can not follow the link ignore it */
+               err = sysctl_follow_link(&head, &table, current->nsproxy);
+               if (err)
+                       goto out;
+       }
+
+       ret = proc_sys_fill_cache(filp, dirent, filldir, head, table);
+out:
+       sysctl_head_finish(head);
+       return ret;
+}
+
 static int scan(struct ctl_table_header *head, ctl_table *table,
                unsigned long *pos, struct file *file,
                void *dirent, filldir_t filldir)
 {
+       int res;
 
-       for (; table->procname; table++, (*pos)++) {
-               int res;
-
-               if (*pos < file->f_pos)
-                       continue;
+       if ((*pos)++ < file->f_pos)
+               return 0;
 
+       if (unlikely(S_ISLNK(table->mode)))
+               res = proc_sys_link_fill_cache(file, dirent, filldir, head, table);
+       else
                res = proc_sys_fill_cache(file, dirent, filldir, head, table);
-               if (res)
-                       return res;
 
-               file->f_pos = *pos + 1;
-       }
-       return 0;
+       if (res == 0)
+               file->f_pos = *pos;
+
+       return res;
 }
 
 static int proc_sys_readdir(struct file *filp, void *dirent, filldir_t filldir)
@@ -481,20 +658,16 @@ static int proc_sys_readdir(struct file *filp, void *dirent, filldir_t filldir)
        struct dentry *dentry = filp->f_path.dentry;
        struct inode *inode = dentry->d_inode;
        struct ctl_table_header *head = grab_header(inode);
-       struct ctl_table *table = PROC_I(inode)->sysctl_entry;
        struct ctl_table_header *h = NULL;
+       struct ctl_table *entry;
+       struct ctl_dir *ctl_dir;
        unsigned long pos;
        int ret = -EINVAL;
 
        if (IS_ERR(head))
                return PTR_ERR(head);
 
-       if (table && !table->child) {
-               WARN_ON(1);
-               goto out;
-       }
-
-       table = table ? table->child : head->ctl_table;
+       ctl_dir = container_of(head, struct ctl_dir, header);
 
        ret = 0;
        /* Avoid a switch here: arm builds fail with missing __cmpdi2 */
@@ -512,14 +685,8 @@ static int proc_sys_readdir(struct file *filp, void *dirent, filldir_t filldir)
        }
        pos = 2;
 
-       ret = scan(head, table, &pos, filp, dirent, filldir);
-       if (ret)
-               goto out;
-
-       for (h = sysctl_head_next(NULL); h; h = sysctl_head_next(h)) {
-               if (h->attached_to != table)
-                       continue;
-               ret = scan(h, h->attached_by, &pos, filp, dirent, filldir);
+       for (first_entry(ctl_dir, &h, &entry); h; next_entry(&h, &entry)) {
+               ret = scan(h, entry, &pos, filp, dirent, filldir);
                if (ret) {
                        sysctl_head_finish(h);
                        break;
@@ -679,213 +846,316 @@ static const struct dentry_operations proc_sys_dentry_operations = {
        .d_compare      = proc_sys_compare,
 };
 
-static struct ctl_table *is_branch_in(struct ctl_table *branch,
-                                     struct ctl_table *table)
+static struct ctl_dir *find_subdir(struct ctl_dir *dir,
+                                  const char *name, int namelen)
 {
-       struct ctl_table *p;
-       const char *s = branch->procname;
+       struct ctl_table_header *head;
+       struct ctl_table *entry;
+
+       entry = find_entry(&head, dir, name, namelen);
+       if (!entry)
+               return ERR_PTR(-ENOENT);
+       if (!S_ISDIR(entry->mode))
+               return ERR_PTR(-ENOTDIR);
+       return container_of(head, struct ctl_dir, header);
+}
 
-       /* branch should have named subdirectory as its first element */
-       if (!s || !branch->child)
+static struct ctl_dir *new_dir(struct ctl_table_set *set,
+                              const char *name, int namelen)
+{
+       struct ctl_table *table;
+       struct ctl_dir *new;
+       struct ctl_node *node;
+       char *new_name;
+
+       new = kzalloc(sizeof(*new) + sizeof(struct ctl_node) +
+                     sizeof(struct ctl_table)*2 +  namelen + 1,
+                     GFP_KERNEL);
+       if (!new)
                return NULL;
 
-       /* ... and nothing else */
-       if (branch[1].procname)
-               return NULL;
+       node = (struct ctl_node *)(new + 1);
+       table = (struct ctl_table *)(node + 1);
+       new_name = (char *)(table + 2);
+       memcpy(new_name, name, namelen);
+       new_name[namelen] = '\0';
+       table[0].procname = new_name;
+       table[0].mode = S_IFDIR|S_IRUGO|S_IXUGO;
+       init_header(&new->header, set->dir.header.root, set, node, table);
 
-       /* table should contain subdirectory with the same name */
-       for (p = table; p->procname; p++) {
-               if (!p->child)
-                       continue;
-               if (p->procname && strcmp(p->procname, s) == 0)
-                       return p;
-       }
-       return NULL;
+       return new;
 }
 
-/* see if attaching q to p would be an improvement */
-static void try_attach(struct ctl_table_header *p, struct ctl_table_header *q)
+/**
+ * get_subdir - find or create a subdir with the specified name.
+ * @dir:  Directory to create the subdirectory in
+ * @name: The name of the subdirectory to find or create
+ * @namelen: The length of name
+ *
+ * Takes a directory with an elevated reference count so we know that
+ * if we drop the lock the directory will not go away.  Upon success
+ * the reference is moved from @dir to the returned subdirectory.
+ * Upon error an error code is returned and the reference on @dir is
+ * simply dropped.
+ */
+static struct ctl_dir *get_subdir(struct ctl_dir *dir,
+                                 const char *name, int namelen)
 {
-       struct ctl_table *to = p->ctl_table, *by = q->ctl_table;
-       struct ctl_table *next;
-       int is_better = 0;
-       int not_in_parent = !p->attached_by;
+       struct ctl_table_set *set = dir->header.set;
+       struct ctl_dir *subdir, *new = NULL;
+       int err;
 
-       while ((next = is_branch_in(by, to)) != NULL) {
-               if (by == q->attached_by)
-                       is_better = 1;
-               if (to == p->attached_by)
-                       not_in_parent = 1;
-               by = by->child;
-               to = next->child;
-       }
+       spin_lock(&sysctl_lock);
+       subdir = find_subdir(dir, name, namelen);
+       if (!IS_ERR(subdir))
+               goto found;
+       if (PTR_ERR(subdir) != -ENOENT)
+               goto failed;
 
-       if (is_better && not_in_parent) {
-               q->attached_by = by;
-               q->attached_to = to;
-               q->parent = p;
+       spin_unlock(&sysctl_lock);
+       new = new_dir(set, name, namelen);
+       spin_lock(&sysctl_lock);
+       subdir = ERR_PTR(-ENOMEM);
+       if (!new)
+               goto failed;
+
+       /* Was the subdir added while we dropped the lock? */
+       subdir = find_subdir(dir, name, namelen);
+       if (!IS_ERR(subdir))
+               goto found;
+       if (PTR_ERR(subdir) != -ENOENT)
+               goto failed;
+
+       /* Nope.  Use the our freshly made directory entry. */
+       err = insert_header(dir, &new->header);
+       subdir = ERR_PTR(err);
+       if (err)
+               goto failed;
+       subdir = new;
+found:
+       subdir->header.nreg++;
+failed:
+       if (unlikely(IS_ERR(subdir))) {
+               printk(KERN_ERR "sysctl could not get directory: ");
+               sysctl_print_dir(dir);
+               printk(KERN_CONT "/%*.*s %ld\n",
+                       namelen, namelen, name, PTR_ERR(subdir));
        }
+       drop_sysctl_table(&dir->header);
+       if (new)
+               drop_sysctl_table(&new->header);
+       spin_unlock(&sysctl_lock);
+       return subdir;
 }
 
-#ifdef CONFIG_SYSCTL_SYSCALL_CHECK
-static int sysctl_depth(struct ctl_table *table)
+static struct ctl_dir *xlate_dir(struct ctl_table_set *set, struct ctl_dir *dir)
 {
-       struct ctl_table *tmp;
-       int depth;
+       struct ctl_dir *parent;
+       const char *procname;
+       if (!dir->header.parent)
+               return &set->dir;
+       parent = xlate_dir(set, dir->header.parent);
+       if (IS_ERR(parent))
+               return parent;
+       procname = dir->header.ctl_table[0].procname;
+       return find_subdir(parent, procname, strlen(procname));
+}
 
-       depth = 0;
-       for (tmp = table; tmp->parent; tmp = tmp->parent)
-               depth++;
+static int sysctl_follow_link(struct ctl_table_header **phead,
+       struct ctl_table **pentry, struct nsproxy *namespaces)
+{
+       struct ctl_table_header *head;
+       struct ctl_table_root *root;
+       struct ctl_table_set *set;
+       struct ctl_table *entry;
+       struct ctl_dir *dir;
+       int ret;
 
-       return depth;
+       ret = 0;
+       spin_lock(&sysctl_lock);
+       root = (*pentry)->data;
+       set = lookup_header_set(root, namespaces);
+       dir = xlate_dir(set, (*phead)->parent);
+       if (IS_ERR(dir))
+               ret = PTR_ERR(dir);
+       else {
+               const char *procname = (*pentry)->procname;
+               head = NULL;
+               entry = find_entry(&head, dir, procname, strlen(procname));
+               ret = -ENOENT;
+               if (entry && use_table(head)) {
+                       unuse_table(*phead);
+                       *phead = head;
+                       *pentry = entry;
+                       ret = 0;
+               }
+       }
+
+       spin_unlock(&sysctl_lock);
+       return ret;
 }
 
-static struct ctl_table *sysctl_parent(struct ctl_table *table, int n)
+static int sysctl_err(const char *path, struct ctl_table *table, char *fmt, ...)
 {
-       int i;
+       struct va_format vaf;
+       va_list args;
 
-       for (i = 0; table && i < n; i++)
-               table = table->parent;
+       va_start(args, fmt);
+       vaf.fmt = fmt;
+       vaf.va = &args;
 
-       return table;
-}
+       printk(KERN_ERR "sysctl table check failed: %s/%s %pV\n",
+               path, table->procname, &vaf);
 
+       va_end(args);
+       return -EINVAL;
+}
 
-static void sysctl_print_path(struct ctl_table *table)
+static int sysctl_check_table(const char *path, struct ctl_table *table)
 {
-       struct ctl_table *tmp;
-       int depth, i;
-       depth = sysctl_depth(table);
-       if (table->procname) {
-               for (i = depth; i >= 0; i--) {
-                       tmp = sysctl_parent(table, i);
-                       printk("/%s", tmp->procname?tmp->procname:"");
+       int err = 0;
+       for (; table->procname; table++) {
+               if (table->child)
+                       err = sysctl_err(path, table, "Not a file");
+
+               if ((table->proc_handler == proc_dostring) ||
+                   (table->proc_handler == proc_dointvec) ||
+                   (table->proc_handler == proc_dointvec_minmax) ||
+                   (table->proc_handler == proc_dointvec_jiffies) ||
+                   (table->proc_handler == proc_dointvec_userhz_jiffies) ||
+                   (table->proc_handler == proc_dointvec_ms_jiffies) ||
+                   (table->proc_handler == proc_doulongvec_minmax) ||
+                   (table->proc_handler == proc_doulongvec_ms_jiffies_minmax)) {
+                       if (!table->data)
+                               err = sysctl_err(path, table, "No data");
+                       if (!table->maxlen)
+                               err = sysctl_err(path, table, "No maxlen");
                }
+               if (!table->proc_handler)
+                       err = sysctl_err(path, table, "No proc_handler");
+
+               if ((table->mode & (S_IRUGO|S_IWUGO)) != table->mode)
+                       err = sysctl_err(path, table, "bogus .mode 0%o",
+                               table->mode);
        }
-       printk(" ");
+       return err;
 }
 
-static struct ctl_table *sysctl_check_lookup(struct nsproxy *namespaces,
-                                               struct ctl_table *table)
+static struct ctl_table_header *new_links(struct ctl_dir *dir, struct ctl_table *table,
+       struct ctl_table_root *link_root)
 {
-       struct ctl_table_header *head;
-       struct ctl_table *ref, *test;
-       int depth, cur_depth;
-
-       depth = sysctl_depth(table);
-
-       for (head = __sysctl_head_next(namespaces, NULL); head;
-            head = __sysctl_head_next(namespaces, head)) {
-               cur_depth = depth;
-               ref = head->ctl_table;
-repeat:
-               test = sysctl_parent(table, cur_depth);
-               for (; ref->procname; ref++) {
-                       int match = 0;
-                       if (cur_depth && !ref->child)
-                               continue;
+       struct ctl_table *link_table, *entry, *link;
+       struct ctl_table_header *links;
+       struct ctl_node *node;
+       char *link_name;
+       int nr_entries, name_bytes;
+
+       name_bytes = 0;
+       nr_entries = 0;
+       for (entry = table; entry->procname; entry++) {
+               nr_entries++;
+               name_bytes += strlen(entry->procname) + 1;
+       }
 
-                       if (test->procname && ref->procname &&
-                           (strcmp(test->procname, ref->procname) == 0))
-                                       match++;
-
-                       if (match) {
-                               if (cur_depth != 0) {
-                                       cur_depth--;
-                                       ref = ref->child;
-                                       goto repeat;
-                               }
-                               goto out;
-                       }
-               }
+       links = kzalloc(sizeof(struct ctl_table_header) +
+                       sizeof(struct ctl_node)*nr_entries +
+                       sizeof(struct ctl_table)*(nr_entries + 1) +
+                       name_bytes,
+                       GFP_KERNEL);
+
+       if (!links)
+               return NULL;
+
+       node = (struct ctl_node *)(links + 1);
+       link_table = (struct ctl_table *)(node + nr_entries);
+       link_name = (char *)&link_table[nr_entries + 1];
+
+       for (link = link_table, entry = table; entry->procname; link++, entry++) {
+               int len = strlen(entry->procname) + 1;
+               memcpy(link_name, entry->procname, len);
+               link->procname = link_name;
+               link->mode = S_IFLNK|S_IRWXUGO;
+               link->data = link_root;
+               link_name += len;
        }
-       ref = NULL;
-out:
-       sysctl_head_finish(head);
-       return ref;
+       init_header(links, dir->header.root, dir->header.set, node, link_table);
+       links->nreg = nr_entries;
+
+       return links;
 }
 
-static void set_fail(const char **fail, struct ctl_table *table, const char *str)
+static bool get_links(struct ctl_dir *dir,
+       struct ctl_table *table, struct ctl_table_root *link_root)
 {
-       if (*fail) {
-               printk(KERN_ERR "sysctl table check failed: ");
-               sysctl_print_path(table);
-               printk(" %s\n", *fail);
-               dump_stack();
+       struct ctl_table_header *head;
+       struct ctl_table *entry, *link;
+
+       /* Are there links available for every entry in table? */
+       for (entry = table; entry->procname; entry++) {
+               const char *procname = entry->procname;
+               link = find_entry(&head, dir, procname, strlen(procname));
+               if (!link)
+                       return false;
+               if (S_ISDIR(link->mode) && S_ISDIR(entry->mode))
+                       continue;
+               if (S_ISLNK(link->mode) && (link->data == link_root))
+                       continue;
+               return false;
+       }
+
+       /* The checks passed.  Increase the registration count on the links */
+       for (entry = table; entry->procname; entry++) {
+               const char *procname = entry->procname;
+               link = find_entry(&head, dir, procname, strlen(procname));
+               head->nreg++;
        }
-       *fail = str;
+       return true;
 }
 
-static void sysctl_check_leaf(struct nsproxy *namespaces,
-                               struct ctl_table *table, const char **fail)
+static int insert_links(struct ctl_table_header *head)
 {
-       struct ctl_table *ref;
+       struct ctl_table_set *root_set = &sysctl_table_root.default_set;
+       struct ctl_dir *core_parent = NULL;
+       struct ctl_table_header *links;
+       int err;
 
-       ref = sysctl_check_lookup(namespaces, table);
-       if (ref && (ref != table))
-               set_fail(fail, table, "Sysctl already exists");
-}
+       if (head->set == root_set)
+               return 0;
 
-static int sysctl_check_table(struct nsproxy *namespaces, struct ctl_table *table)
-{
-       int error = 0;
-       for (; table->procname; table++) {
-               const char *fail = NULL;
+       core_parent = xlate_dir(root_set, head->parent);
+       if (IS_ERR(core_parent))
+               return 0;
 
-               if (table->parent) {
-                       if (!table->parent->procname)
-                               set_fail(&fail, table, "Parent without procname");
-               }
-               if (table->child) {
-                       if (table->data)
-                               set_fail(&fail, table, "Directory with data?");
-                       if (table->maxlen)
-                               set_fail(&fail, table, "Directory with maxlen?");
-                       if ((table->mode & (S_IRUGO|S_IXUGO)) != table->mode)
-                               set_fail(&fail, table, "Writable sysctl directory");
-                       if (table->proc_handler)
-                               set_fail(&fail, table, "Directory with proc_handler");
-                       if (table->extra1)
-                               set_fail(&fail, table, "Directory with extra1");
-                       if (table->extra2)
-                               set_fail(&fail, table, "Directory with extra2");
-               } else {
-                       if ((table->proc_handler == proc_dostring) ||
-                           (table->proc_handler == proc_dointvec) ||
-                           (table->proc_handler == proc_dointvec_minmax) ||
-                           (table->proc_handler == proc_dointvec_jiffies) ||
-                           (table->proc_handler == proc_dointvec_userhz_jiffies) ||
-                           (table->proc_handler == proc_dointvec_ms_jiffies) ||
-                           (table->proc_handler == proc_doulongvec_minmax) ||
-                           (table->proc_handler == proc_doulongvec_ms_jiffies_minmax)) {
-                               if (!table->data)
-                                       set_fail(&fail, table, "No data");
-                               if (!table->maxlen)
-                                       set_fail(&fail, table, "No maxlen");
-                       }
-#ifdef CONFIG_PROC_SYSCTL
-                       if (!table->proc_handler)
-                               set_fail(&fail, table, "No proc_handler");
-#endif
-                       sysctl_check_leaf(namespaces, table, &fail);
-               }
-               if (table->mode > 0777)
-                       set_fail(&fail, table, "bogus .mode");
-               if (fail) {
-                       set_fail(&fail, table, NULL);
-                       error = -EINVAL;
-               }
-               if (table->child)
-                       error |= sysctl_check_table(namespaces, table->child);
+       if (get_links(core_parent, head->ctl_table, head->root))
+               return 0;
+
+       core_parent->header.nreg++;
+       spin_unlock(&sysctl_lock);
+
+       links = new_links(core_parent, head->ctl_table, head->root);
+
+       spin_lock(&sysctl_lock);
+       err = -ENOMEM;
+       if (!links)
+               goto out;
+
+       err = 0;
+       if (get_links(core_parent, head->ctl_table, head->root)) {
+               kfree(links);
+               goto out;
        }
-       return error;
+
+       err = insert_header(core_parent, links);
+       if (err)
+               kfree(links);
+out:
+       drop_sysctl_table(&core_parent->header);
+       return err;
 }
-#endif /* CONFIG_SYSCTL_SYSCALL_CHECK */
 
 /**
- * __register_sysctl_paths - register a sysctl hierarchy
- * @root: List of sysctl headers to register on
- * @namespaces: Data to compute which lists of sysctl entries are visible
+ * __register_sysctl_table - register a leaf sysctl table
+ * @set: Sysctl tree to register on
  * @path: The path to the directory the sysctl table is in.
  * @table: the top-level table structure
  *
@@ -901,29 +1171,19 @@ static int sysctl_check_table(struct nsproxy *namespaces, struct ctl_table *tabl
  *
  * maxlen - the maximum size in bytes of the data
  *
- * mode - the file permissions for the /proc/sys file, and for sysctl(2)
+ * mode - the file permissions for the /proc/sys file
  *
- * child - a pointer to the child sysctl table if this entry is a directory, or
- *         %NULL.
+ * child - must be %NULL.
  *
  * proc_handler - the text handler routine (described below)
  *
- * de - for internal use by the sysctl routines
- *
  * extra1, extra2 - extra pointers usable by the proc handler routines
  *
  * Leaf nodes in the sysctl tree will be represented by a single file
  * under /proc; non-leaf nodes will be represented by directories.
  *
- * sysctl(2) can automatically manage read and write requests through
- * the sysctl table.  The data and maxlen fields of the ctl_table
- * struct enable minimal validation of the values being written to be
- * performed, and the mode field allows minimal authentication.
- *
- * There must be a proc_handler routine for any terminal nodes
- * mirrored under /proc/sys (non-terminals are handled by a built-in
- * directory handler).  Several default handlers are available to
- * cover common cases -
+ * There must be a proc_handler routine for any terminal nodes.
+ * Several default handlers are available to cover common cases -
  *
  * proc_dostring(), proc_dointvec(), proc_dointvec_jiffies(),
  * proc_dointvec_userhz_jiffies(), proc_dointvec_minmax(),
@@ -935,80 +1195,266 @@ static int sysctl_check_table(struct nsproxy *namespaces, struct ctl_table *tabl
  * This routine returns %NULL on a failure to register, and a pointer
  * to the table header on success.
  */
-struct ctl_table_header *__register_sysctl_paths(
-       struct ctl_table_root *root,
-       struct nsproxy *namespaces,
-       const struct ctl_path *path, struct ctl_table *table)
+struct ctl_table_header *__register_sysctl_table(
+       struct ctl_table_set *set,
+       const char *path, struct ctl_table *table)
 {
+       struct ctl_table_root *root = set->dir.header.root;
        struct ctl_table_header *header;
-       struct ctl_table *new, **prevp;
-       unsigned int n, npath;
-       struct ctl_table_set *set;
+       const char *name, *nextname;
+       struct ctl_dir *dir;
+       struct ctl_table *entry;
+       struct ctl_node *node;
+       int nr_entries = 0;
 
-       /* Count the path components */
-       for (npath = 0; path[npath].procname; ++npath)
-               ;
+       for (entry = table; entry->procname; entry++)
+               nr_entries++;
 
-       /*
-        * For each path component, allocate a 2-element ctl_table array.
-        * The first array element will be filled with the sysctl entry
-        * for this, the second will be the sentinel (procname == 0).
-        *
-        * We allocate everything in one go so that we don't have to
-        * worry about freeing additional memory in unregister_sysctl_table.
-        */
        header = kzalloc(sizeof(struct ctl_table_header) +
-                        (2 * npath * sizeof(struct ctl_table)), GFP_KERNEL);
+                        sizeof(struct ctl_node)*nr_entries, GFP_KERNEL);
        if (!header)
                return NULL;
 
-       new = (struct ctl_table *) (header + 1);
+       node = (struct ctl_node *)(header + 1);
+       init_header(header, root, set, node, table);
+       if (sysctl_check_table(path, table))
+               goto fail;
 
-       /* Now connect the dots */
-       prevp = &header->ctl_table;
-       for (n = 0; n < npath; ++n, ++path) {
-               /* Copy the procname */
-               new->procname = path->procname;
-               new->mode     = 0555;
+       spin_lock(&sysctl_lock);
+       dir = &set->dir;
+       /* Reference moved down the diretory tree get_subdir */
+       dir->header.nreg++;
+       spin_unlock(&sysctl_lock);
 
-               *prevp = new;
-               prevp = &new->child;
+       /* Find the directory for the ctl_table */
+       for (name = path; name; name = nextname) {
+               int namelen;
+               nextname = strchr(name, '/');
+               if (nextname) {
+                       namelen = nextname - name;
+                       nextname++;
+               } else {
+                       namelen = strlen(name);
+               }
+               if (namelen == 0)
+                       continue;
 
-               new += 2;
+               dir = get_subdir(dir, name, namelen);
+               if (IS_ERR(dir))
+                       goto fail;
        }
-       *prevp = table;
-       header->ctl_table_arg = table;
-
-       INIT_LIST_HEAD(&header->ctl_entry);
-       header->used = 0;
-       header->unregistering = NULL;
-       header->root = root;
-       sysctl_set_parent(NULL, header->ctl_table);
-       header->count = 1;
-#ifdef CONFIG_SYSCTL_SYSCALL_CHECK
-       if (sysctl_check_table(namespaces, header->ctl_table)) {
-               kfree(header);
+
+       spin_lock(&sysctl_lock);
+       if (insert_header(dir, header))
+               goto fail_put_dir_locked;
+
+       drop_sysctl_table(&dir->header);
+       spin_unlock(&sysctl_lock);
+
+       return header;
+
+fail_put_dir_locked:
+       drop_sysctl_table(&dir->header);
+       spin_unlock(&sysctl_lock);
+fail:
+       kfree(header);
+       dump_stack();
+       return NULL;
+}
+
+/**
+ * register_sysctl - register a sysctl table
+ * @path: The path to the directory the sysctl table is in.
+ * @table: the table structure
+ *
+ * Register a sysctl table. @table should be a filled in ctl_table
+ * array. A completely 0 filled entry terminates the table.
+ *
+ * See __register_sysctl_table for more details.
+ */
+struct ctl_table_header *register_sysctl(const char *path, struct ctl_table *table)
+{
+       return __register_sysctl_table(&sysctl_table_root.default_set,
+                                       path, table);
+}
+EXPORT_SYMBOL(register_sysctl);
+
+static char *append_path(const char *path, char *pos, const char *name)
+{
+       int namelen;
+       namelen = strlen(name);
+       if (((pos - path) + namelen + 2) >= PATH_MAX)
                return NULL;
+       memcpy(pos, name, namelen);
+       pos[namelen] = '/';
+       pos[namelen + 1] = '\0';
+       pos += namelen + 1;
+       return pos;
+}
+
+static int count_subheaders(struct ctl_table *table)
+{
+       int has_files = 0;
+       int nr_subheaders = 0;
+       struct ctl_table *entry;
+
+       /* special case: no directory and empty directory */
+       if (!table || !table->procname)
+               return 1;
+
+       for (entry = table; entry->procname; entry++) {
+               if (entry->child)
+                       nr_subheaders += count_subheaders(entry->child);
+               else
+                       has_files = 1;
        }
-#endif
-       spin_lock(&sysctl_lock);
-       header->set = lookup_header_set(root, namespaces);
-       header->attached_by = header->ctl_table;
-       header->attached_to = root_table;
-       header->parent = &root_table_header;
-       for (set = header->set; set; set = set->parent) {
-               struct ctl_table_header *p;
-               list_for_each_entry(p, &set->list, ctl_entry) {
-                       if (p->unregistering)
+       return nr_subheaders + has_files;
+}
+
+static int register_leaf_sysctl_tables(const char *path, char *pos,
+       struct ctl_table_header ***subheader, struct ctl_table_set *set,
+       struct ctl_table *table)
+{
+       struct ctl_table *ctl_table_arg = NULL;
+       struct ctl_table *entry, *files;
+       int nr_files = 0;
+       int nr_dirs = 0;
+       int err = -ENOMEM;
+
+       for (entry = table; entry->procname; entry++) {
+               if (entry->child)
+                       nr_dirs++;
+               else
+                       nr_files++;
+       }
+
+       files = table;
+       /* If there are mixed files and directories we need a new table */
+       if (nr_dirs && nr_files) {
+               struct ctl_table *new;
+               files = kzalloc(sizeof(struct ctl_table) * (nr_files + 1),
+                               GFP_KERNEL);
+               if (!files)
+                       goto out;
+
+               ctl_table_arg = files;
+               for (new = files, entry = table; entry->procname; entry++) {
+                       if (entry->child)
                                continue;
-                       try_attach(p, header);
+                       *new = *entry;
+                       new++;
                }
        }
-       header->parent->count++;
-       list_add_tail(&header->ctl_entry, &header->set->list);
-       spin_unlock(&sysctl_lock);
 
+       /* Register everything except a directory full of subdirectories */
+       if (nr_files || !nr_dirs) {
+               struct ctl_table_header *header;
+               header = __register_sysctl_table(set, path, files);
+               if (!header) {
+                       kfree(ctl_table_arg);
+                       goto out;
+               }
+
+               /* Remember if we need to free the file table */
+               header->ctl_table_arg = ctl_table_arg;
+               **subheader = header;
+               (*subheader)++;
+       }
+
+       /* Recurse into the subdirectories. */
+       for (entry = table; entry->procname; entry++) {
+               char *child_pos;
+
+               if (!entry->child)
+                       continue;
+
+               err = -ENAMETOOLONG;
+               child_pos = append_path(path, pos, entry->procname);
+               if (!child_pos)
+                       goto out;
+
+               err = register_leaf_sysctl_tables(path, child_pos, subheader,
+                                                 set, entry->child);
+               pos[0] = '\0';
+               if (err)
+                       goto out;
+       }
+       err = 0;
+out:
+       /* On failure our caller will unregister all registered subheaders */
+       return err;
+}
+
+/**
+ * __register_sysctl_paths - register a sysctl table hierarchy
+ * @set: Sysctl tree to register on
+ * @path: The path to the directory the sysctl table is in.
+ * @table: the top-level table structure
+ *
+ * Register a sysctl table hierarchy. @table should be a filled in ctl_table
+ * array. A completely 0 filled entry terminates the table.
+ *
+ * See __register_sysctl_table for more details.
+ */
+struct ctl_table_header *__register_sysctl_paths(
+       struct ctl_table_set *set,
+       const struct ctl_path *path, struct ctl_table *table)
+{
+       struct ctl_table *ctl_table_arg = table;
+       int nr_subheaders = count_subheaders(table);
+       struct ctl_table_header *header = NULL, **subheaders, **subheader;
+       const struct ctl_path *component;
+       char *new_path, *pos;
+
+       pos = new_path = kmalloc(PATH_MAX, GFP_KERNEL);
+       if (!new_path)
+               return NULL;
+
+       pos[0] = '\0';
+       for (component = path; component->procname; component++) {
+               pos = append_path(new_path, pos, component->procname);
+               if (!pos)
+                       goto out;
+       }
+       while (table->procname && table->child && !table[1].procname) {
+               pos = append_path(new_path, pos, table->procname);
+               if (!pos)
+                       goto out;
+               table = table->child;
+       }
+       if (nr_subheaders == 1) {
+               header = __register_sysctl_table(set, new_path, table);
+               if (header)
+                       header->ctl_table_arg = ctl_table_arg;
+       } else {
+               header = kzalloc(sizeof(*header) +
+                                sizeof(*subheaders)*nr_subheaders, GFP_KERNEL);
+               if (!header)
+                       goto out;
+
+               subheaders = (struct ctl_table_header **) (header + 1);
+               subheader = subheaders;
+               header->ctl_table_arg = ctl_table_arg;
+
+               if (register_leaf_sysctl_tables(new_path, pos, &subheader,
+                                               set, table))
+                       goto err_register_leaves;
+       }
+
+out:
+       kfree(new_path);
        return header;
+
+err_register_leaves:
+       while (subheader > subheaders) {
+               struct ctl_table_header *subh = *(--subheader);
+               struct ctl_table *table = subh->ctl_table_arg;
+               unregister_sysctl_table(subh);
+               kfree(table);
+       }
+       kfree(header);
+       header = NULL;
+       goto out;
 }
 
 /**
@@ -1024,7 +1470,7 @@ struct ctl_table_header *__register_sysctl_paths(
 struct ctl_table_header *register_sysctl_paths(const struct ctl_path *path,
                                                struct ctl_table *table)
 {
-       return __register_sysctl_paths(&sysctl_table_root, current->nsproxy,
+       return __register_sysctl_paths(&sysctl_table_root.default_set,
                                        path, table);
 }
 EXPORT_SYMBOL(register_sysctl_paths);
@@ -1046,6 +1492,56 @@ struct ctl_table_header *register_sysctl_table(struct ctl_table *table)
 }
 EXPORT_SYMBOL(register_sysctl_table);
 
+static void put_links(struct ctl_table_header *header)
+{
+       struct ctl_table_set *root_set = &sysctl_table_root.default_set;
+       struct ctl_table_root *root = header->root;
+       struct ctl_dir *parent = header->parent;
+       struct ctl_dir *core_parent;
+       struct ctl_table *entry;
+
+       if (header->set == root_set)
+               return;
+
+       core_parent = xlate_dir(root_set, parent);
+       if (IS_ERR(core_parent))
+               return;
+
+       for (entry = header->ctl_table; entry->procname; entry++) {
+               struct ctl_table_header *link_head;
+               struct ctl_table *link;
+               const char *name = entry->procname;
+
+               link = find_entry(&link_head, core_parent, name, strlen(name));
+               if (link &&
+                   ((S_ISDIR(link->mode) && S_ISDIR(entry->mode)) ||
+                    (S_ISLNK(link->mode) && (link->data == root)))) {
+                       drop_sysctl_table(link_head);
+               }
+               else {
+                       printk(KERN_ERR "sysctl link missing during unregister: ");
+                       sysctl_print_dir(parent);
+                       printk(KERN_CONT "/%s\n", name);
+               }
+       }
+}
+
+static void drop_sysctl_table(struct ctl_table_header *header)
+{
+       struct ctl_dir *parent = header->parent;
+
+       if (--header->nreg)
+               return;
+
+       put_links(header);
+       start_unregistering(header);
+       if (!--header->count)
+               kfree_rcu(header, rcu);
+
+       if (parent)
+               drop_sysctl_table(&parent->header);
+}
+
 /**
  * unregister_sysctl_table - unregister a sysctl table hierarchy
  * @header: the header returned from register_sysctl_table
@@ -1055,32 +1551,47 @@ EXPORT_SYMBOL(register_sysctl_table);
  */
 void unregister_sysctl_table(struct ctl_table_header * header)
 {
+       int nr_subheaders;
        might_sleep();
 
        if (header == NULL)
                return;
 
-       spin_lock(&sysctl_lock);
-       start_unregistering(header);
-       if (!--header->parent->count) {
-               WARN_ON(1);
-               kfree_rcu(header->parent, rcu);
+       nr_subheaders = count_subheaders(header->ctl_table_arg);
+       if (unlikely(nr_subheaders > 1)) {
+               struct ctl_table_header **subheaders;
+               int i;
+
+               subheaders = (struct ctl_table_header **)(header + 1);
+               for (i = nr_subheaders -1; i >= 0; i--) {
+                       struct ctl_table_header *subh = subheaders[i];
+                       struct ctl_table *table = subh->ctl_table_arg;
+                       unregister_sysctl_table(subh);
+                       kfree(table);
+               }
+               kfree(header);
+               return;
        }
-       if (!--header->count)
-               kfree_rcu(header, rcu);
+
+       spin_lock(&sysctl_lock);
+       drop_sysctl_table(header);
        spin_unlock(&sysctl_lock);
 }
 EXPORT_SYMBOL(unregister_sysctl_table);
 
-void setup_sysctl_set(struct ctl_table_set *p,
-       struct ctl_table_set *parent,
+void setup_sysctl_set(struct ctl_table_set *set,
+       struct ctl_table_root *root,
        int (*is_seen)(struct ctl_table_set *))
 {
-       INIT_LIST_HEAD(&p->list);
-       p->parent = parent ? parent : &sysctl_table_root.default_set;
-       p->is_seen = is_seen;
+       memset(set, 0, sizeof(*set));
+       set->is_seen = is_seen;
+       init_header(&set->dir.header, root, set, NULL, root_table);
 }
 
+void retire_sysctl_set(struct ctl_table_set *set)
+{
+       WARN_ON(!RB_EMPTY_ROOT(&set->dir.root));
+}
 
 int __init proc_sys_init(void)
 {