netfilter: revised locking for x_tables
[linux-2.6.git] / net / netfilter / x_tables.c
1 /*
2  * x_tables core - Backend for {ip,ip6,arp}_tables
3  *
4  * Copyright (C) 2006-2006 Harald Welte <laforge@netfilter.org>
5  *
6  * Based on existing ip_tables code which is
7  *   Copyright (C) 1999 Paul `Rusty' Russell & Michael J. Neuling
8  *   Copyright (C) 2000-2005 Netfilter Core Team <coreteam@netfilter.org>
9  *
10  * This program is free software; you can redistribute it and/or modify
11  * it under the terms of the GNU General Public License version 2 as
12  * published by the Free Software Foundation.
13  *
14  */
15
16 #include <linux/kernel.h>
17 #include <linux/socket.h>
18 #include <linux/net.h>
19 #include <linux/proc_fs.h>
20 #include <linux/seq_file.h>
21 #include <linux/string.h>
22 #include <linux/vmalloc.h>
23 #include <linux/mutex.h>
24 #include <linux/mm.h>
25 #include <net/net_namespace.h>
26
27 #include <linux/netfilter/x_tables.h>
28 #include <linux/netfilter_arp.h>
29
30
31 MODULE_LICENSE("GPL");
32 MODULE_AUTHOR("Harald Welte <laforge@netfilter.org>");
33 MODULE_DESCRIPTION("{ip,ip6,arp,eb}_tables backend module");
34
35 #define SMP_ALIGN(x) (((x) + SMP_CACHE_BYTES-1) & ~(SMP_CACHE_BYTES-1))
36
37 struct compat_delta {
38         struct compat_delta *next;
39         unsigned int offset;
40         short delta;
41 };
42
43 struct xt_af {
44         struct mutex mutex;
45         struct list_head match;
46         struct list_head target;
47 #ifdef CONFIG_COMPAT
48         struct mutex compat_mutex;
49         struct compat_delta *compat_offsets;
50 #endif
51 };
52
53 static struct xt_af *xt;
54
55 #ifdef DEBUG_IP_FIREWALL_USER
56 #define duprintf(format, args...) printk(format , ## args)
57 #else
58 #define duprintf(format, args...)
59 #endif
60
61 static const char *const xt_prefix[NFPROTO_NUMPROTO] = {
62         [NFPROTO_UNSPEC] = "x",
63         [NFPROTO_IPV4]   = "ip",
64         [NFPROTO_ARP]    = "arp",
65         [NFPROTO_BRIDGE] = "eb",
66         [NFPROTO_IPV6]   = "ip6",
67 };
68
69 /* Registration hooks for targets. */
70 int
71 xt_register_target(struct xt_target *target)
72 {
73         u_int8_t af = target->family;
74         int ret;
75
76         ret = mutex_lock_interruptible(&xt[af].mutex);
77         if (ret != 0)
78                 return ret;
79         list_add(&target->list, &xt[af].target);
80         mutex_unlock(&xt[af].mutex);
81         return ret;
82 }
83 EXPORT_SYMBOL(xt_register_target);
84
85 void
86 xt_unregister_target(struct xt_target *target)
87 {
88         u_int8_t af = target->family;
89
90         mutex_lock(&xt[af].mutex);
91         list_del(&target->list);
92         mutex_unlock(&xt[af].mutex);
93 }
94 EXPORT_SYMBOL(xt_unregister_target);
95
96 int
97 xt_register_targets(struct xt_target *target, unsigned int n)
98 {
99         unsigned int i;
100         int err = 0;
101
102         for (i = 0; i < n; i++) {
103                 err = xt_register_target(&target[i]);
104                 if (err)
105                         goto err;
106         }
107         return err;
108
109 err:
110         if (i > 0)
111                 xt_unregister_targets(target, i);
112         return err;
113 }
114 EXPORT_SYMBOL(xt_register_targets);
115
116 void
117 xt_unregister_targets(struct xt_target *target, unsigned int n)
118 {
119         unsigned int i;
120
121         for (i = 0; i < n; i++)
122                 xt_unregister_target(&target[i]);
123 }
124 EXPORT_SYMBOL(xt_unregister_targets);
125
126 int
127 xt_register_match(struct xt_match *match)
128 {
129         u_int8_t af = match->family;
130         int ret;
131
132         ret = mutex_lock_interruptible(&xt[af].mutex);
133         if (ret != 0)
134                 return ret;
135
136         list_add(&match->list, &xt[af].match);
137         mutex_unlock(&xt[af].mutex);
138
139         return ret;
140 }
141 EXPORT_SYMBOL(xt_register_match);
142
143 void
144 xt_unregister_match(struct xt_match *match)
145 {
146         u_int8_t af = match->family;
147
148         mutex_lock(&xt[af].mutex);
149         list_del(&match->list);
150         mutex_unlock(&xt[af].mutex);
151 }
152 EXPORT_SYMBOL(xt_unregister_match);
153
154 int
155 xt_register_matches(struct xt_match *match, unsigned int n)
156 {
157         unsigned int i;
158         int err = 0;
159
160         for (i = 0; i < n; i++) {
161                 err = xt_register_match(&match[i]);
162                 if (err)
163                         goto err;
164         }
165         return err;
166
167 err:
168         if (i > 0)
169                 xt_unregister_matches(match, i);
170         return err;
171 }
172 EXPORT_SYMBOL(xt_register_matches);
173
174 void
175 xt_unregister_matches(struct xt_match *match, unsigned int n)
176 {
177         unsigned int i;
178
179         for (i = 0; i < n; i++)
180                 xt_unregister_match(&match[i]);
181 }
182 EXPORT_SYMBOL(xt_unregister_matches);
183
184
185 /*
186  * These are weird, but module loading must not be done with mutex
187  * held (since they will register), and we have to have a single
188  * function to use try_then_request_module().
189  */
190
191 /* Find match, grabs ref.  Returns ERR_PTR() on error. */
192 struct xt_match *xt_find_match(u8 af, const char *name, u8 revision)
193 {
194         struct xt_match *m;
195         int err = 0;
196
197         if (mutex_lock_interruptible(&xt[af].mutex) != 0)
198                 return ERR_PTR(-EINTR);
199
200         list_for_each_entry(m, &xt[af].match, list) {
201                 if (strcmp(m->name, name) == 0) {
202                         if (m->revision == revision) {
203                                 if (try_module_get(m->me)) {
204                                         mutex_unlock(&xt[af].mutex);
205                                         return m;
206                                 }
207                         } else
208                                 err = -EPROTOTYPE; /* Found something. */
209                 }
210         }
211         mutex_unlock(&xt[af].mutex);
212
213         if (af != NFPROTO_UNSPEC)
214                 /* Try searching again in the family-independent list */
215                 return xt_find_match(NFPROTO_UNSPEC, name, revision);
216
217         return ERR_PTR(err);
218 }
219 EXPORT_SYMBOL(xt_find_match);
220
221 /* Find target, grabs ref.  Returns ERR_PTR() on error. */
222 struct xt_target *xt_find_target(u8 af, const char *name, u8 revision)
223 {
224         struct xt_target *t;
225         int err = 0;
226
227         if (mutex_lock_interruptible(&xt[af].mutex) != 0)
228                 return ERR_PTR(-EINTR);
229
230         list_for_each_entry(t, &xt[af].target, list) {
231                 if (strcmp(t->name, name) == 0) {
232                         if (t->revision == revision) {
233                                 if (try_module_get(t->me)) {
234                                         mutex_unlock(&xt[af].mutex);
235                                         return t;
236                                 }
237                         } else
238                                 err = -EPROTOTYPE; /* Found something. */
239                 }
240         }
241         mutex_unlock(&xt[af].mutex);
242
243         if (af != NFPROTO_UNSPEC)
244                 /* Try searching again in the family-independent list */
245                 return xt_find_target(NFPROTO_UNSPEC, name, revision);
246
247         return ERR_PTR(err);
248 }
249 EXPORT_SYMBOL(xt_find_target);
250
251 struct xt_target *xt_request_find_target(u8 af, const char *name, u8 revision)
252 {
253         struct xt_target *target;
254
255         target = try_then_request_module(xt_find_target(af, name, revision),
256                                          "%st_%s", xt_prefix[af], name);
257         if (IS_ERR(target) || !target)
258                 return NULL;
259         return target;
260 }
261 EXPORT_SYMBOL_GPL(xt_request_find_target);
262
263 static int match_revfn(u8 af, const char *name, u8 revision, int *bestp)
264 {
265         const struct xt_match *m;
266         int have_rev = 0;
267
268         list_for_each_entry(m, &xt[af].match, list) {
269                 if (strcmp(m->name, name) == 0) {
270                         if (m->revision > *bestp)
271                                 *bestp = m->revision;
272                         if (m->revision == revision)
273                                 have_rev = 1;
274                 }
275         }
276
277         if (af != NFPROTO_UNSPEC && !have_rev)
278                 return match_revfn(NFPROTO_UNSPEC, name, revision, bestp);
279
280         return have_rev;
281 }
282
283 static int target_revfn(u8 af, const char *name, u8 revision, int *bestp)
284 {
285         const struct xt_target *t;
286         int have_rev = 0;
287
288         list_for_each_entry(t, &xt[af].target, list) {
289                 if (strcmp(t->name, name) == 0) {
290                         if (t->revision > *bestp)
291                                 *bestp = t->revision;
292                         if (t->revision == revision)
293                                 have_rev = 1;
294                 }
295         }
296
297         if (af != NFPROTO_UNSPEC && !have_rev)
298                 return target_revfn(NFPROTO_UNSPEC, name, revision, bestp);
299
300         return have_rev;
301 }
302
303 /* Returns true or false (if no such extension at all) */
304 int xt_find_revision(u8 af, const char *name, u8 revision, int target,
305                      int *err)
306 {
307         int have_rev, best = -1;
308
309         if (mutex_lock_interruptible(&xt[af].mutex) != 0) {
310                 *err = -EINTR;
311                 return 1;
312         }
313         if (target == 1)
314                 have_rev = target_revfn(af, name, revision, &best);
315         else
316                 have_rev = match_revfn(af, name, revision, &best);
317         mutex_unlock(&xt[af].mutex);
318
319         /* Nothing at all?  Return 0 to try loading module. */
320         if (best == -1) {
321                 *err = -ENOENT;
322                 return 0;
323         }
324
325         *err = best;
326         if (!have_rev)
327                 *err = -EPROTONOSUPPORT;
328         return 1;
329 }
330 EXPORT_SYMBOL_GPL(xt_find_revision);
331
332 int xt_check_match(struct xt_mtchk_param *par,
333                    unsigned int size, u_int8_t proto, bool inv_proto)
334 {
335         if (XT_ALIGN(par->match->matchsize) != size &&
336             par->match->matchsize != -1) {
337                 /*
338                  * ebt_among is exempt from centralized matchsize checking
339                  * because it uses a dynamic-size data set.
340                  */
341                 printk("%s_tables: %s match: invalid size %Zu != %u\n",
342                        xt_prefix[par->family], par->match->name,
343                        XT_ALIGN(par->match->matchsize), size);
344                 return -EINVAL;
345         }
346         if (par->match->table != NULL &&
347             strcmp(par->match->table, par->table) != 0) {
348                 printk("%s_tables: %s match: only valid in %s table, not %s\n",
349                        xt_prefix[par->family], par->match->name,
350                        par->match->table, par->table);
351                 return -EINVAL;
352         }
353         if (par->match->hooks && (par->hook_mask & ~par->match->hooks) != 0) {
354                 printk("%s_tables: %s match: bad hook_mask %#x/%#x\n",
355                        xt_prefix[par->family], par->match->name,
356                        par->hook_mask, par->match->hooks);
357                 return -EINVAL;
358         }
359         if (par->match->proto && (par->match->proto != proto || inv_proto)) {
360                 printk("%s_tables: %s match: only valid for protocol %u\n",
361                        xt_prefix[par->family], par->match->name,
362                        par->match->proto);
363                 return -EINVAL;
364         }
365         if (par->match->checkentry != NULL && !par->match->checkentry(par))
366                 return -EINVAL;
367         return 0;
368 }
369 EXPORT_SYMBOL_GPL(xt_check_match);
370
371 #ifdef CONFIG_COMPAT
372 int xt_compat_add_offset(u_int8_t af, unsigned int offset, short delta)
373 {
374         struct compat_delta *tmp;
375
376         tmp = kmalloc(sizeof(struct compat_delta), GFP_KERNEL);
377         if (!tmp)
378                 return -ENOMEM;
379
380         tmp->offset = offset;
381         tmp->delta = delta;
382
383         if (xt[af].compat_offsets) {
384                 tmp->next = xt[af].compat_offsets->next;
385                 xt[af].compat_offsets->next = tmp;
386         } else {
387                 xt[af].compat_offsets = tmp;
388                 tmp->next = NULL;
389         }
390         return 0;
391 }
392 EXPORT_SYMBOL_GPL(xt_compat_add_offset);
393
394 void xt_compat_flush_offsets(u_int8_t af)
395 {
396         struct compat_delta *tmp, *next;
397
398         if (xt[af].compat_offsets) {
399                 for (tmp = xt[af].compat_offsets; tmp; tmp = next) {
400                         next = tmp->next;
401                         kfree(tmp);
402                 }
403                 xt[af].compat_offsets = NULL;
404         }
405 }
406 EXPORT_SYMBOL_GPL(xt_compat_flush_offsets);
407
408 short xt_compat_calc_jump(u_int8_t af, unsigned int offset)
409 {
410         struct compat_delta *tmp;
411         short delta;
412
413         for (tmp = xt[af].compat_offsets, delta = 0; tmp; tmp = tmp->next)
414                 if (tmp->offset < offset)
415                         delta += tmp->delta;
416         return delta;
417 }
418 EXPORT_SYMBOL_GPL(xt_compat_calc_jump);
419
420 int xt_compat_match_offset(const struct xt_match *match)
421 {
422         u_int16_t csize = match->compatsize ? : match->matchsize;
423         return XT_ALIGN(match->matchsize) - COMPAT_XT_ALIGN(csize);
424 }
425 EXPORT_SYMBOL_GPL(xt_compat_match_offset);
426
427 int xt_compat_match_from_user(struct xt_entry_match *m, void **dstptr,
428                               unsigned int *size)
429 {
430         const struct xt_match *match = m->u.kernel.match;
431         struct compat_xt_entry_match *cm = (struct compat_xt_entry_match *)m;
432         int pad, off = xt_compat_match_offset(match);
433         u_int16_t msize = cm->u.user.match_size;
434
435         m = *dstptr;
436         memcpy(m, cm, sizeof(*cm));
437         if (match->compat_from_user)
438                 match->compat_from_user(m->data, cm->data);
439         else
440                 memcpy(m->data, cm->data, msize - sizeof(*cm));
441         pad = XT_ALIGN(match->matchsize) - match->matchsize;
442         if (pad > 0)
443                 memset(m->data + match->matchsize, 0, pad);
444
445         msize += off;
446         m->u.user.match_size = msize;
447
448         *size += off;
449         *dstptr += msize;
450         return 0;
451 }
452 EXPORT_SYMBOL_GPL(xt_compat_match_from_user);
453
454 int xt_compat_match_to_user(struct xt_entry_match *m, void __user **dstptr,
455                             unsigned int *size)
456 {
457         const struct xt_match *match = m->u.kernel.match;
458         struct compat_xt_entry_match __user *cm = *dstptr;
459         int off = xt_compat_match_offset(match);
460         u_int16_t msize = m->u.user.match_size - off;
461
462         if (copy_to_user(cm, m, sizeof(*cm)) ||
463             put_user(msize, &cm->u.user.match_size) ||
464             copy_to_user(cm->u.user.name, m->u.kernel.match->name,
465                          strlen(m->u.kernel.match->name) + 1))
466                 return -EFAULT;
467
468         if (match->compat_to_user) {
469                 if (match->compat_to_user((void __user *)cm->data, m->data))
470                         return -EFAULT;
471         } else {
472                 if (copy_to_user(cm->data, m->data, msize - sizeof(*cm)))
473                         return -EFAULT;
474         }
475
476         *size -= off;
477         *dstptr += msize;
478         return 0;
479 }
480 EXPORT_SYMBOL_GPL(xt_compat_match_to_user);
481 #endif /* CONFIG_COMPAT */
482
483 int xt_check_target(struct xt_tgchk_param *par,
484                     unsigned int size, u_int8_t proto, bool inv_proto)
485 {
486         if (XT_ALIGN(par->target->targetsize) != size) {
487                 printk("%s_tables: %s target: invalid size %Zu != %u\n",
488                        xt_prefix[par->family], par->target->name,
489                        XT_ALIGN(par->target->targetsize), size);
490                 return -EINVAL;
491         }
492         if (par->target->table != NULL &&
493             strcmp(par->target->table, par->table) != 0) {
494                 printk("%s_tables: %s target: only valid in %s table, not %s\n",
495                        xt_prefix[par->family], par->target->name,
496                        par->target->table, par->table);
497                 return -EINVAL;
498         }
499         if (par->target->hooks && (par->hook_mask & ~par->target->hooks) != 0) {
500                 printk("%s_tables: %s target: bad hook_mask %#x/%#x\n",
501                        xt_prefix[par->family], par->target->name,
502                        par->hook_mask, par->target->hooks);
503                 return -EINVAL;
504         }
505         if (par->target->proto && (par->target->proto != proto || inv_proto)) {
506                 printk("%s_tables: %s target: only valid for protocol %u\n",
507                        xt_prefix[par->family], par->target->name,
508                        par->target->proto);
509                 return -EINVAL;
510         }
511         if (par->target->checkentry != NULL && !par->target->checkentry(par))
512                 return -EINVAL;
513         return 0;
514 }
515 EXPORT_SYMBOL_GPL(xt_check_target);
516
517 #ifdef CONFIG_COMPAT
518 int xt_compat_target_offset(const struct xt_target *target)
519 {
520         u_int16_t csize = target->compatsize ? : target->targetsize;
521         return XT_ALIGN(target->targetsize) - COMPAT_XT_ALIGN(csize);
522 }
523 EXPORT_SYMBOL_GPL(xt_compat_target_offset);
524
525 void xt_compat_target_from_user(struct xt_entry_target *t, void **dstptr,
526                                 unsigned int *size)
527 {
528         const struct xt_target *target = t->u.kernel.target;
529         struct compat_xt_entry_target *ct = (struct compat_xt_entry_target *)t;
530         int pad, off = xt_compat_target_offset(target);
531         u_int16_t tsize = ct->u.user.target_size;
532
533         t = *dstptr;
534         memcpy(t, ct, sizeof(*ct));
535         if (target->compat_from_user)
536                 target->compat_from_user(t->data, ct->data);
537         else
538                 memcpy(t->data, ct->data, tsize - sizeof(*ct));
539         pad = XT_ALIGN(target->targetsize) - target->targetsize;
540         if (pad > 0)
541                 memset(t->data + target->targetsize, 0, pad);
542
543         tsize += off;
544         t->u.user.target_size = tsize;
545
546         *size += off;
547         *dstptr += tsize;
548 }
549 EXPORT_SYMBOL_GPL(xt_compat_target_from_user);
550
551 int xt_compat_target_to_user(struct xt_entry_target *t, void __user **dstptr,
552                              unsigned int *size)
553 {
554         const struct xt_target *target = t->u.kernel.target;
555         struct compat_xt_entry_target __user *ct = *dstptr;
556         int off = xt_compat_target_offset(target);
557         u_int16_t tsize = t->u.user.target_size - off;
558
559         if (copy_to_user(ct, t, sizeof(*ct)) ||
560             put_user(tsize, &ct->u.user.target_size) ||
561             copy_to_user(ct->u.user.name, t->u.kernel.target->name,
562                          strlen(t->u.kernel.target->name) + 1))
563                 return -EFAULT;
564
565         if (target->compat_to_user) {
566                 if (target->compat_to_user((void __user *)ct->data, t->data))
567                         return -EFAULT;
568         } else {
569                 if (copy_to_user(ct->data, t->data, tsize - sizeof(*ct)))
570                         return -EFAULT;
571         }
572
573         *size -= off;
574         *dstptr += tsize;
575         return 0;
576 }
577 EXPORT_SYMBOL_GPL(xt_compat_target_to_user);
578 #endif
579
580 struct xt_table_info *xt_alloc_table_info(unsigned int size)
581 {
582         struct xt_table_info *newinfo;
583         int cpu;
584
585         /* Pedantry: prevent them from hitting BUG() in vmalloc.c --RR */
586         if ((SMP_ALIGN(size) >> PAGE_SHIFT) + 2 > num_physpages)
587                 return NULL;
588
589         newinfo = kzalloc(XT_TABLE_INFO_SZ, GFP_KERNEL);
590         if (!newinfo)
591                 return NULL;
592
593         newinfo->size = size;
594
595         for_each_possible_cpu(cpu) {
596                 if (size <= PAGE_SIZE)
597                         newinfo->entries[cpu] = kmalloc_node(size,
598                                                         GFP_KERNEL,
599                                                         cpu_to_node(cpu));
600                 else
601                         newinfo->entries[cpu] = vmalloc_node(size,
602                                                         cpu_to_node(cpu));
603
604                 if (newinfo->entries[cpu] == NULL) {
605                         xt_free_table_info(newinfo);
606                         return NULL;
607                 }
608         }
609
610         return newinfo;
611 }
612 EXPORT_SYMBOL(xt_alloc_table_info);
613
614 void xt_free_table_info(struct xt_table_info *info)
615 {
616         int cpu;
617
618         for_each_possible_cpu(cpu) {
619                 if (info->size <= PAGE_SIZE)
620                         kfree(info->entries[cpu]);
621                 else
622                         vfree(info->entries[cpu]);
623         }
624         kfree(info);
625 }
626 EXPORT_SYMBOL(xt_free_table_info);
627
628 /* Find table by name, grabs mutex & ref.  Returns ERR_PTR() on error. */
629 struct xt_table *xt_find_table_lock(struct net *net, u_int8_t af,
630                                     const char *name)
631 {
632         struct xt_table *t;
633
634         if (mutex_lock_interruptible(&xt[af].mutex) != 0)
635                 return ERR_PTR(-EINTR);
636
637         list_for_each_entry(t, &net->xt.tables[af], list)
638                 if (strcmp(t->name, name) == 0 && try_module_get(t->me))
639                         return t;
640         mutex_unlock(&xt[af].mutex);
641         return NULL;
642 }
643 EXPORT_SYMBOL_GPL(xt_find_table_lock);
644
645 void xt_table_unlock(struct xt_table *table)
646 {
647         mutex_unlock(&xt[table->af].mutex);
648 }
649 EXPORT_SYMBOL_GPL(xt_table_unlock);
650
651 #ifdef CONFIG_COMPAT
652 void xt_compat_lock(u_int8_t af)
653 {
654         mutex_lock(&xt[af].compat_mutex);
655 }
656 EXPORT_SYMBOL_GPL(xt_compat_lock);
657
658 void xt_compat_unlock(u_int8_t af)
659 {
660         mutex_unlock(&xt[af].compat_mutex);
661 }
662 EXPORT_SYMBOL_GPL(xt_compat_unlock);
663 #endif
664
665 DEFINE_PER_CPU(struct xt_info_lock, xt_info_locks);
666 EXPORT_PER_CPU_SYMBOL_GPL(xt_info_locks);
667
668
669 struct xt_table_info *
670 xt_replace_table(struct xt_table *table,
671               unsigned int num_counters,
672               struct xt_table_info *newinfo,
673               int *error)
674 {
675         struct xt_table_info *private;
676
677         /* Do the substitution. */
678         local_bh_disable();
679         private = table->private;
680
681         /* Check inside lock: is the old number correct? */
682         if (num_counters != private->number) {
683                 duprintf("num_counters != table->private->number (%u/%u)\n",
684                          num_counters, private->number);
685                 local_bh_enable();
686                 *error = -EAGAIN;
687                 return NULL;
688         }
689
690         table->private = newinfo;
691         newinfo->initial_entries = private->initial_entries;
692
693         /*
694          * Even though table entries have now been swapped, other CPU's
695          * may still be using the old entries. This is okay, because
696          * resynchronization happens because of the locking done
697          * during the get_counters() routine.
698          */
699         local_bh_enable();
700
701         return private;
702 }
703 EXPORT_SYMBOL_GPL(xt_replace_table);
704
705 struct xt_table *xt_register_table(struct net *net, struct xt_table *table,
706                                    struct xt_table_info *bootstrap,
707                                    struct xt_table_info *newinfo)
708 {
709         int ret;
710         struct xt_table_info *private;
711         struct xt_table *t;
712
713         /* Don't add one object to multiple lists. */
714         table = kmemdup(table, sizeof(struct xt_table), GFP_KERNEL);
715         if (!table) {
716                 ret = -ENOMEM;
717                 goto out;
718         }
719
720         ret = mutex_lock_interruptible(&xt[table->af].mutex);
721         if (ret != 0)
722                 goto out_free;
723
724         /* Don't autoload: we'd eat our tail... */
725         list_for_each_entry(t, &net->xt.tables[table->af], list) {
726                 if (strcmp(t->name, table->name) == 0) {
727                         ret = -EEXIST;
728                         goto unlock;
729                 }
730         }
731
732         /* Simplifies replace_table code. */
733         table->private = bootstrap;
734
735         if (!xt_replace_table(table, 0, newinfo, &ret))
736                 goto unlock;
737
738         private = table->private;
739         duprintf("table->private->number = %u\n", private->number);
740
741         /* save number of initial entries */
742         private->initial_entries = private->number;
743
744         list_add(&table->list, &net->xt.tables[table->af]);
745         mutex_unlock(&xt[table->af].mutex);
746         return table;
747
748  unlock:
749         mutex_unlock(&xt[table->af].mutex);
750 out_free:
751         kfree(table);
752 out:
753         return ERR_PTR(ret);
754 }
755 EXPORT_SYMBOL_GPL(xt_register_table);
756
757 void *xt_unregister_table(struct xt_table *table)
758 {
759         struct xt_table_info *private;
760
761         mutex_lock(&xt[table->af].mutex);
762         private = table->private;
763         list_del(&table->list);
764         mutex_unlock(&xt[table->af].mutex);
765         kfree(table);
766
767         return private;
768 }
769 EXPORT_SYMBOL_GPL(xt_unregister_table);
770
771 #ifdef CONFIG_PROC_FS
772 struct xt_names_priv {
773         struct seq_net_private p;
774         u_int8_t af;
775 };
776 static void *xt_table_seq_start(struct seq_file *seq, loff_t *pos)
777 {
778         struct xt_names_priv *priv = seq->private;
779         struct net *net = seq_file_net(seq);
780         u_int8_t af = priv->af;
781
782         mutex_lock(&xt[af].mutex);
783         return seq_list_start(&net->xt.tables[af], *pos);
784 }
785
786 static void *xt_table_seq_next(struct seq_file *seq, void *v, loff_t *pos)
787 {
788         struct xt_names_priv *priv = seq->private;
789         struct net *net = seq_file_net(seq);
790         u_int8_t af = priv->af;
791
792         return seq_list_next(v, &net->xt.tables[af], pos);
793 }
794
795 static void xt_table_seq_stop(struct seq_file *seq, void *v)
796 {
797         struct xt_names_priv *priv = seq->private;
798         u_int8_t af = priv->af;
799
800         mutex_unlock(&xt[af].mutex);
801 }
802
803 static int xt_table_seq_show(struct seq_file *seq, void *v)
804 {
805         struct xt_table *table = list_entry(v, struct xt_table, list);
806
807         if (strlen(table->name))
808                 return seq_printf(seq, "%s\n", table->name);
809         else
810                 return 0;
811 }
812
813 static const struct seq_operations xt_table_seq_ops = {
814         .start  = xt_table_seq_start,
815         .next   = xt_table_seq_next,
816         .stop   = xt_table_seq_stop,
817         .show   = xt_table_seq_show,
818 };
819
820 static int xt_table_open(struct inode *inode, struct file *file)
821 {
822         int ret;
823         struct xt_names_priv *priv;
824
825         ret = seq_open_net(inode, file, &xt_table_seq_ops,
826                            sizeof(struct xt_names_priv));
827         if (!ret) {
828                 priv = ((struct seq_file *)file->private_data)->private;
829                 priv->af = (unsigned long)PDE(inode)->data;
830         }
831         return ret;
832 }
833
834 static const struct file_operations xt_table_ops = {
835         .owner   = THIS_MODULE,
836         .open    = xt_table_open,
837         .read    = seq_read,
838         .llseek  = seq_lseek,
839         .release = seq_release_net,
840 };
841
842 /*
843  * Traverse state for ip{,6}_{tables,matches} for helping crossing
844  * the multi-AF mutexes.
845  */
846 struct nf_mttg_trav {
847         struct list_head *head, *curr;
848         uint8_t class, nfproto;
849 };
850
851 enum {
852         MTTG_TRAV_INIT,
853         MTTG_TRAV_NFP_UNSPEC,
854         MTTG_TRAV_NFP_SPEC,
855         MTTG_TRAV_DONE,
856 };
857
858 static void *xt_mttg_seq_next(struct seq_file *seq, void *v, loff_t *ppos,
859     bool is_target)
860 {
861         static const uint8_t next_class[] = {
862                 [MTTG_TRAV_NFP_UNSPEC] = MTTG_TRAV_NFP_SPEC,
863                 [MTTG_TRAV_NFP_SPEC]   = MTTG_TRAV_DONE,
864         };
865         struct nf_mttg_trav *trav = seq->private;
866
867         switch (trav->class) {
868         case MTTG_TRAV_INIT:
869                 trav->class = MTTG_TRAV_NFP_UNSPEC;
870                 mutex_lock(&xt[NFPROTO_UNSPEC].mutex);
871                 trav->head = trav->curr = is_target ?
872                         &xt[NFPROTO_UNSPEC].target : &xt[NFPROTO_UNSPEC].match;
873                 break;
874         case MTTG_TRAV_NFP_UNSPEC:
875                 trav->curr = trav->curr->next;
876                 if (trav->curr != trav->head)
877                         break;
878                 mutex_unlock(&xt[NFPROTO_UNSPEC].mutex);
879                 mutex_lock(&xt[trav->nfproto].mutex);
880                 trav->head = trav->curr = is_target ?
881                         &xt[trav->nfproto].target : &xt[trav->nfproto].match;
882                 trav->class = next_class[trav->class];
883                 break;
884         case MTTG_TRAV_NFP_SPEC:
885                 trav->curr = trav->curr->next;
886                 if (trav->curr != trav->head)
887                         break;
888                 /* fallthru, _stop will unlock */
889         default:
890                 return NULL;
891         }
892
893         if (ppos != NULL)
894                 ++*ppos;
895         return trav;
896 }
897
898 static void *xt_mttg_seq_start(struct seq_file *seq, loff_t *pos,
899     bool is_target)
900 {
901         struct nf_mttg_trav *trav = seq->private;
902         unsigned int j;
903
904         trav->class = MTTG_TRAV_INIT;
905         for (j = 0; j < *pos; ++j)
906                 if (xt_mttg_seq_next(seq, NULL, NULL, is_target) == NULL)
907                         return NULL;
908         return trav;
909 }
910
911 static void xt_mttg_seq_stop(struct seq_file *seq, void *v)
912 {
913         struct nf_mttg_trav *trav = seq->private;
914
915         switch (trav->class) {
916         case MTTG_TRAV_NFP_UNSPEC:
917                 mutex_unlock(&xt[NFPROTO_UNSPEC].mutex);
918                 break;
919         case MTTG_TRAV_NFP_SPEC:
920                 mutex_unlock(&xt[trav->nfproto].mutex);
921                 break;
922         }
923 }
924
925 static void *xt_match_seq_start(struct seq_file *seq, loff_t *pos)
926 {
927         return xt_mttg_seq_start(seq, pos, false);
928 }
929
930 static void *xt_match_seq_next(struct seq_file *seq, void *v, loff_t *ppos)
931 {
932         return xt_mttg_seq_next(seq, v, ppos, false);
933 }
934
935 static int xt_match_seq_show(struct seq_file *seq, void *v)
936 {
937         const struct nf_mttg_trav *trav = seq->private;
938         const struct xt_match *match;
939
940         switch (trav->class) {
941         case MTTG_TRAV_NFP_UNSPEC:
942         case MTTG_TRAV_NFP_SPEC:
943                 if (trav->curr == trav->head)
944                         return 0;
945                 match = list_entry(trav->curr, struct xt_match, list);
946                 return (*match->name == '\0') ? 0 :
947                        seq_printf(seq, "%s\n", match->name);
948         }
949         return 0;
950 }
951
952 static const struct seq_operations xt_match_seq_ops = {
953         .start  = xt_match_seq_start,
954         .next   = xt_match_seq_next,
955         .stop   = xt_mttg_seq_stop,
956         .show   = xt_match_seq_show,
957 };
958
959 static int xt_match_open(struct inode *inode, struct file *file)
960 {
961         struct seq_file *seq;
962         struct nf_mttg_trav *trav;
963         int ret;
964
965         trav = kmalloc(sizeof(*trav), GFP_KERNEL);
966         if (trav == NULL)
967                 return -ENOMEM;
968
969         ret = seq_open(file, &xt_match_seq_ops);
970         if (ret < 0) {
971                 kfree(trav);
972                 return ret;
973         }
974
975         seq = file->private_data;
976         seq->private = trav;
977         trav->nfproto = (unsigned long)PDE(inode)->data;
978         return 0;
979 }
980
981 static const struct file_operations xt_match_ops = {
982         .owner   = THIS_MODULE,
983         .open    = xt_match_open,
984         .read    = seq_read,
985         .llseek  = seq_lseek,
986         .release = seq_release_private,
987 };
988
989 static void *xt_target_seq_start(struct seq_file *seq, loff_t *pos)
990 {
991         return xt_mttg_seq_start(seq, pos, true);
992 }
993
994 static void *xt_target_seq_next(struct seq_file *seq, void *v, loff_t *ppos)
995 {
996         return xt_mttg_seq_next(seq, v, ppos, true);
997 }
998
999 static int xt_target_seq_show(struct seq_file *seq, void *v)
1000 {
1001         const struct nf_mttg_trav *trav = seq->private;
1002         const struct xt_target *target;
1003
1004         switch (trav->class) {
1005         case MTTG_TRAV_NFP_UNSPEC:
1006         case MTTG_TRAV_NFP_SPEC:
1007                 if (trav->curr == trav->head)
1008                         return 0;
1009                 target = list_entry(trav->curr, struct xt_target, list);
1010                 return (*target->name == '\0') ? 0 :
1011                        seq_printf(seq, "%s\n", target->name);
1012         }
1013         return 0;
1014 }
1015
1016 static const struct seq_operations xt_target_seq_ops = {
1017         .start  = xt_target_seq_start,
1018         .next   = xt_target_seq_next,
1019         .stop   = xt_mttg_seq_stop,
1020         .show   = xt_target_seq_show,
1021 };
1022
1023 static int xt_target_open(struct inode *inode, struct file *file)
1024 {
1025         struct seq_file *seq;
1026         struct nf_mttg_trav *trav;
1027         int ret;
1028
1029         trav = kmalloc(sizeof(*trav), GFP_KERNEL);
1030         if (trav == NULL)
1031                 return -ENOMEM;
1032
1033         ret = seq_open(file, &xt_target_seq_ops);
1034         if (ret < 0) {
1035                 kfree(trav);
1036                 return ret;
1037         }
1038
1039         seq = file->private_data;
1040         seq->private = trav;
1041         trav->nfproto = (unsigned long)PDE(inode)->data;
1042         return 0;
1043 }
1044
1045 static const struct file_operations xt_target_ops = {
1046         .owner   = THIS_MODULE,
1047         .open    = xt_target_open,
1048         .read    = seq_read,
1049         .llseek  = seq_lseek,
1050         .release = seq_release_private,
1051 };
1052
1053 #define FORMAT_TABLES   "_tables_names"
1054 #define FORMAT_MATCHES  "_tables_matches"
1055 #define FORMAT_TARGETS  "_tables_targets"
1056
1057 #endif /* CONFIG_PROC_FS */
1058
1059 int xt_proto_init(struct net *net, u_int8_t af)
1060 {
1061 #ifdef CONFIG_PROC_FS
1062         char buf[XT_FUNCTION_MAXNAMELEN];
1063         struct proc_dir_entry *proc;
1064 #endif
1065
1066         if (af >= ARRAY_SIZE(xt_prefix))
1067                 return -EINVAL;
1068
1069
1070 #ifdef CONFIG_PROC_FS
1071         strlcpy(buf, xt_prefix[af], sizeof(buf));
1072         strlcat(buf, FORMAT_TABLES, sizeof(buf));
1073         proc = proc_create_data(buf, 0440, net->proc_net, &xt_table_ops,
1074                                 (void *)(unsigned long)af);
1075         if (!proc)
1076                 goto out;
1077
1078         strlcpy(buf, xt_prefix[af], sizeof(buf));
1079         strlcat(buf, FORMAT_MATCHES, sizeof(buf));
1080         proc = proc_create_data(buf, 0440, net->proc_net, &xt_match_ops,
1081                                 (void *)(unsigned long)af);
1082         if (!proc)
1083                 goto out_remove_tables;
1084
1085         strlcpy(buf, xt_prefix[af], sizeof(buf));
1086         strlcat(buf, FORMAT_TARGETS, sizeof(buf));
1087         proc = proc_create_data(buf, 0440, net->proc_net, &xt_target_ops,
1088                                 (void *)(unsigned long)af);
1089         if (!proc)
1090                 goto out_remove_matches;
1091 #endif
1092
1093         return 0;
1094
1095 #ifdef CONFIG_PROC_FS
1096 out_remove_matches:
1097         strlcpy(buf, xt_prefix[af], sizeof(buf));
1098         strlcat(buf, FORMAT_MATCHES, sizeof(buf));
1099         proc_net_remove(net, buf);
1100
1101 out_remove_tables:
1102         strlcpy(buf, xt_prefix[af], sizeof(buf));
1103         strlcat(buf, FORMAT_TABLES, sizeof(buf));
1104         proc_net_remove(net, buf);
1105 out:
1106         return -1;
1107 #endif
1108 }
1109 EXPORT_SYMBOL_GPL(xt_proto_init);
1110
1111 void xt_proto_fini(struct net *net, u_int8_t af)
1112 {
1113 #ifdef CONFIG_PROC_FS
1114         char buf[XT_FUNCTION_MAXNAMELEN];
1115
1116         strlcpy(buf, xt_prefix[af], sizeof(buf));
1117         strlcat(buf, FORMAT_TABLES, sizeof(buf));
1118         proc_net_remove(net, buf);
1119
1120         strlcpy(buf, xt_prefix[af], sizeof(buf));
1121         strlcat(buf, FORMAT_TARGETS, sizeof(buf));
1122         proc_net_remove(net, buf);
1123
1124         strlcpy(buf, xt_prefix[af], sizeof(buf));
1125         strlcat(buf, FORMAT_MATCHES, sizeof(buf));
1126         proc_net_remove(net, buf);
1127 #endif /*CONFIG_PROC_FS*/
1128 }
1129 EXPORT_SYMBOL_GPL(xt_proto_fini);
1130
1131 static int __net_init xt_net_init(struct net *net)
1132 {
1133         int i;
1134
1135         for (i = 0; i < NFPROTO_NUMPROTO; i++)
1136                 INIT_LIST_HEAD(&net->xt.tables[i]);
1137         return 0;
1138 }
1139
1140 static struct pernet_operations xt_net_ops = {
1141         .init = xt_net_init,
1142 };
1143
1144 static int __init xt_init(void)
1145 {
1146         unsigned int i;
1147         int rv;
1148
1149         for_each_possible_cpu(i) {
1150                 struct xt_info_lock *lock = &per_cpu(xt_info_locks, i);
1151                 spin_lock_init(&lock->lock);
1152                 lock->readers = 0;
1153         }
1154
1155         xt = kmalloc(sizeof(struct xt_af) * NFPROTO_NUMPROTO, GFP_KERNEL);
1156         if (!xt)
1157                 return -ENOMEM;
1158
1159         for (i = 0; i < NFPROTO_NUMPROTO; i++) {
1160                 mutex_init(&xt[i].mutex);
1161 #ifdef CONFIG_COMPAT
1162                 mutex_init(&xt[i].compat_mutex);
1163                 xt[i].compat_offsets = NULL;
1164 #endif
1165                 INIT_LIST_HEAD(&xt[i].target);
1166                 INIT_LIST_HEAD(&xt[i].match);
1167         }
1168         rv = register_pernet_subsys(&xt_net_ops);
1169         if (rv < 0)
1170                 kfree(xt);
1171         return rv;
1172 }
1173
1174 static void __exit xt_fini(void)
1175 {
1176         unregister_pernet_subsys(&xt_net_ops);
1177         kfree(xt);
1178 }
1179
1180 module_init(xt_init);
1181 module_exit(xt_fini);
1182