netfilter: xtables: generate initial table on-demand
[linux-2.6.git] / net / netfilter / x_tables.c
1 /*
2  * x_tables core - Backend for {ip,ip6,arp}_tables
3  *
4  * Copyright (C) 2006-2006 Harald Welte <laforge@netfilter.org>
5  *
6  * Based on existing ip_tables code which is
7  *   Copyright (C) 1999 Paul `Rusty' Russell & Michael J. Neuling
8  *   Copyright (C) 2000-2005 Netfilter Core Team <coreteam@netfilter.org>
9  *
10  * This program is free software; you can redistribute it and/or modify
11  * it under the terms of the GNU General Public License version 2 as
12  * published by the Free Software Foundation.
13  *
14  */
15
16 #include <linux/kernel.h>
17 #include <linux/socket.h>
18 #include <linux/net.h>
19 #include <linux/proc_fs.h>
20 #include <linux/seq_file.h>
21 #include <linux/string.h>
22 #include <linux/vmalloc.h>
23 #include <linux/mutex.h>
24 #include <linux/mm.h>
25 #include <net/net_namespace.h>
26
27 #include <linux/netfilter/x_tables.h>
28 #include <linux/netfilter_arp.h>
29 #include <linux/netfilter_ipv4/ip_tables.h>
30 #include <linux/netfilter_ipv6/ip6_tables.h>
31 #include <linux/netfilter_arp/arp_tables.h>
32
33 MODULE_LICENSE("GPL");
34 MODULE_AUTHOR("Harald Welte <laforge@netfilter.org>");
35 MODULE_DESCRIPTION("{ip,ip6,arp,eb}_tables backend module");
36
37 #define SMP_ALIGN(x) (((x) + SMP_CACHE_BYTES-1) & ~(SMP_CACHE_BYTES-1))
38
39 struct compat_delta {
40         struct compat_delta *next;
41         unsigned int offset;
42         short delta;
43 };
44
45 struct xt_af {
46         struct mutex mutex;
47         struct list_head match;
48         struct list_head target;
49 #ifdef CONFIG_COMPAT
50         struct mutex compat_mutex;
51         struct compat_delta *compat_offsets;
52 #endif
53 };
54
55 static struct xt_af *xt;
56
57 #ifdef DEBUG_IP_FIREWALL_USER
58 #define duprintf(format, args...) printk(format , ## args)
59 #else
60 #define duprintf(format, args...)
61 #endif
62
63 static const char *const xt_prefix[NFPROTO_NUMPROTO] = {
64         [NFPROTO_UNSPEC] = "x",
65         [NFPROTO_IPV4]   = "ip",
66         [NFPROTO_ARP]    = "arp",
67         [NFPROTO_BRIDGE] = "eb",
68         [NFPROTO_IPV6]   = "ip6",
69 };
70
71 /* Registration hooks for targets. */
72 int
73 xt_register_target(struct xt_target *target)
74 {
75         u_int8_t af = target->family;
76         int ret;
77
78         ret = mutex_lock_interruptible(&xt[af].mutex);
79         if (ret != 0)
80                 return ret;
81         list_add(&target->list, &xt[af].target);
82         mutex_unlock(&xt[af].mutex);
83         return ret;
84 }
85 EXPORT_SYMBOL(xt_register_target);
86
87 void
88 xt_unregister_target(struct xt_target *target)
89 {
90         u_int8_t af = target->family;
91
92         mutex_lock(&xt[af].mutex);
93         list_del(&target->list);
94         mutex_unlock(&xt[af].mutex);
95 }
96 EXPORT_SYMBOL(xt_unregister_target);
97
98 int
99 xt_register_targets(struct xt_target *target, unsigned int n)
100 {
101         unsigned int i;
102         int err = 0;
103
104         for (i = 0; i < n; i++) {
105                 err = xt_register_target(&target[i]);
106                 if (err)
107                         goto err;
108         }
109         return err;
110
111 err:
112         if (i > 0)
113                 xt_unregister_targets(target, i);
114         return err;
115 }
116 EXPORT_SYMBOL(xt_register_targets);
117
118 void
119 xt_unregister_targets(struct xt_target *target, unsigned int n)
120 {
121         unsigned int i;
122
123         for (i = 0; i < n; i++)
124                 xt_unregister_target(&target[i]);
125 }
126 EXPORT_SYMBOL(xt_unregister_targets);
127
128 int
129 xt_register_match(struct xt_match *match)
130 {
131         u_int8_t af = match->family;
132         int ret;
133
134         ret = mutex_lock_interruptible(&xt[af].mutex);
135         if (ret != 0)
136                 return ret;
137
138         list_add(&match->list, &xt[af].match);
139         mutex_unlock(&xt[af].mutex);
140
141         return ret;
142 }
143 EXPORT_SYMBOL(xt_register_match);
144
145 void
146 xt_unregister_match(struct xt_match *match)
147 {
148         u_int8_t af = match->family;
149
150         mutex_lock(&xt[af].mutex);
151         list_del(&match->list);
152         mutex_unlock(&xt[af].mutex);
153 }
154 EXPORT_SYMBOL(xt_unregister_match);
155
156 int
157 xt_register_matches(struct xt_match *match, unsigned int n)
158 {
159         unsigned int i;
160         int err = 0;
161
162         for (i = 0; i < n; i++) {
163                 err = xt_register_match(&match[i]);
164                 if (err)
165                         goto err;
166         }
167         return err;
168
169 err:
170         if (i > 0)
171                 xt_unregister_matches(match, i);
172         return err;
173 }
174 EXPORT_SYMBOL(xt_register_matches);
175
176 void
177 xt_unregister_matches(struct xt_match *match, unsigned int n)
178 {
179         unsigned int i;
180
181         for (i = 0; i < n; i++)
182                 xt_unregister_match(&match[i]);
183 }
184 EXPORT_SYMBOL(xt_unregister_matches);
185
186
187 /*
188  * These are weird, but module loading must not be done with mutex
189  * held (since they will register), and we have to have a single
190  * function to use try_then_request_module().
191  */
192
193 /* Find match, grabs ref.  Returns ERR_PTR() on error. */
194 struct xt_match *xt_find_match(u8 af, const char *name, u8 revision)
195 {
196         struct xt_match *m;
197         int err = 0;
198
199         if (mutex_lock_interruptible(&xt[af].mutex) != 0)
200                 return ERR_PTR(-EINTR);
201
202         list_for_each_entry(m, &xt[af].match, list) {
203                 if (strcmp(m->name, name) == 0) {
204                         if (m->revision == revision) {
205                                 if (try_module_get(m->me)) {
206                                         mutex_unlock(&xt[af].mutex);
207                                         return m;
208                                 }
209                         } else
210                                 err = -EPROTOTYPE; /* Found something. */
211                 }
212         }
213         mutex_unlock(&xt[af].mutex);
214
215         if (af != NFPROTO_UNSPEC)
216                 /* Try searching again in the family-independent list */
217                 return xt_find_match(NFPROTO_UNSPEC, name, revision);
218
219         return ERR_PTR(err);
220 }
221 EXPORT_SYMBOL(xt_find_match);
222
223 /* Find target, grabs ref.  Returns ERR_PTR() on error. */
224 struct xt_target *xt_find_target(u8 af, const char *name, u8 revision)
225 {
226         struct xt_target *t;
227         int err = 0;
228
229         if (mutex_lock_interruptible(&xt[af].mutex) != 0)
230                 return ERR_PTR(-EINTR);
231
232         list_for_each_entry(t, &xt[af].target, list) {
233                 if (strcmp(t->name, name) == 0) {
234                         if (t->revision == revision) {
235                                 if (try_module_get(t->me)) {
236                                         mutex_unlock(&xt[af].mutex);
237                                         return t;
238                                 }
239                         } else
240                                 err = -EPROTOTYPE; /* Found something. */
241                 }
242         }
243         mutex_unlock(&xt[af].mutex);
244
245         if (af != NFPROTO_UNSPEC)
246                 /* Try searching again in the family-independent list */
247                 return xt_find_target(NFPROTO_UNSPEC, name, revision);
248
249         return ERR_PTR(err);
250 }
251 EXPORT_SYMBOL(xt_find_target);
252
253 struct xt_target *xt_request_find_target(u8 af, const char *name, u8 revision)
254 {
255         struct xt_target *target;
256
257         target = try_then_request_module(xt_find_target(af, name, revision),
258                                          "%st_%s", xt_prefix[af], name);
259         if (IS_ERR(target) || !target)
260                 return NULL;
261         return target;
262 }
263 EXPORT_SYMBOL_GPL(xt_request_find_target);
264
265 static int match_revfn(u8 af, const char *name, u8 revision, int *bestp)
266 {
267         const struct xt_match *m;
268         int have_rev = 0;
269
270         list_for_each_entry(m, &xt[af].match, list) {
271                 if (strcmp(m->name, name) == 0) {
272                         if (m->revision > *bestp)
273                                 *bestp = m->revision;
274                         if (m->revision == revision)
275                                 have_rev = 1;
276                 }
277         }
278
279         if (af != NFPROTO_UNSPEC && !have_rev)
280                 return match_revfn(NFPROTO_UNSPEC, name, revision, bestp);
281
282         return have_rev;
283 }
284
285 static int target_revfn(u8 af, const char *name, u8 revision, int *bestp)
286 {
287         const struct xt_target *t;
288         int have_rev = 0;
289
290         list_for_each_entry(t, &xt[af].target, list) {
291                 if (strcmp(t->name, name) == 0) {
292                         if (t->revision > *bestp)
293                                 *bestp = t->revision;
294                         if (t->revision == revision)
295                                 have_rev = 1;
296                 }
297         }
298
299         if (af != NFPROTO_UNSPEC && !have_rev)
300                 return target_revfn(NFPROTO_UNSPEC, name, revision, bestp);
301
302         return have_rev;
303 }
304
305 /* Returns true or false (if no such extension at all) */
306 int xt_find_revision(u8 af, const char *name, u8 revision, int target,
307                      int *err)
308 {
309         int have_rev, best = -1;
310
311         if (mutex_lock_interruptible(&xt[af].mutex) != 0) {
312                 *err = -EINTR;
313                 return 1;
314         }
315         if (target == 1)
316                 have_rev = target_revfn(af, name, revision, &best);
317         else
318                 have_rev = match_revfn(af, name, revision, &best);
319         mutex_unlock(&xt[af].mutex);
320
321         /* Nothing at all?  Return 0 to try loading module. */
322         if (best == -1) {
323                 *err = -ENOENT;
324                 return 0;
325         }
326
327         *err = best;
328         if (!have_rev)
329                 *err = -EPROTONOSUPPORT;
330         return 1;
331 }
332 EXPORT_SYMBOL_GPL(xt_find_revision);
333
334 static char *textify_hooks(char *buf, size_t size, unsigned int mask)
335 {
336         static const char *const names[] = {
337                 "PREROUTING", "INPUT", "FORWARD",
338                 "OUTPUT", "POSTROUTING", "BROUTING",
339         };
340         unsigned int i;
341         char *p = buf;
342         bool np = false;
343         int res;
344
345         *p = '\0';
346         for (i = 0; i < ARRAY_SIZE(names); ++i) {
347                 if (!(mask & (1 << i)))
348                         continue;
349                 res = snprintf(p, size, "%s%s", np ? "/" : "", names[i]);
350                 if (res > 0) {
351                         size -= res;
352                         p += res;
353                 }
354                 np = true;
355         }
356
357         return buf;
358 }
359
360 int xt_check_match(struct xt_mtchk_param *par,
361                    unsigned int size, u_int8_t proto, bool inv_proto)
362 {
363         if (XT_ALIGN(par->match->matchsize) != size &&
364             par->match->matchsize != -1) {
365                 /*
366                  * ebt_among is exempt from centralized matchsize checking
367                  * because it uses a dynamic-size data set.
368                  */
369                 pr_err("%s_tables: %s match: invalid size %Zu != %u\n",
370                        xt_prefix[par->family], par->match->name,
371                        XT_ALIGN(par->match->matchsize), size);
372                 return -EINVAL;
373         }
374         if (par->match->table != NULL &&
375             strcmp(par->match->table, par->table) != 0) {
376                 pr_err("%s_tables: %s match: only valid in %s table, not %s\n",
377                        xt_prefix[par->family], par->match->name,
378                        par->match->table, par->table);
379                 return -EINVAL;
380         }
381         if (par->match->hooks && (par->hook_mask & ~par->match->hooks) != 0) {
382                 char used[64], allow[64];
383
384                 pr_err("%s_tables: %s match: used from hooks %s, but only "
385                        "valid from %s\n",
386                        xt_prefix[par->family], par->match->name,
387                        textify_hooks(used, sizeof(used), par->hook_mask),
388                        textify_hooks(allow, sizeof(allow), par->match->hooks));
389                 return -EINVAL;
390         }
391         if (par->match->proto && (par->match->proto != proto || inv_proto)) {
392                 pr_err("%s_tables: %s match: only valid for protocol %u\n",
393                        xt_prefix[par->family], par->match->name,
394                        par->match->proto);
395                 return -EINVAL;
396         }
397         if (par->match->checkentry != NULL && !par->match->checkentry(par))
398                 return -EINVAL;
399         return 0;
400 }
401 EXPORT_SYMBOL_GPL(xt_check_match);
402
403 #ifdef CONFIG_COMPAT
404 int xt_compat_add_offset(u_int8_t af, unsigned int offset, short delta)
405 {
406         struct compat_delta *tmp;
407
408         tmp = kmalloc(sizeof(struct compat_delta), GFP_KERNEL);
409         if (!tmp)
410                 return -ENOMEM;
411
412         tmp->offset = offset;
413         tmp->delta = delta;
414
415         if (xt[af].compat_offsets) {
416                 tmp->next = xt[af].compat_offsets->next;
417                 xt[af].compat_offsets->next = tmp;
418         } else {
419                 xt[af].compat_offsets = tmp;
420                 tmp->next = NULL;
421         }
422         return 0;
423 }
424 EXPORT_SYMBOL_GPL(xt_compat_add_offset);
425
426 void xt_compat_flush_offsets(u_int8_t af)
427 {
428         struct compat_delta *tmp, *next;
429
430         if (xt[af].compat_offsets) {
431                 for (tmp = xt[af].compat_offsets; tmp; tmp = next) {
432                         next = tmp->next;
433                         kfree(tmp);
434                 }
435                 xt[af].compat_offsets = NULL;
436         }
437 }
438 EXPORT_SYMBOL_GPL(xt_compat_flush_offsets);
439
440 short xt_compat_calc_jump(u_int8_t af, unsigned int offset)
441 {
442         struct compat_delta *tmp;
443         short delta;
444
445         for (tmp = xt[af].compat_offsets, delta = 0; tmp; tmp = tmp->next)
446                 if (tmp->offset < offset)
447                         delta += tmp->delta;
448         return delta;
449 }
450 EXPORT_SYMBOL_GPL(xt_compat_calc_jump);
451
452 int xt_compat_match_offset(const struct xt_match *match)
453 {
454         u_int16_t csize = match->compatsize ? : match->matchsize;
455         return XT_ALIGN(match->matchsize) - COMPAT_XT_ALIGN(csize);
456 }
457 EXPORT_SYMBOL_GPL(xt_compat_match_offset);
458
459 int xt_compat_match_from_user(struct xt_entry_match *m, void **dstptr,
460                               unsigned int *size)
461 {
462         const struct xt_match *match = m->u.kernel.match;
463         struct compat_xt_entry_match *cm = (struct compat_xt_entry_match *)m;
464         int pad, off = xt_compat_match_offset(match);
465         u_int16_t msize = cm->u.user.match_size;
466
467         m = *dstptr;
468         memcpy(m, cm, sizeof(*cm));
469         if (match->compat_from_user)
470                 match->compat_from_user(m->data, cm->data);
471         else
472                 memcpy(m->data, cm->data, msize - sizeof(*cm));
473         pad = XT_ALIGN(match->matchsize) - match->matchsize;
474         if (pad > 0)
475                 memset(m->data + match->matchsize, 0, pad);
476
477         msize += off;
478         m->u.user.match_size = msize;
479
480         *size += off;
481         *dstptr += msize;
482         return 0;
483 }
484 EXPORT_SYMBOL_GPL(xt_compat_match_from_user);
485
486 int xt_compat_match_to_user(struct xt_entry_match *m, void __user **dstptr,
487                             unsigned int *size)
488 {
489         const struct xt_match *match = m->u.kernel.match;
490         struct compat_xt_entry_match __user *cm = *dstptr;
491         int off = xt_compat_match_offset(match);
492         u_int16_t msize = m->u.user.match_size - off;
493
494         if (copy_to_user(cm, m, sizeof(*cm)) ||
495             put_user(msize, &cm->u.user.match_size) ||
496             copy_to_user(cm->u.user.name, m->u.kernel.match->name,
497                          strlen(m->u.kernel.match->name) + 1))
498                 return -EFAULT;
499
500         if (match->compat_to_user) {
501                 if (match->compat_to_user((void __user *)cm->data, m->data))
502                         return -EFAULT;
503         } else {
504                 if (copy_to_user(cm->data, m->data, msize - sizeof(*cm)))
505                         return -EFAULT;
506         }
507
508         *size -= off;
509         *dstptr += msize;
510         return 0;
511 }
512 EXPORT_SYMBOL_GPL(xt_compat_match_to_user);
513 #endif /* CONFIG_COMPAT */
514
515 int xt_check_target(struct xt_tgchk_param *par,
516                     unsigned int size, u_int8_t proto, bool inv_proto)
517 {
518         if (XT_ALIGN(par->target->targetsize) != size) {
519                 pr_err("%s_tables: %s target: invalid size %Zu != %u\n",
520                        xt_prefix[par->family], par->target->name,
521                        XT_ALIGN(par->target->targetsize), size);
522                 return -EINVAL;
523         }
524         if (par->target->table != NULL &&
525             strcmp(par->target->table, par->table) != 0) {
526                 pr_err("%s_tables: %s target: only valid in %s table, not %s\n",
527                        xt_prefix[par->family], par->target->name,
528                        par->target->table, par->table);
529                 return -EINVAL;
530         }
531         if (par->target->hooks && (par->hook_mask & ~par->target->hooks) != 0) {
532                 char used[64], allow[64];
533
534                 pr_err("%s_tables: %s target: used from hooks %s, but only "
535                        "usable from %s\n",
536                        xt_prefix[par->family], par->target->name,
537                        textify_hooks(used, sizeof(used), par->hook_mask),
538                        textify_hooks(allow, sizeof(allow), par->target->hooks));
539                 return -EINVAL;
540         }
541         if (par->target->proto && (par->target->proto != proto || inv_proto)) {
542                 pr_err("%s_tables: %s target: only valid for protocol %u\n",
543                        xt_prefix[par->family], par->target->name,
544                        par->target->proto);
545                 return -EINVAL;
546         }
547         if (par->target->checkentry != NULL && !par->target->checkentry(par))
548                 return -EINVAL;
549         return 0;
550 }
551 EXPORT_SYMBOL_GPL(xt_check_target);
552
553 #ifdef CONFIG_COMPAT
554 int xt_compat_target_offset(const struct xt_target *target)
555 {
556         u_int16_t csize = target->compatsize ? : target->targetsize;
557         return XT_ALIGN(target->targetsize) - COMPAT_XT_ALIGN(csize);
558 }
559 EXPORT_SYMBOL_GPL(xt_compat_target_offset);
560
561 void xt_compat_target_from_user(struct xt_entry_target *t, void **dstptr,
562                                 unsigned int *size)
563 {
564         const struct xt_target *target = t->u.kernel.target;
565         struct compat_xt_entry_target *ct = (struct compat_xt_entry_target *)t;
566         int pad, off = xt_compat_target_offset(target);
567         u_int16_t tsize = ct->u.user.target_size;
568
569         t = *dstptr;
570         memcpy(t, ct, sizeof(*ct));
571         if (target->compat_from_user)
572                 target->compat_from_user(t->data, ct->data);
573         else
574                 memcpy(t->data, ct->data, tsize - sizeof(*ct));
575         pad = XT_ALIGN(target->targetsize) - target->targetsize;
576         if (pad > 0)
577                 memset(t->data + target->targetsize, 0, pad);
578
579         tsize += off;
580         t->u.user.target_size = tsize;
581
582         *size += off;
583         *dstptr += tsize;
584 }
585 EXPORT_SYMBOL_GPL(xt_compat_target_from_user);
586
587 int xt_compat_target_to_user(struct xt_entry_target *t, void __user **dstptr,
588                              unsigned int *size)
589 {
590         const struct xt_target *target = t->u.kernel.target;
591         struct compat_xt_entry_target __user *ct = *dstptr;
592         int off = xt_compat_target_offset(target);
593         u_int16_t tsize = t->u.user.target_size - off;
594
595         if (copy_to_user(ct, t, sizeof(*ct)) ||
596             put_user(tsize, &ct->u.user.target_size) ||
597             copy_to_user(ct->u.user.name, t->u.kernel.target->name,
598                          strlen(t->u.kernel.target->name) + 1))
599                 return -EFAULT;
600
601         if (target->compat_to_user) {
602                 if (target->compat_to_user((void __user *)ct->data, t->data))
603                         return -EFAULT;
604         } else {
605                 if (copy_to_user(ct->data, t->data, tsize - sizeof(*ct)))
606                         return -EFAULT;
607         }
608
609         *size -= off;
610         *dstptr += tsize;
611         return 0;
612 }
613 EXPORT_SYMBOL_GPL(xt_compat_target_to_user);
614 #endif
615
616 struct xt_table_info *xt_alloc_table_info(unsigned int size)
617 {
618         struct xt_table_info *newinfo;
619         int cpu;
620
621         /* Pedantry: prevent them from hitting BUG() in vmalloc.c --RR */
622         if ((SMP_ALIGN(size) >> PAGE_SHIFT) + 2 > totalram_pages)
623                 return NULL;
624
625         newinfo = kzalloc(XT_TABLE_INFO_SZ, GFP_KERNEL);
626         if (!newinfo)
627                 return NULL;
628
629         newinfo->size = size;
630
631         for_each_possible_cpu(cpu) {
632                 if (size <= PAGE_SIZE)
633                         newinfo->entries[cpu] = kmalloc_node(size,
634                                                         GFP_KERNEL,
635                                                         cpu_to_node(cpu));
636                 else
637                         newinfo->entries[cpu] = vmalloc_node(size,
638                                                         cpu_to_node(cpu));
639
640                 if (newinfo->entries[cpu] == NULL) {
641                         xt_free_table_info(newinfo);
642                         return NULL;
643                 }
644         }
645
646         return newinfo;
647 }
648 EXPORT_SYMBOL(xt_alloc_table_info);
649
650 void xt_free_table_info(struct xt_table_info *info)
651 {
652         int cpu;
653
654         for_each_possible_cpu(cpu) {
655                 if (info->size <= PAGE_SIZE)
656                         kfree(info->entries[cpu]);
657                 else
658                         vfree(info->entries[cpu]);
659         }
660         kfree(info);
661 }
662 EXPORT_SYMBOL(xt_free_table_info);
663
664 /* Find table by name, grabs mutex & ref.  Returns ERR_PTR() on error. */
665 struct xt_table *xt_find_table_lock(struct net *net, u_int8_t af,
666                                     const char *name)
667 {
668         struct xt_table *t;
669
670         if (mutex_lock_interruptible(&xt[af].mutex) != 0)
671                 return ERR_PTR(-EINTR);
672
673         list_for_each_entry(t, &net->xt.tables[af], list)
674                 if (strcmp(t->name, name) == 0 && try_module_get(t->me))
675                         return t;
676         mutex_unlock(&xt[af].mutex);
677         return NULL;
678 }
679 EXPORT_SYMBOL_GPL(xt_find_table_lock);
680
681 void xt_table_unlock(struct xt_table *table)
682 {
683         mutex_unlock(&xt[table->af].mutex);
684 }
685 EXPORT_SYMBOL_GPL(xt_table_unlock);
686
687 #ifdef CONFIG_COMPAT
688 void xt_compat_lock(u_int8_t af)
689 {
690         mutex_lock(&xt[af].compat_mutex);
691 }
692 EXPORT_SYMBOL_GPL(xt_compat_lock);
693
694 void xt_compat_unlock(u_int8_t af)
695 {
696         mutex_unlock(&xt[af].compat_mutex);
697 }
698 EXPORT_SYMBOL_GPL(xt_compat_unlock);
699 #endif
700
701 DEFINE_PER_CPU(struct xt_info_lock, xt_info_locks);
702 EXPORT_PER_CPU_SYMBOL_GPL(xt_info_locks);
703
704
705 struct xt_table_info *
706 xt_replace_table(struct xt_table *table,
707               unsigned int num_counters,
708               struct xt_table_info *newinfo,
709               int *error)
710 {
711         struct xt_table_info *private;
712
713         /* Do the substitution. */
714         local_bh_disable();
715         private = table->private;
716
717         /* Check inside lock: is the old number correct? */
718         if (num_counters != private->number) {
719                 duprintf("num_counters != table->private->number (%u/%u)\n",
720                          num_counters, private->number);
721                 local_bh_enable();
722                 *error = -EAGAIN;
723                 return NULL;
724         }
725
726         table->private = newinfo;
727         newinfo->initial_entries = private->initial_entries;
728
729         /*
730          * Even though table entries have now been swapped, other CPU's
731          * may still be using the old entries. This is okay, because
732          * resynchronization happens because of the locking done
733          * during the get_counters() routine.
734          */
735         local_bh_enable();
736
737         return private;
738 }
739 EXPORT_SYMBOL_GPL(xt_replace_table);
740
741 struct xt_table *xt_register_table(struct net *net,
742                                    const struct xt_table *input_table,
743                                    struct xt_table_info *bootstrap,
744                                    struct xt_table_info *newinfo)
745 {
746         int ret;
747         struct xt_table_info *private;
748         struct xt_table *t, *table;
749
750         /* Don't add one object to multiple lists. */
751         table = kmemdup(input_table, sizeof(struct xt_table), GFP_KERNEL);
752         if (!table) {
753                 ret = -ENOMEM;
754                 goto out;
755         }
756
757         ret = mutex_lock_interruptible(&xt[table->af].mutex);
758         if (ret != 0)
759                 goto out_free;
760
761         /* Don't autoload: we'd eat our tail... */
762         list_for_each_entry(t, &net->xt.tables[table->af], list) {
763                 if (strcmp(t->name, table->name) == 0) {
764                         ret = -EEXIST;
765                         goto unlock;
766                 }
767         }
768
769         /* Simplifies replace_table code. */
770         table->private = bootstrap;
771
772         if (!xt_replace_table(table, 0, newinfo, &ret))
773                 goto unlock;
774
775         private = table->private;
776         duprintf("table->private->number = %u\n", private->number);
777
778         /* save number of initial entries */
779         private->initial_entries = private->number;
780
781         list_add(&table->list, &net->xt.tables[table->af]);
782         mutex_unlock(&xt[table->af].mutex);
783         return table;
784
785  unlock:
786         mutex_unlock(&xt[table->af].mutex);
787 out_free:
788         kfree(table);
789 out:
790         return ERR_PTR(ret);
791 }
792 EXPORT_SYMBOL_GPL(xt_register_table);
793
794 void *xt_unregister_table(struct xt_table *table)
795 {
796         struct xt_table_info *private;
797
798         mutex_lock(&xt[table->af].mutex);
799         private = table->private;
800         list_del(&table->list);
801         mutex_unlock(&xt[table->af].mutex);
802         kfree(table);
803
804         return private;
805 }
806 EXPORT_SYMBOL_GPL(xt_unregister_table);
807
808 #ifdef CONFIG_PROC_FS
809 struct xt_names_priv {
810         struct seq_net_private p;
811         u_int8_t af;
812 };
813 static void *xt_table_seq_start(struct seq_file *seq, loff_t *pos)
814 {
815         struct xt_names_priv *priv = seq->private;
816         struct net *net = seq_file_net(seq);
817         u_int8_t af = priv->af;
818
819         mutex_lock(&xt[af].mutex);
820         return seq_list_start(&net->xt.tables[af], *pos);
821 }
822
823 static void *xt_table_seq_next(struct seq_file *seq, void *v, loff_t *pos)
824 {
825         struct xt_names_priv *priv = seq->private;
826         struct net *net = seq_file_net(seq);
827         u_int8_t af = priv->af;
828
829         return seq_list_next(v, &net->xt.tables[af], pos);
830 }
831
832 static void xt_table_seq_stop(struct seq_file *seq, void *v)
833 {
834         struct xt_names_priv *priv = seq->private;
835         u_int8_t af = priv->af;
836
837         mutex_unlock(&xt[af].mutex);
838 }
839
840 static int xt_table_seq_show(struct seq_file *seq, void *v)
841 {
842         struct xt_table *table = list_entry(v, struct xt_table, list);
843
844         if (strlen(table->name))
845                 return seq_printf(seq, "%s\n", table->name);
846         else
847                 return 0;
848 }
849
850 static const struct seq_operations xt_table_seq_ops = {
851         .start  = xt_table_seq_start,
852         .next   = xt_table_seq_next,
853         .stop   = xt_table_seq_stop,
854         .show   = xt_table_seq_show,
855 };
856
857 static int xt_table_open(struct inode *inode, struct file *file)
858 {
859         int ret;
860         struct xt_names_priv *priv;
861
862         ret = seq_open_net(inode, file, &xt_table_seq_ops,
863                            sizeof(struct xt_names_priv));
864         if (!ret) {
865                 priv = ((struct seq_file *)file->private_data)->private;
866                 priv->af = (unsigned long)PDE(inode)->data;
867         }
868         return ret;
869 }
870
871 static const struct file_operations xt_table_ops = {
872         .owner   = THIS_MODULE,
873         .open    = xt_table_open,
874         .read    = seq_read,
875         .llseek  = seq_lseek,
876         .release = seq_release_net,
877 };
878
879 /*
880  * Traverse state for ip{,6}_{tables,matches} for helping crossing
881  * the multi-AF mutexes.
882  */
883 struct nf_mttg_trav {
884         struct list_head *head, *curr;
885         uint8_t class, nfproto;
886 };
887
888 enum {
889         MTTG_TRAV_INIT,
890         MTTG_TRAV_NFP_UNSPEC,
891         MTTG_TRAV_NFP_SPEC,
892         MTTG_TRAV_DONE,
893 };
894
895 static void *xt_mttg_seq_next(struct seq_file *seq, void *v, loff_t *ppos,
896     bool is_target)
897 {
898         static const uint8_t next_class[] = {
899                 [MTTG_TRAV_NFP_UNSPEC] = MTTG_TRAV_NFP_SPEC,
900                 [MTTG_TRAV_NFP_SPEC]   = MTTG_TRAV_DONE,
901         };
902         struct nf_mttg_trav *trav = seq->private;
903
904         switch (trav->class) {
905         case MTTG_TRAV_INIT:
906                 trav->class = MTTG_TRAV_NFP_UNSPEC;
907                 mutex_lock(&xt[NFPROTO_UNSPEC].mutex);
908                 trav->head = trav->curr = is_target ?
909                         &xt[NFPROTO_UNSPEC].target : &xt[NFPROTO_UNSPEC].match;
910                 break;
911         case MTTG_TRAV_NFP_UNSPEC:
912                 trav->curr = trav->curr->next;
913                 if (trav->curr != trav->head)
914                         break;
915                 mutex_unlock(&xt[NFPROTO_UNSPEC].mutex);
916                 mutex_lock(&xt[trav->nfproto].mutex);
917                 trav->head = trav->curr = is_target ?
918                         &xt[trav->nfproto].target : &xt[trav->nfproto].match;
919                 trav->class = next_class[trav->class];
920                 break;
921         case MTTG_TRAV_NFP_SPEC:
922                 trav->curr = trav->curr->next;
923                 if (trav->curr != trav->head)
924                         break;
925                 /* fallthru, _stop will unlock */
926         default:
927                 return NULL;
928         }
929
930         if (ppos != NULL)
931                 ++*ppos;
932         return trav;
933 }
934
935 static void *xt_mttg_seq_start(struct seq_file *seq, loff_t *pos,
936     bool is_target)
937 {
938         struct nf_mttg_trav *trav = seq->private;
939         unsigned int j;
940
941         trav->class = MTTG_TRAV_INIT;
942         for (j = 0; j < *pos; ++j)
943                 if (xt_mttg_seq_next(seq, NULL, NULL, is_target) == NULL)
944                         return NULL;
945         return trav;
946 }
947
948 static void xt_mttg_seq_stop(struct seq_file *seq, void *v)
949 {
950         struct nf_mttg_trav *trav = seq->private;
951
952         switch (trav->class) {
953         case MTTG_TRAV_NFP_UNSPEC:
954                 mutex_unlock(&xt[NFPROTO_UNSPEC].mutex);
955                 break;
956         case MTTG_TRAV_NFP_SPEC:
957                 mutex_unlock(&xt[trav->nfproto].mutex);
958                 break;
959         }
960 }
961
962 static void *xt_match_seq_start(struct seq_file *seq, loff_t *pos)
963 {
964         return xt_mttg_seq_start(seq, pos, false);
965 }
966
967 static void *xt_match_seq_next(struct seq_file *seq, void *v, loff_t *ppos)
968 {
969         return xt_mttg_seq_next(seq, v, ppos, false);
970 }
971
972 static int xt_match_seq_show(struct seq_file *seq, void *v)
973 {
974         const struct nf_mttg_trav *trav = seq->private;
975         const struct xt_match *match;
976
977         switch (trav->class) {
978         case MTTG_TRAV_NFP_UNSPEC:
979         case MTTG_TRAV_NFP_SPEC:
980                 if (trav->curr == trav->head)
981                         return 0;
982                 match = list_entry(trav->curr, struct xt_match, list);
983                 return (*match->name == '\0') ? 0 :
984                        seq_printf(seq, "%s\n", match->name);
985         }
986         return 0;
987 }
988
989 static const struct seq_operations xt_match_seq_ops = {
990         .start  = xt_match_seq_start,
991         .next   = xt_match_seq_next,
992         .stop   = xt_mttg_seq_stop,
993         .show   = xt_match_seq_show,
994 };
995
996 static int xt_match_open(struct inode *inode, struct file *file)
997 {
998         struct seq_file *seq;
999         struct nf_mttg_trav *trav;
1000         int ret;
1001
1002         trav = kmalloc(sizeof(*trav), GFP_KERNEL);
1003         if (trav == NULL)
1004                 return -ENOMEM;
1005
1006         ret = seq_open(file, &xt_match_seq_ops);
1007         if (ret < 0) {
1008                 kfree(trav);
1009                 return ret;
1010         }
1011
1012         seq = file->private_data;
1013         seq->private = trav;
1014         trav->nfproto = (unsigned long)PDE(inode)->data;
1015         return 0;
1016 }
1017
1018 static const struct file_operations xt_match_ops = {
1019         .owner   = THIS_MODULE,
1020         .open    = xt_match_open,
1021         .read    = seq_read,
1022         .llseek  = seq_lseek,
1023         .release = seq_release_private,
1024 };
1025
1026 static void *xt_target_seq_start(struct seq_file *seq, loff_t *pos)
1027 {
1028         return xt_mttg_seq_start(seq, pos, true);
1029 }
1030
1031 static void *xt_target_seq_next(struct seq_file *seq, void *v, loff_t *ppos)
1032 {
1033         return xt_mttg_seq_next(seq, v, ppos, true);
1034 }
1035
1036 static int xt_target_seq_show(struct seq_file *seq, void *v)
1037 {
1038         const struct nf_mttg_trav *trav = seq->private;
1039         const struct xt_target *target;
1040
1041         switch (trav->class) {
1042         case MTTG_TRAV_NFP_UNSPEC:
1043         case MTTG_TRAV_NFP_SPEC:
1044                 if (trav->curr == trav->head)
1045                         return 0;
1046                 target = list_entry(trav->curr, struct xt_target, list);
1047                 return (*target->name == '\0') ? 0 :
1048                        seq_printf(seq, "%s\n", target->name);
1049         }
1050         return 0;
1051 }
1052
1053 static const struct seq_operations xt_target_seq_ops = {
1054         .start  = xt_target_seq_start,
1055         .next   = xt_target_seq_next,
1056         .stop   = xt_mttg_seq_stop,
1057         .show   = xt_target_seq_show,
1058 };
1059
1060 static int xt_target_open(struct inode *inode, struct file *file)
1061 {
1062         struct seq_file *seq;
1063         struct nf_mttg_trav *trav;
1064         int ret;
1065
1066         trav = kmalloc(sizeof(*trav), GFP_KERNEL);
1067         if (trav == NULL)
1068                 return -ENOMEM;
1069
1070         ret = seq_open(file, &xt_target_seq_ops);
1071         if (ret < 0) {
1072                 kfree(trav);
1073                 return ret;
1074         }
1075
1076         seq = file->private_data;
1077         seq->private = trav;
1078         trav->nfproto = (unsigned long)PDE(inode)->data;
1079         return 0;
1080 }
1081
1082 static const struct file_operations xt_target_ops = {
1083         .owner   = THIS_MODULE,
1084         .open    = xt_target_open,
1085         .read    = seq_read,
1086         .llseek  = seq_lseek,
1087         .release = seq_release_private,
1088 };
1089
1090 #define FORMAT_TABLES   "_tables_names"
1091 #define FORMAT_MATCHES  "_tables_matches"
1092 #define FORMAT_TARGETS  "_tables_targets"
1093
1094 #endif /* CONFIG_PROC_FS */
1095
1096 /**
1097  * xt_hook_link - set up hooks for a new table
1098  * @table:      table with metadata needed to set up hooks
1099  * @fn:         Hook function
1100  *
1101  * This function will take care of creating and registering the necessary
1102  * Netfilter hooks for XT tables.
1103  */
1104 struct nf_hook_ops *xt_hook_link(const struct xt_table *table, nf_hookfn *fn)
1105 {
1106         unsigned int hook_mask = table->valid_hooks;
1107         uint8_t i, num_hooks = hweight32(hook_mask);
1108         uint8_t hooknum;
1109         struct nf_hook_ops *ops;
1110         int ret;
1111
1112         ops = kmalloc(sizeof(*ops) * num_hooks, GFP_KERNEL);
1113         if (ops == NULL)
1114                 return ERR_PTR(-ENOMEM);
1115
1116         for (i = 0, hooknum = 0; i < num_hooks && hook_mask != 0;
1117              hook_mask >>= 1, ++hooknum) {
1118                 if (!(hook_mask & 1))
1119                         continue;
1120                 ops[i].hook     = fn;
1121                 ops[i].owner    = table->me;
1122                 ops[i].pf       = table->af;
1123                 ops[i].hooknum  = hooknum;
1124                 ops[i].priority = table->priority;
1125                 ++i;
1126         }
1127
1128         ret = nf_register_hooks(ops, num_hooks);
1129         if (ret < 0) {
1130                 kfree(ops);
1131                 return ERR_PTR(ret);
1132         }
1133
1134         return ops;
1135 }
1136 EXPORT_SYMBOL_GPL(xt_hook_link);
1137
1138 /**
1139  * xt_hook_unlink - remove hooks for a table
1140  * @ops:        nf_hook_ops array as returned by nf_hook_link
1141  * @hook_mask:  the very same mask that was passed to nf_hook_link
1142  */
1143 void xt_hook_unlink(const struct xt_table *table, struct nf_hook_ops *ops)
1144 {
1145         nf_unregister_hooks(ops, hweight32(table->valid_hooks));
1146         kfree(ops);
1147 }
1148 EXPORT_SYMBOL_GPL(xt_hook_unlink);
1149
1150 int xt_proto_init(struct net *net, u_int8_t af)
1151 {
1152 #ifdef CONFIG_PROC_FS
1153         char buf[XT_FUNCTION_MAXNAMELEN];
1154         struct proc_dir_entry *proc;
1155 #endif
1156
1157         if (af >= ARRAY_SIZE(xt_prefix))
1158                 return -EINVAL;
1159
1160
1161 #ifdef CONFIG_PROC_FS
1162         strlcpy(buf, xt_prefix[af], sizeof(buf));
1163         strlcat(buf, FORMAT_TABLES, sizeof(buf));
1164         proc = proc_create_data(buf, 0440, net->proc_net, &xt_table_ops,
1165                                 (void *)(unsigned long)af);
1166         if (!proc)
1167                 goto out;
1168
1169         strlcpy(buf, xt_prefix[af], sizeof(buf));
1170         strlcat(buf, FORMAT_MATCHES, sizeof(buf));
1171         proc = proc_create_data(buf, 0440, net->proc_net, &xt_match_ops,
1172                                 (void *)(unsigned long)af);
1173         if (!proc)
1174                 goto out_remove_tables;
1175
1176         strlcpy(buf, xt_prefix[af], sizeof(buf));
1177         strlcat(buf, FORMAT_TARGETS, sizeof(buf));
1178         proc = proc_create_data(buf, 0440, net->proc_net, &xt_target_ops,
1179                                 (void *)(unsigned long)af);
1180         if (!proc)
1181                 goto out_remove_matches;
1182 #endif
1183
1184         return 0;
1185
1186 #ifdef CONFIG_PROC_FS
1187 out_remove_matches:
1188         strlcpy(buf, xt_prefix[af], sizeof(buf));
1189         strlcat(buf, FORMAT_MATCHES, sizeof(buf));
1190         proc_net_remove(net, buf);
1191
1192 out_remove_tables:
1193         strlcpy(buf, xt_prefix[af], sizeof(buf));
1194         strlcat(buf, FORMAT_TABLES, sizeof(buf));
1195         proc_net_remove(net, buf);
1196 out:
1197         return -1;
1198 #endif
1199 }
1200 EXPORT_SYMBOL_GPL(xt_proto_init);
1201
1202 void xt_proto_fini(struct net *net, u_int8_t af)
1203 {
1204 #ifdef CONFIG_PROC_FS
1205         char buf[XT_FUNCTION_MAXNAMELEN];
1206
1207         strlcpy(buf, xt_prefix[af], sizeof(buf));
1208         strlcat(buf, FORMAT_TABLES, sizeof(buf));
1209         proc_net_remove(net, buf);
1210
1211         strlcpy(buf, xt_prefix[af], sizeof(buf));
1212         strlcat(buf, FORMAT_TARGETS, sizeof(buf));
1213         proc_net_remove(net, buf);
1214
1215         strlcpy(buf, xt_prefix[af], sizeof(buf));
1216         strlcat(buf, FORMAT_MATCHES, sizeof(buf));
1217         proc_net_remove(net, buf);
1218 #endif /*CONFIG_PROC_FS*/
1219 }
1220 EXPORT_SYMBOL_GPL(xt_proto_fini);
1221
1222 static int __net_init xt_net_init(struct net *net)
1223 {
1224         int i;
1225
1226         for (i = 0; i < NFPROTO_NUMPROTO; i++)
1227                 INIT_LIST_HEAD(&net->xt.tables[i]);
1228         return 0;
1229 }
1230
1231 static struct pernet_operations xt_net_ops = {
1232         .init = xt_net_init,
1233 };
1234
1235 static int __init xt_init(void)
1236 {
1237         unsigned int i;
1238         int rv;
1239
1240         for_each_possible_cpu(i) {
1241                 struct xt_info_lock *lock = &per_cpu(xt_info_locks, i);
1242                 spin_lock_init(&lock->lock);
1243                 lock->readers = 0;
1244         }
1245
1246         xt = kmalloc(sizeof(struct xt_af) * NFPROTO_NUMPROTO, GFP_KERNEL);
1247         if (!xt)
1248                 return -ENOMEM;
1249
1250         for (i = 0; i < NFPROTO_NUMPROTO; i++) {
1251                 mutex_init(&xt[i].mutex);
1252 #ifdef CONFIG_COMPAT
1253                 mutex_init(&xt[i].compat_mutex);
1254                 xt[i].compat_offsets = NULL;
1255 #endif
1256                 INIT_LIST_HEAD(&xt[i].target);
1257                 INIT_LIST_HEAD(&xt[i].match);
1258         }
1259         rv = register_pernet_subsys(&xt_net_ops);
1260         if (rv < 0)
1261                 kfree(xt);
1262         return rv;
1263 }
1264
1265 static void __exit xt_fini(void)
1266 {
1267         unregister_pernet_subsys(&xt_net_ops);
1268         kfree(xt);
1269 }
1270
1271 module_init(xt_init);
1272 module_exit(xt_fini);
1273