xt_hashlimit: allocate a copy of name explicitly, don't rely on procfs guts
[linux-3.10.git] / net / netfilter / xt_hashlimit.c
1 /*
2  *      xt_hashlimit - Netfilter module to limit the number of packets per time
3  *      separately for each hashbucket (sourceip/sourceport/dstip/dstport)
4  *
5  *      (C) 2003-2004 by Harald Welte <laforge@netfilter.org>
6  *      Copyright © CC Computer Consultants GmbH, 2007 - 2008
7  *
8  * Development of this code was funded by Astaro AG, http://www.astaro.com/
9  */
10 #define pr_fmt(fmt) KBUILD_MODNAME ": " fmt
11 #include <linux/module.h>
12 #include <linux/spinlock.h>
13 #include <linux/random.h>
14 #include <linux/jhash.h>
15 #include <linux/slab.h>
16 #include <linux/vmalloc.h>
17 #include <linux/proc_fs.h>
18 #include <linux/seq_file.h>
19 #include <linux/list.h>
20 #include <linux/skbuff.h>
21 #include <linux/mm.h>
22 #include <linux/in.h>
23 #include <linux/ip.h>
24 #if IS_ENABLED(CONFIG_IP6_NF_IPTABLES)
25 #include <linux/ipv6.h>
26 #include <net/ipv6.h>
27 #endif
28
29 #include <net/net_namespace.h>
30 #include <net/netns/generic.h>
31
32 #include <linux/netfilter/x_tables.h>
33 #include <linux/netfilter_ipv4/ip_tables.h>
34 #include <linux/netfilter_ipv6/ip6_tables.h>
35 #include <linux/netfilter/xt_hashlimit.h>
36 #include <linux/mutex.h>
37
38 MODULE_LICENSE("GPL");
39 MODULE_AUTHOR("Harald Welte <laforge@netfilter.org>");
40 MODULE_AUTHOR("Jan Engelhardt <jengelh@medozas.de>");
41 MODULE_DESCRIPTION("Xtables: per hash-bucket rate-limit match");
42 MODULE_ALIAS("ipt_hashlimit");
43 MODULE_ALIAS("ip6t_hashlimit");
44
45 struct hashlimit_net {
46         struct hlist_head       htables;
47         struct proc_dir_entry   *ipt_hashlimit;
48         struct proc_dir_entry   *ip6t_hashlimit;
49 };
50
51 static int hashlimit_net_id;
52 static inline struct hashlimit_net *hashlimit_pernet(struct net *net)
53 {
54         return net_generic(net, hashlimit_net_id);
55 }
56
57 /* need to declare this at the top */
58 static const struct file_operations dl_file_ops;
59
60 /* hash table crap */
61 struct dsthash_dst {
62         union {
63                 struct {
64                         __be32 src;
65                         __be32 dst;
66                 } ip;
67 #if IS_ENABLED(CONFIG_IP6_NF_IPTABLES)
68                 struct {
69                         __be32 src[4];
70                         __be32 dst[4];
71                 } ip6;
72 #endif
73         };
74         __be16 src_port;
75         __be16 dst_port;
76 };
77
78 struct dsthash_ent {
79         /* static / read-only parts in the beginning */
80         struct hlist_node node;
81         struct dsthash_dst dst;
82
83         /* modified structure members in the end */
84         spinlock_t lock;
85         unsigned long expires;          /* precalculated expiry time */
86         struct {
87                 unsigned long prev;     /* last modification */
88                 u_int32_t credit;
89                 u_int32_t credit_cap, cost;
90         } rateinfo;
91         struct rcu_head rcu;
92 };
93
94 struct xt_hashlimit_htable {
95         struct hlist_node node;         /* global list of all htables */
96         int use;
97         u_int8_t family;
98         bool rnd_initialized;
99
100         struct hashlimit_cfg1 cfg;      /* config */
101
102         /* used internally */
103         spinlock_t lock;                /* lock for list_head */
104         u_int32_t rnd;                  /* random seed for hash */
105         unsigned int count;             /* number entries in table */
106         struct timer_list timer;        /* timer for gc */
107
108         /* seq_file stuff */
109         struct proc_dir_entry *pde;
110         const char *name;
111         struct net *net;
112
113         struct hlist_head hash[0];      /* hashtable itself */
114 };
115
116 static DEFINE_MUTEX(hashlimit_mutex);   /* protects htables list */
117 static struct kmem_cache *hashlimit_cachep __read_mostly;
118
119 static inline bool dst_cmp(const struct dsthash_ent *ent,
120                            const struct dsthash_dst *b)
121 {
122         return !memcmp(&ent->dst, b, sizeof(ent->dst));
123 }
124
125 static u_int32_t
126 hash_dst(const struct xt_hashlimit_htable *ht, const struct dsthash_dst *dst)
127 {
128         u_int32_t hash = jhash2((const u32 *)dst,
129                                 sizeof(*dst)/sizeof(u32),
130                                 ht->rnd);
131         /*
132          * Instead of returning hash % ht->cfg.size (implying a divide)
133          * we return the high 32 bits of the (hash * ht->cfg.size) that will
134          * give results between [0 and cfg.size-1] and same hash distribution,
135          * but using a multiply, less expensive than a divide
136          */
137         return ((u64)hash * ht->cfg.size) >> 32;
138 }
139
140 static struct dsthash_ent *
141 dsthash_find(const struct xt_hashlimit_htable *ht,
142              const struct dsthash_dst *dst)
143 {
144         struct dsthash_ent *ent;
145         u_int32_t hash = hash_dst(ht, dst);
146
147         if (!hlist_empty(&ht->hash[hash])) {
148                 hlist_for_each_entry_rcu(ent, &ht->hash[hash], node)
149                         if (dst_cmp(ent, dst)) {
150                                 spin_lock(&ent->lock);
151                                 return ent;
152                         }
153         }
154         return NULL;
155 }
156
157 /* allocate dsthash_ent, initialize dst, put in htable and lock it */
158 static struct dsthash_ent *
159 dsthash_alloc_init(struct xt_hashlimit_htable *ht,
160                    const struct dsthash_dst *dst, bool *race)
161 {
162         struct dsthash_ent *ent;
163
164         spin_lock(&ht->lock);
165
166         /* Two or more packets may race to create the same entry in the
167          * hashtable, double check if this packet lost race.
168          */
169         ent = dsthash_find(ht, dst);
170         if (ent != NULL) {
171                 spin_unlock(&ht->lock);
172                 *race = true;
173                 return ent;
174         }
175
176         /* initialize hash with random val at the time we allocate
177          * the first hashtable entry */
178         if (unlikely(!ht->rnd_initialized)) {
179                 get_random_bytes(&ht->rnd, sizeof(ht->rnd));
180                 ht->rnd_initialized = true;
181         }
182
183         if (ht->cfg.max && ht->count >= ht->cfg.max) {
184                 /* FIXME: do something. question is what.. */
185                 net_err_ratelimited("max count of %u reached\n", ht->cfg.max);
186                 ent = NULL;
187         } else
188                 ent = kmem_cache_alloc(hashlimit_cachep, GFP_ATOMIC);
189         if (ent) {
190                 memcpy(&ent->dst, dst, sizeof(ent->dst));
191                 spin_lock_init(&ent->lock);
192
193                 spin_lock(&ent->lock);
194                 hlist_add_head_rcu(&ent->node, &ht->hash[hash_dst(ht, dst)]);
195                 ht->count++;
196         }
197         spin_unlock(&ht->lock);
198         return ent;
199 }
200
201 static void dsthash_free_rcu(struct rcu_head *head)
202 {
203         struct dsthash_ent *ent = container_of(head, struct dsthash_ent, rcu);
204
205         kmem_cache_free(hashlimit_cachep, ent);
206 }
207
208 static inline void
209 dsthash_free(struct xt_hashlimit_htable *ht, struct dsthash_ent *ent)
210 {
211         hlist_del_rcu(&ent->node);
212         call_rcu_bh(&ent->rcu, dsthash_free_rcu);
213         ht->count--;
214 }
215 static void htable_gc(unsigned long htlong);
216
217 static int htable_create(struct net *net, struct xt_hashlimit_mtinfo1 *minfo,
218                          u_int8_t family)
219 {
220         struct hashlimit_net *hashlimit_net = hashlimit_pernet(net);
221         struct xt_hashlimit_htable *hinfo;
222         unsigned int size;
223         unsigned int i;
224
225         if (minfo->cfg.size) {
226                 size = minfo->cfg.size;
227         } else {
228                 size = (totalram_pages << PAGE_SHIFT) / 16384 /
229                        sizeof(struct list_head);
230                 if (totalram_pages > 1024 * 1024 * 1024 / PAGE_SIZE)
231                         size = 8192;
232                 if (size < 16)
233                         size = 16;
234         }
235         /* FIXME: don't use vmalloc() here or anywhere else -HW */
236         hinfo = vmalloc(sizeof(struct xt_hashlimit_htable) +
237                         sizeof(struct list_head) * size);
238         if (hinfo == NULL)
239                 return -ENOMEM;
240         minfo->hinfo = hinfo;
241
242         /* copy match config into hashtable config */
243         memcpy(&hinfo->cfg, &minfo->cfg, sizeof(hinfo->cfg));
244         hinfo->cfg.size = size;
245         if (hinfo->cfg.max == 0)
246                 hinfo->cfg.max = 8 * hinfo->cfg.size;
247         else if (hinfo->cfg.max < hinfo->cfg.size)
248                 hinfo->cfg.max = hinfo->cfg.size;
249
250         for (i = 0; i < hinfo->cfg.size; i++)
251                 INIT_HLIST_HEAD(&hinfo->hash[i]);
252
253         hinfo->use = 1;
254         hinfo->count = 0;
255         hinfo->family = family;
256         hinfo->rnd_initialized = false;
257         hinfo->name = kstrdup(minfo->name, GFP_KERNEL);
258         if (!hinfo->name) {
259                 vfree(hinfo);
260                 return -ENOMEM;
261         }
262         spin_lock_init(&hinfo->lock);
263
264         hinfo->pde = proc_create_data(minfo->name, 0,
265                 (family == NFPROTO_IPV4) ?
266                 hashlimit_net->ipt_hashlimit : hashlimit_net->ip6t_hashlimit,
267                 &dl_file_ops, hinfo);
268         if (hinfo->pde == NULL) {
269                 kfree(hinfo->name);
270                 vfree(hinfo);
271                 return -ENOMEM;
272         }
273         hinfo->net = net;
274
275         setup_timer(&hinfo->timer, htable_gc, (unsigned long)hinfo);
276         hinfo->timer.expires = jiffies + msecs_to_jiffies(hinfo->cfg.gc_interval);
277         add_timer(&hinfo->timer);
278
279         hlist_add_head(&hinfo->node, &hashlimit_net->htables);
280
281         return 0;
282 }
283
284 static bool select_all(const struct xt_hashlimit_htable *ht,
285                        const struct dsthash_ent *he)
286 {
287         return 1;
288 }
289
290 static bool select_gc(const struct xt_hashlimit_htable *ht,
291                       const struct dsthash_ent *he)
292 {
293         return time_after_eq(jiffies, he->expires);
294 }
295
296 static void htable_selective_cleanup(struct xt_hashlimit_htable *ht,
297                         bool (*select)(const struct xt_hashlimit_htable *ht,
298                                       const struct dsthash_ent *he))
299 {
300         unsigned int i;
301
302         /* lock hash table and iterate over it */
303         spin_lock_bh(&ht->lock);
304         for (i = 0; i < ht->cfg.size; i++) {
305                 struct dsthash_ent *dh;
306                 struct hlist_node *n;
307                 hlist_for_each_entry_safe(dh, n, &ht->hash[i], node) {
308                         if ((*select)(ht, dh))
309                                 dsthash_free(ht, dh);
310                 }
311         }
312         spin_unlock_bh(&ht->lock);
313 }
314
315 /* hash table garbage collector, run by timer */
316 static void htable_gc(unsigned long htlong)
317 {
318         struct xt_hashlimit_htable *ht = (struct xt_hashlimit_htable *)htlong;
319
320         htable_selective_cleanup(ht, select_gc);
321
322         /* re-add the timer accordingly */
323         ht->timer.expires = jiffies + msecs_to_jiffies(ht->cfg.gc_interval);
324         add_timer(&ht->timer);
325 }
326
327 static void htable_destroy(struct xt_hashlimit_htable *hinfo)
328 {
329         struct hashlimit_net *hashlimit_net = hashlimit_pernet(hinfo->net);
330         struct proc_dir_entry *parent;
331
332         del_timer_sync(&hinfo->timer);
333
334         if (hinfo->family == NFPROTO_IPV4)
335                 parent = hashlimit_net->ipt_hashlimit;
336         else
337                 parent = hashlimit_net->ip6t_hashlimit;
338
339         if(parent != NULL)
340                 remove_proc_entry(hinfo->name, parent);
341
342         htable_selective_cleanup(hinfo, select_all);
343         kfree(hinfo->name);
344         vfree(hinfo);
345 }
346
347 static struct xt_hashlimit_htable *htable_find_get(struct net *net,
348                                                    const char *name,
349                                                    u_int8_t family)
350 {
351         struct hashlimit_net *hashlimit_net = hashlimit_pernet(net);
352         struct xt_hashlimit_htable *hinfo;
353
354         hlist_for_each_entry(hinfo, &hashlimit_net->htables, node) {
355                 if (!strcmp(name, hinfo->name) &&
356                     hinfo->family == family) {
357                         hinfo->use++;
358                         return hinfo;
359                 }
360         }
361         return NULL;
362 }
363
364 static void htable_put(struct xt_hashlimit_htable *hinfo)
365 {
366         mutex_lock(&hashlimit_mutex);
367         if (--hinfo->use == 0) {
368                 hlist_del(&hinfo->node);
369                 htable_destroy(hinfo);
370         }
371         mutex_unlock(&hashlimit_mutex);
372 }
373
374 /* The algorithm used is the Simple Token Bucket Filter (TBF)
375  * see net/sched/sch_tbf.c in the linux source tree
376  */
377
378 /* Rusty: This is my (non-mathematically-inclined) understanding of
379    this algorithm.  The `average rate' in jiffies becomes your initial
380    amount of credit `credit' and the most credit you can ever have
381    `credit_cap'.  The `peak rate' becomes the cost of passing the
382    test, `cost'.
383
384    `prev' tracks the last packet hit: you gain one credit per jiffy.
385    If you get credit balance more than this, the extra credit is
386    discarded.  Every time the match passes, you lose `cost' credits;
387    if you don't have that many, the test fails.
388
389    See Alexey's formal explanation in net/sched/sch_tbf.c.
390
391    To get the maximum range, we multiply by this factor (ie. you get N
392    credits per jiffy).  We want to allow a rate as low as 1 per day
393    (slowest userspace tool allows), which means
394    CREDITS_PER_JIFFY*HZ*60*60*24 < 2^32 ie.
395 */
396 #define MAX_CPJ (0xFFFFFFFF / (HZ*60*60*24))
397
398 /* Repeated shift and or gives us all 1s, final shift and add 1 gives
399  * us the power of 2 below the theoretical max, so GCC simply does a
400  * shift. */
401 #define _POW2_BELOW2(x) ((x)|((x)>>1))
402 #define _POW2_BELOW4(x) (_POW2_BELOW2(x)|_POW2_BELOW2((x)>>2))
403 #define _POW2_BELOW8(x) (_POW2_BELOW4(x)|_POW2_BELOW4((x)>>4))
404 #define _POW2_BELOW16(x) (_POW2_BELOW8(x)|_POW2_BELOW8((x)>>8))
405 #define _POW2_BELOW32(x) (_POW2_BELOW16(x)|_POW2_BELOW16((x)>>16))
406 #define POW2_BELOW32(x) ((_POW2_BELOW32(x)>>1) + 1)
407
408 #define CREDITS_PER_JIFFY POW2_BELOW32(MAX_CPJ)
409
410 /* in byte mode, the lowest possible rate is one packet/second.
411  * credit_cap is used as a counter that tells us how many times we can
412  * refill the "credits available" counter when it becomes empty.
413  */
414 #define MAX_CPJ_BYTES (0xFFFFFFFF / HZ)
415 #define CREDITS_PER_JIFFY_BYTES POW2_BELOW32(MAX_CPJ_BYTES)
416
417 static u32 xt_hashlimit_len_to_chunks(u32 len)
418 {
419         return (len >> XT_HASHLIMIT_BYTE_SHIFT) + 1;
420 }
421
422 /* Precision saver. */
423 static u32 user2credits(u32 user)
424 {
425         /* If multiplying would overflow... */
426         if (user > 0xFFFFFFFF / (HZ*CREDITS_PER_JIFFY))
427                 /* Divide first. */
428                 return (user / XT_HASHLIMIT_SCALE) * HZ * CREDITS_PER_JIFFY;
429
430         return (user * HZ * CREDITS_PER_JIFFY) / XT_HASHLIMIT_SCALE;
431 }
432
433 static u32 user2credits_byte(u32 user)
434 {
435         u64 us = user;
436         us *= HZ * CREDITS_PER_JIFFY_BYTES;
437         return (u32) (us >> 32);
438 }
439
440 static void rateinfo_recalc(struct dsthash_ent *dh, unsigned long now, u32 mode)
441 {
442         unsigned long delta = now - dh->rateinfo.prev;
443         u32 cap;
444
445         if (delta == 0)
446                 return;
447
448         dh->rateinfo.prev = now;
449
450         if (mode & XT_HASHLIMIT_BYTES) {
451                 u32 tmp = dh->rateinfo.credit;
452                 dh->rateinfo.credit += CREDITS_PER_JIFFY_BYTES * delta;
453                 cap = CREDITS_PER_JIFFY_BYTES * HZ;
454                 if (tmp >= dh->rateinfo.credit) {/* overflow */
455                         dh->rateinfo.credit = cap;
456                         return;
457                 }
458         } else {
459                 dh->rateinfo.credit += delta * CREDITS_PER_JIFFY;
460                 cap = dh->rateinfo.credit_cap;
461         }
462         if (dh->rateinfo.credit > cap)
463                 dh->rateinfo.credit = cap;
464 }
465
466 static void rateinfo_init(struct dsthash_ent *dh,
467                           struct xt_hashlimit_htable *hinfo)
468 {
469         dh->rateinfo.prev = jiffies;
470         if (hinfo->cfg.mode & XT_HASHLIMIT_BYTES) {
471                 dh->rateinfo.credit = CREDITS_PER_JIFFY_BYTES * HZ;
472                 dh->rateinfo.cost = user2credits_byte(hinfo->cfg.avg);
473                 dh->rateinfo.credit_cap = hinfo->cfg.burst;
474         } else {
475                 dh->rateinfo.credit = user2credits(hinfo->cfg.avg *
476                                                    hinfo->cfg.burst);
477                 dh->rateinfo.cost = user2credits(hinfo->cfg.avg);
478                 dh->rateinfo.credit_cap = dh->rateinfo.credit;
479         }
480 }
481
482 static inline __be32 maskl(__be32 a, unsigned int l)
483 {
484         return l ? htonl(ntohl(a) & ~0 << (32 - l)) : 0;
485 }
486
487 #if IS_ENABLED(CONFIG_IP6_NF_IPTABLES)
488 static void hashlimit_ipv6_mask(__be32 *i, unsigned int p)
489 {
490         switch (p) {
491         case 0 ... 31:
492                 i[0] = maskl(i[0], p);
493                 i[1] = i[2] = i[3] = 0;
494                 break;
495         case 32 ... 63:
496                 i[1] = maskl(i[1], p - 32);
497                 i[2] = i[3] = 0;
498                 break;
499         case 64 ... 95:
500                 i[2] = maskl(i[2], p - 64);
501                 i[3] = 0;
502                 break;
503         case 96 ... 127:
504                 i[3] = maskl(i[3], p - 96);
505                 break;
506         case 128:
507                 break;
508         }
509 }
510 #endif
511
512 static int
513 hashlimit_init_dst(const struct xt_hashlimit_htable *hinfo,
514                    struct dsthash_dst *dst,
515                    const struct sk_buff *skb, unsigned int protoff)
516 {
517         __be16 _ports[2], *ports;
518         u8 nexthdr;
519         int poff;
520
521         memset(dst, 0, sizeof(*dst));
522
523         switch (hinfo->family) {
524         case NFPROTO_IPV4:
525                 if (hinfo->cfg.mode & XT_HASHLIMIT_HASH_DIP)
526                         dst->ip.dst = maskl(ip_hdr(skb)->daddr,
527                                       hinfo->cfg.dstmask);
528                 if (hinfo->cfg.mode & XT_HASHLIMIT_HASH_SIP)
529                         dst->ip.src = maskl(ip_hdr(skb)->saddr,
530                                       hinfo->cfg.srcmask);
531
532                 if (!(hinfo->cfg.mode &
533                       (XT_HASHLIMIT_HASH_DPT | XT_HASHLIMIT_HASH_SPT)))
534                         return 0;
535                 nexthdr = ip_hdr(skb)->protocol;
536                 break;
537 #if IS_ENABLED(CONFIG_IP6_NF_IPTABLES)
538         case NFPROTO_IPV6:
539         {
540                 __be16 frag_off;
541
542                 if (hinfo->cfg.mode & XT_HASHLIMIT_HASH_DIP) {
543                         memcpy(&dst->ip6.dst, &ipv6_hdr(skb)->daddr,
544                                sizeof(dst->ip6.dst));
545                         hashlimit_ipv6_mask(dst->ip6.dst, hinfo->cfg.dstmask);
546                 }
547                 if (hinfo->cfg.mode & XT_HASHLIMIT_HASH_SIP) {
548                         memcpy(&dst->ip6.src, &ipv6_hdr(skb)->saddr,
549                                sizeof(dst->ip6.src));
550                         hashlimit_ipv6_mask(dst->ip6.src, hinfo->cfg.srcmask);
551                 }
552
553                 if (!(hinfo->cfg.mode &
554                       (XT_HASHLIMIT_HASH_DPT | XT_HASHLIMIT_HASH_SPT)))
555                         return 0;
556                 nexthdr = ipv6_hdr(skb)->nexthdr;
557                 protoff = ipv6_skip_exthdr(skb, sizeof(struct ipv6hdr), &nexthdr, &frag_off);
558                 if ((int)protoff < 0)
559                         return -1;
560                 break;
561         }
562 #endif
563         default:
564                 BUG();
565                 return 0;
566         }
567
568         poff = proto_ports_offset(nexthdr);
569         if (poff >= 0) {
570                 ports = skb_header_pointer(skb, protoff + poff, sizeof(_ports),
571                                            &_ports);
572         } else {
573                 _ports[0] = _ports[1] = 0;
574                 ports = _ports;
575         }
576         if (!ports)
577                 return -1;
578         if (hinfo->cfg.mode & XT_HASHLIMIT_HASH_SPT)
579                 dst->src_port = ports[0];
580         if (hinfo->cfg.mode & XT_HASHLIMIT_HASH_DPT)
581                 dst->dst_port = ports[1];
582         return 0;
583 }
584
585 static u32 hashlimit_byte_cost(unsigned int len, struct dsthash_ent *dh)
586 {
587         u64 tmp = xt_hashlimit_len_to_chunks(len);
588         tmp = tmp * dh->rateinfo.cost;
589
590         if (unlikely(tmp > CREDITS_PER_JIFFY_BYTES * HZ))
591                 tmp = CREDITS_PER_JIFFY_BYTES * HZ;
592
593         if (dh->rateinfo.credit < tmp && dh->rateinfo.credit_cap) {
594                 dh->rateinfo.credit_cap--;
595                 dh->rateinfo.credit = CREDITS_PER_JIFFY_BYTES * HZ;
596         }
597         return (u32) tmp;
598 }
599
600 static bool
601 hashlimit_mt(const struct sk_buff *skb, struct xt_action_param *par)
602 {
603         const struct xt_hashlimit_mtinfo1 *info = par->matchinfo;
604         struct xt_hashlimit_htable *hinfo = info->hinfo;
605         unsigned long now = jiffies;
606         struct dsthash_ent *dh;
607         struct dsthash_dst dst;
608         bool race = false;
609         u32 cost;
610
611         if (hashlimit_init_dst(hinfo, &dst, skb, par->thoff) < 0)
612                 goto hotdrop;
613
614         rcu_read_lock_bh();
615         dh = dsthash_find(hinfo, &dst);
616         if (dh == NULL) {
617                 dh = dsthash_alloc_init(hinfo, &dst, &race);
618                 if (dh == NULL) {
619                         rcu_read_unlock_bh();
620                         goto hotdrop;
621                 } else if (race) {
622                         /* Already got an entry, update expiration timeout */
623                         dh->expires = now + msecs_to_jiffies(hinfo->cfg.expire);
624                         rateinfo_recalc(dh, now, hinfo->cfg.mode);
625                 } else {
626                         dh->expires = jiffies + msecs_to_jiffies(hinfo->cfg.expire);
627                         rateinfo_init(dh, hinfo);
628                 }
629         } else {
630                 /* update expiration timeout */
631                 dh->expires = now + msecs_to_jiffies(hinfo->cfg.expire);
632                 rateinfo_recalc(dh, now, hinfo->cfg.mode);
633         }
634
635         if (info->cfg.mode & XT_HASHLIMIT_BYTES)
636                 cost = hashlimit_byte_cost(skb->len, dh);
637         else
638                 cost = dh->rateinfo.cost;
639
640         if (dh->rateinfo.credit >= cost) {
641                 /* below the limit */
642                 dh->rateinfo.credit -= cost;
643                 spin_unlock(&dh->lock);
644                 rcu_read_unlock_bh();
645                 return !(info->cfg.mode & XT_HASHLIMIT_INVERT);
646         }
647
648         spin_unlock(&dh->lock);
649         rcu_read_unlock_bh();
650         /* default match is underlimit - so over the limit, we need to invert */
651         return info->cfg.mode & XT_HASHLIMIT_INVERT;
652
653  hotdrop:
654         par->hotdrop = true;
655         return false;
656 }
657
658 static int hashlimit_mt_check(const struct xt_mtchk_param *par)
659 {
660         struct net *net = par->net;
661         struct xt_hashlimit_mtinfo1 *info = par->matchinfo;
662         int ret;
663
664         if (info->cfg.gc_interval == 0 || info->cfg.expire == 0)
665                 return -EINVAL;
666         if (info->name[sizeof(info->name)-1] != '\0')
667                 return -EINVAL;
668         if (par->family == NFPROTO_IPV4) {
669                 if (info->cfg.srcmask > 32 || info->cfg.dstmask > 32)
670                         return -EINVAL;
671         } else {
672                 if (info->cfg.srcmask > 128 || info->cfg.dstmask > 128)
673                         return -EINVAL;
674         }
675
676         if (info->cfg.mode & ~XT_HASHLIMIT_ALL) {
677                 pr_info("Unknown mode mask %X, kernel too old?\n",
678                                                 info->cfg.mode);
679                 return -EINVAL;
680         }
681
682         /* Check for overflow. */
683         if (info->cfg.mode & XT_HASHLIMIT_BYTES) {
684                 if (user2credits_byte(info->cfg.avg) == 0) {
685                         pr_info("overflow, rate too high: %u\n", info->cfg.avg);
686                         return -EINVAL;
687                 }
688         } else if (info->cfg.burst == 0 ||
689                     user2credits(info->cfg.avg * info->cfg.burst) <
690                     user2credits(info->cfg.avg)) {
691                         pr_info("overflow, try lower: %u/%u\n",
692                                 info->cfg.avg, info->cfg.burst);
693                         return -ERANGE;
694         }
695
696         mutex_lock(&hashlimit_mutex);
697         info->hinfo = htable_find_get(net, info->name, par->family);
698         if (info->hinfo == NULL) {
699                 ret = htable_create(net, info, par->family);
700                 if (ret < 0) {
701                         mutex_unlock(&hashlimit_mutex);
702                         return ret;
703                 }
704         }
705         mutex_unlock(&hashlimit_mutex);
706         return 0;
707 }
708
709 static void hashlimit_mt_destroy(const struct xt_mtdtor_param *par)
710 {
711         const struct xt_hashlimit_mtinfo1 *info = par->matchinfo;
712
713         htable_put(info->hinfo);
714 }
715
716 static struct xt_match hashlimit_mt_reg[] __read_mostly = {
717         {
718                 .name           = "hashlimit",
719                 .revision       = 1,
720                 .family         = NFPROTO_IPV4,
721                 .match          = hashlimit_mt,
722                 .matchsize      = sizeof(struct xt_hashlimit_mtinfo1),
723                 .checkentry     = hashlimit_mt_check,
724                 .destroy        = hashlimit_mt_destroy,
725                 .me             = THIS_MODULE,
726         },
727 #if IS_ENABLED(CONFIG_IP6_NF_IPTABLES)
728         {
729                 .name           = "hashlimit",
730                 .revision       = 1,
731                 .family         = NFPROTO_IPV6,
732                 .match          = hashlimit_mt,
733                 .matchsize      = sizeof(struct xt_hashlimit_mtinfo1),
734                 .checkentry     = hashlimit_mt_check,
735                 .destroy        = hashlimit_mt_destroy,
736                 .me             = THIS_MODULE,
737         },
738 #endif
739 };
740
741 /* PROC stuff */
742 static void *dl_seq_start(struct seq_file *s, loff_t *pos)
743         __acquires(htable->lock)
744 {
745         struct xt_hashlimit_htable *htable = s->private;
746         unsigned int *bucket;
747
748         spin_lock_bh(&htable->lock);
749         if (*pos >= htable->cfg.size)
750                 return NULL;
751
752         bucket = kmalloc(sizeof(unsigned int), GFP_ATOMIC);
753         if (!bucket)
754                 return ERR_PTR(-ENOMEM);
755
756         *bucket = *pos;
757         return bucket;
758 }
759
760 static void *dl_seq_next(struct seq_file *s, void *v, loff_t *pos)
761 {
762         struct xt_hashlimit_htable *htable = s->private;
763         unsigned int *bucket = (unsigned int *)v;
764
765         *pos = ++(*bucket);
766         if (*pos >= htable->cfg.size) {
767                 kfree(v);
768                 return NULL;
769         }
770         return bucket;
771 }
772
773 static void dl_seq_stop(struct seq_file *s, void *v)
774         __releases(htable->lock)
775 {
776         struct xt_hashlimit_htable *htable = s->private;
777         unsigned int *bucket = (unsigned int *)v;
778
779         if (!IS_ERR(bucket))
780                 kfree(bucket);
781         spin_unlock_bh(&htable->lock);
782 }
783
784 static int dl_seq_real_show(struct dsthash_ent *ent, u_int8_t family,
785                                    struct seq_file *s)
786 {
787         int res;
788         const struct xt_hashlimit_htable *ht = s->private;
789
790         spin_lock(&ent->lock);
791         /* recalculate to show accurate numbers */
792         rateinfo_recalc(ent, jiffies, ht->cfg.mode);
793
794         switch (family) {
795         case NFPROTO_IPV4:
796                 res = seq_printf(s, "%ld %pI4:%u->%pI4:%u %u %u %u\n",
797                                  (long)(ent->expires - jiffies)/HZ,
798                                  &ent->dst.ip.src,
799                                  ntohs(ent->dst.src_port),
800                                  &ent->dst.ip.dst,
801                                  ntohs(ent->dst.dst_port),
802                                  ent->rateinfo.credit, ent->rateinfo.credit_cap,
803                                  ent->rateinfo.cost);
804                 break;
805 #if IS_ENABLED(CONFIG_IP6_NF_IPTABLES)
806         case NFPROTO_IPV6:
807                 res = seq_printf(s, "%ld %pI6:%u->%pI6:%u %u %u %u\n",
808                                  (long)(ent->expires - jiffies)/HZ,
809                                  &ent->dst.ip6.src,
810                                  ntohs(ent->dst.src_port),
811                                  &ent->dst.ip6.dst,
812                                  ntohs(ent->dst.dst_port),
813                                  ent->rateinfo.credit, ent->rateinfo.credit_cap,
814                                  ent->rateinfo.cost);
815                 break;
816 #endif
817         default:
818                 BUG();
819                 res = 0;
820         }
821         spin_unlock(&ent->lock);
822         return res;
823 }
824
825 static int dl_seq_show(struct seq_file *s, void *v)
826 {
827         struct xt_hashlimit_htable *htable = s->private;
828         unsigned int *bucket = (unsigned int *)v;
829         struct dsthash_ent *ent;
830
831         if (!hlist_empty(&htable->hash[*bucket])) {
832                 hlist_for_each_entry(ent, &htable->hash[*bucket], node)
833                         if (dl_seq_real_show(ent, htable->family, s))
834                                 return -1;
835         }
836         return 0;
837 }
838
839 static const struct seq_operations dl_seq_ops = {
840         .start = dl_seq_start,
841         .next  = dl_seq_next,
842         .stop  = dl_seq_stop,
843         .show  = dl_seq_show
844 };
845
846 static int dl_proc_open(struct inode *inode, struct file *file)
847 {
848         int ret = seq_open(file, &dl_seq_ops);
849
850         if (!ret) {
851                 struct seq_file *sf = file->private_data;
852                 sf->private = PDE_DATA(inode);
853         }
854         return ret;
855 }
856
857 static const struct file_operations dl_file_ops = {
858         .owner   = THIS_MODULE,
859         .open    = dl_proc_open,
860         .read    = seq_read,
861         .llseek  = seq_lseek,
862         .release = seq_release
863 };
864
865 static int __net_init hashlimit_proc_net_init(struct net *net)
866 {
867         struct hashlimit_net *hashlimit_net = hashlimit_pernet(net);
868
869         hashlimit_net->ipt_hashlimit = proc_mkdir("ipt_hashlimit", net->proc_net);
870         if (!hashlimit_net->ipt_hashlimit)
871                 return -ENOMEM;
872 #if IS_ENABLED(CONFIG_IP6_NF_IPTABLES)
873         hashlimit_net->ip6t_hashlimit = proc_mkdir("ip6t_hashlimit", net->proc_net);
874         if (!hashlimit_net->ip6t_hashlimit) {
875                 remove_proc_entry("ipt_hashlimit", net->proc_net);
876                 return -ENOMEM;
877         }
878 #endif
879         return 0;
880 }
881
882 static void __net_exit hashlimit_proc_net_exit(struct net *net)
883 {
884         struct xt_hashlimit_htable *hinfo;
885         struct proc_dir_entry *pde;
886         struct hashlimit_net *hashlimit_net = hashlimit_pernet(net);
887
888         /* recent_net_exit() is called before recent_mt_destroy(). Make sure
889          * that the parent xt_recent proc entry is is empty before trying to
890          * remove it.
891          */
892         mutex_lock(&hashlimit_mutex);
893         pde = hashlimit_net->ipt_hashlimit;
894         if (pde == NULL)
895                 pde = hashlimit_net->ip6t_hashlimit;
896
897         hlist_for_each_entry(hinfo, &hashlimit_net->htables, node)
898                 remove_proc_entry(hinfo->name, pde);
899
900         hashlimit_net->ipt_hashlimit = NULL;
901         hashlimit_net->ip6t_hashlimit = NULL;
902         mutex_unlock(&hashlimit_mutex);
903
904         remove_proc_entry("ipt_hashlimit", net->proc_net);
905 #if IS_ENABLED(CONFIG_IP6_NF_IPTABLES)
906         remove_proc_entry("ip6t_hashlimit", net->proc_net);
907 #endif
908 }
909
910 static int __net_init hashlimit_net_init(struct net *net)
911 {
912         struct hashlimit_net *hashlimit_net = hashlimit_pernet(net);
913
914         INIT_HLIST_HEAD(&hashlimit_net->htables);
915         return hashlimit_proc_net_init(net);
916 }
917
918 static void __net_exit hashlimit_net_exit(struct net *net)
919 {
920         hashlimit_proc_net_exit(net);
921 }
922
923 static struct pernet_operations hashlimit_net_ops = {
924         .init   = hashlimit_net_init,
925         .exit   = hashlimit_net_exit,
926         .id     = &hashlimit_net_id,
927         .size   = sizeof(struct hashlimit_net),
928 };
929
930 static int __init hashlimit_mt_init(void)
931 {
932         int err;
933
934         err = register_pernet_subsys(&hashlimit_net_ops);
935         if (err < 0)
936                 return err;
937         err = xt_register_matches(hashlimit_mt_reg,
938               ARRAY_SIZE(hashlimit_mt_reg));
939         if (err < 0)
940                 goto err1;
941
942         err = -ENOMEM;
943         hashlimit_cachep = kmem_cache_create("xt_hashlimit",
944                                             sizeof(struct dsthash_ent), 0, 0,
945                                             NULL);
946         if (!hashlimit_cachep) {
947                 pr_warning("unable to create slab cache\n");
948                 goto err2;
949         }
950         return 0;
951
952 err2:
953         xt_unregister_matches(hashlimit_mt_reg, ARRAY_SIZE(hashlimit_mt_reg));
954 err1:
955         unregister_pernet_subsys(&hashlimit_net_ops);
956         return err;
957
958 }
959
960 static void __exit hashlimit_mt_exit(void)
961 {
962         xt_unregister_matches(hashlimit_mt_reg, ARRAY_SIZE(hashlimit_mt_reg));
963         unregister_pernet_subsys(&hashlimit_net_ops);
964
965         rcu_barrier_bh();
966         kmem_cache_destroy(hashlimit_cachep);
967 }
968
969 module_init(hashlimit_mt_init);
970 module_exit(hashlimit_mt_exit);