pkt_sched: Remove qdisc->ops->requeue() etc.
[linux-2.6.git] / net / sched / sch_netem.c
1 /*
2  * net/sched/sch_netem.c        Network emulator
3  *
4  *              This program is free software; you can redistribute it and/or
5  *              modify it under the terms of the GNU General Public License
6  *              as published by the Free Software Foundation; either version
7  *              2 of the License.
8  *
9  *              Many of the algorithms and ideas for this came from
10  *              NIST Net which is not copyrighted.
11  *
12  * Authors:     Stephen Hemminger <shemminger@osdl.org>
13  *              Catalin(ux aka Dino) BOIE <catab at umbrella dot ro>
14  */
15
16 #include <linux/module.h>
17 #include <linux/types.h>
18 #include <linux/kernel.h>
19 #include <linux/errno.h>
20 #include <linux/skbuff.h>
21 #include <linux/rtnetlink.h>
22
23 #include <net/netlink.h>
24 #include <net/pkt_sched.h>
25
26 #define VERSION "1.2"
27
28 /*      Network Emulation Queuing algorithm.
29         ====================================
30
31         Sources: [1] Mark Carson, Darrin Santay, "NIST Net - A Linux-based
32                  Network Emulation Tool
33                  [2] Luigi Rizzo, DummyNet for FreeBSD
34
35          ----------------------------------------------------------------
36
37          This started out as a simple way to delay outgoing packets to
38          test TCP but has grown to include most of the functionality
39          of a full blown network emulator like NISTnet. It can delay
40          packets and add random jitter (and correlation). The random
41          distribution can be loaded from a table as well to provide
42          normal, Pareto, or experimental curves. Packet loss,
43          duplication, and reordering can also be emulated.
44
45          This qdisc does not do classification that can be handled in
46          layering other disciplines.  It does not need to do bandwidth
47          control either since that can be handled by using token
48          bucket or other rate control.
49
50          The simulator is limited by the Linux timer resolution
51          and will create packet bursts on the HZ boundary (1ms).
52 */
53
54 struct netem_sched_data {
55         struct Qdisc    *qdisc;
56         struct qdisc_watchdog watchdog;
57
58         psched_tdiff_t latency;
59         psched_tdiff_t jitter;
60
61         u32 loss;
62         u32 limit;
63         u32 counter;
64         u32 gap;
65         u32 duplicate;
66         u32 reorder;
67         u32 corrupt;
68
69         struct crndstate {
70                 u32 last;
71                 u32 rho;
72         } delay_cor, loss_cor, dup_cor, reorder_cor, corrupt_cor;
73
74         struct disttable {
75                 u32  size;
76                 s16 table[0];
77         } *delay_dist;
78 };
79
80 /* Time stamp put into socket buffer control block */
81 struct netem_skb_cb {
82         psched_time_t   time_to_send;
83 };
84
85 static inline struct netem_skb_cb *netem_skb_cb(struct sk_buff *skb)
86 {
87         BUILD_BUG_ON(sizeof(skb->cb) <
88                 sizeof(struct qdisc_skb_cb) + sizeof(struct netem_skb_cb));
89         return (struct netem_skb_cb *)qdisc_skb_cb(skb)->data;
90 }
91
92 /* init_crandom - initialize correlated random number generator
93  * Use entropy source for initial seed.
94  */
95 static void init_crandom(struct crndstate *state, unsigned long rho)
96 {
97         state->rho = rho;
98         state->last = net_random();
99 }
100
101 /* get_crandom - correlated random number generator
102  * Next number depends on last value.
103  * rho is scaled to avoid floating point.
104  */
105 static u32 get_crandom(struct crndstate *state)
106 {
107         u64 value, rho;
108         unsigned long answer;
109
110         if (state->rho == 0)    /* no correlation */
111                 return net_random();
112
113         value = net_random();
114         rho = (u64)state->rho + 1;
115         answer = (value * ((1ull<<32) - rho) + state->last * rho) >> 32;
116         state->last = answer;
117         return answer;
118 }
119
120 /* tabledist - return a pseudo-randomly distributed value with mean mu and
121  * std deviation sigma.  Uses table lookup to approximate the desired
122  * distribution, and a uniformly-distributed pseudo-random source.
123  */
124 static psched_tdiff_t tabledist(psched_tdiff_t mu, psched_tdiff_t sigma,
125                                 struct crndstate *state,
126                                 const struct disttable *dist)
127 {
128         psched_tdiff_t x;
129         long t;
130         u32 rnd;
131
132         if (sigma == 0)
133                 return mu;
134
135         rnd = get_crandom(state);
136
137         /* default uniform distribution */
138         if (dist == NULL)
139                 return (rnd % (2*sigma)) - sigma + mu;
140
141         t = dist->table[rnd % dist->size];
142         x = (sigma % NETEM_DIST_SCALE) * t;
143         if (x >= 0)
144                 x += NETEM_DIST_SCALE/2;
145         else
146                 x -= NETEM_DIST_SCALE/2;
147
148         return  x / NETEM_DIST_SCALE + (sigma / NETEM_DIST_SCALE) * t + mu;
149 }
150
151 /*
152  * Insert one skb into qdisc.
153  * Note: parent depends on return value to account for queue length.
154  *      NET_XMIT_DROP: queue length didn't change.
155  *      NET_XMIT_SUCCESS: one skb was queued.
156  */
157 static int netem_enqueue(struct sk_buff *skb, struct Qdisc *sch)
158 {
159         struct netem_sched_data *q = qdisc_priv(sch);
160         /* We don't fill cb now as skb_unshare() may invalidate it */
161         struct netem_skb_cb *cb;
162         struct sk_buff *skb2;
163         int ret;
164         int count = 1;
165
166         pr_debug("netem_enqueue skb=%p\n", skb);
167
168         /* Random duplication */
169         if (q->duplicate && q->duplicate >= get_crandom(&q->dup_cor))
170                 ++count;
171
172         /* Random packet drop 0 => none, ~0 => all */
173         if (q->loss && q->loss >= get_crandom(&q->loss_cor))
174                 --count;
175
176         if (count == 0) {
177                 sch->qstats.drops++;
178                 kfree_skb(skb);
179                 return NET_XMIT_SUCCESS | __NET_XMIT_BYPASS;
180         }
181
182         skb_orphan(skb);
183
184         /*
185          * If we need to duplicate packet, then re-insert at top of the
186          * qdisc tree, since parent queuer expects that only one
187          * skb will be queued.
188          */
189         if (count > 1 && (skb2 = skb_clone(skb, GFP_ATOMIC)) != NULL) {
190                 struct Qdisc *rootq = qdisc_root(sch);
191                 u32 dupsave = q->duplicate; /* prevent duplicating a dup... */
192                 q->duplicate = 0;
193
194                 qdisc_enqueue_root(skb2, rootq);
195                 q->duplicate = dupsave;
196         }
197
198         /*
199          * Randomized packet corruption.
200          * Make copy if needed since we are modifying
201          * If packet is going to be hardware checksummed, then
202          * do it now in software before we mangle it.
203          */
204         if (q->corrupt && q->corrupt >= get_crandom(&q->corrupt_cor)) {
205                 if (!(skb = skb_unshare(skb, GFP_ATOMIC))
206                     || (skb->ip_summed == CHECKSUM_PARTIAL
207                         && skb_checksum_help(skb))) {
208                         sch->qstats.drops++;
209                         return NET_XMIT_DROP;
210                 }
211
212                 skb->data[net_random() % skb_headlen(skb)] ^= 1<<(net_random() % 8);
213         }
214
215         cb = netem_skb_cb(skb);
216         if (q->gap == 0                 /* not doing reordering */
217             || q->counter < q->gap      /* inside last reordering gap */
218             || q->reorder < get_crandom(&q->reorder_cor)) {
219                 psched_time_t now;
220                 psched_tdiff_t delay;
221
222                 delay = tabledist(q->latency, q->jitter,
223                                   &q->delay_cor, q->delay_dist);
224
225                 now = psched_get_time();
226                 cb->time_to_send = now + delay;
227                 ++q->counter;
228                 ret = qdisc_enqueue(skb, q->qdisc);
229         } else {
230                 /*
231                  * Do re-ordering by putting one out of N packets at the front
232                  * of the queue.
233                  */
234                 cb->time_to_send = psched_get_time();
235                 q->counter = 0;
236
237                 __skb_queue_head(&q->qdisc->q, skb);
238                 q->qdisc->qstats.backlog += qdisc_pkt_len(skb);
239                 q->qdisc->qstats.requeues++;
240                 ret = NET_XMIT_SUCCESS;
241         }
242
243         if (likely(ret == NET_XMIT_SUCCESS)) {
244                 sch->q.qlen++;
245                 sch->bstats.bytes += qdisc_pkt_len(skb);
246                 sch->bstats.packets++;
247         } else if (net_xmit_drop_count(ret)) {
248                 sch->qstats.drops++;
249         }
250
251         pr_debug("netem: enqueue ret %d\n", ret);
252         return ret;
253 }
254
255 static unsigned int netem_drop(struct Qdisc* sch)
256 {
257         struct netem_sched_data *q = qdisc_priv(sch);
258         unsigned int len = 0;
259
260         if (q->qdisc->ops->drop && (len = q->qdisc->ops->drop(q->qdisc)) != 0) {
261                 sch->q.qlen--;
262                 sch->qstats.drops++;
263         }
264         return len;
265 }
266
267 static struct sk_buff *netem_dequeue(struct Qdisc *sch)
268 {
269         struct netem_sched_data *q = qdisc_priv(sch);
270         struct sk_buff *skb;
271
272         smp_mb();
273         if (sch->flags & TCQ_F_THROTTLED)
274                 return NULL;
275
276         skb = q->qdisc->ops->peek(q->qdisc);
277         if (skb) {
278                 const struct netem_skb_cb *cb = netem_skb_cb(skb);
279                 psched_time_t now = psched_get_time();
280
281                 /* if more time remaining? */
282                 if (cb->time_to_send <= now) {
283                         skb = qdisc_dequeue_peeked(q->qdisc);
284                         if (unlikely(!skb))
285                                 return NULL;
286
287                         pr_debug("netem_dequeue: return skb=%p\n", skb);
288                         sch->q.qlen--;
289                         return skb;
290                 }
291
292                 qdisc_watchdog_schedule(&q->watchdog, cb->time_to_send);
293         }
294
295         return NULL;
296 }
297
298 static void netem_reset(struct Qdisc *sch)
299 {
300         struct netem_sched_data *q = qdisc_priv(sch);
301
302         qdisc_reset(q->qdisc);
303         sch->q.qlen = 0;
304         qdisc_watchdog_cancel(&q->watchdog);
305 }
306
307 /*
308  * Distribution data is a variable size payload containing
309  * signed 16 bit values.
310  */
311 static int get_dist_table(struct Qdisc *sch, const struct nlattr *attr)
312 {
313         struct netem_sched_data *q = qdisc_priv(sch);
314         unsigned long n = nla_len(attr)/sizeof(__s16);
315         const __s16 *data = nla_data(attr);
316         spinlock_t *root_lock;
317         struct disttable *d;
318         int i;
319
320         if (n > 65536)
321                 return -EINVAL;
322
323         d = kmalloc(sizeof(*d) + n*sizeof(d->table[0]), GFP_KERNEL);
324         if (!d)
325                 return -ENOMEM;
326
327         d->size = n;
328         for (i = 0; i < n; i++)
329                 d->table[i] = data[i];
330
331         root_lock = qdisc_root_sleeping_lock(sch);
332
333         spin_lock_bh(root_lock);
334         d = xchg(&q->delay_dist, d);
335         spin_unlock_bh(root_lock);
336
337         kfree(d);
338         return 0;
339 }
340
341 static void get_correlation(struct Qdisc *sch, const struct nlattr *attr)
342 {
343         struct netem_sched_data *q = qdisc_priv(sch);
344         const struct tc_netem_corr *c = nla_data(attr);
345
346         init_crandom(&q->delay_cor, c->delay_corr);
347         init_crandom(&q->loss_cor, c->loss_corr);
348         init_crandom(&q->dup_cor, c->dup_corr);
349 }
350
351 static void get_reorder(struct Qdisc *sch, const struct nlattr *attr)
352 {
353         struct netem_sched_data *q = qdisc_priv(sch);
354         const struct tc_netem_reorder *r = nla_data(attr);
355
356         q->reorder = r->probability;
357         init_crandom(&q->reorder_cor, r->correlation);
358 }
359
360 static void get_corrupt(struct Qdisc *sch, const struct nlattr *attr)
361 {
362         struct netem_sched_data *q = qdisc_priv(sch);
363         const struct tc_netem_corrupt *r = nla_data(attr);
364
365         q->corrupt = r->probability;
366         init_crandom(&q->corrupt_cor, r->correlation);
367 }
368
369 static const struct nla_policy netem_policy[TCA_NETEM_MAX + 1] = {
370         [TCA_NETEM_CORR]        = { .len = sizeof(struct tc_netem_corr) },
371         [TCA_NETEM_REORDER]     = { .len = sizeof(struct tc_netem_reorder) },
372         [TCA_NETEM_CORRUPT]     = { .len = sizeof(struct tc_netem_corrupt) },
373 };
374
375 static int parse_attr(struct nlattr *tb[], int maxtype, struct nlattr *nla,
376                       const struct nla_policy *policy, int len)
377 {
378         int nested_len = nla_len(nla) - NLA_ALIGN(len);
379
380         if (nested_len < 0)
381                 return -EINVAL;
382         if (nested_len >= nla_attr_size(0))
383                 return nla_parse(tb, maxtype, nla_data(nla) + NLA_ALIGN(len),
384                                  nested_len, policy);
385         memset(tb, 0, sizeof(struct nlattr *) * (maxtype + 1));
386         return 0;
387 }
388
389 /* Parse netlink message to set options */
390 static int netem_change(struct Qdisc *sch, struct nlattr *opt)
391 {
392         struct netem_sched_data *q = qdisc_priv(sch);
393         struct nlattr *tb[TCA_NETEM_MAX + 1];
394         struct tc_netem_qopt *qopt;
395         int ret;
396
397         if (opt == NULL)
398                 return -EINVAL;
399
400         qopt = nla_data(opt);
401         ret = parse_attr(tb, TCA_NETEM_MAX, opt, netem_policy, sizeof(*qopt));
402         if (ret < 0)
403                 return ret;
404
405         ret = fifo_set_limit(q->qdisc, qopt->limit);
406         if (ret) {
407                 pr_debug("netem: can't set fifo limit\n");
408                 return ret;
409         }
410
411         q->latency = qopt->latency;
412         q->jitter = qopt->jitter;
413         q->limit = qopt->limit;
414         q->gap = qopt->gap;
415         q->counter = 0;
416         q->loss = qopt->loss;
417         q->duplicate = qopt->duplicate;
418
419         /* for compatibility with earlier versions.
420          * if gap is set, need to assume 100% probability
421          */
422         if (q->gap)
423                 q->reorder = ~0;
424
425         if (tb[TCA_NETEM_CORR])
426                 get_correlation(sch, tb[TCA_NETEM_CORR]);
427
428         if (tb[TCA_NETEM_DELAY_DIST]) {
429                 ret = get_dist_table(sch, tb[TCA_NETEM_DELAY_DIST]);
430                 if (ret)
431                         return ret;
432         }
433
434         if (tb[TCA_NETEM_REORDER])
435                 get_reorder(sch, tb[TCA_NETEM_REORDER]);
436
437         if (tb[TCA_NETEM_CORRUPT])
438                 get_corrupt(sch, tb[TCA_NETEM_CORRUPT]);
439
440         return 0;
441 }
442
443 /*
444  * Special case version of FIFO queue for use by netem.
445  * It queues in order based on timestamps in skb's
446  */
447 struct fifo_sched_data {
448         u32 limit;
449         psched_time_t oldest;
450 };
451
452 static int tfifo_enqueue(struct sk_buff *nskb, struct Qdisc *sch)
453 {
454         struct fifo_sched_data *q = qdisc_priv(sch);
455         struct sk_buff_head *list = &sch->q;
456         psched_time_t tnext = netem_skb_cb(nskb)->time_to_send;
457         struct sk_buff *skb;
458
459         if (likely(skb_queue_len(list) < q->limit)) {
460                 /* Optimize for add at tail */
461                 if (likely(skb_queue_empty(list) || tnext >= q->oldest)) {
462                         q->oldest = tnext;
463                         return qdisc_enqueue_tail(nskb, sch);
464                 }
465
466                 skb_queue_reverse_walk(list, skb) {
467                         const struct netem_skb_cb *cb = netem_skb_cb(skb);
468
469                         if (tnext >= cb->time_to_send)
470                                 break;
471                 }
472
473                 __skb_queue_after(list, skb, nskb);
474
475                 sch->qstats.backlog += qdisc_pkt_len(nskb);
476                 sch->bstats.bytes += qdisc_pkt_len(nskb);
477                 sch->bstats.packets++;
478
479                 return NET_XMIT_SUCCESS;
480         }
481
482         return qdisc_reshape_fail(nskb, sch);
483 }
484
485 static int tfifo_init(struct Qdisc *sch, struct nlattr *opt)
486 {
487         struct fifo_sched_data *q = qdisc_priv(sch);
488
489         if (opt) {
490                 struct tc_fifo_qopt *ctl = nla_data(opt);
491                 if (nla_len(opt) < sizeof(*ctl))
492                         return -EINVAL;
493
494                 q->limit = ctl->limit;
495         } else
496                 q->limit = max_t(u32, qdisc_dev(sch)->tx_queue_len, 1);
497
498         q->oldest = PSCHED_PASTPERFECT;
499         return 0;
500 }
501
502 static int tfifo_dump(struct Qdisc *sch, struct sk_buff *skb)
503 {
504         struct fifo_sched_data *q = qdisc_priv(sch);
505         struct tc_fifo_qopt opt = { .limit = q->limit };
506
507         NLA_PUT(skb, TCA_OPTIONS, sizeof(opt), &opt);
508         return skb->len;
509
510 nla_put_failure:
511         return -1;
512 }
513
514 static struct Qdisc_ops tfifo_qdisc_ops __read_mostly = {
515         .id             =       "tfifo",
516         .priv_size      =       sizeof(struct fifo_sched_data),
517         .enqueue        =       tfifo_enqueue,
518         .dequeue        =       qdisc_dequeue_head,
519         .peek           =       qdisc_peek_head,
520         .drop           =       qdisc_queue_drop,
521         .init           =       tfifo_init,
522         .reset          =       qdisc_reset_queue,
523         .change         =       tfifo_init,
524         .dump           =       tfifo_dump,
525 };
526
527 static int netem_init(struct Qdisc *sch, struct nlattr *opt)
528 {
529         struct netem_sched_data *q = qdisc_priv(sch);
530         int ret;
531
532         if (!opt)
533                 return -EINVAL;
534
535         qdisc_watchdog_init(&q->watchdog, sch);
536
537         q->qdisc = qdisc_create_dflt(qdisc_dev(sch), sch->dev_queue,
538                                      &tfifo_qdisc_ops,
539                                      TC_H_MAKE(sch->handle, 1));
540         if (!q->qdisc) {
541                 pr_debug("netem: qdisc create failed\n");
542                 return -ENOMEM;
543         }
544
545         ret = netem_change(sch, opt);
546         if (ret) {
547                 pr_debug("netem: change failed\n");
548                 qdisc_destroy(q->qdisc);
549         }
550         return ret;
551 }
552
553 static void netem_destroy(struct Qdisc *sch)
554 {
555         struct netem_sched_data *q = qdisc_priv(sch);
556
557         qdisc_watchdog_cancel(&q->watchdog);
558         qdisc_destroy(q->qdisc);
559         kfree(q->delay_dist);
560 }
561
562 static int netem_dump(struct Qdisc *sch, struct sk_buff *skb)
563 {
564         const struct netem_sched_data *q = qdisc_priv(sch);
565         unsigned char *b = skb_tail_pointer(skb);
566         struct nlattr *nla = (struct nlattr *) b;
567         struct tc_netem_qopt qopt;
568         struct tc_netem_corr cor;
569         struct tc_netem_reorder reorder;
570         struct tc_netem_corrupt corrupt;
571
572         qopt.latency = q->latency;
573         qopt.jitter = q->jitter;
574         qopt.limit = q->limit;
575         qopt.loss = q->loss;
576         qopt.gap = q->gap;
577         qopt.duplicate = q->duplicate;
578         NLA_PUT(skb, TCA_OPTIONS, sizeof(qopt), &qopt);
579
580         cor.delay_corr = q->delay_cor.rho;
581         cor.loss_corr = q->loss_cor.rho;
582         cor.dup_corr = q->dup_cor.rho;
583         NLA_PUT(skb, TCA_NETEM_CORR, sizeof(cor), &cor);
584
585         reorder.probability = q->reorder;
586         reorder.correlation = q->reorder_cor.rho;
587         NLA_PUT(skb, TCA_NETEM_REORDER, sizeof(reorder), &reorder);
588
589         corrupt.probability = q->corrupt;
590         corrupt.correlation = q->corrupt_cor.rho;
591         NLA_PUT(skb, TCA_NETEM_CORRUPT, sizeof(corrupt), &corrupt);
592
593         nla->nla_len = skb_tail_pointer(skb) - b;
594
595         return skb->len;
596
597 nla_put_failure:
598         nlmsg_trim(skb, b);
599         return -1;
600 }
601
602 static struct Qdisc_ops netem_qdisc_ops __read_mostly = {
603         .id             =       "netem",
604         .priv_size      =       sizeof(struct netem_sched_data),
605         .enqueue        =       netem_enqueue,
606         .dequeue        =       netem_dequeue,
607         .peek           =       qdisc_peek_dequeued,
608         .drop           =       netem_drop,
609         .init           =       netem_init,
610         .reset          =       netem_reset,
611         .destroy        =       netem_destroy,
612         .change         =       netem_change,
613         .dump           =       netem_dump,
614         .owner          =       THIS_MODULE,
615 };
616
617
618 static int __init netem_module_init(void)
619 {
620         pr_info("netem: version " VERSION "\n");
621         return register_qdisc(&netem_qdisc_ops);
622 }
623 static void __exit netem_module_exit(void)
624 {
625         unregister_qdisc(&netem_qdisc_ops);
626 }
627 module_init(netem_module_init)
628 module_exit(netem_module_exit)
629 MODULE_LICENSE("GPL");