[NETFILTER]: remove unneeded rcu_dereference() calls
[linux-2.6.git] / net / ipv4 / tcp_htcp.c
1 /*
2  * H-TCP congestion control. The algorithm is detailed in:
3  * R.N.Shorten, D.J.Leith:
4  *   "H-TCP: TCP for high-speed and long-distance networks"
5  *   Proc. PFLDnet, Argonne, 2004.
6  * http://www.hamilton.ie/net/htcp3.pdf
7  */
8
9 #include <linux/mm.h>
10 #include <linux/module.h>
11 #include <net/tcp.h>
12
13 #define ALPHA_BASE      (1<<7)  /* 1.0 with shift << 7 */
14 #define BETA_MIN        (1<<6)  /* 0.5 with shift << 7 */
15 #define BETA_MAX        102     /* 0.8 with shift << 7 */
16
17 static int use_rtt_scaling __read_mostly = 1;
18 module_param(use_rtt_scaling, int, 0644);
19 MODULE_PARM_DESC(use_rtt_scaling, "turn on/off RTT scaling");
20
21 static int use_bandwidth_switch __read_mostly = 1;
22 module_param(use_bandwidth_switch, int, 0644);
23 MODULE_PARM_DESC(use_bandwidth_switch, "turn on/off bandwidth switcher");
24
25 struct htcp {
26         u32     alpha;          /* Fixed point arith, << 7 */
27         u8      beta;           /* Fixed point arith, << 7 */
28         u8      modeswitch;     /* Delay modeswitch
29                                    until we had at least one congestion event */
30         u16     pkts_acked;
31         u32     packetcount;
32         u32     minRTT;
33         u32     maxRTT;
34         u32     last_cong;      /* Time since last congestion event end */
35         u32     undo_last_cong;
36
37         u32     undo_maxRTT;
38         u32     undo_old_maxB;
39
40         /* Bandwidth estimation */
41         u32     minB;
42         u32     maxB;
43         u32     old_maxB;
44         u32     Bi;
45         u32     lasttime;
46 };
47
48 static inline u32 htcp_cong_time(const struct htcp *ca)
49 {
50         return jiffies - ca->last_cong;
51 }
52
53 static inline u32 htcp_ccount(const struct htcp *ca)
54 {
55         return htcp_cong_time(ca) / ca->minRTT;
56 }
57
58 static inline void htcp_reset(struct htcp *ca)
59 {
60         ca->undo_last_cong = ca->last_cong;
61         ca->undo_maxRTT = ca->maxRTT;
62         ca->undo_old_maxB = ca->old_maxB;
63
64         ca->last_cong = jiffies;
65 }
66
67 static u32 htcp_cwnd_undo(struct sock *sk)
68 {
69         const struct tcp_sock *tp = tcp_sk(sk);
70         struct htcp *ca = inet_csk_ca(sk);
71
72         ca->last_cong = ca->undo_last_cong;
73         ca->maxRTT = ca->undo_maxRTT;
74         ca->old_maxB = ca->undo_old_maxB;
75
76         return max(tp->snd_cwnd, (tp->snd_ssthresh << 7) / ca->beta);
77 }
78
79 static inline void measure_rtt(struct sock *sk, u32 srtt)
80 {
81         const struct inet_connection_sock *icsk = inet_csk(sk);
82         struct htcp *ca = inet_csk_ca(sk);
83
84         /* keep track of minimum RTT seen so far, minRTT is zero at first */
85         if (ca->minRTT > srtt || !ca->minRTT)
86                 ca->minRTT = srtt;
87
88         /* max RTT */
89         if (icsk->icsk_ca_state == TCP_CA_Open) {
90                 if (ca->maxRTT < ca->minRTT)
91                         ca->maxRTT = ca->minRTT;
92                 if (ca->maxRTT < srtt
93                     && srtt <= ca->maxRTT + msecs_to_jiffies(20))
94                         ca->maxRTT = srtt;
95         }
96 }
97
98 static void measure_achieved_throughput(struct sock *sk, u32 pkts_acked, s32 rtt)
99 {
100         const struct inet_connection_sock *icsk = inet_csk(sk);
101         const struct tcp_sock *tp = tcp_sk(sk);
102         struct htcp *ca = inet_csk_ca(sk);
103         u32 now = tcp_time_stamp;
104
105         if (icsk->icsk_ca_state == TCP_CA_Open)
106                 ca->pkts_acked = pkts_acked;
107
108         if (rtt > 0)
109                 measure_rtt(sk, usecs_to_jiffies(rtt));
110
111         if (!use_bandwidth_switch)
112                 return;
113
114         /* achieved throughput calculations */
115         if (icsk->icsk_ca_state != TCP_CA_Open &&
116             icsk->icsk_ca_state != TCP_CA_Disorder) {
117                 ca->packetcount = 0;
118                 ca->lasttime = now;
119                 return;
120         }
121
122         ca->packetcount += pkts_acked;
123
124         if (ca->packetcount >= tp->snd_cwnd - (ca->alpha >> 7 ? : 1)
125             && now - ca->lasttime >= ca->minRTT
126             && ca->minRTT > 0) {
127                 __u32 cur_Bi = ca->packetcount * HZ / (now - ca->lasttime);
128
129                 if (htcp_ccount(ca) <= 3) {
130                         /* just after backoff */
131                         ca->minB = ca->maxB = ca->Bi = cur_Bi;
132                 } else {
133                         ca->Bi = (3 * ca->Bi + cur_Bi) / 4;
134                         if (ca->Bi > ca->maxB)
135                                 ca->maxB = ca->Bi;
136                         if (ca->minB > ca->maxB)
137                                 ca->minB = ca->maxB;
138                 }
139                 ca->packetcount = 0;
140                 ca->lasttime = now;
141         }
142 }
143
144 static inline void htcp_beta_update(struct htcp *ca, u32 minRTT, u32 maxRTT)
145 {
146         if (use_bandwidth_switch) {
147                 u32 maxB = ca->maxB;
148                 u32 old_maxB = ca->old_maxB;
149                 ca->old_maxB = ca->maxB;
150
151                 if (!between(5 * maxB, 4 * old_maxB, 6 * old_maxB)) {
152                         ca->beta = BETA_MIN;
153                         ca->modeswitch = 0;
154                         return;
155                 }
156         }
157
158         if (ca->modeswitch && minRTT > msecs_to_jiffies(10) && maxRTT) {
159                 ca->beta = (minRTT << 7) / maxRTT;
160                 if (ca->beta < BETA_MIN)
161                         ca->beta = BETA_MIN;
162                 else if (ca->beta > BETA_MAX)
163                         ca->beta = BETA_MAX;
164         } else {
165                 ca->beta = BETA_MIN;
166                 ca->modeswitch = 1;
167         }
168 }
169
170 static inline void htcp_alpha_update(struct htcp *ca)
171 {
172         u32 minRTT = ca->minRTT;
173         u32 factor = 1;
174         u32 diff = htcp_cong_time(ca);
175
176         if (diff > HZ) {
177                 diff -= HZ;
178                 factor = 1 + (10 * diff + ((diff / 2) * (diff / 2) / HZ)) / HZ;
179         }
180
181         if (use_rtt_scaling && minRTT) {
182                 u32 scale = (HZ << 3) / (10 * minRTT);
183
184                 /* clamping ratio to interval [0.5,10]<<3 */
185                 scale = min(max(scale, 1U << 2), 10U << 3);
186                 factor = (factor << 3) / scale;
187                 if (!factor)
188                         factor = 1;
189         }
190
191         ca->alpha = 2 * factor * ((1 << 7) - ca->beta);
192         if (!ca->alpha)
193                 ca->alpha = ALPHA_BASE;
194 }
195
196 /*
197  * After we have the rtt data to calculate beta, we'd still prefer to wait one
198  * rtt before we adjust our beta to ensure we are working from a consistent
199  * data.
200  *
201  * This function should be called when we hit a congestion event since only at
202  * that point do we really have a real sense of maxRTT (the queues en route
203  * were getting just too full now).
204  */
205 static void htcp_param_update(struct sock *sk)
206 {
207         struct htcp *ca = inet_csk_ca(sk);
208         u32 minRTT = ca->minRTT;
209         u32 maxRTT = ca->maxRTT;
210
211         htcp_beta_update(ca, minRTT, maxRTT);
212         htcp_alpha_update(ca);
213
214         /* add slowly fading memory for maxRTT to accommodate routing changes */
215         if (minRTT > 0 && maxRTT > minRTT)
216                 ca->maxRTT = minRTT + ((maxRTT - minRTT) * 95) / 100;
217 }
218
219 static u32 htcp_recalc_ssthresh(struct sock *sk)
220 {
221         const struct tcp_sock *tp = tcp_sk(sk);
222         const struct htcp *ca = inet_csk_ca(sk);
223
224         htcp_param_update(sk);
225         return max((tp->snd_cwnd * ca->beta) >> 7, 2U);
226 }
227
228 static void htcp_cong_avoid(struct sock *sk, u32 ack,
229                             u32 in_flight, int data_acked)
230 {
231         struct tcp_sock *tp = tcp_sk(sk);
232         struct htcp *ca = inet_csk_ca(sk);
233
234         if (!tcp_is_cwnd_limited(sk, in_flight))
235                 return;
236
237         if (tp->snd_cwnd <= tp->snd_ssthresh)
238                 tcp_slow_start(tp);
239         else {
240                 /* In dangerous area, increase slowly.
241                  * In theory this is tp->snd_cwnd += alpha / tp->snd_cwnd
242                  */
243                 if ((tp->snd_cwnd_cnt * ca->alpha)>>7 >= tp->snd_cwnd) {
244                         if (tp->snd_cwnd < tp->snd_cwnd_clamp)
245                                 tp->snd_cwnd++;
246                         tp->snd_cwnd_cnt = 0;
247                         htcp_alpha_update(ca);
248                 } else
249                         tp->snd_cwnd_cnt += ca->pkts_acked;
250
251                 ca->pkts_acked = 1;
252         }
253 }
254
255 static void htcp_init(struct sock *sk)
256 {
257         struct htcp *ca = inet_csk_ca(sk);
258
259         memset(ca, 0, sizeof(struct htcp));
260         ca->alpha = ALPHA_BASE;
261         ca->beta = BETA_MIN;
262         ca->pkts_acked = 1;
263         ca->last_cong = jiffies;
264 }
265
266 static void htcp_state(struct sock *sk, u8 new_state)
267 {
268         switch (new_state) {
269         case TCP_CA_Open:
270                 {
271                         struct htcp *ca = inet_csk_ca(sk);
272                         ca->last_cong = jiffies;
273                 }
274                 break;
275         case TCP_CA_CWR:
276         case TCP_CA_Recovery:
277         case TCP_CA_Loss:
278                 htcp_reset(inet_csk_ca(sk));
279                 break;
280         }
281 }
282
283 static struct tcp_congestion_ops htcp = {
284         .init           = htcp_init,
285         .ssthresh       = htcp_recalc_ssthresh,
286         .cong_avoid     = htcp_cong_avoid,
287         .set_state      = htcp_state,
288         .undo_cwnd      = htcp_cwnd_undo,
289         .pkts_acked     = measure_achieved_throughput,
290         .owner          = THIS_MODULE,
291         .name           = "htcp",
292 };
293
294 static int __init htcp_register(void)
295 {
296         BUILD_BUG_ON(sizeof(struct htcp) > ICSK_CA_PRIV_SIZE);
297         BUILD_BUG_ON(BETA_MIN >= BETA_MAX);
298         return tcp_register_congestion_control(&htcp);
299 }
300
301 static void __exit htcp_unregister(void)
302 {
303         tcp_unregister_congestion_control(&htcp);
304 }
305
306 module_init(htcp_register);
307 module_exit(htcp_unregister);
308
309 MODULE_AUTHOR("Baruch Even");
310 MODULE_LICENSE("GPL");
311 MODULE_DESCRIPTION("H-TCP");