2ca9a15db0f7d2063dc7fb6cd24aae9363fa9383
[linux-3.10.git] / block / blk-cgroup.c
1 /*
2  * Common Block IO controller cgroup interface
3  *
4  * Based on ideas and code from CFQ, CFS and BFQ:
5  * Copyright (C) 2003 Jens Axboe <axboe@kernel.dk>
6  *
7  * Copyright (C) 2008 Fabio Checconi <fabio@gandalf.sssup.it>
8  *                    Paolo Valente <paolo.valente@unimore.it>
9  *
10  * Copyright (C) 2009 Vivek Goyal <vgoyal@redhat.com>
11  *                    Nauman Rafique <nauman@google.com>
12  */
13 #include <linux/ioprio.h>
14 #include <linux/seq_file.h>
15 #include <linux/kdev_t.h>
16 #include <linux/module.h>
17 #include <linux/err.h>
18 #include <linux/blkdev.h>
19 #include <linux/slab.h>
20 #include <linux/genhd.h>
21 #include <linux/delay.h>
22 #include "blk-cgroup.h"
23 #include "blk.h"
24
25 #define MAX_KEY_LEN 100
26
27 static DEFINE_SPINLOCK(blkio_list_lock);
28 static LIST_HEAD(blkio_list);
29
30 static DEFINE_MUTEX(all_q_mutex);
31 static LIST_HEAD(all_q_list);
32
33 struct blkio_cgroup blkio_root_cgroup = { .weight = 2*BLKIO_WEIGHT_DEFAULT };
34 EXPORT_SYMBOL_GPL(blkio_root_cgroup);
35
36 static struct blkio_policy_type *blkio_policy[BLKIO_NR_POLICIES];
37
38 static struct cgroup_subsys_state *blkiocg_create(struct cgroup_subsys *,
39                                                   struct cgroup *);
40 static int blkiocg_can_attach(struct cgroup_subsys *, struct cgroup *,
41                               struct cgroup_taskset *);
42 static void blkiocg_attach(struct cgroup_subsys *, struct cgroup *,
43                            struct cgroup_taskset *);
44 static int blkiocg_pre_destroy(struct cgroup_subsys *, struct cgroup *);
45 static void blkiocg_destroy(struct cgroup_subsys *, struct cgroup *);
46 static int blkiocg_populate(struct cgroup_subsys *, struct cgroup *);
47
48 /* for encoding cft->private value on file */
49 #define BLKIOFILE_PRIVATE(x, val)       (((x) << 16) | (val))
50 /* What policy owns the file, proportional or throttle */
51 #define BLKIOFILE_POLICY(val)           (((val) >> 16) & 0xffff)
52 #define BLKIOFILE_ATTR(val)             ((val) & 0xffff)
53
54 struct cgroup_subsys blkio_subsys = {
55         .name = "blkio",
56         .create = blkiocg_create,
57         .can_attach = blkiocg_can_attach,
58         .attach = blkiocg_attach,
59         .pre_destroy = blkiocg_pre_destroy,
60         .destroy = blkiocg_destroy,
61         .populate = blkiocg_populate,
62         .subsys_id = blkio_subsys_id,
63         .module = THIS_MODULE,
64 };
65 EXPORT_SYMBOL_GPL(blkio_subsys);
66
67 struct blkio_cgroup *cgroup_to_blkio_cgroup(struct cgroup *cgroup)
68 {
69         return container_of(cgroup_subsys_state(cgroup, blkio_subsys_id),
70                             struct blkio_cgroup, css);
71 }
72 EXPORT_SYMBOL_GPL(cgroup_to_blkio_cgroup);
73
74 struct blkio_cgroup *task_blkio_cgroup(struct task_struct *tsk)
75 {
76         return container_of(task_subsys_state(tsk, blkio_subsys_id),
77                             struct blkio_cgroup, css);
78 }
79 EXPORT_SYMBOL_GPL(task_blkio_cgroup);
80
81 static inline void blkio_update_group_weight(struct blkio_group *blkg,
82                                              int plid, unsigned int weight)
83 {
84         struct blkio_policy_type *blkiop;
85
86         list_for_each_entry(blkiop, &blkio_list, list) {
87                 /* If this policy does not own the blkg, do not send updates */
88                 if (blkiop->plid != plid)
89                         continue;
90                 if (blkiop->ops.blkio_update_group_weight_fn)
91                         blkiop->ops.blkio_update_group_weight_fn(blkg->q,
92                                                         blkg, weight);
93         }
94 }
95
96 static inline void blkio_update_group_bps(struct blkio_group *blkg, int plid,
97                                           u64 bps, int fileid)
98 {
99         struct blkio_policy_type *blkiop;
100
101         list_for_each_entry(blkiop, &blkio_list, list) {
102
103                 /* If this policy does not own the blkg, do not send updates */
104                 if (blkiop->plid != plid)
105                         continue;
106
107                 if (fileid == BLKIO_THROTL_read_bps_device
108                     && blkiop->ops.blkio_update_group_read_bps_fn)
109                         blkiop->ops.blkio_update_group_read_bps_fn(blkg->q,
110                                                                 blkg, bps);
111
112                 if (fileid == BLKIO_THROTL_write_bps_device
113                     && blkiop->ops.blkio_update_group_write_bps_fn)
114                         blkiop->ops.blkio_update_group_write_bps_fn(blkg->q,
115                                                                 blkg, bps);
116         }
117 }
118
119 static inline void blkio_update_group_iops(struct blkio_group *blkg,
120                                            int plid, unsigned int iops,
121                                            int fileid)
122 {
123         struct blkio_policy_type *blkiop;
124
125         list_for_each_entry(blkiop, &blkio_list, list) {
126
127                 /* If this policy does not own the blkg, do not send updates */
128                 if (blkiop->plid != plid)
129                         continue;
130
131                 if (fileid == BLKIO_THROTL_read_iops_device
132                     && blkiop->ops.blkio_update_group_read_iops_fn)
133                         blkiop->ops.blkio_update_group_read_iops_fn(blkg->q,
134                                                                 blkg, iops);
135
136                 if (fileid == BLKIO_THROTL_write_iops_device
137                     && blkiop->ops.blkio_update_group_write_iops_fn)
138                         blkiop->ops.blkio_update_group_write_iops_fn(blkg->q,
139                                                                 blkg,iops);
140         }
141 }
142
143 /*
144  * Add to the appropriate stat variable depending on the request type.
145  * This should be called with the blkg->stats_lock held.
146  */
147 static void blkio_add_stat(uint64_t *stat, uint64_t add, bool direction,
148                                 bool sync)
149 {
150         if (direction)
151                 stat[BLKIO_STAT_WRITE] += add;
152         else
153                 stat[BLKIO_STAT_READ] += add;
154         if (sync)
155                 stat[BLKIO_STAT_SYNC] += add;
156         else
157                 stat[BLKIO_STAT_ASYNC] += add;
158 }
159
160 /*
161  * Decrements the appropriate stat variable if non-zero depending on the
162  * request type. Panics on value being zero.
163  * This should be called with the blkg->stats_lock held.
164  */
165 static void blkio_check_and_dec_stat(uint64_t *stat, bool direction, bool sync)
166 {
167         if (direction) {
168                 BUG_ON(stat[BLKIO_STAT_WRITE] == 0);
169                 stat[BLKIO_STAT_WRITE]--;
170         } else {
171                 BUG_ON(stat[BLKIO_STAT_READ] == 0);
172                 stat[BLKIO_STAT_READ]--;
173         }
174         if (sync) {
175                 BUG_ON(stat[BLKIO_STAT_SYNC] == 0);
176                 stat[BLKIO_STAT_SYNC]--;
177         } else {
178                 BUG_ON(stat[BLKIO_STAT_ASYNC] == 0);
179                 stat[BLKIO_STAT_ASYNC]--;
180         }
181 }
182
183 #ifdef CONFIG_DEBUG_BLK_CGROUP
184 /* This should be called with the blkg->stats_lock held. */
185 static void blkio_set_start_group_wait_time(struct blkio_group *blkg,
186                                             struct blkio_policy_type *pol,
187                                             struct blkio_group *curr_blkg)
188 {
189         struct blkg_policy_data *pd = blkg->pd[pol->plid];
190
191         if (blkio_blkg_waiting(&pd->stats))
192                 return;
193         if (blkg == curr_blkg)
194                 return;
195         pd->stats.start_group_wait_time = sched_clock();
196         blkio_mark_blkg_waiting(&pd->stats);
197 }
198
199 /* This should be called with the blkg->stats_lock held. */
200 static void blkio_update_group_wait_time(struct blkio_group_stats *stats)
201 {
202         unsigned long long now;
203
204         if (!blkio_blkg_waiting(stats))
205                 return;
206
207         now = sched_clock();
208         if (time_after64(now, stats->start_group_wait_time))
209                 stats->group_wait_time += now - stats->start_group_wait_time;
210         blkio_clear_blkg_waiting(stats);
211 }
212
213 /* This should be called with the blkg->stats_lock held. */
214 static void blkio_end_empty_time(struct blkio_group_stats *stats)
215 {
216         unsigned long long now;
217
218         if (!blkio_blkg_empty(stats))
219                 return;
220
221         now = sched_clock();
222         if (time_after64(now, stats->start_empty_time))
223                 stats->empty_time += now - stats->start_empty_time;
224         blkio_clear_blkg_empty(stats);
225 }
226
227 void blkiocg_update_set_idle_time_stats(struct blkio_group *blkg,
228                                         struct blkio_policy_type *pol)
229 {
230         struct blkg_policy_data *pd = blkg->pd[pol->plid];
231         unsigned long flags;
232
233         spin_lock_irqsave(&blkg->stats_lock, flags);
234         BUG_ON(blkio_blkg_idling(&pd->stats));
235         pd->stats.start_idle_time = sched_clock();
236         blkio_mark_blkg_idling(&pd->stats);
237         spin_unlock_irqrestore(&blkg->stats_lock, flags);
238 }
239 EXPORT_SYMBOL_GPL(blkiocg_update_set_idle_time_stats);
240
241 void blkiocg_update_idle_time_stats(struct blkio_group *blkg,
242                                     struct blkio_policy_type *pol)
243 {
244         struct blkg_policy_data *pd = blkg->pd[pol->plid];
245         unsigned long flags;
246         unsigned long long now;
247         struct blkio_group_stats *stats;
248
249         spin_lock_irqsave(&blkg->stats_lock, flags);
250         stats = &pd->stats;
251         if (blkio_blkg_idling(stats)) {
252                 now = sched_clock();
253                 if (time_after64(now, stats->start_idle_time))
254                         stats->idle_time += now - stats->start_idle_time;
255                 blkio_clear_blkg_idling(stats);
256         }
257         spin_unlock_irqrestore(&blkg->stats_lock, flags);
258 }
259 EXPORT_SYMBOL_GPL(blkiocg_update_idle_time_stats);
260
261 void blkiocg_update_avg_queue_size_stats(struct blkio_group *blkg,
262                                          struct blkio_policy_type *pol)
263 {
264         struct blkg_policy_data *pd = blkg->pd[pol->plid];
265         unsigned long flags;
266         struct blkio_group_stats *stats;
267
268         spin_lock_irqsave(&blkg->stats_lock, flags);
269         stats = &pd->stats;
270         stats->avg_queue_size_sum +=
271                         stats->stat_arr[BLKIO_STAT_QUEUED][BLKIO_STAT_READ] +
272                         stats->stat_arr[BLKIO_STAT_QUEUED][BLKIO_STAT_WRITE];
273         stats->avg_queue_size_samples++;
274         blkio_update_group_wait_time(stats);
275         spin_unlock_irqrestore(&blkg->stats_lock, flags);
276 }
277 EXPORT_SYMBOL_GPL(blkiocg_update_avg_queue_size_stats);
278
279 void blkiocg_set_start_empty_time(struct blkio_group *blkg,
280                                   struct blkio_policy_type *pol)
281 {
282         struct blkg_policy_data *pd = blkg->pd[pol->plid];
283         unsigned long flags;
284         struct blkio_group_stats *stats;
285
286         spin_lock_irqsave(&blkg->stats_lock, flags);
287         stats = &pd->stats;
288
289         if (stats->stat_arr[BLKIO_STAT_QUEUED][BLKIO_STAT_READ] ||
290                         stats->stat_arr[BLKIO_STAT_QUEUED][BLKIO_STAT_WRITE]) {
291                 spin_unlock_irqrestore(&blkg->stats_lock, flags);
292                 return;
293         }
294
295         /*
296          * group is already marked empty. This can happen if cfqq got new
297          * request in parent group and moved to this group while being added
298          * to service tree. Just ignore the event and move on.
299          */
300         if(blkio_blkg_empty(stats)) {
301                 spin_unlock_irqrestore(&blkg->stats_lock, flags);
302                 return;
303         }
304
305         stats->start_empty_time = sched_clock();
306         blkio_mark_blkg_empty(stats);
307         spin_unlock_irqrestore(&blkg->stats_lock, flags);
308 }
309 EXPORT_SYMBOL_GPL(blkiocg_set_start_empty_time);
310
311 void blkiocg_update_dequeue_stats(struct blkio_group *blkg,
312                                   struct blkio_policy_type *pol,
313                                   unsigned long dequeue)
314 {
315         struct blkg_policy_data *pd = blkg->pd[pol->plid];
316
317         pd->stats.dequeue += dequeue;
318 }
319 EXPORT_SYMBOL_GPL(blkiocg_update_dequeue_stats);
320 #else
321 static inline void blkio_set_start_group_wait_time(struct blkio_group *blkg,
322                                         struct blkio_policy_type *pol,
323                                         struct blkio_group *curr_blkg) { }
324 static inline void blkio_end_empty_time(struct blkio_group_stats *stats) { }
325 #endif
326
327 void blkiocg_update_io_add_stats(struct blkio_group *blkg,
328                                  struct blkio_policy_type *pol,
329                                  struct blkio_group *curr_blkg, bool direction,
330                                  bool sync)
331 {
332         struct blkg_policy_data *pd = blkg->pd[pol->plid];
333         unsigned long flags;
334
335         spin_lock_irqsave(&blkg->stats_lock, flags);
336         blkio_add_stat(pd->stats.stat_arr[BLKIO_STAT_QUEUED], 1, direction,
337                         sync);
338         blkio_end_empty_time(&pd->stats);
339         blkio_set_start_group_wait_time(blkg, pol, curr_blkg);
340         spin_unlock_irqrestore(&blkg->stats_lock, flags);
341 }
342 EXPORT_SYMBOL_GPL(blkiocg_update_io_add_stats);
343
344 void blkiocg_update_io_remove_stats(struct blkio_group *blkg,
345                                     struct blkio_policy_type *pol,
346                                     bool direction, bool sync)
347 {
348         struct blkg_policy_data *pd = blkg->pd[pol->plid];
349         unsigned long flags;
350
351         spin_lock_irqsave(&blkg->stats_lock, flags);
352         blkio_check_and_dec_stat(pd->stats.stat_arr[BLKIO_STAT_QUEUED],
353                                         direction, sync);
354         spin_unlock_irqrestore(&blkg->stats_lock, flags);
355 }
356 EXPORT_SYMBOL_GPL(blkiocg_update_io_remove_stats);
357
358 void blkiocg_update_timeslice_used(struct blkio_group *blkg,
359                                    struct blkio_policy_type *pol,
360                                    unsigned long time,
361                                    unsigned long unaccounted_time)
362 {
363         struct blkg_policy_data *pd = blkg->pd[pol->plid];
364         unsigned long flags;
365
366         spin_lock_irqsave(&blkg->stats_lock, flags);
367         pd->stats.time += time;
368 #ifdef CONFIG_DEBUG_BLK_CGROUP
369         pd->stats.unaccounted_time += unaccounted_time;
370 #endif
371         spin_unlock_irqrestore(&blkg->stats_lock, flags);
372 }
373 EXPORT_SYMBOL_GPL(blkiocg_update_timeslice_used);
374
375 /*
376  * should be called under rcu read lock or queue lock to make sure blkg pointer
377  * is valid.
378  */
379 void blkiocg_update_dispatch_stats(struct blkio_group *blkg,
380                                    struct blkio_policy_type *pol,
381                                    uint64_t bytes, bool direction, bool sync)
382 {
383         struct blkg_policy_data *pd = blkg->pd[pol->plid];
384         struct blkio_group_stats_cpu *stats_cpu;
385         unsigned long flags;
386
387         /*
388          * Disabling interrupts to provide mutual exclusion between two
389          * writes on same cpu. It probably is not needed for 64bit. Not
390          * optimizing that case yet.
391          */
392         local_irq_save(flags);
393
394         stats_cpu = this_cpu_ptr(pd->stats_cpu);
395
396         u64_stats_update_begin(&stats_cpu->syncp);
397         stats_cpu->sectors += bytes >> 9;
398         blkio_add_stat(stats_cpu->stat_arr_cpu[BLKIO_STAT_CPU_SERVICED],
399                         1, direction, sync);
400         blkio_add_stat(stats_cpu->stat_arr_cpu[BLKIO_STAT_CPU_SERVICE_BYTES],
401                         bytes, direction, sync);
402         u64_stats_update_end(&stats_cpu->syncp);
403         local_irq_restore(flags);
404 }
405 EXPORT_SYMBOL_GPL(blkiocg_update_dispatch_stats);
406
407 void blkiocg_update_completion_stats(struct blkio_group *blkg,
408                                      struct blkio_policy_type *pol,
409                                      uint64_t start_time,
410                                      uint64_t io_start_time, bool direction,
411                                      bool sync)
412 {
413         struct blkg_policy_data *pd = blkg->pd[pol->plid];
414         struct blkio_group_stats *stats;
415         unsigned long flags;
416         unsigned long long now = sched_clock();
417
418         spin_lock_irqsave(&blkg->stats_lock, flags);
419         stats = &pd->stats;
420         if (time_after64(now, io_start_time))
421                 blkio_add_stat(stats->stat_arr[BLKIO_STAT_SERVICE_TIME],
422                                 now - io_start_time, direction, sync);
423         if (time_after64(io_start_time, start_time))
424                 blkio_add_stat(stats->stat_arr[BLKIO_STAT_WAIT_TIME],
425                                 io_start_time - start_time, direction, sync);
426         spin_unlock_irqrestore(&blkg->stats_lock, flags);
427 }
428 EXPORT_SYMBOL_GPL(blkiocg_update_completion_stats);
429
430 /*  Merged stats are per cpu.  */
431 void blkiocg_update_io_merged_stats(struct blkio_group *blkg,
432                                     struct blkio_policy_type *pol,
433                                     bool direction, bool sync)
434 {
435         struct blkg_policy_data *pd = blkg->pd[pol->plid];
436         struct blkio_group_stats_cpu *stats_cpu;
437         unsigned long flags;
438
439         /*
440          * Disabling interrupts to provide mutual exclusion between two
441          * writes on same cpu. It probably is not needed for 64bit. Not
442          * optimizing that case yet.
443          */
444         local_irq_save(flags);
445
446         stats_cpu = this_cpu_ptr(pd->stats_cpu);
447
448         u64_stats_update_begin(&stats_cpu->syncp);
449         blkio_add_stat(stats_cpu->stat_arr_cpu[BLKIO_STAT_CPU_MERGED], 1,
450                                 direction, sync);
451         u64_stats_update_end(&stats_cpu->syncp);
452         local_irq_restore(flags);
453 }
454 EXPORT_SYMBOL_GPL(blkiocg_update_io_merged_stats);
455
456 /**
457  * blkg_free - free a blkg
458  * @blkg: blkg to free
459  *
460  * Free @blkg which may be partially allocated.
461  */
462 static void blkg_free(struct blkio_group *blkg)
463 {
464         struct blkg_policy_data *pd;
465
466         if (!blkg)
467                 return;
468
469         pd = blkg->pd[blkg->plid];
470         if (pd) {
471                 free_percpu(pd->stats_cpu);
472                 kfree(pd);
473         }
474         kfree(blkg);
475 }
476
477 /**
478  * blkg_alloc - allocate a blkg
479  * @blkcg: block cgroup the new blkg is associated with
480  * @q: request_queue the new blkg is associated with
481  * @pol: policy the new blkg is associated with
482  *
483  * Allocate a new blkg assocating @blkcg and @q for @pol.
484  *
485  * FIXME: Should be called with queue locked but currently isn't due to
486  *        percpu stat breakage.
487  */
488 static struct blkio_group *blkg_alloc(struct blkio_cgroup *blkcg,
489                                       struct request_queue *q,
490                                       struct blkio_policy_type *pol)
491 {
492         struct blkio_group *blkg;
493         struct blkg_policy_data *pd;
494
495         /* alloc and init base part */
496         blkg = kzalloc_node(sizeof(*blkg), GFP_ATOMIC, q->node);
497         if (!blkg)
498                 return NULL;
499
500         spin_lock_init(&blkg->stats_lock);
501         rcu_assign_pointer(blkg->q, q);
502         INIT_LIST_HEAD(&blkg->q_node[0]);
503         INIT_LIST_HEAD(&blkg->q_node[1]);
504         blkg->blkcg = blkcg;
505         blkg->plid = pol->plid;
506         blkg->refcnt = 1;
507         cgroup_path(blkcg->css.cgroup, blkg->path, sizeof(blkg->path));
508
509         /* alloc per-policy data and attach it to blkg */
510         pd = kzalloc_node(sizeof(*pd) + pol->pdata_size, GFP_ATOMIC,
511                           q->node);
512         if (!pd) {
513                 blkg_free(blkg);
514                 return NULL;
515         }
516
517         blkg->pd[pol->plid] = pd;
518         pd->blkg = blkg;
519
520         /* broken, read comment in the callsite */
521
522         pd->stats_cpu = alloc_percpu(struct blkio_group_stats_cpu);
523         if (!pd->stats_cpu) {
524                 blkg_free(blkg);
525                 return NULL;
526         }
527
528         /* invoke per-policy init */
529         pol->ops.blkio_init_group_fn(blkg);
530         return blkg;
531 }
532
533 struct blkio_group *blkg_lookup_create(struct blkio_cgroup *blkcg,
534                                        struct request_queue *q,
535                                        enum blkio_policy_id plid,
536                                        bool for_root)
537         __releases(q->queue_lock) __acquires(q->queue_lock)
538 {
539         struct blkio_policy_type *pol = blkio_policy[plid];
540         struct blkio_group *blkg, *new_blkg;
541
542         WARN_ON_ONCE(!rcu_read_lock_held());
543         lockdep_assert_held(q->queue_lock);
544
545         /*
546          * This could be the first entry point of blkcg implementation and
547          * we shouldn't allow anything to go through for a bypassing queue.
548          * The following can be removed if blkg lookup is guaranteed to
549          * fail on a bypassing queue.
550          */
551         if (unlikely(blk_queue_bypass(q)) && !for_root)
552                 return ERR_PTR(blk_queue_dead(q) ? -EINVAL : -EBUSY);
553
554         blkg = blkg_lookup(blkcg, q, plid);
555         if (blkg)
556                 return blkg;
557
558         /* blkg holds a reference to blkcg */
559         if (!css_tryget(&blkcg->css))
560                 return ERR_PTR(-EINVAL);
561
562         /*
563          * Allocate and initialize.
564          *
565          * FIXME: The following is broken.  Percpu memory allocation
566          * requires %GFP_KERNEL context and can't be performed from IO
567          * path.  Allocation here should inherently be atomic and the
568          * following lock dancing can be removed once the broken percpu
569          * allocation is fixed.
570          */
571         spin_unlock_irq(q->queue_lock);
572         rcu_read_unlock();
573
574         new_blkg = blkg_alloc(blkcg, q, pol);
575
576         rcu_read_lock();
577         spin_lock_irq(q->queue_lock);
578
579         /* did bypass get turned on inbetween? */
580         if (unlikely(blk_queue_bypass(q)) && !for_root) {
581                 blkg = ERR_PTR(blk_queue_dead(q) ? -EINVAL : -EBUSY);
582                 goto out;
583         }
584
585         /* did someone beat us to it? */
586         blkg = blkg_lookup(blkcg, q, plid);
587         if (unlikely(blkg))
588                 goto out;
589
590         /* did alloc fail? */
591         if (unlikely(!new_blkg)) {
592                 blkg = ERR_PTR(-ENOMEM);
593                 goto out;
594         }
595
596         /* insert */
597         spin_lock(&blkcg->lock);
598         swap(blkg, new_blkg);
599
600         hlist_add_head_rcu(&blkg->blkcg_node, &blkcg->blkg_list);
601         list_add(&blkg->q_node[plid], &q->blkg_list[plid]);
602         q->nr_blkgs[plid]++;
603
604         spin_unlock(&blkcg->lock);
605 out:
606         blkg_free(new_blkg);
607         return blkg;
608 }
609 EXPORT_SYMBOL_GPL(blkg_lookup_create);
610
611 static void __blkiocg_del_blkio_group(struct blkio_group *blkg)
612 {
613         hlist_del_init_rcu(&blkg->blkcg_node);
614 }
615
616 /*
617  * returns 0 if blkio_group was still on cgroup list. Otherwise returns 1
618  * indicating that blk_group was unhashed by the time we got to it.
619  */
620 int blkiocg_del_blkio_group(struct blkio_group *blkg)
621 {
622         struct blkio_cgroup *blkcg = blkg->blkcg;
623         unsigned long flags;
624         int ret = 1;
625
626         spin_lock_irqsave(&blkcg->lock, flags);
627         if (!hlist_unhashed(&blkg->blkcg_node)) {
628                 __blkiocg_del_blkio_group(blkg);
629                 ret = 0;
630         }
631         spin_unlock_irqrestore(&blkcg->lock, flags);
632
633         return ret;
634 }
635 EXPORT_SYMBOL_GPL(blkiocg_del_blkio_group);
636
637 /* called under rcu_read_lock(). */
638 struct blkio_group *blkg_lookup(struct blkio_cgroup *blkcg,
639                                 struct request_queue *q,
640                                 enum blkio_policy_id plid)
641 {
642         struct blkio_group *blkg;
643         struct hlist_node *n;
644
645         hlist_for_each_entry_rcu(blkg, n, &blkcg->blkg_list, blkcg_node)
646                 if (blkg->q == q && blkg->plid == plid)
647                         return blkg;
648         return NULL;
649 }
650 EXPORT_SYMBOL_GPL(blkg_lookup);
651
652 static void blkg_destroy(struct blkio_group *blkg, enum blkio_policy_id plid)
653 {
654         struct request_queue *q = blkg->q;
655
656         lockdep_assert_held(q->queue_lock);
657
658         /* Something wrong if we are trying to remove same group twice */
659         WARN_ON_ONCE(list_empty(&blkg->q_node[plid]));
660         list_del_init(&blkg->q_node[plid]);
661
662         WARN_ON_ONCE(q->nr_blkgs[plid] <= 0);
663         q->nr_blkgs[plid]--;
664
665         /*
666          * Put the reference taken at the time of creation so that when all
667          * queues are gone, group can be destroyed.
668          */
669         blkg_put(blkg);
670 }
671
672 void blkg_destroy_all(struct request_queue *q, enum blkio_policy_id plid,
673                       bool destroy_root)
674 {
675         struct blkio_group *blkg, *n;
676
677         while (true) {
678                 bool done = true;
679
680                 spin_lock_irq(q->queue_lock);
681
682                 list_for_each_entry_safe(blkg, n, &q->blkg_list[plid],
683                                          q_node[plid]) {
684                         /* skip root? */
685                         if (!destroy_root && blkg->blkcg == &blkio_root_cgroup)
686                                 continue;
687
688                         /*
689                          * If cgroup removal path got to blk_group first
690                          * and removed it from cgroup list, then it will
691                          * take care of destroying cfqg also.
692                          */
693                         if (!blkiocg_del_blkio_group(blkg))
694                                 blkg_destroy(blkg, plid);
695                         else
696                                 done = false;
697                 }
698
699                 spin_unlock_irq(q->queue_lock);
700
701                 /*
702                  * Group list may not be empty if we raced cgroup removal
703                  * and lost.  cgroup removal is guaranteed to make forward
704                  * progress and retrying after a while is enough.  This
705                  * ugliness is scheduled to be removed after locking
706                  * update.
707                  */
708                 if (done)
709                         break;
710
711                 msleep(10);     /* just some random duration I like */
712         }
713 }
714 EXPORT_SYMBOL_GPL(blkg_destroy_all);
715
716 static void blkg_rcu_free(struct rcu_head *rcu_head)
717 {
718         blkg_free(container_of(rcu_head, struct blkio_group, rcu_head));
719 }
720
721 void __blkg_release(struct blkio_group *blkg)
722 {
723         /* release the extra blkcg reference this blkg has been holding */
724         css_put(&blkg->blkcg->css);
725
726         /*
727          * A group is freed in rcu manner. But having an rcu lock does not
728          * mean that one can access all the fields of blkg and assume these
729          * are valid. For example, don't try to follow throtl_data and
730          * request queue links.
731          *
732          * Having a reference to blkg under an rcu allows acess to only
733          * values local to groups like group stats and group rate limits
734          */
735         call_rcu(&blkg->rcu_head, blkg_rcu_free);
736 }
737 EXPORT_SYMBOL_GPL(__blkg_release);
738
739 static void blkio_reset_stats_cpu(struct blkio_group *blkg, int plid)
740 {
741         struct blkg_policy_data *pd = blkg->pd[plid];
742         struct blkio_group_stats_cpu *stats_cpu;
743         int i, j, k;
744         /*
745          * Note: On 64 bit arch this should not be an issue. This has the
746          * possibility of returning some inconsistent value on 32bit arch
747          * as 64bit update on 32bit is non atomic. Taking care of this
748          * corner case makes code very complicated, like sending IPIs to
749          * cpus, taking care of stats of offline cpus etc.
750          *
751          * reset stats is anyway more of a debug feature and this sounds a
752          * corner case. So I am not complicating the code yet until and
753          * unless this becomes a real issue.
754          */
755         for_each_possible_cpu(i) {
756                 stats_cpu = per_cpu_ptr(pd->stats_cpu, i);
757                 stats_cpu->sectors = 0;
758                 for(j = 0; j < BLKIO_STAT_CPU_NR; j++)
759                         for (k = 0; k < BLKIO_STAT_TOTAL; k++)
760                                 stats_cpu->stat_arr_cpu[j][k] = 0;
761         }
762 }
763
764 static int
765 blkiocg_reset_stats(struct cgroup *cgroup, struct cftype *cftype, u64 val)
766 {
767         struct blkio_cgroup *blkcg;
768         struct blkio_group *blkg;
769         struct blkio_group_stats *stats;
770         struct hlist_node *n;
771         uint64_t queued[BLKIO_STAT_TOTAL];
772         int i;
773 #ifdef CONFIG_DEBUG_BLK_CGROUP
774         bool idling, waiting, empty;
775         unsigned long long now = sched_clock();
776 #endif
777
778         blkcg = cgroup_to_blkio_cgroup(cgroup);
779         spin_lock_irq(&blkcg->lock);
780         hlist_for_each_entry(blkg, n, &blkcg->blkg_list, blkcg_node) {
781                 struct blkg_policy_data *pd = blkg->pd[blkg->plid];
782
783                 spin_lock(&blkg->stats_lock);
784                 stats = &pd->stats;
785 #ifdef CONFIG_DEBUG_BLK_CGROUP
786                 idling = blkio_blkg_idling(stats);
787                 waiting = blkio_blkg_waiting(stats);
788                 empty = blkio_blkg_empty(stats);
789 #endif
790                 for (i = 0; i < BLKIO_STAT_TOTAL; i++)
791                         queued[i] = stats->stat_arr[BLKIO_STAT_QUEUED][i];
792                 memset(stats, 0, sizeof(struct blkio_group_stats));
793                 for (i = 0; i < BLKIO_STAT_TOTAL; i++)
794                         stats->stat_arr[BLKIO_STAT_QUEUED][i] = queued[i];
795 #ifdef CONFIG_DEBUG_BLK_CGROUP
796                 if (idling) {
797                         blkio_mark_blkg_idling(stats);
798                         stats->start_idle_time = now;
799                 }
800                 if (waiting) {
801                         blkio_mark_blkg_waiting(stats);
802                         stats->start_group_wait_time = now;
803                 }
804                 if (empty) {
805                         blkio_mark_blkg_empty(stats);
806                         stats->start_empty_time = now;
807                 }
808 #endif
809                 spin_unlock(&blkg->stats_lock);
810
811                 /* Reset Per cpu stats which don't take blkg->stats_lock */
812                 blkio_reset_stats_cpu(blkg, blkg->plid);
813         }
814
815         spin_unlock_irq(&blkcg->lock);
816         return 0;
817 }
818
819 static void blkio_get_key_name(enum stat_sub_type type, const char *dname,
820                                char *str, int chars_left, bool diskname_only)
821 {
822         snprintf(str, chars_left, "%s", dname);
823         chars_left -= strlen(str);
824         if (chars_left <= 0) {
825                 printk(KERN_WARNING
826                         "Possibly incorrect cgroup stat display format");
827                 return;
828         }
829         if (diskname_only)
830                 return;
831         switch (type) {
832         case BLKIO_STAT_READ:
833                 strlcat(str, " Read", chars_left);
834                 break;
835         case BLKIO_STAT_WRITE:
836                 strlcat(str, " Write", chars_left);
837                 break;
838         case BLKIO_STAT_SYNC:
839                 strlcat(str, " Sync", chars_left);
840                 break;
841         case BLKIO_STAT_ASYNC:
842                 strlcat(str, " Async", chars_left);
843                 break;
844         case BLKIO_STAT_TOTAL:
845                 strlcat(str, " Total", chars_left);
846                 break;
847         default:
848                 strlcat(str, " Invalid", chars_left);
849         }
850 }
851
852 static uint64_t blkio_fill_stat(char *str, int chars_left, uint64_t val,
853                                 struct cgroup_map_cb *cb, const char *dname)
854 {
855         blkio_get_key_name(0, dname, str, chars_left, true);
856         cb->fill(cb, str, val);
857         return val;
858 }
859
860
861 static uint64_t blkio_read_stat_cpu(struct blkio_group *blkg, int plid,
862                         enum stat_type_cpu type, enum stat_sub_type sub_type)
863 {
864         struct blkg_policy_data *pd = blkg->pd[plid];
865         int cpu;
866         struct blkio_group_stats_cpu *stats_cpu;
867         u64 val = 0, tval;
868
869         for_each_possible_cpu(cpu) {
870                 unsigned int start;
871                 stats_cpu = per_cpu_ptr(pd->stats_cpu, cpu);
872
873                 do {
874                         start = u64_stats_fetch_begin(&stats_cpu->syncp);
875                         if (type == BLKIO_STAT_CPU_SECTORS)
876                                 tval = stats_cpu->sectors;
877                         else
878                                 tval = stats_cpu->stat_arr_cpu[type][sub_type];
879                 } while(u64_stats_fetch_retry(&stats_cpu->syncp, start));
880
881                 val += tval;
882         }
883
884         return val;
885 }
886
887 static uint64_t blkio_get_stat_cpu(struct blkio_group *blkg, int plid,
888                                    struct cgroup_map_cb *cb, const char *dname,
889                                    enum stat_type_cpu type)
890 {
891         uint64_t disk_total, val;
892         char key_str[MAX_KEY_LEN];
893         enum stat_sub_type sub_type;
894
895         if (type == BLKIO_STAT_CPU_SECTORS) {
896                 val = blkio_read_stat_cpu(blkg, plid, type, 0);
897                 return blkio_fill_stat(key_str, MAX_KEY_LEN - 1, val, cb,
898                                        dname);
899         }
900
901         for (sub_type = BLKIO_STAT_READ; sub_type < BLKIO_STAT_TOTAL;
902                         sub_type++) {
903                 blkio_get_key_name(sub_type, dname, key_str, MAX_KEY_LEN,
904                                    false);
905                 val = blkio_read_stat_cpu(blkg, plid, type, sub_type);
906                 cb->fill(cb, key_str, val);
907         }
908
909         disk_total = blkio_read_stat_cpu(blkg, plid, type, BLKIO_STAT_READ) +
910                 blkio_read_stat_cpu(blkg, plid, type, BLKIO_STAT_WRITE);
911
912         blkio_get_key_name(BLKIO_STAT_TOTAL, dname, key_str, MAX_KEY_LEN,
913                            false);
914         cb->fill(cb, key_str, disk_total);
915         return disk_total;
916 }
917
918 /* This should be called with blkg->stats_lock held */
919 static uint64_t blkio_get_stat(struct blkio_group *blkg, int plid,
920                                struct cgroup_map_cb *cb, const char *dname,
921                                enum stat_type type)
922 {
923         struct blkg_policy_data *pd = blkg->pd[plid];
924         uint64_t disk_total;
925         char key_str[MAX_KEY_LEN];
926         enum stat_sub_type sub_type;
927
928         if (type == BLKIO_STAT_TIME)
929                 return blkio_fill_stat(key_str, MAX_KEY_LEN - 1,
930                                         pd->stats.time, cb, dname);
931 #ifdef CONFIG_DEBUG_BLK_CGROUP
932         if (type == BLKIO_STAT_UNACCOUNTED_TIME)
933                 return blkio_fill_stat(key_str, MAX_KEY_LEN - 1,
934                                        pd->stats.unaccounted_time, cb, dname);
935         if (type == BLKIO_STAT_AVG_QUEUE_SIZE) {
936                 uint64_t sum = pd->stats.avg_queue_size_sum;
937                 uint64_t samples = pd->stats.avg_queue_size_samples;
938                 if (samples)
939                         do_div(sum, samples);
940                 else
941                         sum = 0;
942                 return blkio_fill_stat(key_str, MAX_KEY_LEN - 1,
943                                        sum, cb, dname);
944         }
945         if (type == BLKIO_STAT_GROUP_WAIT_TIME)
946                 return blkio_fill_stat(key_str, MAX_KEY_LEN - 1,
947                                        pd->stats.group_wait_time, cb, dname);
948         if (type == BLKIO_STAT_IDLE_TIME)
949                 return blkio_fill_stat(key_str, MAX_KEY_LEN - 1,
950                                        pd->stats.idle_time, cb, dname);
951         if (type == BLKIO_STAT_EMPTY_TIME)
952                 return blkio_fill_stat(key_str, MAX_KEY_LEN - 1,
953                                        pd->stats.empty_time, cb, dname);
954         if (type == BLKIO_STAT_DEQUEUE)
955                 return blkio_fill_stat(key_str, MAX_KEY_LEN - 1,
956                                        pd->stats.dequeue, cb, dname);
957 #endif
958
959         for (sub_type = BLKIO_STAT_READ; sub_type < BLKIO_STAT_TOTAL;
960                         sub_type++) {
961                 blkio_get_key_name(sub_type, dname, key_str, MAX_KEY_LEN,
962                                    false);
963                 cb->fill(cb, key_str, pd->stats.stat_arr[type][sub_type]);
964         }
965         disk_total = pd->stats.stat_arr[type][BLKIO_STAT_READ] +
966                         pd->stats.stat_arr[type][BLKIO_STAT_WRITE];
967         blkio_get_key_name(BLKIO_STAT_TOTAL, dname, key_str, MAX_KEY_LEN,
968                            false);
969         cb->fill(cb, key_str, disk_total);
970         return disk_total;
971 }
972
973 static int blkio_policy_parse_and_set(char *buf, enum blkio_policy_id plid,
974                                       int fileid, struct blkio_cgroup *blkcg)
975 {
976         struct gendisk *disk = NULL;
977         struct blkio_group *blkg = NULL;
978         struct blkg_policy_data *pd;
979         char *s[4], *p, *major_s = NULL, *minor_s = NULL;
980         unsigned long major, minor;
981         int i = 0, ret = -EINVAL;
982         int part;
983         dev_t dev;
984         u64 temp;
985
986         memset(s, 0, sizeof(s));
987
988         while ((p = strsep(&buf, " ")) != NULL) {
989                 if (!*p)
990                         continue;
991
992                 s[i++] = p;
993
994                 /* Prevent from inputing too many things */
995                 if (i == 3)
996                         break;
997         }
998
999         if (i != 2)
1000                 goto out;
1001
1002         p = strsep(&s[0], ":");
1003         if (p != NULL)
1004                 major_s = p;
1005         else
1006                 goto out;
1007
1008         minor_s = s[0];
1009         if (!minor_s)
1010                 goto out;
1011
1012         if (strict_strtoul(major_s, 10, &major))
1013                 goto out;
1014
1015         if (strict_strtoul(minor_s, 10, &minor))
1016                 goto out;
1017
1018         dev = MKDEV(major, minor);
1019
1020         if (strict_strtoull(s[1], 10, &temp))
1021                 goto out;
1022
1023         disk = get_gendisk(dev, &part);
1024         if (!disk || part)
1025                 goto out;
1026
1027         rcu_read_lock();
1028
1029         spin_lock_irq(disk->queue->queue_lock);
1030         blkg = blkg_lookup_create(blkcg, disk->queue, plid, false);
1031         spin_unlock_irq(disk->queue->queue_lock);
1032
1033         if (IS_ERR(blkg)) {
1034                 ret = PTR_ERR(blkg);
1035                 goto out_unlock;
1036         }
1037
1038         pd = blkg->pd[plid];
1039
1040         switch (plid) {
1041         case BLKIO_POLICY_PROP:
1042                 if ((temp < BLKIO_WEIGHT_MIN && temp > 0) ||
1043                      temp > BLKIO_WEIGHT_MAX)
1044                         goto out_unlock;
1045
1046                 pd->conf.weight = temp;
1047                 blkio_update_group_weight(blkg, plid, temp ?: blkcg->weight);
1048                 break;
1049         case BLKIO_POLICY_THROTL:
1050                 switch(fileid) {
1051                 case BLKIO_THROTL_read_bps_device:
1052                         pd->conf.bps[READ] = temp;
1053                         blkio_update_group_bps(blkg, plid, temp ?: -1, fileid);
1054                         break;
1055                 case BLKIO_THROTL_write_bps_device:
1056                         pd->conf.bps[WRITE] = temp;
1057                         blkio_update_group_bps(blkg, plid, temp ?: -1, fileid);
1058                         break;
1059                 case BLKIO_THROTL_read_iops_device:
1060                         if (temp > THROTL_IOPS_MAX)
1061                                 goto out_unlock;
1062                         pd->conf.iops[READ] = temp;
1063                         blkio_update_group_iops(blkg, plid, temp ?: -1, fileid);
1064                         break;
1065                 case BLKIO_THROTL_write_iops_device:
1066                         if (temp > THROTL_IOPS_MAX)
1067                                 goto out_unlock;
1068                         pd->conf.iops[WRITE] = temp;
1069                         blkio_update_group_iops(blkg, plid, temp ?: -1, fileid);
1070                         break;
1071                 }
1072                 break;
1073         default:
1074                 BUG();
1075         }
1076         ret = 0;
1077 out_unlock:
1078         rcu_read_unlock();
1079 out:
1080         put_disk(disk);
1081
1082         /*
1083          * If queue was bypassing, we should retry.  Do so after a short
1084          * msleep().  It isn't strictly necessary but queue can be
1085          * bypassing for some time and it's always nice to avoid busy
1086          * looping.
1087          */
1088         if (ret == -EBUSY) {
1089                 msleep(10);
1090                 return restart_syscall();
1091         }
1092         return ret;
1093 }
1094
1095 static int blkiocg_file_write(struct cgroup *cgrp, struct cftype *cft,
1096                                        const char *buffer)
1097 {
1098         int ret = 0;
1099         char *buf;
1100         struct blkio_cgroup *blkcg = cgroup_to_blkio_cgroup(cgrp);
1101         enum blkio_policy_id plid = BLKIOFILE_POLICY(cft->private);
1102         int fileid = BLKIOFILE_ATTR(cft->private);
1103
1104         buf = kstrdup(buffer, GFP_KERNEL);
1105         if (!buf)
1106                 return -ENOMEM;
1107
1108         ret = blkio_policy_parse_and_set(buf, plid, fileid, blkcg);
1109         kfree(buf);
1110         return ret;
1111 }
1112
1113 static const char *blkg_dev_name(struct blkio_group *blkg)
1114 {
1115         /* some drivers (floppy) instantiate a queue w/o disk registered */
1116         if (blkg->q->backing_dev_info.dev)
1117                 return dev_name(blkg->q->backing_dev_info.dev);
1118         return NULL;
1119 }
1120
1121 static void blkio_print_group_conf(struct cftype *cft, struct blkio_group *blkg,
1122                                    struct seq_file *m)
1123 {
1124         int plid = BLKIOFILE_POLICY(cft->private);
1125         int fileid = BLKIOFILE_ATTR(cft->private);
1126         struct blkg_policy_data *pd = blkg->pd[plid];
1127         const char *dname = blkg_dev_name(blkg);
1128         int rw = WRITE;
1129
1130         if (!dname)
1131                 return;
1132
1133         switch (plid) {
1134                 case BLKIO_POLICY_PROP:
1135                         if (pd->conf.weight)
1136                                 seq_printf(m, "%s\t%u\n",
1137                                            dname, pd->conf.weight);
1138                         break;
1139                 case BLKIO_POLICY_THROTL:
1140                         switch (fileid) {
1141                         case BLKIO_THROTL_read_bps_device:
1142                                 rw = READ;
1143                         case BLKIO_THROTL_write_bps_device:
1144                                 if (pd->conf.bps[rw])
1145                                         seq_printf(m, "%s\t%llu\n",
1146                                                    dname, pd->conf.bps[rw]);
1147                                 break;
1148                         case BLKIO_THROTL_read_iops_device:
1149                                 rw = READ;
1150                         case BLKIO_THROTL_write_iops_device:
1151                                 if (pd->conf.iops[rw])
1152                                         seq_printf(m, "%s\t%u\n",
1153                                                    dname, pd->conf.iops[rw]);
1154                                 break;
1155                         }
1156                         break;
1157                 default:
1158                         BUG();
1159         }
1160 }
1161
1162 /* cgroup files which read their data from policy nodes end up here */
1163 static void blkio_read_conf(struct cftype *cft, struct blkio_cgroup *blkcg,
1164                             struct seq_file *m)
1165 {
1166         struct blkio_group *blkg;
1167         struct hlist_node *n;
1168
1169         spin_lock_irq(&blkcg->lock);
1170         hlist_for_each_entry(blkg, n, &blkcg->blkg_list, blkcg_node)
1171                 if (BLKIOFILE_POLICY(cft->private) == blkg->plid)
1172                         blkio_print_group_conf(cft, blkg, m);
1173         spin_unlock_irq(&blkcg->lock);
1174 }
1175
1176 static int blkiocg_file_read(struct cgroup *cgrp, struct cftype *cft,
1177                                 struct seq_file *m)
1178 {
1179         struct blkio_cgroup *blkcg;
1180         enum blkio_policy_id plid = BLKIOFILE_POLICY(cft->private);
1181         int name = BLKIOFILE_ATTR(cft->private);
1182
1183         blkcg = cgroup_to_blkio_cgroup(cgrp);
1184
1185         switch(plid) {
1186         case BLKIO_POLICY_PROP:
1187                 switch(name) {
1188                 case BLKIO_PROP_weight_device:
1189                         blkio_read_conf(cft, blkcg, m);
1190                         return 0;
1191                 default:
1192                         BUG();
1193                 }
1194                 break;
1195         case BLKIO_POLICY_THROTL:
1196                 switch(name){
1197                 case BLKIO_THROTL_read_bps_device:
1198                 case BLKIO_THROTL_write_bps_device:
1199                 case BLKIO_THROTL_read_iops_device:
1200                 case BLKIO_THROTL_write_iops_device:
1201                         blkio_read_conf(cft, blkcg, m);
1202                         return 0;
1203                 default:
1204                         BUG();
1205                 }
1206                 break;
1207         default:
1208                 BUG();
1209         }
1210
1211         return 0;
1212 }
1213
1214 static int blkio_read_blkg_stats(struct blkio_cgroup *blkcg,
1215                 struct cftype *cft, struct cgroup_map_cb *cb,
1216                 enum stat_type type, bool show_total, bool pcpu)
1217 {
1218         struct blkio_group *blkg;
1219         struct hlist_node *n;
1220         uint64_t cgroup_total = 0;
1221
1222         rcu_read_lock();
1223         hlist_for_each_entry_rcu(blkg, n, &blkcg->blkg_list, blkcg_node) {
1224                 const char *dname = blkg_dev_name(blkg);
1225                 int plid = BLKIOFILE_POLICY(cft->private);
1226
1227                 if (!dname || plid != blkg->plid)
1228                         continue;
1229                 if (pcpu) {
1230                         cgroup_total += blkio_get_stat_cpu(blkg, plid,
1231                                                            cb, dname, type);
1232                 } else {
1233                         spin_lock_irq(&blkg->stats_lock);
1234                         cgroup_total += blkio_get_stat(blkg, plid,
1235                                                        cb, dname, type);
1236                         spin_unlock_irq(&blkg->stats_lock);
1237                 }
1238         }
1239         if (show_total)
1240                 cb->fill(cb, "Total", cgroup_total);
1241         rcu_read_unlock();
1242         return 0;
1243 }
1244
1245 /* All map kind of cgroup file get serviced by this function */
1246 static int blkiocg_file_read_map(struct cgroup *cgrp, struct cftype *cft,
1247                                 struct cgroup_map_cb *cb)
1248 {
1249         struct blkio_cgroup *blkcg;
1250         enum blkio_policy_id plid = BLKIOFILE_POLICY(cft->private);
1251         int name = BLKIOFILE_ATTR(cft->private);
1252
1253         blkcg = cgroup_to_blkio_cgroup(cgrp);
1254
1255         switch(plid) {
1256         case BLKIO_POLICY_PROP:
1257                 switch(name) {
1258                 case BLKIO_PROP_time:
1259                         return blkio_read_blkg_stats(blkcg, cft, cb,
1260                                                 BLKIO_STAT_TIME, 0, 0);
1261                 case BLKIO_PROP_sectors:
1262                         return blkio_read_blkg_stats(blkcg, cft, cb,
1263                                                 BLKIO_STAT_CPU_SECTORS, 0, 1);
1264                 case BLKIO_PROP_io_service_bytes:
1265                         return blkio_read_blkg_stats(blkcg, cft, cb,
1266                                         BLKIO_STAT_CPU_SERVICE_BYTES, 1, 1);
1267                 case BLKIO_PROP_io_serviced:
1268                         return blkio_read_blkg_stats(blkcg, cft, cb,
1269                                                 BLKIO_STAT_CPU_SERVICED, 1, 1);
1270                 case BLKIO_PROP_io_service_time:
1271                         return blkio_read_blkg_stats(blkcg, cft, cb,
1272                                                 BLKIO_STAT_SERVICE_TIME, 1, 0);
1273                 case BLKIO_PROP_io_wait_time:
1274                         return blkio_read_blkg_stats(blkcg, cft, cb,
1275                                                 BLKIO_STAT_WAIT_TIME, 1, 0);
1276                 case BLKIO_PROP_io_merged:
1277                         return blkio_read_blkg_stats(blkcg, cft, cb,
1278                                                 BLKIO_STAT_CPU_MERGED, 1, 1);
1279                 case BLKIO_PROP_io_queued:
1280                         return blkio_read_blkg_stats(blkcg, cft, cb,
1281                                                 BLKIO_STAT_QUEUED, 1, 0);
1282 #ifdef CONFIG_DEBUG_BLK_CGROUP
1283                 case BLKIO_PROP_unaccounted_time:
1284                         return blkio_read_blkg_stats(blkcg, cft, cb,
1285                                         BLKIO_STAT_UNACCOUNTED_TIME, 0, 0);
1286                 case BLKIO_PROP_dequeue:
1287                         return blkio_read_blkg_stats(blkcg, cft, cb,
1288                                                 BLKIO_STAT_DEQUEUE, 0, 0);
1289                 case BLKIO_PROP_avg_queue_size:
1290                         return blkio_read_blkg_stats(blkcg, cft, cb,
1291                                         BLKIO_STAT_AVG_QUEUE_SIZE, 0, 0);
1292                 case BLKIO_PROP_group_wait_time:
1293                         return blkio_read_blkg_stats(blkcg, cft, cb,
1294                                         BLKIO_STAT_GROUP_WAIT_TIME, 0, 0);
1295                 case BLKIO_PROP_idle_time:
1296                         return blkio_read_blkg_stats(blkcg, cft, cb,
1297                                                 BLKIO_STAT_IDLE_TIME, 0, 0);
1298                 case BLKIO_PROP_empty_time:
1299                         return blkio_read_blkg_stats(blkcg, cft, cb,
1300                                                 BLKIO_STAT_EMPTY_TIME, 0, 0);
1301 #endif
1302                 default:
1303                         BUG();
1304                 }
1305                 break;
1306         case BLKIO_POLICY_THROTL:
1307                 switch(name){
1308                 case BLKIO_THROTL_io_service_bytes:
1309                         return blkio_read_blkg_stats(blkcg, cft, cb,
1310                                                 BLKIO_STAT_CPU_SERVICE_BYTES, 1, 1);
1311                 case BLKIO_THROTL_io_serviced:
1312                         return blkio_read_blkg_stats(blkcg, cft, cb,
1313                                                 BLKIO_STAT_CPU_SERVICED, 1, 1);
1314                 default:
1315                         BUG();
1316                 }
1317                 break;
1318         default:
1319                 BUG();
1320         }
1321
1322         return 0;
1323 }
1324
1325 static int blkio_weight_write(struct blkio_cgroup *blkcg, int plid, u64 val)
1326 {
1327         struct blkio_group *blkg;
1328         struct hlist_node *n;
1329
1330         if (val < BLKIO_WEIGHT_MIN || val > BLKIO_WEIGHT_MAX)
1331                 return -EINVAL;
1332
1333         spin_lock(&blkio_list_lock);
1334         spin_lock_irq(&blkcg->lock);
1335         blkcg->weight = (unsigned int)val;
1336
1337         hlist_for_each_entry(blkg, n, &blkcg->blkg_list, blkcg_node) {
1338                 struct blkg_policy_data *pd = blkg->pd[blkg->plid];
1339
1340                 if (blkg->plid == plid && !pd->conf.weight)
1341                         blkio_update_group_weight(blkg, plid, blkcg->weight);
1342         }
1343
1344         spin_unlock_irq(&blkcg->lock);
1345         spin_unlock(&blkio_list_lock);
1346         return 0;
1347 }
1348
1349 static u64 blkiocg_file_read_u64 (struct cgroup *cgrp, struct cftype *cft) {
1350         struct blkio_cgroup *blkcg;
1351         enum blkio_policy_id plid = BLKIOFILE_POLICY(cft->private);
1352         int name = BLKIOFILE_ATTR(cft->private);
1353
1354         blkcg = cgroup_to_blkio_cgroup(cgrp);
1355
1356         switch(plid) {
1357         case BLKIO_POLICY_PROP:
1358                 switch(name) {
1359                 case BLKIO_PROP_weight:
1360                         return (u64)blkcg->weight;
1361                 }
1362                 break;
1363         default:
1364                 BUG();
1365         }
1366         return 0;
1367 }
1368
1369 static int
1370 blkiocg_file_write_u64(struct cgroup *cgrp, struct cftype *cft, u64 val)
1371 {
1372         struct blkio_cgroup *blkcg;
1373         enum blkio_policy_id plid = BLKIOFILE_POLICY(cft->private);
1374         int name = BLKIOFILE_ATTR(cft->private);
1375
1376         blkcg = cgroup_to_blkio_cgroup(cgrp);
1377
1378         switch(plid) {
1379         case BLKIO_POLICY_PROP:
1380                 switch(name) {
1381                 case BLKIO_PROP_weight:
1382                         return blkio_weight_write(blkcg, plid, val);
1383                 }
1384                 break;
1385         default:
1386                 BUG();
1387         }
1388
1389         return 0;
1390 }
1391
1392 struct cftype blkio_files[] = {
1393         {
1394                 .name = "weight_device",
1395                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_PROP,
1396                                 BLKIO_PROP_weight_device),
1397                 .read_seq_string = blkiocg_file_read,
1398                 .write_string = blkiocg_file_write,
1399                 .max_write_len = 256,
1400         },
1401         {
1402                 .name = "weight",
1403                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_PROP,
1404                                 BLKIO_PROP_weight),
1405                 .read_u64 = blkiocg_file_read_u64,
1406                 .write_u64 = blkiocg_file_write_u64,
1407         },
1408         {
1409                 .name = "time",
1410                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_PROP,
1411                                 BLKIO_PROP_time),
1412                 .read_map = blkiocg_file_read_map,
1413         },
1414         {
1415                 .name = "sectors",
1416                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_PROP,
1417                                 BLKIO_PROP_sectors),
1418                 .read_map = blkiocg_file_read_map,
1419         },
1420         {
1421                 .name = "io_service_bytes",
1422                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_PROP,
1423                                 BLKIO_PROP_io_service_bytes),
1424                 .read_map = blkiocg_file_read_map,
1425         },
1426         {
1427                 .name = "io_serviced",
1428                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_PROP,
1429                                 BLKIO_PROP_io_serviced),
1430                 .read_map = blkiocg_file_read_map,
1431         },
1432         {
1433                 .name = "io_service_time",
1434                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_PROP,
1435                                 BLKIO_PROP_io_service_time),
1436                 .read_map = blkiocg_file_read_map,
1437         },
1438         {
1439                 .name = "io_wait_time",
1440                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_PROP,
1441                                 BLKIO_PROP_io_wait_time),
1442                 .read_map = blkiocg_file_read_map,
1443         },
1444         {
1445                 .name = "io_merged",
1446                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_PROP,
1447                                 BLKIO_PROP_io_merged),
1448                 .read_map = blkiocg_file_read_map,
1449         },
1450         {
1451                 .name = "io_queued",
1452                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_PROP,
1453                                 BLKIO_PROP_io_queued),
1454                 .read_map = blkiocg_file_read_map,
1455         },
1456         {
1457                 .name = "reset_stats",
1458                 .write_u64 = blkiocg_reset_stats,
1459         },
1460 #ifdef CONFIG_BLK_DEV_THROTTLING
1461         {
1462                 .name = "throttle.read_bps_device",
1463                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_THROTL,
1464                                 BLKIO_THROTL_read_bps_device),
1465                 .read_seq_string = blkiocg_file_read,
1466                 .write_string = blkiocg_file_write,
1467                 .max_write_len = 256,
1468         },
1469
1470         {
1471                 .name = "throttle.write_bps_device",
1472                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_THROTL,
1473                                 BLKIO_THROTL_write_bps_device),
1474                 .read_seq_string = blkiocg_file_read,
1475                 .write_string = blkiocg_file_write,
1476                 .max_write_len = 256,
1477         },
1478
1479         {
1480                 .name = "throttle.read_iops_device",
1481                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_THROTL,
1482                                 BLKIO_THROTL_read_iops_device),
1483                 .read_seq_string = blkiocg_file_read,
1484                 .write_string = blkiocg_file_write,
1485                 .max_write_len = 256,
1486         },
1487
1488         {
1489                 .name = "throttle.write_iops_device",
1490                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_THROTL,
1491                                 BLKIO_THROTL_write_iops_device),
1492                 .read_seq_string = blkiocg_file_read,
1493                 .write_string = blkiocg_file_write,
1494                 .max_write_len = 256,
1495         },
1496         {
1497                 .name = "throttle.io_service_bytes",
1498                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_THROTL,
1499                                 BLKIO_THROTL_io_service_bytes),
1500                 .read_map = blkiocg_file_read_map,
1501         },
1502         {
1503                 .name = "throttle.io_serviced",
1504                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_THROTL,
1505                                 BLKIO_THROTL_io_serviced),
1506                 .read_map = blkiocg_file_read_map,
1507         },
1508 #endif /* CONFIG_BLK_DEV_THROTTLING */
1509
1510 #ifdef CONFIG_DEBUG_BLK_CGROUP
1511         {
1512                 .name = "avg_queue_size",
1513                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_PROP,
1514                                 BLKIO_PROP_avg_queue_size),
1515                 .read_map = blkiocg_file_read_map,
1516         },
1517         {
1518                 .name = "group_wait_time",
1519                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_PROP,
1520                                 BLKIO_PROP_group_wait_time),
1521                 .read_map = blkiocg_file_read_map,
1522         },
1523         {
1524                 .name = "idle_time",
1525                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_PROP,
1526                                 BLKIO_PROP_idle_time),
1527                 .read_map = blkiocg_file_read_map,
1528         },
1529         {
1530                 .name = "empty_time",
1531                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_PROP,
1532                                 BLKIO_PROP_empty_time),
1533                 .read_map = blkiocg_file_read_map,
1534         },
1535         {
1536                 .name = "dequeue",
1537                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_PROP,
1538                                 BLKIO_PROP_dequeue),
1539                 .read_map = blkiocg_file_read_map,
1540         },
1541         {
1542                 .name = "unaccounted_time",
1543                 .private = BLKIOFILE_PRIVATE(BLKIO_POLICY_PROP,
1544                                 BLKIO_PROP_unaccounted_time),
1545                 .read_map = blkiocg_file_read_map,
1546         },
1547 #endif
1548 };
1549
1550 static int blkiocg_populate(struct cgroup_subsys *subsys, struct cgroup *cgroup)
1551 {
1552         return cgroup_add_files(cgroup, subsys, blkio_files,
1553                                 ARRAY_SIZE(blkio_files));
1554 }
1555
1556 static int blkiocg_pre_destroy(struct cgroup_subsys *subsys,
1557                                struct cgroup *cgroup)
1558 {
1559         struct blkio_cgroup *blkcg = cgroup_to_blkio_cgroup(cgroup);
1560         unsigned long flags;
1561         struct blkio_group *blkg;
1562         struct request_queue *q;
1563         struct blkio_policy_type *blkiop;
1564
1565         rcu_read_lock();
1566
1567         do {
1568                 spin_lock_irqsave(&blkcg->lock, flags);
1569
1570                 if (hlist_empty(&blkcg->blkg_list)) {
1571                         spin_unlock_irqrestore(&blkcg->lock, flags);
1572                         break;
1573                 }
1574
1575                 blkg = hlist_entry(blkcg->blkg_list.first, struct blkio_group,
1576                                         blkcg_node);
1577                 q = rcu_dereference(blkg->q);
1578                 __blkiocg_del_blkio_group(blkg);
1579
1580                 spin_unlock_irqrestore(&blkcg->lock, flags);
1581
1582                 /*
1583                  * This blkio_group is being unlinked as associated cgroup is
1584                  * going away. Let all the IO controlling policies know about
1585                  * this event.
1586                  */
1587                 spin_lock(&blkio_list_lock);
1588                 spin_lock_irqsave(q->queue_lock, flags);
1589                 list_for_each_entry(blkiop, &blkio_list, list) {
1590                         if (blkiop->plid != blkg->plid)
1591                                 continue;
1592                         blkg_destroy(blkg, blkiop->plid);
1593                 }
1594                 spin_unlock_irqrestore(q->queue_lock, flags);
1595                 spin_unlock(&blkio_list_lock);
1596         } while (1);
1597
1598         rcu_read_unlock();
1599
1600         return 0;
1601 }
1602
1603 static void blkiocg_destroy(struct cgroup_subsys *subsys, struct cgroup *cgroup)
1604 {
1605         struct blkio_cgroup *blkcg = cgroup_to_blkio_cgroup(cgroup);
1606
1607         if (blkcg != &blkio_root_cgroup)
1608                 kfree(blkcg);
1609 }
1610
1611 static struct cgroup_subsys_state *
1612 blkiocg_create(struct cgroup_subsys *subsys, struct cgroup *cgroup)
1613 {
1614         struct blkio_cgroup *blkcg;
1615         struct cgroup *parent = cgroup->parent;
1616
1617         if (!parent) {
1618                 blkcg = &blkio_root_cgroup;
1619                 goto done;
1620         }
1621
1622         blkcg = kzalloc(sizeof(*blkcg), GFP_KERNEL);
1623         if (!blkcg)
1624                 return ERR_PTR(-ENOMEM);
1625
1626         blkcg->weight = BLKIO_WEIGHT_DEFAULT;
1627 done:
1628         spin_lock_init(&blkcg->lock);
1629         INIT_HLIST_HEAD(&blkcg->blkg_list);
1630
1631         return &blkcg->css;
1632 }
1633
1634 /**
1635  * blkcg_init_queue - initialize blkcg part of request queue
1636  * @q: request_queue to initialize
1637  *
1638  * Called from blk_alloc_queue_node(). Responsible for initializing blkcg
1639  * part of new request_queue @q.
1640  *
1641  * RETURNS:
1642  * 0 on success, -errno on failure.
1643  */
1644 int blkcg_init_queue(struct request_queue *q)
1645 {
1646         int ret;
1647
1648         might_sleep();
1649
1650         ret = blk_throtl_init(q);
1651         if (ret)
1652                 return ret;
1653
1654         mutex_lock(&all_q_mutex);
1655         INIT_LIST_HEAD(&q->all_q_node);
1656         list_add_tail(&q->all_q_node, &all_q_list);
1657         mutex_unlock(&all_q_mutex);
1658
1659         return 0;
1660 }
1661
1662 /**
1663  * blkcg_drain_queue - drain blkcg part of request_queue
1664  * @q: request_queue to drain
1665  *
1666  * Called from blk_drain_queue().  Responsible for draining blkcg part.
1667  */
1668 void blkcg_drain_queue(struct request_queue *q)
1669 {
1670         lockdep_assert_held(q->queue_lock);
1671
1672         blk_throtl_drain(q);
1673 }
1674
1675 /**
1676  * blkcg_exit_queue - exit and release blkcg part of request_queue
1677  * @q: request_queue being released
1678  *
1679  * Called from blk_release_queue().  Responsible for exiting blkcg part.
1680  */
1681 void blkcg_exit_queue(struct request_queue *q)
1682 {
1683         mutex_lock(&all_q_mutex);
1684         list_del_init(&q->all_q_node);
1685         mutex_unlock(&all_q_mutex);
1686
1687         blk_throtl_exit(q);
1688 }
1689
1690 /*
1691  * We cannot support shared io contexts, as we have no mean to support
1692  * two tasks with the same ioc in two different groups without major rework
1693  * of the main cic data structures.  For now we allow a task to change
1694  * its cgroup only if it's the only owner of its ioc.
1695  */
1696 static int blkiocg_can_attach(struct cgroup_subsys *ss, struct cgroup *cgrp,
1697                               struct cgroup_taskset *tset)
1698 {
1699         struct task_struct *task;
1700         struct io_context *ioc;
1701         int ret = 0;
1702
1703         /* task_lock() is needed to avoid races with exit_io_context() */
1704         cgroup_taskset_for_each(task, cgrp, tset) {
1705                 task_lock(task);
1706                 ioc = task->io_context;
1707                 if (ioc && atomic_read(&ioc->nr_tasks) > 1)
1708                         ret = -EINVAL;
1709                 task_unlock(task);
1710                 if (ret)
1711                         break;
1712         }
1713         return ret;
1714 }
1715
1716 static void blkiocg_attach(struct cgroup_subsys *ss, struct cgroup *cgrp,
1717                            struct cgroup_taskset *tset)
1718 {
1719         struct task_struct *task;
1720         struct io_context *ioc;
1721
1722         cgroup_taskset_for_each(task, cgrp, tset) {
1723                 /* we don't lose anything even if ioc allocation fails */
1724                 ioc = get_task_io_context(task, GFP_ATOMIC, NUMA_NO_NODE);
1725                 if (ioc) {
1726                         ioc_cgroup_changed(ioc);
1727                         put_io_context(ioc);
1728                 }
1729         }
1730 }
1731
1732 static void blkcg_bypass_start(void)
1733         __acquires(&all_q_mutex)
1734 {
1735         struct request_queue *q;
1736         int i;
1737
1738         mutex_lock(&all_q_mutex);
1739
1740         list_for_each_entry(q, &all_q_list, all_q_node) {
1741                 blk_queue_bypass_start(q);
1742                 for (i = 0; i < BLKIO_NR_POLICIES; i++)
1743                         blkg_destroy_all(q, i, false);
1744         }
1745 }
1746
1747 static void blkcg_bypass_end(void)
1748         __releases(&all_q_mutex)
1749 {
1750         struct request_queue *q;
1751
1752         list_for_each_entry(q, &all_q_list, all_q_node)
1753                 blk_queue_bypass_end(q);
1754
1755         mutex_unlock(&all_q_mutex);
1756 }
1757
1758 void blkio_policy_register(struct blkio_policy_type *blkiop)
1759 {
1760         blkcg_bypass_start();
1761         spin_lock(&blkio_list_lock);
1762
1763         BUG_ON(blkio_policy[blkiop->plid]);
1764         blkio_policy[blkiop->plid] = blkiop;
1765         list_add_tail(&blkiop->list, &blkio_list);
1766
1767         spin_unlock(&blkio_list_lock);
1768         blkcg_bypass_end();
1769 }
1770 EXPORT_SYMBOL_GPL(blkio_policy_register);
1771
1772 void blkio_policy_unregister(struct blkio_policy_type *blkiop)
1773 {
1774         blkcg_bypass_start();
1775         spin_lock(&blkio_list_lock);
1776
1777         BUG_ON(blkio_policy[blkiop->plid] != blkiop);
1778         blkio_policy[blkiop->plid] = NULL;
1779         list_del_init(&blkiop->list);
1780
1781         spin_unlock(&blkio_list_lock);
1782         blkcg_bypass_end();
1783 }
1784 EXPORT_SYMBOL_GPL(blkio_policy_unregister);