cpu-hotplug: CPUx should be active before it is marked online
[linux-2.6.git] / kernel / pm_qos_params.c
1 /*
2  * This module exposes the interface to kernel space for specifying
3  * QoS dependencies.  It provides infrastructure for registration of:
4  *
5  * Dependents on a QoS value : register requests
6  * Watchers of QoS value : get notified when target QoS value changes
7  *
8  * This QoS design is best effort based.  Dependents register their QoS needs.
9  * Watchers register to keep track of the current QoS needs of the system.
10  *
11  * There are 3 basic classes of QoS parameter: latency, timeout, throughput
12  * each have defined units:
13  * latency: usec
14  * timeout: usec <-- currently not used.
15  * throughput: kbs (kilo byte / sec)
16  *
17  * There are lists of pm_qos_objects each one wrapping requests, notifiers
18  *
19  * User mode requests on a QOS parameter register themselves to the
20  * subsystem by opening the device node /dev/... and writing there request to
21  * the node.  As long as the process holds a file handle open to the node the
22  * client continues to be accounted for.  Upon file release the usermode
23  * request is removed and a new qos target is computed.  This way when the
24  * request that the application has is cleaned up when closes the file
25  * pointer or exits the pm_qos_object will get an opportunity to clean up.
26  *
27  * Mark Gross <mgross@linux.intel.com>
28  */
29
30 /*#define DEBUG*/
31
32 #include <linux/pm_qos_params.h>
33 #include <linux/sched.h>
34 #include <linux/spinlock.h>
35 #include <linux/slab.h>
36 #include <linux/time.h>
37 #include <linux/fs.h>
38 #include <linux/device.h>
39 #include <linux/miscdevice.h>
40 #include <linux/string.h>
41 #include <linux/platform_device.h>
42 #include <linux/init.h>
43 #include <linux/kernel.h>
44
45 #include <linux/uaccess.h>
46
47 /*
48  * locking rule: all changes to requests or notifiers lists
49  * or pm_qos_object list and pm_qos_objects need to happen with pm_qos_lock
50  * held, taken with _irqsave.  One lock to rule them all
51  */
52 enum pm_qos_type {
53         PM_QOS_MAX,             /* return the largest value */
54         PM_QOS_MIN              /* return the smallest value */
55 };
56
57 /*
58  * Note: The lockless read path depends on the CPU accessing
59  * target_value atomically.  Atomic access is only guaranteed on all CPU
60  * types linux supports for 32 bit quantites
61  */
62 struct pm_qos_object {
63         struct plist_head requests;
64         struct blocking_notifier_head *notifiers;
65         struct miscdevice pm_qos_power_miscdev;
66         char *name;
67         s32 target_value;       /* Do not change to 64 bit */
68         s32 default_value;
69         enum pm_qos_type type;
70 };
71
72 static DEFINE_SPINLOCK(pm_qos_lock);
73
74 static struct pm_qos_object null_pm_qos;
75 static BLOCKING_NOTIFIER_HEAD(cpu_dma_lat_notifier);
76 static struct pm_qos_object cpu_dma_pm_qos = {
77         .requests = PLIST_HEAD_INIT(cpu_dma_pm_qos.requests),
78         .notifiers = &cpu_dma_lat_notifier,
79         .name = "cpu_dma_latency",
80         .target_value = PM_QOS_CPU_DMA_LAT_DEFAULT_VALUE,
81         .default_value = PM_QOS_CPU_DMA_LAT_DEFAULT_VALUE,
82         .type = PM_QOS_MIN,
83 };
84
85 static BLOCKING_NOTIFIER_HEAD(network_lat_notifier);
86 static struct pm_qos_object network_lat_pm_qos = {
87         .requests = PLIST_HEAD_INIT(network_lat_pm_qos.requests),
88         .notifiers = &network_lat_notifier,
89         .name = "network_latency",
90         .target_value = PM_QOS_NETWORK_LAT_DEFAULT_VALUE,
91         .default_value = PM_QOS_NETWORK_LAT_DEFAULT_VALUE,
92         .type = PM_QOS_MIN
93 };
94
95
96 static BLOCKING_NOTIFIER_HEAD(network_throughput_notifier);
97 static struct pm_qos_object network_throughput_pm_qos = {
98         .requests = PLIST_HEAD_INIT(network_throughput_pm_qos.requests),
99         .notifiers = &network_throughput_notifier,
100         .name = "network_throughput",
101         .target_value = PM_QOS_NETWORK_THROUGHPUT_DEFAULT_VALUE,
102         .default_value = PM_QOS_NETWORK_THROUGHPUT_DEFAULT_VALUE,
103         .type = PM_QOS_MAX,
104 };
105
106 static BLOCKING_NOTIFIER_HEAD(max_online_cpus_notifier);
107 static struct pm_qos_object max_online_cpus_pm_qos = {
108         .requests = PLIST_HEAD_INIT(max_online_cpus_pm_qos.requests),
109         .notifiers = &max_online_cpus_notifier,
110         .name = "max_online_cpus",
111         .target_value = PM_QOS_MAX_ONLINE_CPUS_DEFAULT_VALUE,
112         .default_value = PM_QOS_MAX_ONLINE_CPUS_DEFAULT_VALUE,
113         .type = PM_QOS_MIN,
114 };
115
116
117 static struct pm_qos_object *pm_qos_array[] = {
118         &null_pm_qos,
119         &cpu_dma_pm_qos,
120         &network_lat_pm_qos,
121         &network_throughput_pm_qos,
122         &max_online_cpus_pm_qos
123 };
124
125 static ssize_t pm_qos_power_write(struct file *filp, const char __user *buf,
126                 size_t count, loff_t *f_pos);
127 static ssize_t pm_qos_power_read(struct file *filp, char __user *buf,
128                 size_t count, loff_t *f_pos);
129 static int pm_qos_power_open(struct inode *inode, struct file *filp);
130 static int pm_qos_power_release(struct inode *inode, struct file *filp);
131
132 static const struct file_operations pm_qos_power_fops = {
133         .write = pm_qos_power_write,
134         .read = pm_qos_power_read,
135         .open = pm_qos_power_open,
136         .release = pm_qos_power_release,
137         .llseek = noop_llseek,
138 };
139
140 /* unlocked internal variant */
141 static inline int pm_qos_get_value(struct pm_qos_object *o)
142 {
143         if (plist_head_empty(&o->requests))
144                 return o->default_value;
145
146         switch (o->type) {
147         case PM_QOS_MIN:
148                 return plist_first(&o->requests)->prio;
149
150         case PM_QOS_MAX:
151                 return plist_last(&o->requests)->prio;
152
153         default:
154                 /* runtime check for not using enum */
155                 BUG();
156         }
157 }
158
159 static inline s32 pm_qos_read_value(struct pm_qos_object *o)
160 {
161         return o->target_value;
162 }
163
164 static inline void pm_qos_set_value(struct pm_qos_object *o, s32 value)
165 {
166         o->target_value = value;
167 }
168
169 static void update_target(struct pm_qos_object *o, struct plist_node *node,
170                           int del, int value)
171 {
172         unsigned long flags;
173         int prev_value, curr_value;
174
175         spin_lock_irqsave(&pm_qos_lock, flags);
176         prev_value = pm_qos_get_value(o);
177         /* PM_QOS_DEFAULT_VALUE is a signal that the value is unchanged */
178         if (value != PM_QOS_DEFAULT_VALUE) {
179                 /*
180                  * to change the list, we atomically remove, reinit
181                  * with new value and add, then see if the extremal
182                  * changed
183                  */
184                 plist_del(node, &o->requests);
185                 plist_node_init(node, value);
186                 plist_add(node, &o->requests);
187         } else if (del) {
188                 plist_del(node, &o->requests);
189         } else {
190                 plist_add(node, &o->requests);
191         }
192         curr_value = pm_qos_get_value(o);
193         pm_qos_set_value(o, curr_value);
194         spin_unlock_irqrestore(&pm_qos_lock, flags);
195
196         if (prev_value != curr_value)
197                 blocking_notifier_call_chain(o->notifiers,
198                                              (unsigned long)curr_value,
199                                              NULL);
200 }
201
202 static int register_pm_qos_misc(struct pm_qos_object *qos)
203 {
204         qos->pm_qos_power_miscdev.minor = MISC_DYNAMIC_MINOR;
205         qos->pm_qos_power_miscdev.name = qos->name;
206         qos->pm_qos_power_miscdev.fops = &pm_qos_power_fops;
207
208         return misc_register(&qos->pm_qos_power_miscdev);
209 }
210
211 static int find_pm_qos_object_by_minor(int minor)
212 {
213         int pm_qos_class;
214
215         for (pm_qos_class = 0;
216                 pm_qos_class < PM_QOS_NUM_CLASSES; pm_qos_class++) {
217                 if (minor ==
218                         pm_qos_array[pm_qos_class]->pm_qos_power_miscdev.minor)
219                         return pm_qos_class;
220         }
221         return -1;
222 }
223
224 /**
225  * pm_qos_request - returns current system wide qos expectation
226  * @pm_qos_class: identification of which qos value is requested
227  *
228  * This function returns the current target value.
229  */
230 int pm_qos_request(int pm_qos_class)
231 {
232         return pm_qos_read_value(pm_qos_array[pm_qos_class]);
233 }
234 EXPORT_SYMBOL_GPL(pm_qos_request);
235
236 int pm_qos_request_active(struct pm_qos_request_list *req)
237 {
238         return req->pm_qos_class != 0;
239 }
240 EXPORT_SYMBOL_GPL(pm_qos_request_active);
241
242 /**
243  * pm_qos_add_request - inserts new qos request into the list
244  * @dep: pointer to a preallocated handle
245  * @pm_qos_class: identifies which list of qos request to use
246  * @value: defines the qos request
247  *
248  * This function inserts a new entry in the pm_qos_class list of requested qos
249  * performance characteristics.  It recomputes the aggregate QoS expectations
250  * for the pm_qos_class of parameters and initializes the pm_qos_request_list
251  * handle.  Caller needs to save this handle for later use in updates and
252  * removal.
253  */
254
255 void pm_qos_add_request(struct pm_qos_request_list *dep,
256                         int pm_qos_class, s32 value)
257 {
258         struct pm_qos_object *o =  pm_qos_array[pm_qos_class];
259         int new_value;
260
261         if (pm_qos_request_active(dep)) {
262                 WARN(1, KERN_ERR "pm_qos_add_request() called for already added request\n");
263                 return;
264         }
265         if (value == PM_QOS_DEFAULT_VALUE)
266                 new_value = o->default_value;
267         else
268                 new_value = value;
269         plist_node_init(&dep->list, new_value);
270         dep->pm_qos_class = pm_qos_class;
271         update_target(o, &dep->list, 0, PM_QOS_DEFAULT_VALUE);
272 }
273 EXPORT_SYMBOL_GPL(pm_qos_add_request);
274
275 /**
276  * pm_qos_update_request - modifies an existing qos request
277  * @pm_qos_req : handle to list element holding a pm_qos request to use
278  * @value: defines the qos request
279  *
280  * Updates an existing qos request for the pm_qos_class of parameters along
281  * with updating the target pm_qos_class value.
282  *
283  * Attempts are made to make this code callable on hot code paths.
284  */
285 void pm_qos_update_request(struct pm_qos_request_list *pm_qos_req,
286                            s32 new_value)
287 {
288         s32 temp;
289         struct pm_qos_object *o;
290
291         if (!pm_qos_req) /*guard against callers passing in null */
292                 return;
293
294         if (!pm_qos_request_active(pm_qos_req)) {
295                 WARN(1, KERN_ERR "pm_qos_update_request() called for unknown object\n");
296                 return;
297         }
298
299         o = pm_qos_array[pm_qos_req->pm_qos_class];
300
301         if (new_value == PM_QOS_DEFAULT_VALUE)
302                 temp = o->default_value;
303         else
304                 temp = new_value;
305
306         if (temp != pm_qos_req->list.prio)
307                 update_target(o, &pm_qos_req->list, 0, temp);
308 }
309 EXPORT_SYMBOL_GPL(pm_qos_update_request);
310
311 /**
312  * pm_qos_remove_request - modifies an existing qos request
313  * @pm_qos_req: handle to request list element
314  *
315  * Will remove pm qos request from the list of requests and
316  * recompute the current target value for the pm_qos_class.  Call this
317  * on slow code paths.
318  */
319 void pm_qos_remove_request(struct pm_qos_request_list *pm_qos_req)
320 {
321         struct pm_qos_object *o;
322
323         if (pm_qos_req == NULL)
324                 return;
325                 /* silent return to keep pcm code cleaner */
326
327         if (!pm_qos_request_active(pm_qos_req)) {
328                 WARN(1, KERN_ERR "pm_qos_remove_request() called for unknown object\n");
329                 return;
330         }
331
332         o = pm_qos_array[pm_qos_req->pm_qos_class];
333         update_target(o, &pm_qos_req->list, 1, PM_QOS_DEFAULT_VALUE);
334         memset(pm_qos_req, 0, sizeof(*pm_qos_req));
335 }
336 EXPORT_SYMBOL_GPL(pm_qos_remove_request);
337
338 /**
339  * pm_qos_add_notifier - sets notification entry for changes to target value
340  * @pm_qos_class: identifies which qos target changes should be notified.
341  * @notifier: notifier block managed by caller.
342  *
343  * will register the notifier into a notification chain that gets called
344  * upon changes to the pm_qos_class target value.
345  */
346 int pm_qos_add_notifier(int pm_qos_class, struct notifier_block *notifier)
347 {
348         int retval;
349
350         retval = blocking_notifier_chain_register(
351                         pm_qos_array[pm_qos_class]->notifiers, notifier);
352
353         return retval;
354 }
355 EXPORT_SYMBOL_GPL(pm_qos_add_notifier);
356
357 /**
358  * pm_qos_remove_notifier - deletes notification entry from chain.
359  * @pm_qos_class: identifies which qos target changes are notified.
360  * @notifier: notifier block to be removed.
361  *
362  * will remove the notifier from the notification chain that gets called
363  * upon changes to the pm_qos_class target value.
364  */
365 int pm_qos_remove_notifier(int pm_qos_class, struct notifier_block *notifier)
366 {
367         int retval;
368
369         retval = blocking_notifier_chain_unregister(
370                         pm_qos_array[pm_qos_class]->notifiers, notifier);
371
372         return retval;
373 }
374 EXPORT_SYMBOL_GPL(pm_qos_remove_notifier);
375
376 static int pm_qos_power_open(struct inode *inode, struct file *filp)
377 {
378         long pm_qos_class;
379
380         pm_qos_class = find_pm_qos_object_by_minor(iminor(inode));
381         if (pm_qos_class >= 0) {
382                struct pm_qos_request_list *req = kzalloc(sizeof(*req), GFP_KERNEL);
383                 if (!req)
384                         return -ENOMEM;
385
386                 pm_qos_add_request(req, pm_qos_class, PM_QOS_DEFAULT_VALUE);
387                 filp->private_data = req;
388
389                 if (filp->private_data)
390                         return 0;
391         }
392         return -EPERM;
393 }
394
395 static int pm_qos_power_release(struct inode *inode, struct file *filp)
396 {
397         struct pm_qos_request_list *req;
398
399         req = filp->private_data;
400         pm_qos_remove_request(req);
401         kfree(req);
402
403         return 0;
404 }
405
406
407 static ssize_t pm_qos_power_read(struct file *filp, char __user *buf,
408                 size_t count, loff_t *f_pos)
409 {
410         s32 value;
411         unsigned long flags;
412         struct pm_qos_object *o;
413         struct pm_qos_request_list *pm_qos_req = filp->private_data;
414
415         if (!pm_qos_req)
416                 return -EINVAL;
417         if (!pm_qos_request_active(pm_qos_req))
418                 return -EINVAL;
419
420         o = pm_qos_array[pm_qos_req->pm_qos_class];
421         spin_lock_irqsave(&pm_qos_lock, flags);
422         value = pm_qos_get_value(o);
423         spin_unlock_irqrestore(&pm_qos_lock, flags);
424
425         return simple_read_from_buffer(buf, count, f_pos, &value, sizeof(s32));
426 }
427
428 static ssize_t pm_qos_power_write(struct file *filp, const char __user *buf,
429                 size_t count, loff_t *f_pos)
430 {
431         s32 value;
432         struct pm_qos_request_list *pm_qos_req;
433
434         if (count == sizeof(s32)) {
435                 if (copy_from_user(&value, buf, sizeof(s32)))
436                         return -EFAULT;
437         } else if (count <= 11) { /* ASCII perhaps? */
438                 char ascii_value[11];
439                 unsigned long int ulval;
440                 int ret;
441
442                 if (copy_from_user(ascii_value, buf, count))
443                         return -EFAULT;
444
445                 if (count > 10) {
446                         if (ascii_value[10] == '\n')
447                                 ascii_value[10] = '\0';
448                         else
449                                 return -EINVAL;
450                 } else {
451                         ascii_value[count] = '\0';
452                 }
453                 ret = strict_strtoul(ascii_value, 16, &ulval);
454                 if (ret) {
455                         pr_debug("%s, 0x%lx, 0x%x\n", ascii_value, ulval, ret);
456                         return -EINVAL;
457                 }
458                 value = (s32)lower_32_bits(ulval);
459         } else {
460                 return -EINVAL;
461         }
462
463         pm_qos_req = filp->private_data;
464         pm_qos_update_request(pm_qos_req, value);
465
466         return count;
467 }
468
469
470 static int __init pm_qos_power_init(void)
471 {
472         int ret = 0;
473         int i;
474
475         BUILD_BUG_ON(ARRAY_SIZE(pm_qos_array) != PM_QOS_NUM_CLASSES);
476
477         for (i = 1; i < PM_QOS_NUM_CLASSES; i++) {
478                 ret = register_pm_qos_misc(pm_qos_array[i]);
479                 if (ret < 0) {
480                         printk(KERN_ERR "pm_qos_param: %s setup failed\n",
481                                pm_qos_array[i]->name);
482                         return ret;
483                 }
484         }
485
486         return ret;
487 }
488
489 late_initcall(pm_qos_power_init);