arm: tegra: raise cpu floor when display is on
[linux-2.6.git] / kernel / pm_qos_params.c
1 /*
2  * This module exposes the interface to kernel space for specifying
3  * QoS dependencies.  It provides infrastructure for registration of:
4  *
5  * Dependents on a QoS value : register requests
6  * Watchers of QoS value : get notified when target QoS value changes
7  *
8  * This QoS design is best effort based.  Dependents register their QoS needs.
9  * Watchers register to keep track of the current QoS needs of the system.
10  *
11  * There are 3 basic classes of QoS parameter: latency, timeout, throughput
12  * each have defined units:
13  * latency: usec
14  * timeout: usec <-- currently not used.
15  * throughput: kbs (kilo byte / sec)
16  *
17  * There are lists of pm_qos_objects each one wrapping requests, notifiers
18  *
19  * User mode requests on a QOS parameter register themselves to the
20  * subsystem by opening the device node /dev/... and writing there request to
21  * the node.  As long as the process holds a file handle open to the node the
22  * client continues to be accounted for.  Upon file release the usermode
23  * request is removed and a new qos target is computed.  This way when the
24  * request that the application has is cleaned up when closes the file
25  * pointer or exits the pm_qos_object will get an opportunity to clean up.
26  *
27  * Mark Gross <mgross@linux.intel.com>
28  */
29
30 /*#define DEBUG*/
31
32 #include <linux/pm_qos_params.h>
33 #include <linux/sched.h>
34 #include <linux/spinlock.h>
35 #include <linux/slab.h>
36 #include <linux/time.h>
37 #include <linux/fs.h>
38 #include <linux/device.h>
39 #include <linux/miscdevice.h>
40 #include <linux/string.h>
41 #include <linux/platform_device.h>
42 #include <linux/init.h>
43 #include <linux/kernel.h>
44
45 #include <linux/uaccess.h>
46
47 /*
48  * locking rule: all changes to requests or notifiers lists
49  * or pm_qos_object list and pm_qos_objects need to happen with pm_qos_lock
50  * held, taken with _irqsave.  One lock to rule them all
51  */
52 enum pm_qos_type {
53         PM_QOS_MAX,             /* return the largest value */
54         PM_QOS_MIN              /* return the smallest value */
55 };
56
57 /*
58  * Note: The lockless read path depends on the CPU accessing
59  * target_value atomically.  Atomic access is only guaranteed on all CPU
60  * types linux supports for 32 bit quantites
61  */
62 struct pm_qos_object {
63         struct plist_head requests;
64         struct blocking_notifier_head *notifiers;
65         struct miscdevice pm_qos_power_miscdev;
66         char *name;
67         s32 target_value;       /* Do not change to 64 bit */
68         s32 default_value;
69         enum pm_qos_type type;
70 };
71
72 static DEFINE_SPINLOCK(pm_qos_lock);
73
74 static struct pm_qos_object null_pm_qos;
75 static BLOCKING_NOTIFIER_HEAD(cpu_dma_lat_notifier);
76 static struct pm_qos_object cpu_dma_pm_qos = {
77         .requests = PLIST_HEAD_INIT(cpu_dma_pm_qos.requests),
78         .notifiers = &cpu_dma_lat_notifier,
79         .name = "cpu_dma_latency",
80         .target_value = PM_QOS_CPU_DMA_LAT_DEFAULT_VALUE,
81         .default_value = PM_QOS_CPU_DMA_LAT_DEFAULT_VALUE,
82         .type = PM_QOS_MIN,
83 };
84
85 static BLOCKING_NOTIFIER_HEAD(network_lat_notifier);
86 static struct pm_qos_object network_lat_pm_qos = {
87         .requests = PLIST_HEAD_INIT(network_lat_pm_qos.requests),
88         .notifiers = &network_lat_notifier,
89         .name = "network_latency",
90         .target_value = PM_QOS_NETWORK_LAT_DEFAULT_VALUE,
91         .default_value = PM_QOS_NETWORK_LAT_DEFAULT_VALUE,
92         .type = PM_QOS_MIN
93 };
94
95
96 static BLOCKING_NOTIFIER_HEAD(network_throughput_notifier);
97 static struct pm_qos_object network_throughput_pm_qos = {
98         .requests = PLIST_HEAD_INIT(network_throughput_pm_qos.requests),
99         .notifiers = &network_throughput_notifier,
100         .name = "network_throughput",
101         .target_value = PM_QOS_NETWORK_THROUGHPUT_DEFAULT_VALUE,
102         .default_value = PM_QOS_NETWORK_THROUGHPUT_DEFAULT_VALUE,
103         .type = PM_QOS_MAX,
104 };
105
106
107 static BLOCKING_NOTIFIER_HEAD(min_online_cpus_notifier);
108 static struct pm_qos_object min_online_cpus_pm_qos = {
109         .requests = PLIST_HEAD_INIT(min_online_cpus_pm_qos.requests),
110         .notifiers = &min_online_cpus_notifier,
111         .name = "min_online_cpus",
112         .target_value = PM_QOS_MIN_ONLINE_CPUS_DEFAULT_VALUE,
113         .default_value = PM_QOS_MIN_ONLINE_CPUS_DEFAULT_VALUE,
114         .type = PM_QOS_MAX,
115 };
116
117
118 static BLOCKING_NOTIFIER_HEAD(max_online_cpus_notifier);
119 static struct pm_qos_object max_online_cpus_pm_qos = {
120         .requests = PLIST_HEAD_INIT(max_online_cpus_pm_qos.requests),
121         .notifiers = &max_online_cpus_notifier,
122         .name = "max_online_cpus",
123         .target_value = PM_QOS_MAX_ONLINE_CPUS_DEFAULT_VALUE,
124         .default_value = PM_QOS_MAX_ONLINE_CPUS_DEFAULT_VALUE,
125         .type = PM_QOS_MIN,
126 };
127
128
129 static BLOCKING_NOTIFIER_HEAD(cpu_freq_min_notifier);
130 static struct pm_qos_object cpu_freq_min_pm_qos = {
131         .requests = PLIST_HEAD_INIT(cpu_freq_min_pm_qos.requests),
132         .notifiers = &cpu_freq_min_notifier,
133         .name = "cpu_freq_min",
134         .target_value = PM_QOS_CPU_FREQ_MIN_DEFAULT_VALUE,
135         .default_value = PM_QOS_CPU_FREQ_MIN_DEFAULT_VALUE,
136         .type = PM_QOS_MAX,
137 };
138
139
140 static BLOCKING_NOTIFIER_HEAD(cpu_freq_max_notifier);
141 static struct pm_qos_object cpu_freq_max_pm_qos = {
142         .requests = PLIST_HEAD_INIT(cpu_freq_max_pm_qos.requests),
143         .notifiers = &cpu_freq_max_notifier,
144         .name = "cpu_freq_max",
145         .target_value = PM_QOS_CPU_FREQ_MAX_DEFAULT_VALUE,
146         .default_value = PM_QOS_CPU_FREQ_MAX_DEFAULT_VALUE,
147         .type = PM_QOS_MIN,
148 };
149
150
151 static struct pm_qos_object *pm_qos_array[] = {
152         &null_pm_qos,
153         &cpu_dma_pm_qos,
154         &network_lat_pm_qos,
155         &network_throughput_pm_qos,
156         &min_online_cpus_pm_qos,
157         &max_online_cpus_pm_qos,
158         &cpu_freq_min_pm_qos,
159         &cpu_freq_max_pm_qos
160 };
161
162 static ssize_t pm_qos_power_write(struct file *filp, const char __user *buf,
163                 size_t count, loff_t *f_pos);
164 static ssize_t pm_qos_power_read(struct file *filp, char __user *buf,
165                 size_t count, loff_t *f_pos);
166 static int pm_qos_power_open(struct inode *inode, struct file *filp);
167 static int pm_qos_power_release(struct inode *inode, struct file *filp);
168
169 static const struct file_operations pm_qos_power_fops = {
170         .write = pm_qos_power_write,
171         .read = pm_qos_power_read,
172         .open = pm_qos_power_open,
173         .release = pm_qos_power_release,
174         .llseek = noop_llseek,
175 };
176
177 static bool pm_qos_enabled __read_mostly = true;
178
179 /* unlocked internal variant */
180 static inline int pm_qos_get_value(struct pm_qos_object *o)
181 {
182         if (plist_head_empty(&o->requests))
183                 return o->default_value;
184
185         switch (o->type) {
186         case PM_QOS_MIN:
187                 return plist_first(&o->requests)->prio;
188
189         case PM_QOS_MAX:
190                 return plist_last(&o->requests)->prio;
191
192         default:
193                 /* runtime check for not using enum */
194                 BUG();
195         }
196 }
197
198 static inline s32 pm_qos_read_value(struct pm_qos_object *o)
199 {
200         return o->target_value;
201 }
202
203 static inline void pm_qos_set_value(struct pm_qos_object *o, s32 value)
204 {
205         o->target_value = value;
206 }
207
208 static void update_target(struct pm_qos_object *o, struct plist_node *node,
209                           int del, int value)
210 {
211         unsigned long flags;
212         int prev_value, curr_value;
213
214         spin_lock_irqsave(&pm_qos_lock, flags);
215         prev_value = pm_qos_get_value(o);
216         /* PM_QOS_DEFAULT_VALUE is a signal that the value is unchanged */
217         if (value != PM_QOS_DEFAULT_VALUE) {
218                 /*
219                  * to change the list, we atomically remove, reinit
220                  * with new value and add, then see if the extremal
221                  * changed
222                  */
223                 plist_del(node, &o->requests);
224                 plist_node_init(node, value);
225                 plist_add(node, &o->requests);
226         } else if (del) {
227                 plist_del(node, &o->requests);
228         } else {
229                 plist_add(node, &o->requests);
230         }
231         if (pm_qos_enabled) {
232                 curr_value = pm_qos_get_value(o);
233                 pm_qos_set_value(o, curr_value);
234         } else
235                 curr_value = o->default_value;
236         spin_unlock_irqrestore(&pm_qos_lock, flags);
237
238         if (prev_value != curr_value)
239                 blocking_notifier_call_chain(o->notifiers,
240                                              (unsigned long)curr_value,
241                                              NULL);
242 }
243
244 static int register_pm_qos_misc(struct pm_qos_object *qos)
245 {
246         qos->pm_qos_power_miscdev.minor = MISC_DYNAMIC_MINOR;
247         qos->pm_qos_power_miscdev.name = qos->name;
248         qos->pm_qos_power_miscdev.fops = &pm_qos_power_fops;
249
250         return misc_register(&qos->pm_qos_power_miscdev);
251 }
252
253 static int find_pm_qos_object_by_minor(int minor)
254 {
255         int pm_qos_class;
256
257         for (pm_qos_class = 0;
258                 pm_qos_class < PM_QOS_NUM_CLASSES; pm_qos_class++) {
259                 if (minor ==
260                         pm_qos_array[pm_qos_class]->pm_qos_power_miscdev.minor)
261                         return pm_qos_class;
262         }
263         return -1;
264 }
265
266 /**
267  * pm_qos_request - returns current system wide qos expectation
268  * @pm_qos_class: identification of which qos value is requested
269  *
270  * This function returns the current target value.
271  */
272 int pm_qos_request(int pm_qos_class)
273 {
274         return pm_qos_read_value(pm_qos_array[pm_qos_class]);
275 }
276 EXPORT_SYMBOL_GPL(pm_qos_request);
277
278 int pm_qos_request_active(struct pm_qos_request_list *req)
279 {
280         return req->pm_qos_class != 0;
281 }
282 EXPORT_SYMBOL_GPL(pm_qos_request_active);
283
284 /**
285  * pm_qos_add_request - inserts new qos request into the list
286  * @dep: pointer to a preallocated handle
287  * @pm_qos_class: identifies which list of qos request to use
288  * @value: defines the qos request
289  *
290  * This function inserts a new entry in the pm_qos_class list of requested qos
291  * performance characteristics.  It recomputes the aggregate QoS expectations
292  * for the pm_qos_class of parameters and initializes the pm_qos_request_list
293  * handle.  Caller needs to save this handle for later use in updates and
294  * removal.
295  */
296
297 void pm_qos_add_request(struct pm_qos_request_list *dep,
298                         int pm_qos_class, s32 value)
299 {
300         struct pm_qos_object *o =  pm_qos_array[pm_qos_class];
301         int new_value;
302
303         if (pm_qos_request_active(dep)) {
304                 WARN(1, KERN_ERR "pm_qos_add_request() called for already added request\n");
305                 return;
306         }
307         if (value == PM_QOS_DEFAULT_VALUE)
308                 new_value = o->default_value;
309         else
310                 new_value = value;
311         plist_node_init(&dep->list, new_value);
312         dep->pm_qos_class = pm_qos_class;
313         update_target(o, &dep->list, 0, PM_QOS_DEFAULT_VALUE);
314 }
315 EXPORT_SYMBOL_GPL(pm_qos_add_request);
316
317 /**
318  * pm_qos_update_request - modifies an existing qos request
319  * @pm_qos_req : handle to list element holding a pm_qos request to use
320  * @value: defines the qos request
321  *
322  * Updates an existing qos request for the pm_qos_class of parameters along
323  * with updating the target pm_qos_class value.
324  *
325  * Attempts are made to make this code callable on hot code paths.
326  */
327 void pm_qos_update_request(struct pm_qos_request_list *pm_qos_req,
328                            s32 new_value)
329 {
330         s32 temp;
331         struct pm_qos_object *o;
332
333         if (!pm_qos_req) /*guard against callers passing in null */
334                 return;
335
336         if (!pm_qos_request_active(pm_qos_req)) {
337                 WARN(1, KERN_ERR "pm_qos_update_request() called for unknown object\n");
338                 return;
339         }
340
341         o = pm_qos_array[pm_qos_req->pm_qos_class];
342
343         if (new_value == PM_QOS_DEFAULT_VALUE)
344                 temp = o->default_value;
345         else
346                 temp = new_value;
347
348         if (temp != pm_qos_req->list.prio)
349                 update_target(o, &pm_qos_req->list, 0, temp);
350 }
351 EXPORT_SYMBOL_GPL(pm_qos_update_request);
352
353 /**
354  * pm_qos_remove_request - modifies an existing qos request
355  * @pm_qos_req: handle to request list element
356  *
357  * Will remove pm qos request from the list of requests and
358  * recompute the current target value for the pm_qos_class.  Call this
359  * on slow code paths.
360  */
361 void pm_qos_remove_request(struct pm_qos_request_list *pm_qos_req)
362 {
363         struct pm_qos_object *o;
364
365         if (pm_qos_req == NULL)
366                 return;
367                 /* silent return to keep pcm code cleaner */
368
369         if (!pm_qos_request_active(pm_qos_req)) {
370                 WARN(1, KERN_ERR "pm_qos_remove_request() called for unknown object\n");
371                 return;
372         }
373
374         o = pm_qos_array[pm_qos_req->pm_qos_class];
375         update_target(o, &pm_qos_req->list, 1, PM_QOS_DEFAULT_VALUE);
376         memset(pm_qos_req, 0, sizeof(*pm_qos_req));
377 }
378 EXPORT_SYMBOL_GPL(pm_qos_remove_request);
379
380 static int pm_qos_enabled_set(const char *arg, const struct kernel_param *kp)
381 {
382         unsigned long flags;
383         bool old;
384         s32 prev[PM_QOS_NUM_CLASSES], curr[PM_QOS_NUM_CLASSES];
385         int ret, i;
386
387         old = pm_qos_enabled;
388         ret = param_set_bool(arg, kp);
389         if (ret != 0) {
390                 pr_warn("%s: cannot set PM QoS enable to %s\n",
391                         __FUNCTION__, arg);
392                 return ret;
393         }
394         spin_lock_irqsave(&pm_qos_lock, flags);
395         for (i = 1; i < PM_QOS_NUM_CLASSES; i++)
396                 prev[i] = pm_qos_read_value(pm_qos_array[i]);
397         if (old && !pm_qos_enabled) {
398                 /* got disabled */
399                 for (i = 1; i < PM_QOS_NUM_CLASSES; i++) {
400                         curr[i] = pm_qos_array[i]->default_value;
401                         pm_qos_set_value(pm_qos_array[i], curr[i]);
402                 }
403         } else if (!old && pm_qos_enabled) {
404                 /* got enabled */
405                 for (i = 1; i < PM_QOS_NUM_CLASSES; i++) {
406                         curr[i] = pm_qos_get_value(pm_qos_array[i]);
407                         pm_qos_set_value(pm_qos_array[i], curr[i]);
408                 }
409         }
410         spin_unlock_irqrestore(&pm_qos_lock, flags);
411         for (i = 1; i < PM_QOS_NUM_CLASSES; i++)
412                 if (prev[i] != curr[i])
413                         blocking_notifier_call_chain(
414                                 pm_qos_array[i]->notifiers,
415                                 (unsigned long)curr[i],
416                                 NULL);
417
418         return ret;
419 }
420
421 static int pm_qos_enabled_get(char *buffer, const struct kernel_param *kp)
422 {
423         return param_get_bool(buffer, kp);
424 }
425
426 static struct kernel_param_ops pm_qos_enabled_ops = {
427         .set = pm_qos_enabled_set,
428         .get = pm_qos_enabled_get,
429 };
430 module_param_cb(enable, &pm_qos_enabled_ops, &pm_qos_enabled, 0644);
431
432 /**
433  * pm_qos_add_notifier - sets notification entry for changes to target value
434  * @pm_qos_class: identifies which qos target changes should be notified.
435  * @notifier: notifier block managed by caller.
436  *
437  * will register the notifier into a notification chain that gets called
438  * upon changes to the pm_qos_class target value.
439  */
440 int pm_qos_add_notifier(int pm_qos_class, struct notifier_block *notifier)
441 {
442         int retval;
443
444         retval = blocking_notifier_chain_register(
445                         pm_qos_array[pm_qos_class]->notifiers, notifier);
446
447         return retval;
448 }
449 EXPORT_SYMBOL_GPL(pm_qos_add_notifier);
450
451 /**
452  * pm_qos_remove_notifier - deletes notification entry from chain.
453  * @pm_qos_class: identifies which qos target changes are notified.
454  * @notifier: notifier block to be removed.
455  *
456  * will remove the notifier from the notification chain that gets called
457  * upon changes to the pm_qos_class target value.
458  */
459 int pm_qos_remove_notifier(int pm_qos_class, struct notifier_block *notifier)
460 {
461         int retval;
462
463         retval = blocking_notifier_chain_unregister(
464                         pm_qos_array[pm_qos_class]->notifiers, notifier);
465
466         return retval;
467 }
468 EXPORT_SYMBOL_GPL(pm_qos_remove_notifier);
469
470 static int pm_qos_power_open(struct inode *inode, struct file *filp)
471 {
472         long pm_qos_class;
473
474         pm_qos_class = find_pm_qos_object_by_minor(iminor(inode));
475         if (pm_qos_class >= 0) {
476                struct pm_qos_request_list *req = kzalloc(sizeof(*req), GFP_KERNEL);
477                 if (!req)
478                         return -ENOMEM;
479
480                 pm_qos_add_request(req, pm_qos_class, PM_QOS_DEFAULT_VALUE);
481                 filp->private_data = req;
482
483                 if (filp->private_data)
484                         return 0;
485         }
486         return -EPERM;
487 }
488
489 static int pm_qos_power_release(struct inode *inode, struct file *filp)
490 {
491         struct pm_qos_request_list *req;
492
493         req = filp->private_data;
494         pm_qos_remove_request(req);
495         kfree(req);
496
497         return 0;
498 }
499
500
501 static ssize_t pm_qos_power_read(struct file *filp, char __user *buf,
502                 size_t count, loff_t *f_pos)
503 {
504         s32 value;
505         unsigned long flags;
506         struct pm_qos_object *o;
507         struct pm_qos_request_list *pm_qos_req = filp->private_data;
508
509         if (!pm_qos_req)
510                 return -EINVAL;
511         if (!pm_qos_request_active(pm_qos_req))
512                 return -EINVAL;
513
514         o = pm_qos_array[pm_qos_req->pm_qos_class];
515         spin_lock_irqsave(&pm_qos_lock, flags);
516         value = pm_qos_get_value(o);
517         spin_unlock_irqrestore(&pm_qos_lock, flags);
518
519         return simple_read_from_buffer(buf, count, f_pos, &value, sizeof(s32));
520 }
521
522 static ssize_t pm_qos_power_write(struct file *filp, const char __user *buf,
523                 size_t count, loff_t *f_pos)
524 {
525         s32 value;
526         struct pm_qos_request_list *pm_qos_req;
527
528         if (count == sizeof(s32)) {
529                 if (copy_from_user(&value, buf, sizeof(s32)))
530                         return -EFAULT;
531         } else if (count <= 11) { /* ASCII perhaps? */
532                 char ascii_value[11];
533                 unsigned long int ulval;
534                 int ret;
535
536                 if (copy_from_user(ascii_value, buf, count))
537                         return -EFAULT;
538
539                 if (count > 10) {
540                         if (ascii_value[10] == '\n')
541                                 ascii_value[10] = '\0';
542                         else
543                                 return -EINVAL;
544                 } else {
545                         ascii_value[count] = '\0';
546                 }
547                 ret = strict_strtoul(ascii_value, 16, &ulval);
548                 if (ret) {
549                         pr_debug("%s, 0x%lx, 0x%x\n", ascii_value, ulval, ret);
550                         return -EINVAL;
551                 }
552                 value = (s32)lower_32_bits(ulval);
553         } else {
554                 return -EINVAL;
555         }
556
557         pm_qos_req = filp->private_data;
558         pm_qos_update_request(pm_qos_req, value);
559
560         return count;
561 }
562
563
564 static int __init pm_qos_power_init(void)
565 {
566         int ret = 0;
567         int i;
568
569         BUILD_BUG_ON(ARRAY_SIZE(pm_qos_array) != PM_QOS_NUM_CLASSES);
570
571         for (i = 1; i < PM_QOS_NUM_CLASSES; i++) {
572                 ret = register_pm_qos_misc(pm_qos_array[i]);
573                 if (ret < 0) {
574                         printk(KERN_ERR "pm_qos_param: %s setup failed\n",
575                                pm_qos_array[i]->name);
576                         return ret;
577                 }
578         }
579
580         return ret;
581 }
582
583 late_initcall(pm_qos_power_init);