ARM: tegra: dvfs: fix unused pointer value
[linux-3.10.git] / arch / arm / mach-tegra / dvfs.c
1 /*
2  *
3  * Copyright (C) 2010 Google, Inc.
4  *
5  * Author:
6  *      Colin Cross <ccross@google.com>
7  *
8  * Copyright (C) 2010-2013 NVIDIA CORPORATION. All rights reserved.
9  *
10  * This software is licensed under the terms of the GNU General Public
11  * License version 2, as published by the Free Software Foundation, and
12  * may be copied, distributed, and modified under those terms.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17  * GNU General Public License for more details.
18  *
19  */
20
21 #include <linux/kernel.h>
22 #include <linux/clk.h>
23 #include <linux/clkdev.h>
24 #include <linux/debugfs.h>
25 #include <linux/init.h>
26 #include <linux/list.h>
27 #include <linux/list_sort.h>
28 #include <linux/module.h>
29 #include <linux/regulator/consumer.h>
30 #include <linux/seq_file.h>
31 #include <linux/slab.h>
32 #include <linux/suspend.h>
33 #include <linux/delay.h>
34 #include <linux/clk/tegra.h>
35 #include <linux/reboot.h>
36
37 #include <mach/hardware.h>
38
39 #include "board.h"
40 #include "clock.h"
41 #include "dvfs.h"
42
43 #define DVFS_RAIL_STATS_BIN     12500
44
45 struct dvfs_rail *tegra_cpu_rail;
46 struct dvfs_rail *tegra_core_rail;
47
48 static LIST_HEAD(dvfs_rail_list);
49 static DEFINE_MUTEX(dvfs_lock);
50 static DEFINE_MUTEX(rail_disable_lock);
51
52 static int dvfs_rail_update(struct dvfs_rail *rail);
53
54 void tegra_dvfs_add_relationships(struct dvfs_relationship *rels, int n)
55 {
56         int i;
57         struct dvfs_relationship *rel;
58
59         mutex_lock(&dvfs_lock);
60
61         for (i = 0; i < n; i++) {
62                 rel = &rels[i];
63                 list_add_tail(&rel->from_node, &rel->to->relationships_from);
64                 list_add_tail(&rel->to_node, &rel->from->relationships_to);
65         }
66
67         mutex_unlock(&dvfs_lock);
68 }
69
70 /* Make sure there is a matching cooling device for thermal limit profile. */
71 static void dvfs_validate_cdevs(struct dvfs_rail *rail)
72 {
73         if (!rail->therm_mv_caps != !rail->therm_mv_caps_num) {
74                 rail->therm_mv_caps_num = 0;
75                 rail->therm_mv_caps = NULL;
76                 WARN(1, "%s: not matching thermal caps/num\n", rail->reg_id);
77         }
78
79         if (rail->therm_mv_caps && !rail->vmax_cdev)
80                 WARN(1, "%s: missing vmax cooling device\n", rail->reg_id);
81
82         if (!rail->therm_mv_floors != !rail->therm_mv_floors_num) {
83                 rail->therm_mv_floors_num = 0;
84                 rail->therm_mv_floors = NULL;
85                 WARN(1, "%s: not matching thermal floors/num\n", rail->reg_id);
86         }
87
88         if (rail->therm_mv_floors && !rail->vmin_cdev)
89                 WARN(1, "%s: missing vmin cooling device\n", rail->reg_id);
90
91         /* Limit override range to maximum floor */
92         if (rail->therm_mv_floors)
93                 rail->min_override_millivolts = rail->therm_mv_floors[0];
94 }
95
96 int tegra_dvfs_init_rails(struct dvfs_rail *rails[], int n)
97 {
98         int i;
99
100         mutex_lock(&dvfs_lock);
101
102         for (i = 0; i < n; i++) {
103                 INIT_LIST_HEAD(&rails[i]->dvfs);
104                 INIT_LIST_HEAD(&rails[i]->relationships_from);
105                 INIT_LIST_HEAD(&rails[i]->relationships_to);
106                 rails[i]->millivolts = rails[i]->nominal_millivolts;
107                 rails[i]->new_millivolts = rails[i]->nominal_millivolts;
108                 if (!rails[i]->step)
109                         rails[i]->step = rails[i]->max_millivolts;
110                 if (!rails[i]->step_up)
111                         rails[i]->step_up = rails[i]->step;
112
113                 list_add_tail(&rails[i]->node, &dvfs_rail_list);
114
115                 dvfs_validate_cdevs(rails[i]);
116
117                 if (!strcmp("vdd_cpu", rails[i]->reg_id))
118                         tegra_cpu_rail = rails[i];
119                 else if (!strcmp("vdd_core", rails[i]->reg_id))
120                         tegra_core_rail = rails[i];
121         }
122
123         mutex_unlock(&dvfs_lock);
124
125         return 0;
126 };
127
128 static int dvfs_solve_relationship(struct dvfs_relationship *rel)
129 {
130         return rel->solve(rel->from, rel->to);
131 }
132
133 /* rail statistic - called during rail init, or under dfs_lock, or with
134    CPU0 only on-line, and interrupts disabled */
135 static void dvfs_rail_stats_init(struct dvfs_rail *rail, int millivolts)
136 {
137         int dvfs_rail_stats_range;
138
139         if (!rail->stats.bin_uV)
140                 rail->stats.bin_uV = DVFS_RAIL_STATS_BIN;
141
142         dvfs_rail_stats_range =
143                 (DVFS_RAIL_STATS_TOP_BIN - 1) * rail->stats.bin_uV / 1000;
144
145         rail->stats.last_update = ktime_get();
146         if (millivolts >= rail->min_millivolts) {
147                 int i = 1 + (2 * (millivolts - rail->min_millivolts) * 1000 +
148                              rail->stats.bin_uV) / (2 * rail->stats.bin_uV);
149                 rail->stats.last_index = min(i, DVFS_RAIL_STATS_TOP_BIN);
150         }
151
152         if (rail->max_millivolts >
153             rail->min_millivolts + dvfs_rail_stats_range)
154                 pr_warn("tegra_dvfs: %s: stats above %d mV will be squashed\n",
155                         rail->reg_id,
156                         rail->min_millivolts + dvfs_rail_stats_range);
157 }
158
159 static void dvfs_rail_stats_update(
160         struct dvfs_rail *rail, int millivolts, ktime_t now)
161 {
162         rail->stats.time_at_mv[rail->stats.last_index] = ktime_add(
163                 rail->stats.time_at_mv[rail->stats.last_index], ktime_sub(
164                         now, rail->stats.last_update));
165         rail->stats.last_update = now;
166
167         if (rail->stats.off)
168                 return;
169
170         if (millivolts >= rail->min_millivolts) {
171                 int i = 1 + (2 * (millivolts - rail->min_millivolts) * 1000 +
172                              rail->stats.bin_uV) / (2 * rail->stats.bin_uV);
173                 rail->stats.last_index = min(i, DVFS_RAIL_STATS_TOP_BIN);
174         } else if (millivolts == 0)
175                         rail->stats.last_index = 0;
176 }
177
178 static void dvfs_rail_stats_pause(struct dvfs_rail *rail,
179                                   ktime_t delta, bool on)
180 {
181         int i = on ? rail->stats.last_index : 0;
182         rail->stats.time_at_mv[i] = ktime_add(rail->stats.time_at_mv[i], delta);
183 }
184
185 void tegra_dvfs_rail_off(struct dvfs_rail *rail, ktime_t now)
186 {
187         if (rail) {
188                 dvfs_rail_stats_update(rail, 0, now);
189                 rail->stats.off = true;
190         }
191 }
192
193 void tegra_dvfs_rail_on(struct dvfs_rail *rail, ktime_t now)
194 {
195         if (rail) {
196                 rail->stats.off = false;
197                 dvfs_rail_stats_update(rail, rail->millivolts, now);
198         }
199 }
200
201 void tegra_dvfs_rail_pause(struct dvfs_rail *rail, ktime_t delta, bool on)
202 {
203         if (rail)
204                 dvfs_rail_stats_pause(rail, delta, on);
205 }
206
207 static int dvfs_rail_set_voltage_reg(struct dvfs_rail *rail, int millivolts)
208 {
209         int ret;
210
211         /*
212          * safely return success for low voltage requests on fixed regulator
213          * (higher requests will go through and fail, as they should)
214          */
215         if (rail->fixed_millivolts && (millivolts <= rail->fixed_millivolts))
216                 return 0;
217
218         rail->updating = true;
219         rail->reg_max_millivolts = rail->reg_max_millivolts ==
220                 rail->max_millivolts ?
221                 rail->max_millivolts + 1 : rail->max_millivolts;
222         ret = regulator_set_voltage(rail->reg,
223                 millivolts * 1000,
224                 rail->reg_max_millivolts * 1000);
225         rail->updating = false;
226
227         return ret;
228 }
229
230 /* Sets the voltage on a dvfs rail to a specific value, and updates any
231  * rails that depend on this rail. */
232 static int dvfs_rail_set_voltage(struct dvfs_rail *rail, int millivolts)
233 {
234         int ret = 0;
235         struct dvfs_relationship *rel;
236         int step, offset;
237         int i;
238         int steps;
239         bool jmp_to_zero;
240
241         if (!rail->reg) {
242                 if (millivolts == rail->millivolts)
243                         return 0;
244                 else
245                         return -EINVAL;
246         }
247
248         if (millivolts > rail->millivolts) {
249                 step = rail->step_up;
250                 offset = step;
251         } else {
252                 step = rail->step;
253                 offset = -step;
254         }
255
256         /*
257          * DFLL adjusts rail voltage automatically, but not exactly to the
258          * expected level - update stats, anyway.
259          */
260         if (rail->dfll_mode) {
261                 rail->millivolts = rail->new_millivolts = millivolts;
262                 dvfs_rail_stats_update(rail, millivolts, ktime_get());
263                 return 0;
264         }
265
266         if (rail->disabled)
267                 return 0;
268
269         rail->resolving_to = true;
270         jmp_to_zero = rail->jmp_to_zero &&
271                         ((millivolts == 0) || (rail->millivolts == 0));
272         steps = jmp_to_zero ? 1 :
273                 DIV_ROUND_UP(abs(millivolts - rail->millivolts), step);
274
275         for (i = 0; i < steps; i++) {
276                 if (!jmp_to_zero &&
277                     (abs(millivolts - rail->millivolts) > step))
278                         rail->new_millivolts = rail->millivolts + offset;
279                 else
280                         rail->new_millivolts = millivolts;
281
282                 /* Before changing the voltage, tell each rail that depends
283                  * on this rail that the voltage will change.
284                  * This rail will be the "from" rail in the relationship,
285                  * the rail that depends on this rail will be the "to" rail.
286                  * from->millivolts will be the old voltage
287                  * from->new_millivolts will be the new voltage */
288                 list_for_each_entry(rel, &rail->relationships_to, to_node) {
289                         ret = dvfs_rail_update(rel->to);
290                         if (ret)
291                                 goto out;
292                 }
293
294                 ret = dvfs_rail_set_voltage_reg(rail, rail->new_millivolts);
295                 if (ret) {
296                         pr_err("Failed to set dvfs regulator %s\n", rail->reg_id);
297                         goto out;
298                 }
299
300                 rail->millivolts = rail->new_millivolts;
301                 dvfs_rail_stats_update(rail, rail->millivolts, ktime_get());
302
303                 /* After changing the voltage, tell each rail that depends
304                  * on this rail that the voltage has changed.
305                  * from->millivolts and from->new_millivolts will be the
306                  * new voltage */
307                 list_for_each_entry(rel, &rail->relationships_to, to_node) {
308                         ret = dvfs_rail_update(rel->to);
309                         if (ret)
310                                 goto out;
311                 }
312         }
313
314         if (unlikely(rail->millivolts != millivolts)) {
315                 pr_err("%s: rail didn't reach target %d in %d steps (%d)\n",
316                         __func__, millivolts, steps, rail->millivolts);
317                 ret = -EINVAL;
318         }
319
320 out:
321         rail->resolving_to = false;
322         return ret;
323 }
324
325 /* Determine the minimum valid voltage for a rail, taking into account
326  * the dvfs clocks and any rails that this rail depends on.  Calls
327  * dvfs_rail_set_voltage with the new voltage, which will call
328  * dvfs_rail_update on any rails that depend on this rail. */
329 static inline int dvfs_rail_apply_limits(struct dvfs_rail *rail, int millivolts)
330 {
331         int min_mv = rail->min_millivolts;
332
333         if (rail->therm_mv_floors) {
334                 int i = rail->therm_floor_idx;
335                 if (i < rail->therm_mv_floors_num)
336                         min_mv = rail->therm_mv_floors[i];
337         }
338
339         if (rail->override_millivolts) {
340                 millivolts = rail->override_millivolts;
341         } else {
342                 /* apply offset and clip up to pll mode fixed mv */
343                 millivolts += rail->offs_millivolts;
344                 if (!rail->dfll_mode && rail->fixed_millivolts &&
345                     (millivolts < rail->fixed_millivolts))
346                         millivolts = rail->fixed_millivolts;
347         }
348
349         if (millivolts > rail->max_millivolts)
350                 millivolts = rail->max_millivolts;
351         else if (millivolts < min_mv)
352                 millivolts = min_mv;
353
354         return millivolts;
355 }
356
357 static int dvfs_rail_update(struct dvfs_rail *rail)
358 {
359         int millivolts = 0;
360         struct dvfs *d;
361         struct dvfs_relationship *rel;
362         int ret = 0;
363         int steps;
364
365         /* if dvfs is suspended, return and handle it during resume */
366         if (rail->suspended)
367                 return 0;
368
369         /* if regulators are not connected yet, return and handle it later */
370         if (!rail->reg)
371                 return 0;
372
373         /* if rail update is entered while resolving circular dependencies,
374            abort recursion */
375         if (rail->resolving_to)
376                 return 0;
377
378         /* Find the maximum voltage requested by any clock */
379         list_for_each_entry(d, &rail->dvfs, reg_node)
380                 millivolts = max(d->cur_millivolts, millivolts);
381
382         /* Apply offset and min/max limits if any clock is requesting voltage */
383         if (millivolts)
384                 millivolts = dvfs_rail_apply_limits(rail, millivolts);
385
386         /* retry update if limited by from-relationship to account for
387            circular dependencies */
388         steps = DIV_ROUND_UP(abs(millivolts - rail->millivolts), rail->step);
389         for (; steps >= 0; steps--) {
390                 rail->new_millivolts = millivolts;
391
392                 /* Check any rails that this rail depends on */
393                 list_for_each_entry(rel, &rail->relationships_from, from_node)
394                         rail->new_millivolts = dvfs_solve_relationship(rel);
395
396                 if (rail->new_millivolts == rail->millivolts)
397                         break;
398
399                 ret = dvfs_rail_set_voltage(rail, rail->new_millivolts);
400         }
401
402         return ret;
403 }
404
405 /*
406  * This function is called on entry to suspend, or when rail scaling is disabled
407  * - can't do anything in either case if regulsator is fixed in pll mode. Since
408  * the pll mode frequency is already capped according to fixed voltage level, it
409  * is safe to substitute fixed level for nominal, just for stats update.
410  */
411 static int dvfs_rail_set_nominal(struct dvfs_rail *rail)
412 {
413         int mv;
414         if (!rail->dfll_mode && rail->fixed_millivolts)
415                 mv = rail->fixed_millivolts;
416         else
417                 mv = dvfs_rail_apply_limits(rail, rail->nominal_millivolts);
418         return dvfs_rail_set_voltage(rail, mv);
419 }
420
421 static struct regulator *get_fixed_regulator(struct dvfs_rail *rail)
422 {
423         struct regulator *reg;
424         char reg_id[80];
425         struct dvfs *d;
426         int v, i;
427         unsigned long dfll_boost;
428
429         strcpy(reg_id, rail->reg_id);
430         strcat(reg_id, "_fixed");
431         reg = regulator_get(NULL, reg_id);
432         if (IS_ERR(reg))
433                 return reg;
434
435         v = regulator_get_voltage(reg) / 1000;
436         if ((v < rail->min_millivolts) || (v > rail->nominal_millivolts) ||
437             (rail->therm_mv_floors && v < rail->therm_mv_floors[0])) {
438                 pr_err("tegra_dvfs: ivalid fixed %s voltage %d\n",
439                        rail->reg_id, v);
440                 return ERR_PTR(-EINVAL);
441         }
442
443         /*
444          * Only fixed at nominal voltage vdd_core regulator is allowed, same
445          * is true for cpu rail if dfll mode is not supported at all. No thermal
446          * capping can be implemented in this case.
447          */
448         if (!IS_ENABLED(CONFIG_ARCH_TEGRA_HAS_CL_DVFS) ||
449             (rail != tegra_cpu_rail)) {
450                 if (v != rail->nominal_millivolts) {
451                         pr_err("tegra_dvfs: %s fixed below nominal at %d\n",
452                                rail->reg_id, v);
453                         return ERR_PTR(-EINVAL);
454                 }
455                 if (rail->therm_mv_caps) {
456                         pr_err("tegra_dvfs: cannot fix %s with thermal caps\n",
457                                rail->reg_id);
458                         return ERR_PTR(-ENOSYS);
459                 }
460                 return reg;
461         }
462
463         /*
464          * If dfll mode is supported, fixed vdd_cpu regulator may be below
465          * nominal in pll mode - maximum cpu rate in pll mode is limited
466          * respectively. Regulator is required to allow automatic scaling
467          * in dfll mode.
468          *
469          * FIXME: platform data to explicitly identify such "hybrid" regulator?
470          */
471         d = list_first_entry(&rail->dvfs, struct dvfs, reg_node);
472         for (i = 0; i < d->num_freqs; i++) {
473                 if (d->millivolts[i] > v)
474                         break;
475         }
476
477         if (!i) {
478                 pr_err("tegra_dvfs: %s fixed at %d: too low for min rate\n",
479                        rail->reg_id, v);
480                 return ERR_PTR(-EINVAL);
481         }
482
483         dfll_boost = (d->freqs[d->num_freqs - 1] - d->freqs[i - 1]);
484         if (d->dfll_data.max_rate_boost < dfll_boost)
485                 d->dfll_data.max_rate_boost = dfll_boost;
486
487         rail->fixed_millivolts = v;
488         return reg;
489 }
490
491 static int dvfs_rail_connect_to_regulator(struct dvfs_rail *rail)
492 {
493         struct regulator *reg;
494         int v;
495
496         if (!rail->reg) {
497                 reg = regulator_get(NULL, rail->reg_id);
498                 if (IS_ERR(reg)) {
499                         reg = get_fixed_regulator(rail);
500                         if (IS_ERR(reg)) {
501                                 pr_err("tegra_dvfs: failed to connect %s rail\n",
502                                        rail->reg_id);
503                                 return PTR_ERR(reg);
504                         }
505                 }
506                 rail->reg = reg;
507         }
508
509         v = regulator_enable(rail->reg);
510         if (v < 0) {
511                 pr_err("tegra_dvfs: failed on enabling regulator %s\n, err %d",
512                         rail->reg_id, v);
513                 return v;
514         }
515
516         v = regulator_get_voltage(rail->reg);
517         if (v < 0) {
518                 pr_err("tegra_dvfs: failed initial get %s voltage\n",
519                        rail->reg_id);
520                 return v;
521         }
522         rail->millivolts = v / 1000;
523         rail->new_millivolts = rail->millivolts;
524         dvfs_rail_stats_init(rail, rail->millivolts);
525         return 0;
526 }
527
528 static inline unsigned long *dvfs_get_freqs(struct dvfs *d)
529 {
530         return d->alt_freqs ? : &d->freqs[0];
531 }
532
533 static inline const int *dvfs_get_millivolts(struct dvfs *d, unsigned long rate)
534 {
535         if (tegra_dvfs_is_dfll_scale(d, rate))
536                 return d->dfll_millivolts;
537
538         return d->millivolts;
539 }
540
541 static int
542 __tegra_dvfs_set_rate(struct dvfs *d, unsigned long rate)
543 {
544         int i = 0;
545         int ret;
546         unsigned long *freqs = dvfs_get_freqs(d);
547         const int *millivolts = dvfs_get_millivolts(d, rate);
548
549         if (freqs == NULL || millivolts == NULL)
550                 return -ENODEV;
551
552         /* On entry to dfll range limit 1st step to range bottom (full ramp of
553            voltage/rate is completed automatically in dfll mode) */
554         if (tegra_dvfs_is_dfll_range_entry(d, rate))
555                 rate = d->dfll_data.use_dfll_rate_min;
556
557         if (rate > freqs[d->num_freqs - 1]) {
558                 pr_warn("tegra_dvfs: rate %lu too high for dvfs on %s\n", rate,
559                         d->clk_name);
560                 return -EINVAL;
561         }
562
563         if (rate == 0) {
564                 d->cur_millivolts = 0;
565         } else {
566                 while (i < d->num_freqs && rate > freqs[i])
567                         i++;
568
569                 if ((d->max_millivolts) &&
570                     (millivolts[i] > d->max_millivolts)) {
571                         pr_warn("tegra_dvfs: voltage %d too high for dvfs on"
572                                 " %s\n", millivolts[i], d->clk_name);
573                         return -EINVAL;
574                 }
575                 d->cur_millivolts = millivolts[i];
576         }
577
578         d->cur_rate = rate;
579
580         ret = dvfs_rail_update(d->dvfs_rail);
581         if (ret)
582                 pr_err("Failed to set regulator %s for clock %s to %d mV\n",
583                         d->dvfs_rail->reg_id, d->clk_name, d->cur_millivolts);
584
585         return ret;
586 }
587
588 int tegra_dvfs_alt_freqs_set(struct dvfs *d, unsigned long *alt_freqs)
589 {
590         int ret = 0;
591
592         mutex_lock(&dvfs_lock);
593
594         if (d->alt_freqs != alt_freqs) {
595                 d->alt_freqs = alt_freqs;
596                 ret = __tegra_dvfs_set_rate(d, d->cur_rate);
597         }
598
599         mutex_unlock(&dvfs_lock);
600         return ret;
601 }
602
603 static int predict_millivolts(struct clk *c, const int *millivolts,
604                               unsigned long rate)
605 {
606         int i;
607
608         if (!millivolts)
609                 return -ENODEV;
610         /*
611          * Predicted voltage can not be used across the switch to alternative
612          * frequency limits. For now, just fail the call for clock that has
613          * alternative limits initialized.
614          */
615         if (c->dvfs->alt_freqs)
616                 return -ENOSYS;
617
618         for (i = 0; i < c->dvfs->num_freqs; i++) {
619                 if (rate <= c->dvfs->freqs[i])
620                         break;
621         }
622
623         if (i == c->dvfs->num_freqs)
624                 return -EINVAL;
625
626         return millivolts[i];
627 }
628
629 int tegra_dvfs_predict_millivolts(struct clk *c, unsigned long rate)
630 {
631         const int *millivolts;
632
633         if (!rate || !c->dvfs)
634                 return 0;
635
636         millivolts = dvfs_get_millivolts(c->dvfs, rate);
637         return predict_millivolts(c, millivolts, rate);
638 }
639
640 int tegra_dvfs_predict_millivolts_pll(struct clk *c, unsigned long rate)
641 {
642         const int *millivolts;
643
644         if (!rate || !c->dvfs)
645                 return 0;
646
647         millivolts = c->dvfs->millivolts;
648         return predict_millivolts(c, millivolts, rate);
649 }
650
651 int tegra_dvfs_predict_millivolts_dfll(struct clk *c, unsigned long rate)
652 {
653         const int *millivolts;
654
655         if (!rate || !c->dvfs)
656                 return 0;
657
658         millivolts = c->dvfs->dfll_millivolts;
659         return predict_millivolts(c, millivolts, rate);
660 }
661
662 int tegra_dvfs_set_rate(struct clk *c, unsigned long rate)
663 {
664         int ret;
665
666         if (!c->dvfs)
667                 return -EINVAL;
668
669         mutex_lock(&dvfs_lock);
670         ret = __tegra_dvfs_set_rate(c->dvfs, rate);
671         mutex_unlock(&dvfs_lock);
672
673         return ret;
674 }
675 EXPORT_SYMBOL(tegra_dvfs_set_rate);
676
677 #ifdef CONFIG_TEGRA_VDD_CORE_OVERRIDE
678 static DEFINE_MUTEX(rail_override_lock);
679
680 int tegra_dvfs_override_core_voltage(int override_mv)
681 {
682         int ret, floor, ceiling;
683         struct dvfs_rail *rail = tegra_core_rail;
684
685         if (!rail)
686                 return -ENOENT;
687
688         if (rail->fixed_millivolts)
689                 return -ENOSYS;
690
691         floor = rail->min_override_millivolts;
692         ceiling = rail->nominal_millivolts;
693         if (override_mv && ((override_mv < floor) || (override_mv > ceiling))) {
694                 pr_err("%s: override level %d outside the range [%d...%d]\n",
695                        __func__, override_mv, floor, ceiling);
696                 return -EINVAL;
697         }
698
699         mutex_lock(&rail_override_lock);
700
701         if (override_mv == rail->override_millivolts) {
702                 ret = 0;
703                 goto out;
704         }
705
706         if (override_mv) {
707                 ret = tegra_dvfs_core_cap_level_apply(override_mv);
708                 if (ret) {
709                         pr_err("%s: failed to set cap for override level %d\n",
710                                __func__, override_mv);
711                         goto out;
712                 }
713         }
714
715         mutex_lock(&dvfs_lock);
716         if (rail->disabled || rail->suspended) {
717                 pr_err("%s: cannot scale %s rail\n", __func__,
718                        rail->disabled ? "disabled" : "suspended");
719                 ret = -EPERM;
720                 if (!override_mv) {
721                         mutex_unlock(&dvfs_lock);
722                         goto out;
723                 }
724         } else {
725                 rail->override_millivolts = override_mv;
726                 ret = dvfs_rail_update(rail);
727                 if (ret) {
728                         pr_err("%s: failed to set override level %d\n",
729                                __func__, override_mv);
730                         rail->override_millivolts = 0;
731                         dvfs_rail_update(rail);
732                 }
733         }
734         mutex_unlock(&dvfs_lock);
735
736         if (!override_mv || ret)
737                 tegra_dvfs_core_cap_level_apply(0);
738 out:
739         mutex_unlock(&rail_override_lock);
740         return ret;
741 }
742 #else
743 int tegra_dvfs_override_core_voltage(int override_mv)
744 {
745         pr_err("%s: vdd core override is not supported\n", __func__);
746         return -ENOSYS;
747 }
748 #endif
749 EXPORT_SYMBOL(tegra_dvfs_override_core_voltage);
750
751 /* May only be called during clock init, does not take any locks on clock c. */
752 int __init tegra_enable_dvfs_on_clk(struct clk *c, struct dvfs *d)
753 {
754         int i;
755
756         if (c->dvfs) {
757                 pr_err("Error when enabling dvfs on %s for clock %s:\n",
758                         d->dvfs_rail->reg_id, c->name);
759                 pr_err("DVFS already enabled for %s\n",
760                         c->dvfs->dvfs_rail->reg_id);
761                 return -EINVAL;
762         }
763
764         for (i = 0; i < MAX_DVFS_FREQS; i++) {
765                 if (d->millivolts[i] == 0)
766                         break;
767
768                 d->freqs[i] *= d->freqs_mult;
769
770                 /* If final frequencies are 0, pad with previous frequency */
771                 if (d->freqs[i] == 0 && i > 1)
772                         d->freqs[i] = d->freqs[i - 1];
773         }
774         d->num_freqs = i;
775
776         if (d->auto_dvfs) {
777                 c->auto_dvfs = true;
778                 clk_set_cansleep(c);
779         }
780
781         c->dvfs = d;
782
783         /*
784          * Minimum core override level is determined as maximum voltage required
785          * for clocks outside shared buses (shared bus rates can be capped to
786          * safe levels when override limit is set)
787          */
788         if (i && c->ops && !c->ops->shared_bus_update &&
789             !(c->flags & PERIPH_ON_CBUS)) {
790                 int mv = tegra_dvfs_predict_millivolts(c, d->freqs[i-1]);
791                 if (d->dvfs_rail->min_override_millivolts < mv)
792                         d->dvfs_rail->min_override_millivolts = mv;
793         }
794
795         mutex_lock(&dvfs_lock);
796         list_add_tail(&d->reg_node, &d->dvfs_rail->dvfs);
797         mutex_unlock(&dvfs_lock);
798
799         return 0;
800 }
801
802 static bool tegra_dvfs_all_rails_suspended(void)
803 {
804         struct dvfs_rail *rail;
805         bool all_suspended = true;
806
807         list_for_each_entry(rail, &dvfs_rail_list, node)
808                 if (!rail->suspended && !rail->disabled)
809                         all_suspended = false;
810
811         return all_suspended;
812 }
813
814 static bool tegra_dvfs_from_rails_suspended_or_solved(struct dvfs_rail *to)
815 {
816         struct dvfs_relationship *rel;
817         bool all_suspended = true;
818
819         list_for_each_entry(rel, &to->relationships_from, from_node)
820                 if (!rel->from->suspended && !rel->from->disabled &&
821                         !rel->solved_at_nominal)
822                         all_suspended = false;
823
824         return all_suspended;
825 }
826
827 static int tegra_dvfs_suspend_one(void)
828 {
829         struct dvfs_rail *rail;
830         int ret;
831
832         list_for_each_entry(rail, &dvfs_rail_list, node) {
833                 if (!rail->suspended && !rail->disabled &&
834                     tegra_dvfs_from_rails_suspended_or_solved(rail)) {
835                         ret = dvfs_rail_set_nominal(rail);
836                         if (ret)
837                                 return ret;
838                         rail->suspended = true;
839                         return 0;
840                 }
841         }
842
843         return -EINVAL;
844 }
845
846 static void tegra_dvfs_resume(void)
847 {
848         struct dvfs_rail *rail;
849
850         mutex_lock(&dvfs_lock);
851
852         list_for_each_entry(rail, &dvfs_rail_list, node)
853                 rail->suspended = false;
854
855         list_for_each_entry(rail, &dvfs_rail_list, node)
856                 dvfs_rail_update(rail);
857
858         mutex_unlock(&dvfs_lock);
859 }
860
861 static int tegra_dvfs_suspend(void)
862 {
863         int ret = 0;
864
865         mutex_lock(&dvfs_lock);
866
867         while (!tegra_dvfs_all_rails_suspended()) {
868                 ret = tegra_dvfs_suspend_one();
869                 if (ret)
870                         break;
871         }
872
873         mutex_unlock(&dvfs_lock);
874
875         if (ret)
876                 tegra_dvfs_resume();
877
878         return ret;
879 }
880
881 static int tegra_dvfs_pm_notify(struct notifier_block *nb,
882                                 unsigned long event, void *data)
883 {
884         switch (event) {
885         case PM_SUSPEND_PREPARE:
886                 if (tegra_dvfs_suspend())
887                         return NOTIFY_STOP;
888                 break;
889         case PM_POST_SUSPEND:
890                 tegra_dvfs_resume();
891                 break;
892         }
893
894         return NOTIFY_OK;
895 };
896
897 static struct notifier_block tegra_dvfs_nb = {
898         .notifier_call = tegra_dvfs_pm_notify,
899 };
900
901 static int tegra_dvfs_reboot_notify(struct notifier_block *nb,
902                                 unsigned long event, void *data)
903 {
904         switch (event) {
905         case SYS_RESTART:
906         case SYS_HALT:
907         case SYS_POWER_OFF:
908                 tegra_dvfs_suspend();
909                 return NOTIFY_OK;
910         }
911         return NOTIFY_DONE;
912 }
913
914 static struct notifier_block tegra_dvfs_reboot_nb = {
915         .notifier_call = tegra_dvfs_reboot_notify,
916 };
917
918 /* must be called with dvfs lock held */
919 static void __tegra_dvfs_rail_disable(struct dvfs_rail *rail)
920 {
921         int ret;
922
923         /* don't set voltage in DFLL mode - won't work, but break stats */
924         if (rail->dfll_mode) {
925                 rail->disabled = true;
926                 return;
927         }
928
929         ret = dvfs_rail_set_nominal(rail);
930         if (ret) {
931                 pr_info("dvfs: failed to set regulator %s to disable "
932                         "voltage %d\n", rail->reg_id,
933                         rail->nominal_millivolts);
934                 return;
935         }
936         rail->disabled = true;
937 }
938
939 /* must be called with dvfs lock held */
940 static void __tegra_dvfs_rail_enable(struct dvfs_rail *rail)
941 {
942         rail->disabled = false;
943         dvfs_rail_update(rail);
944 }
945
946 void tegra_dvfs_rail_enable(struct dvfs_rail *rail)
947 {
948         if (!rail)
949                 return;
950
951         mutex_lock(&rail_disable_lock);
952
953         if (rail->disabled) {
954                 mutex_lock(&dvfs_lock);
955                 __tegra_dvfs_rail_enable(rail);
956                 mutex_unlock(&dvfs_lock);
957
958                 tegra_dvfs_rail_post_enable(rail);
959         }
960         mutex_unlock(&rail_disable_lock);
961 }
962
963 void tegra_dvfs_rail_disable(struct dvfs_rail *rail)
964 {
965         if (!rail)
966                 return;
967
968         mutex_lock(&rail_disable_lock);
969         if (rail->disabled)
970                 goto out;
971
972         /* rail disable will set it to nominal voltage underneath clock
973            framework - need to re-configure clock rates that are not safe
974            at nominal (yes, unsafe at nominal is ugly, but possible). Rate
975            change must be done outside of dvfs lock. */
976         if (tegra_dvfs_rail_disable_prepare(rail)) {
977                 pr_info("dvfs: failed to prepare regulator %s to disable\n",
978                         rail->reg_id);
979                 goto out;
980         }
981
982         mutex_lock(&dvfs_lock);
983         __tegra_dvfs_rail_disable(rail);
984         mutex_unlock(&dvfs_lock);
985 out:
986         mutex_unlock(&rail_disable_lock);
987 }
988
989 int tegra_dvfs_rail_disable_by_name(const char *reg_id)
990 {
991         struct dvfs_rail *rail = tegra_dvfs_get_rail_by_name(reg_id);
992         if (!rail)
993                 return -EINVAL;
994
995         tegra_dvfs_rail_disable(rail);
996         return 0;
997 }
998
999 struct dvfs_rail *tegra_dvfs_get_rail_by_name(const char *reg_id)
1000 {
1001         struct dvfs_rail *rail;
1002
1003         mutex_lock(&dvfs_lock);
1004         list_for_each_entry(rail, &dvfs_rail_list, node) {
1005                 if (!strcmp(reg_id, rail->reg_id)) {
1006                         mutex_unlock(&dvfs_lock);
1007                         return rail;
1008                 }
1009         }
1010         mutex_unlock(&dvfs_lock);
1011         return NULL;
1012 }
1013
1014 bool tegra_dvfs_rail_updating(struct clk *clk)
1015 {
1016         return (!clk ? false :
1017                 (!clk->dvfs ? false :
1018                  (!clk->dvfs->dvfs_rail ? false :
1019                   (clk->dvfs->dvfs_rail->updating ||
1020                    clk->dvfs->dvfs_rail->dfll_mode_updating))));
1021 }
1022
1023 #ifdef CONFIG_OF
1024 int __init of_tegra_dvfs_init(const struct of_device_id *matches)
1025 {
1026         int ret;
1027         struct device_node *np;
1028
1029         for_each_matching_node(np, matches) {
1030                 const struct of_device_id *match = of_match_node(matches, np);
1031                 of_tegra_dvfs_init_cb_t dvfs_init_cb = match->data;
1032                 ret = dvfs_init_cb(np);
1033                 if (ret) {
1034                         pr_err("dt: Failed to read %s tables from DT\n",
1035                                                         match->compatible);
1036                         return ret;
1037                 }
1038         }
1039         return 0;
1040 }
1041 #endif
1042 int tegra_dvfs_dfll_mode_set(struct dvfs *d, unsigned long rate)
1043 {
1044         mutex_lock(&dvfs_lock);
1045         if (!d->dvfs_rail->dfll_mode) {
1046                 d->dvfs_rail->dfll_mode = true;
1047                 __tegra_dvfs_set_rate(d, rate);
1048         }
1049         mutex_unlock(&dvfs_lock);
1050         return 0;
1051 }
1052
1053 int tegra_dvfs_dfll_mode_clear(struct dvfs *d, unsigned long rate)
1054 {
1055         int ret = 0;
1056
1057         mutex_lock(&dvfs_lock);
1058         if (d->dvfs_rail->dfll_mode) {
1059                 d->dvfs_rail->dfll_mode = false;
1060                 /* avoid false detection of matching target (voltage in dfll
1061                    mode is fluctuating, and recorded level is just estimate) */
1062                 d->dvfs_rail->millivolts--;
1063                 if (d->dvfs_rail->disabled) {
1064                         d->dvfs_rail->disabled = false;
1065                         __tegra_dvfs_rail_disable(d->dvfs_rail);
1066                 }
1067                 ret = __tegra_dvfs_set_rate(d, rate);
1068         }
1069         mutex_unlock(&dvfs_lock);
1070         return ret;
1071 }
1072
1073 struct tegra_cooling_device *tegra_dvfs_get_cpu_vmax_cdev(void)
1074 {
1075         if (tegra_cpu_rail)
1076                 return tegra_cpu_rail->vmax_cdev;
1077         return NULL;
1078 }
1079
1080 struct tegra_cooling_device *tegra_dvfs_get_cpu_vmin_cdev(void)
1081 {
1082         if (tegra_cpu_rail)
1083                 return tegra_cpu_rail->vmin_cdev;
1084         return NULL;
1085 }
1086
1087 struct tegra_cooling_device *tegra_dvfs_get_core_vmin_cdev(void)
1088 {
1089         if (tegra_core_rail)
1090                 return tegra_core_rail->vmin_cdev;
1091         return NULL;
1092 }
1093
1094 #ifdef CONFIG_THERMAL
1095 /* Cooling device limits minimum rail voltage at cold temperature in pll mode */
1096 static int tegra_dvfs_rail_get_vmin_cdev_max_state(
1097         struct thermal_cooling_device *cdev, unsigned long *max_state)
1098 {
1099         struct dvfs_rail *rail = (struct dvfs_rail *)cdev->devdata;
1100         *max_state = rail->vmin_cdev->trip_temperatures_num;
1101         return 0;
1102 }
1103
1104 static int tegra_dvfs_rail_get_vmin_cdev_cur_state(
1105         struct thermal_cooling_device *cdev, unsigned long *cur_state)
1106 {
1107         struct dvfs_rail *rail = (struct dvfs_rail *)cdev->devdata;
1108         *cur_state = rail->therm_floor_idx;
1109         return 0;
1110 }
1111
1112 static int tegra_dvfs_rail_set_vmin_cdev_state(
1113         struct thermal_cooling_device *cdev, unsigned long cur_state)
1114 {
1115         struct dvfs_rail *rail = (struct dvfs_rail *)cdev->devdata;
1116
1117         mutex_lock(&dvfs_lock);
1118         if (rail->therm_floor_idx != cur_state) {
1119                 rail->therm_floor_idx = cur_state;
1120                 dvfs_rail_update(rail);
1121         }
1122         mutex_unlock(&dvfs_lock);
1123         return 0;
1124 }
1125
1126 static struct thermal_cooling_device_ops tegra_dvfs_rail_cooling_ops = {
1127         .get_max_state = tegra_dvfs_rail_get_vmin_cdev_max_state,
1128         .get_cur_state = tegra_dvfs_rail_get_vmin_cdev_cur_state,
1129         .set_cur_state = tegra_dvfs_rail_set_vmin_cdev_state,
1130 };
1131
1132 static void tegra_dvfs_rail_register_vmin_cdev(struct dvfs_rail *rail)
1133 {
1134         if (!rail->vmin_cdev)
1135                 return;
1136
1137         /* just report error - initialized for cold temperature, anyway */
1138         if (IS_ERR_OR_NULL(thermal_cooling_device_register(
1139                 rail->vmin_cdev->cdev_type, (void *)rail,
1140                 &tegra_dvfs_rail_cooling_ops)))
1141                 pr_err("tegra cooling device %s failed to register\n",
1142                        rail->vmin_cdev->cdev_type);
1143 }
1144 #else
1145 #define tegra_dvfs_rail_register_vmin_cdev(rail)
1146 #endif
1147
1148 /* Directly set cold temperature limit in dfll mode */
1149 int tegra_dvfs_rail_dfll_mode_set_cold(struct dvfs_rail *rail)
1150 {
1151         int ret = 0;
1152
1153         /* No thermal floors - nothing to do */
1154         if (!rail || !rail->therm_mv_floors)
1155                 return ret;
1156
1157         /*
1158          * Since cooling thresholds are the same in pll and dfll modes, pll mode
1159          * thermal index can be used to decide if cold limit should be set in
1160          * dfll mode.
1161          */
1162         mutex_lock(&dvfs_lock);
1163         if (rail->dfll_mode &&
1164             (rail->therm_floor_idx < rail->therm_mv_floors_num)) {
1165                         int mv = rail->therm_mv_floors[rail->therm_floor_idx];
1166                         ret = dvfs_rail_set_voltage_reg(rail, mv);
1167         }
1168         mutex_unlock(&dvfs_lock);
1169
1170         return ret;
1171 }
1172
1173 /*
1174  * Iterate through all the dvfs regulators, finding the regulator exported
1175  * by the regulator api for each one.  Must be called in late init, after
1176  * all the regulator api's regulators are initialized.
1177  */
1178 int __init tegra_dvfs_late_init(void)
1179 {
1180         bool connected = true;
1181         struct dvfs_rail *rail;
1182
1183         mutex_lock(&dvfs_lock);
1184
1185         list_for_each_entry(rail, &dvfs_rail_list, node)
1186                 if (dvfs_rail_connect_to_regulator(rail))
1187                         connected = false;
1188
1189         list_for_each_entry(rail, &dvfs_rail_list, node)
1190                 if (connected)
1191                         dvfs_rail_update(rail);
1192                 else
1193                         __tegra_dvfs_rail_disable(rail);
1194
1195         mutex_unlock(&dvfs_lock);
1196
1197         if (!connected && tegra_platform_is_silicon())
1198                 return -ENODEV;
1199
1200         register_pm_notifier(&tegra_dvfs_nb);
1201         register_reboot_notifier(&tegra_dvfs_reboot_nb);
1202
1203         list_for_each_entry(rail, &dvfs_rail_list, node)
1204                 tegra_dvfs_rail_register_vmin_cdev(rail);
1205
1206         return 0;
1207 }
1208
1209 static int rail_stats_save_to_buf(char *buf, int len)
1210 {
1211         int i;
1212         struct dvfs_rail *rail;
1213         char *str = buf;
1214         char *end = buf + len;
1215
1216         str += scnprintf(str, end - str, "%-12s %-10s\n", "millivolts", "time");
1217
1218         mutex_lock(&dvfs_lock);
1219
1220         list_for_each_entry(rail, &dvfs_rail_list, node) {
1221                 str += scnprintf(str, end - str, "%s (bin: %d.%dmV)\n",
1222                            rail->reg_id,
1223                            rail->stats.bin_uV / 1000,
1224                            (rail->stats.bin_uV / 10) % 100);
1225
1226                 dvfs_rail_stats_update(rail, -1, ktime_get());
1227
1228                 str += scnprintf(str, end - str, "%-12d %-10llu\n", 0,
1229                         cputime64_to_clock_t(msecs_to_jiffies(
1230                                 ktime_to_ms(rail->stats.time_at_mv[0]))));
1231
1232                 for (i = 1; i <= DVFS_RAIL_STATS_TOP_BIN; i++) {
1233                         ktime_t ktime_zero = ktime_set(0, 0);
1234                         if (ktime_equal(rail->stats.time_at_mv[i], ktime_zero))
1235                                 continue;
1236                         str += scnprintf(str, end - str, "%-12d %-10llu\n",
1237                                 rail->min_millivolts +
1238                                 (i - 1) * rail->stats.bin_uV / 1000,
1239                                 cputime64_to_clock_t(msecs_to_jiffies(
1240                                         ktime_to_ms(rail->stats.time_at_mv[i])))
1241                         );
1242                 }
1243         }
1244         mutex_unlock(&dvfs_lock);
1245         return str - buf;
1246 }
1247
1248 #ifdef CONFIG_DEBUG_FS
1249 static int dvfs_tree_sort_cmp(void *p, struct list_head *a, struct list_head *b)
1250 {
1251         struct dvfs *da = list_entry(a, struct dvfs, reg_node);
1252         struct dvfs *db = list_entry(b, struct dvfs, reg_node);
1253         int ret;
1254
1255         ret = strcmp(da->dvfs_rail->reg_id, db->dvfs_rail->reg_id);
1256         if (ret != 0)
1257                 return ret;
1258
1259         if (da->cur_millivolts < db->cur_millivolts)
1260                 return 1;
1261         if (da->cur_millivolts > db->cur_millivolts)
1262                 return -1;
1263
1264         return strcmp(da->clk_name, db->clk_name);
1265 }
1266
1267 static int dvfs_tree_show(struct seq_file *s, void *data)
1268 {
1269         struct dvfs *d;
1270         struct dvfs_rail *rail;
1271         struct dvfs_relationship *rel;
1272
1273         seq_printf(s, "   clock      rate       mV\n");
1274         seq_printf(s, "--------------------------------\n");
1275
1276         mutex_lock(&dvfs_lock);
1277
1278         list_for_each_entry(rail, &dvfs_rail_list, node) {
1279                 int thermal_mv_floor = 0;
1280
1281                 seq_printf(s, "%s %d mV%s:\n", rail->reg_id, rail->millivolts,
1282                            rail->dfll_mode ? " dfll mode" :
1283                                 rail->disabled ? " disabled" : "");
1284                 list_for_each_entry(rel, &rail->relationships_from, from_node) {
1285                         seq_printf(s, "   %-10s %-7d mV %-4d mV\n",
1286                                 rel->from->reg_id, rel->from->millivolts,
1287                                 dvfs_solve_relationship(rel));
1288                 }
1289                 seq_printf(s, "   offset     %-7d mV\n", rail->offs_millivolts);
1290
1291                 if (rail->therm_mv_floors) {
1292                         int i = rail->therm_floor_idx;
1293                         if (i < rail->therm_mv_floors_num)
1294                                 thermal_mv_floor = rail->therm_mv_floors[i];
1295                 }
1296                 seq_printf(s, "   thermal    %-7d mV\n", thermal_mv_floor);
1297
1298                 if (rail == tegra_core_rail) {
1299                         seq_printf(s, "   override   %-7d mV [%-4d...%-4d]\n",
1300                                    rail->override_millivolts,
1301                                    rail->min_override_millivolts,
1302                                    rail->nominal_millivolts);
1303                 }
1304
1305                 list_sort(NULL, &rail->dvfs, dvfs_tree_sort_cmp);
1306
1307                 list_for_each_entry(d, &rail->dvfs, reg_node) {
1308                         seq_printf(s, "   %-10s %-10lu %-4d mV\n", d->clk_name,
1309                                 d->cur_rate, d->cur_millivolts);
1310                 }
1311         }
1312
1313         mutex_unlock(&dvfs_lock);
1314
1315         return 0;
1316 }
1317
1318 static int dvfs_tree_open(struct inode *inode, struct file *file)
1319 {
1320         return single_open(file, dvfs_tree_show, inode->i_private);
1321 }
1322
1323 static const struct file_operations dvfs_tree_fops = {
1324         .open           = dvfs_tree_open,
1325         .read           = seq_read,
1326         .llseek         = seq_lseek,
1327         .release        = single_release,
1328 };
1329
1330 static int rail_stats_show(struct seq_file *s, void *data)
1331 {
1332         char *buf = kzalloc(PAGE_SIZE, GFP_KERNEL);
1333         int size = 0;
1334
1335         if (!buf)
1336                 return -ENOMEM;
1337
1338         size = rail_stats_save_to_buf(buf, PAGE_SIZE);
1339         seq_write(s, buf, size);
1340         kfree(buf);
1341         return 0;
1342 }
1343
1344 static int rail_stats_open(struct inode *inode, struct file *file)
1345 {
1346         return single_open(file, rail_stats_show, inode->i_private);
1347 }
1348
1349 static const struct file_operations rail_stats_fops = {
1350         .open           = rail_stats_open,
1351         .read           = seq_read,
1352         .llseek         = seq_lseek,
1353         .release        = single_release,
1354 };
1355
1356 static int gpu_dvfs_show(struct seq_file *s, void *data)
1357 {
1358         int idx;
1359         int *millivolts;
1360         unsigned long *freqs;
1361
1362         if (read_gpu_dvfs_table(&millivolts, &freqs)) {
1363                 seq_printf(s, "Only supported for T124 or higher\n");
1364                 return 0;
1365         }
1366
1367         seq_printf(s, "millivolts \t \t frequency\n");
1368         seq_printf(s, "=====================================\n");
1369
1370         for (idx = 0; millivolts[idx]; idx++)
1371                 seq_printf(s, "%d mV \t \t %lu Hz\n", millivolts[idx],
1372                                 freqs[idx]);
1373
1374         return 0;
1375 }
1376
1377 static int gpu_dvfs_open(struct inode *inode, struct file *file)
1378 {
1379         return single_open(file, gpu_dvfs_show, NULL);
1380 }
1381
1382 static const struct file_operations gpu_dvfs_fops = {
1383         .open           = gpu_dvfs_open,
1384         .read           = seq_read,
1385         .llseek         = seq_lseek,
1386         .release        = single_release,
1387 };
1388
1389 static int cpu_offs_get(void *data, u64 *val)
1390 {
1391         if (tegra_cpu_rail) {
1392                 *val = (u64)tegra_cpu_rail->offs_millivolts;
1393                 return 0;
1394         }
1395         *val = 0;
1396         return -ENOENT;
1397 }
1398 static int cpu_offs_set(void *data, u64 val)
1399 {
1400         if (tegra_cpu_rail) {
1401                 mutex_lock(&dvfs_lock);
1402                 tegra_cpu_rail->offs_millivolts = (int)val;
1403                 dvfs_rail_update(tegra_cpu_rail);
1404                 mutex_unlock(&dvfs_lock);
1405                 return 0;
1406         }
1407         return -ENOENT;
1408 }
1409 DEFINE_SIMPLE_ATTRIBUTE(cpu_offs_fops, cpu_offs_get, cpu_offs_set, "%lld\n");
1410
1411 static int core_offs_get(void *data, u64 *val)
1412 {
1413         if (tegra_core_rail) {
1414                 *val = (u64)tegra_core_rail->offs_millivolts;
1415                 return 0;
1416         }
1417         *val = 0;
1418         return -ENOENT;
1419 }
1420 static int core_offs_set(void *data, u64 val)
1421 {
1422         if (tegra_core_rail) {
1423                 mutex_lock(&dvfs_lock);
1424                 tegra_core_rail->offs_millivolts = (int)val;
1425                 dvfs_rail_update(tegra_core_rail);
1426                 mutex_unlock(&dvfs_lock);
1427                 return 0;
1428         }
1429         return -ENOENT;
1430 }
1431 DEFINE_SIMPLE_ATTRIBUTE(core_offs_fops, core_offs_get, core_offs_set, "%lld\n");
1432
1433 static int core_override_get(void *data, u64 *val)
1434 {
1435         if (tegra_core_rail) {
1436                 *val = (u64)tegra_core_rail->override_millivolts;
1437                 return 0;
1438         }
1439         *val = 0;
1440         return -ENOENT;
1441 }
1442 static int core_override_set(void *data, u64 val)
1443 {
1444         return tegra_dvfs_override_core_voltage((int)val);
1445 }
1446 DEFINE_SIMPLE_ATTRIBUTE(core_override_fops,
1447                         core_override_get, core_override_set, "%llu\n");
1448
1449 int __init dvfs_debugfs_init(struct dentry *clk_debugfs_root)
1450 {
1451         struct dentry *d;
1452
1453         d = debugfs_create_file("dvfs", S_IRUGO, clk_debugfs_root, NULL,
1454                 &dvfs_tree_fops);
1455         if (!d)
1456                 return -ENOMEM;
1457
1458         d = debugfs_create_file("rails", S_IRUGO, clk_debugfs_root, NULL,
1459                 &rail_stats_fops);
1460         if (!d)
1461                 return -ENOMEM;
1462
1463         d = debugfs_create_file("vdd_cpu_offs", S_IRUGO | S_IWUSR,
1464                 clk_debugfs_root, NULL, &cpu_offs_fops);
1465         if (!d)
1466                 return -ENOMEM;
1467
1468         d = debugfs_create_file("vdd_core_offs", S_IRUGO | S_IWUSR,
1469                 clk_debugfs_root, NULL, &core_offs_fops);
1470         if (!d)
1471                 return -ENOMEM;
1472
1473         d = debugfs_create_file("vdd_core_override", S_IRUGO | S_IWUSR,
1474                 clk_debugfs_root, NULL, &core_override_fops);
1475         if (!d)
1476                 return -ENOMEM;
1477
1478         d = debugfs_create_file("gpu_dvfs", S_IRUGO | S_IWUSR,
1479                 clk_debugfs_root, NULL, &gpu_dvfs_fops);
1480         if (!d)
1481                 return -ENOMEM;
1482
1483         return 0;
1484 }
1485
1486 #endif
1487
1488 #ifdef CONFIG_PM
1489 static ssize_t tegra_rail_stats_show(struct kobject *kobj,
1490                                         struct kobj_attribute *attr,
1491                                         char *buf)
1492 {
1493         return rail_stats_save_to_buf(buf, PAGE_SIZE);
1494 }
1495
1496 static struct kobj_attribute rail_stats_attr =
1497                 __ATTR_RO(tegra_rail_stats);
1498
1499 static int __init tegra_dvfs_sysfs_stats_init(void)
1500 {
1501         int error;
1502         error = sysfs_create_file(power_kobj, &rail_stats_attr.attr);
1503         return 0;
1504 }
1505 late_initcall(tegra_dvfs_sysfs_stats_init);
1506 #endif