arm:tegra:dvfs: API to extract GPU DVFS info
[linux-3.10.git] / arch / arm / mach-tegra / dvfs.c
1 /*
2  *
3  * Copyright (C) 2010 Google, Inc.
4  *
5  * Author:
6  *      Colin Cross <ccross@google.com>
7  *
8  * Copyright (C) 2010-2013 NVIDIA CORPORATION. All rights reserved.
9  *
10  * This software is licensed under the terms of the GNU General Public
11  * License version 2, as published by the Free Software Foundation, and
12  * may be copied, distributed, and modified under those terms.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17  * GNU General Public License for more details.
18  *
19  */
20
21 #include <linux/kernel.h>
22 #include <linux/clk.h>
23 #include <linux/clkdev.h>
24 #include <linux/debugfs.h>
25 #include <linux/init.h>
26 #include <linux/list.h>
27 #include <linux/list_sort.h>
28 #include <linux/module.h>
29 #include <linux/regulator/consumer.h>
30 #include <linux/seq_file.h>
31 #include <linux/slab.h>
32 #include <linux/suspend.h>
33 #include <linux/delay.h>
34 #include <linux/clk/tegra.h>
35 #include <linux/reboot.h>
36
37 #include <mach/hardware.h>
38
39 #include "board.h"
40 #include "clock.h"
41 #include "dvfs.h"
42
43 #define DVFS_RAIL_STATS_BIN     12500
44
45 struct dvfs_rail *tegra_cpu_rail;
46 struct dvfs_rail *tegra_core_rail;
47
48 static LIST_HEAD(dvfs_rail_list);
49 static DEFINE_MUTEX(dvfs_lock);
50 static DEFINE_MUTEX(rail_disable_lock);
51
52 static int dvfs_rail_update(struct dvfs_rail *rail);
53
54 void tegra_dvfs_add_relationships(struct dvfs_relationship *rels, int n)
55 {
56         int i;
57         struct dvfs_relationship *rel;
58
59         mutex_lock(&dvfs_lock);
60
61         for (i = 0; i < n; i++) {
62                 rel = &rels[i];
63                 list_add_tail(&rel->from_node, &rel->to->relationships_from);
64                 list_add_tail(&rel->to_node, &rel->from->relationships_to);
65         }
66
67         mutex_unlock(&dvfs_lock);
68 }
69
70 /* Make sure there is a matching cooling device for thermal limit profile. */
71 static void dvfs_validate_cdevs(struct dvfs_rail *rail)
72 {
73         if (!rail->therm_mv_caps != !rail->therm_mv_caps_num) {
74                 rail->therm_mv_caps_num = 0;
75                 rail->therm_mv_caps = NULL;
76                 WARN(1, "%s: not matching thermal caps/num\n", rail->reg_id);
77         }
78
79         if (rail->therm_mv_caps && !rail->vmax_cdev)
80                 WARN(1, "%s: missing vmax cooling device\n", rail->reg_id);
81
82         if (!rail->therm_mv_floors != !rail->therm_mv_floors_num) {
83                 rail->therm_mv_floors_num = 0;
84                 rail->therm_mv_floors = NULL;
85                 WARN(1, "%s: not matching thermal floors/num\n", rail->reg_id);
86         }
87
88         if (rail->therm_mv_floors && !rail->vmin_cdev)
89                 WARN(1, "%s: missing vmin cooling device\n", rail->reg_id);
90
91         /* Limit override range to maximum floor */
92         if (rail->therm_mv_floors)
93                 rail->min_override_millivolts = rail->therm_mv_floors[0];
94 }
95
96 int tegra_dvfs_init_rails(struct dvfs_rail *rails[], int n)
97 {
98         int i;
99
100         mutex_lock(&dvfs_lock);
101
102         for (i = 0; i < n; i++) {
103                 INIT_LIST_HEAD(&rails[i]->dvfs);
104                 INIT_LIST_HEAD(&rails[i]->relationships_from);
105                 INIT_LIST_HEAD(&rails[i]->relationships_to);
106                 rails[i]->millivolts = rails[i]->nominal_millivolts;
107                 rails[i]->new_millivolts = rails[i]->nominal_millivolts;
108                 if (!rails[i]->step)
109                         rails[i]->step = rails[i]->max_millivolts;
110
111                 list_add_tail(&rails[i]->node, &dvfs_rail_list);
112
113                 dvfs_validate_cdevs(rails[i]);
114
115                 if (!strcmp("vdd_cpu", rails[i]->reg_id))
116                         tegra_cpu_rail = rails[i];
117                 else if (!strcmp("vdd_core", rails[i]->reg_id))
118                         tegra_core_rail = rails[i];
119         }
120
121         mutex_unlock(&dvfs_lock);
122
123         return 0;
124 };
125
126 static int dvfs_solve_relationship(struct dvfs_relationship *rel)
127 {
128         return rel->solve(rel->from, rel->to);
129 }
130
131 /* rail statistic - called during rail init, or under dfs_lock, or with
132    CPU0 only on-line, and interrupts disabled */
133 static void dvfs_rail_stats_init(struct dvfs_rail *rail, int millivolts)
134 {
135         int dvfs_rail_stats_range;
136
137         if (!rail->stats.bin_uV)
138                 rail->stats.bin_uV = DVFS_RAIL_STATS_BIN;
139
140         dvfs_rail_stats_range =
141                 (DVFS_RAIL_STATS_TOP_BIN - 1) * rail->stats.bin_uV / 1000;
142
143         rail->stats.last_update = ktime_get();
144         if (millivolts >= rail->min_millivolts) {
145                 int i = 1 + (2 * (millivolts - rail->min_millivolts) * 1000 +
146                              rail->stats.bin_uV) / (2 * rail->stats.bin_uV);
147                 rail->stats.last_index = min(i, DVFS_RAIL_STATS_TOP_BIN);
148         }
149
150         if (rail->max_millivolts >
151             rail->min_millivolts + dvfs_rail_stats_range)
152                 pr_warn("tegra_dvfs: %s: stats above %d mV will be squashed\n",
153                         rail->reg_id,
154                         rail->min_millivolts + dvfs_rail_stats_range);
155 }
156
157 static void dvfs_rail_stats_update(
158         struct dvfs_rail *rail, int millivolts, ktime_t now)
159 {
160         rail->stats.time_at_mv[rail->stats.last_index] = ktime_add(
161                 rail->stats.time_at_mv[rail->stats.last_index], ktime_sub(
162                         now, rail->stats.last_update));
163         rail->stats.last_update = now;
164
165         if (rail->stats.off)
166                 return;
167
168         if (millivolts >= rail->min_millivolts) {
169                 int i = 1 + (2 * (millivolts - rail->min_millivolts) * 1000 +
170                              rail->stats.bin_uV) / (2 * rail->stats.bin_uV);
171                 rail->stats.last_index = min(i, DVFS_RAIL_STATS_TOP_BIN);
172         } else if (millivolts == 0)
173                         rail->stats.last_index = 0;
174 }
175
176 static void dvfs_rail_stats_pause(struct dvfs_rail *rail,
177                                   ktime_t delta, bool on)
178 {
179         int i = on ? rail->stats.last_index : 0;
180         rail->stats.time_at_mv[i] = ktime_add(rail->stats.time_at_mv[i], delta);
181 }
182
183 void tegra_dvfs_rail_off(struct dvfs_rail *rail, ktime_t now)
184 {
185         if (rail) {
186                 dvfs_rail_stats_update(rail, 0, now);
187                 rail->stats.off = true;
188         }
189 }
190
191 void tegra_dvfs_rail_on(struct dvfs_rail *rail, ktime_t now)
192 {
193         if (rail) {
194                 rail->stats.off = false;
195                 dvfs_rail_stats_update(rail, rail->millivolts, now);
196         }
197 }
198
199 void tegra_dvfs_rail_pause(struct dvfs_rail *rail, ktime_t delta, bool on)
200 {
201         if (rail)
202                 dvfs_rail_stats_pause(rail, delta, on);
203 }
204
205 static int dvfs_rail_set_voltage_reg(struct dvfs_rail *rail, int millivolts)
206 {
207         int ret;
208
209         /*
210          * safely return success for low voltage requests on fixed regulator
211          * (higher requests will go through and fail, as they should)
212          */
213         if (rail->fixed_millivolts && (millivolts <= rail->fixed_millivolts))
214                 return 0;
215
216         rail->updating = true;
217         rail->reg_max_millivolts = rail->reg_max_millivolts ==
218                 rail->max_millivolts ?
219                 rail->max_millivolts + 1 : rail->max_millivolts;
220         ret = regulator_set_voltage(rail->reg,
221                 millivolts * 1000,
222                 rail->reg_max_millivolts * 1000);
223         rail->updating = false;
224
225         return ret;
226 }
227
228 /* Sets the voltage on a dvfs rail to a specific value, and updates any
229  * rails that depend on this rail. */
230 static int dvfs_rail_set_voltage(struct dvfs_rail *rail, int millivolts)
231 {
232         int ret = 0;
233         struct dvfs_relationship *rel;
234         int step = (millivolts > rail->millivolts) ? rail->step : -rail->step;
235         int i;
236         int steps;
237         bool jmp_to_zero;
238
239         if (!rail->reg) {
240                 if (millivolts == rail->millivolts)
241                         return 0;
242                 else
243                         return -EINVAL;
244         }
245
246         /*
247          * DFLL adjusts rail voltage automatically, but not exactly to the
248          * expected level - update stats, anyway.
249          */
250         if (rail->dfll_mode) {
251                 rail->millivolts = rail->new_millivolts = millivolts;
252                 dvfs_rail_stats_update(rail, millivolts, ktime_get());
253                 return 0;
254         }
255
256         if (rail->disabled)
257                 return 0;
258
259         rail->resolving_to = true;
260         jmp_to_zero = rail->jmp_to_zero &&
261                         ((millivolts == 0) || (rail->millivolts == 0));
262         steps = jmp_to_zero ? 1 :
263                 DIV_ROUND_UP(abs(millivolts - rail->millivolts), rail->step);
264
265         for (i = 0; i < steps; i++) {
266                 if (!jmp_to_zero &&
267                     (abs(millivolts - rail->millivolts) > rail->step))
268                         rail->new_millivolts = rail->millivolts + step;
269                 else
270                         rail->new_millivolts = millivolts;
271
272                 /* Before changing the voltage, tell each rail that depends
273                  * on this rail that the voltage will change.
274                  * This rail will be the "from" rail in the relationship,
275                  * the rail that depends on this rail will be the "to" rail.
276                  * from->millivolts will be the old voltage
277                  * from->new_millivolts will be the new voltage */
278                 list_for_each_entry(rel, &rail->relationships_to, to_node) {
279                         ret = dvfs_rail_update(rel->to);
280                         if (ret)
281                                 goto out;
282                 }
283
284                 ret = dvfs_rail_set_voltage_reg(rail, rail->new_millivolts);
285                 if (ret) {
286                         pr_err("Failed to set dvfs regulator %s\n", rail->reg_id);
287                         goto out;
288                 }
289
290                 rail->millivolts = rail->new_millivolts;
291                 dvfs_rail_stats_update(rail, rail->millivolts, ktime_get());
292
293                 /* After changing the voltage, tell each rail that depends
294                  * on this rail that the voltage has changed.
295                  * from->millivolts and from->new_millivolts will be the
296                  * new voltage */
297                 list_for_each_entry(rel, &rail->relationships_to, to_node) {
298                         ret = dvfs_rail_update(rel->to);
299                         if (ret)
300                                 goto out;
301                 }
302         }
303
304         if (unlikely(rail->millivolts != millivolts)) {
305                 pr_err("%s: rail didn't reach target %d in %d steps (%d)\n",
306                         __func__, millivolts, steps, rail->millivolts);
307                 ret = -EINVAL;
308         }
309
310 out:
311         rail->resolving_to = false;
312         return ret;
313 }
314
315 /* Determine the minimum valid voltage for a rail, taking into account
316  * the dvfs clocks and any rails that this rail depends on.  Calls
317  * dvfs_rail_set_voltage with the new voltage, which will call
318  * dvfs_rail_update on any rails that depend on this rail. */
319 static inline int dvfs_rail_apply_limits(struct dvfs_rail *rail, int millivolts)
320 {
321         int min_mv = rail->min_millivolts;
322
323         if (rail->therm_mv_floors) {
324                 int i = rail->therm_floor_idx;
325                 if (i < rail->therm_mv_floors_num)
326                         min_mv = rail->therm_mv_floors[i];
327         }
328
329         if (rail->override_millivolts) {
330                 millivolts = rail->override_millivolts;
331         } else {
332                 /* apply offset and clip up to pll mode fixed mv */
333                 millivolts += rail->offs_millivolts;
334                 if (!rail->dfll_mode && rail->fixed_millivolts &&
335                     (millivolts < rail->fixed_millivolts))
336                         millivolts = rail->fixed_millivolts;
337         }
338
339         if (millivolts > rail->max_millivolts)
340                 millivolts = rail->max_millivolts;
341         else if (millivolts < min_mv)
342                 millivolts = min_mv;
343
344         return millivolts;
345 }
346
347 static int dvfs_rail_update(struct dvfs_rail *rail)
348 {
349         int millivolts = 0;
350         struct dvfs *d;
351         struct dvfs_relationship *rel;
352         int ret = 0;
353         int steps;
354
355         /* if dvfs is suspended, return and handle it during resume */
356         if (rail->suspended)
357                 return 0;
358
359         /* if regulators are not connected yet, return and handle it later */
360         if (!rail->reg)
361                 return 0;
362
363         /* if rail update is entered while resolving circular dependencies,
364            abort recursion */
365         if (rail->resolving_to)
366                 return 0;
367
368         /* Find the maximum voltage requested by any clock */
369         list_for_each_entry(d, &rail->dvfs, reg_node)
370                 millivolts = max(d->cur_millivolts, millivolts);
371
372         /* Apply offset and min/max limits if any clock is requesting voltage */
373         if (millivolts)
374                 millivolts = dvfs_rail_apply_limits(rail, millivolts);
375
376         /* retry update if limited by from-relationship to account for
377            circular dependencies */
378         steps = DIV_ROUND_UP(abs(millivolts - rail->millivolts), rail->step);
379         for (; steps >= 0; steps--) {
380                 rail->new_millivolts = millivolts;
381
382                 /* Check any rails that this rail depends on */
383                 list_for_each_entry(rel, &rail->relationships_from, from_node)
384                         rail->new_millivolts = dvfs_solve_relationship(rel);
385
386                 if (rail->new_millivolts == rail->millivolts)
387                         break;
388
389                 ret = dvfs_rail_set_voltage(rail, rail->new_millivolts);
390         }
391
392         return ret;
393 }
394
395 /*
396  * This function is called on entry to suspend, or when rail scaling is disabled
397  * - can't do anything in either case if regulsator is fixed in pll mode. Since
398  * the pll mode frequency is already capped according to fixed voltage level, it
399  * is safe to substitute fixed level for nominal, just for stats update.
400  */
401 static int dvfs_rail_set_nominal(struct dvfs_rail *rail)
402 {
403         int mv;
404         if (!rail->dfll_mode && rail->fixed_millivolts)
405                 mv = rail->fixed_millivolts;
406         else
407                 mv = dvfs_rail_apply_limits(rail, rail->nominal_millivolts);
408         return dvfs_rail_set_voltage(rail, mv);
409 }
410
411 static struct regulator *get_fixed_regulator(struct dvfs_rail *rail)
412 {
413         struct regulator *reg;
414         char reg_id[80];
415         struct dvfs *d;
416         int v, i;
417         unsigned long dfll_boost;
418
419         strcpy(reg_id, rail->reg_id);
420         strcat(reg_id, "_fixed");
421         reg = regulator_get(NULL, reg_id);
422         if (IS_ERR(reg))
423                 return reg;
424
425         v = regulator_get_voltage(reg) / 1000;
426         if ((v < rail->min_millivolts) || (v > rail->nominal_millivolts) ||
427             (rail->therm_mv_floors && v < rail->therm_mv_floors[0])) {
428                 pr_err("tegra_dvfs: ivalid fixed %s voltage %d\n",
429                        rail->reg_id, v);
430                 return ERR_PTR(-EINVAL);
431         }
432
433         /*
434          * Only fixed at nominal voltage vdd_core regulator is allowed, same
435          * is true for cpu rail if dfll mode is not supported at all. No thermal
436          * capping can be implemented in this case.
437          */
438         if (!IS_ENABLED(CONFIG_ARCH_TEGRA_HAS_CL_DVFS) ||
439             (rail != tegra_cpu_rail)) {
440                 if (v != rail->nominal_millivolts) {
441                         pr_err("tegra_dvfs: %s fixed below nominal at %d\n",
442                                rail->reg_id, v);
443                         return ERR_PTR(-EINVAL);
444                 }
445                 if (rail->therm_mv_caps) {
446                         pr_err("tegra_dvfs: cannot fix %s with thermal caps\n",
447                                rail->reg_id);
448                         return ERR_PTR(-ENOSYS);
449                 }
450                 return reg;
451         }
452
453         /*
454          * If dfll mode is supported, fixed vdd_cpu regulator may be below
455          * nominal in pll mode - maximum cpu rate in pll mode is limited
456          * respectively. Regulator is required to allow automatic scaling
457          * in dfll mode.
458          *
459          * FIXME: platform data to explicitly identify such "hybrid" regulator?
460          */
461         d = list_first_entry(&rail->dvfs, struct dvfs, reg_node);
462         for (i = 0; i < d->num_freqs; i++) {
463                 if (d->millivolts[i] > v)
464                         break;
465         }
466
467         if (!i) {
468                 pr_err("tegra_dvfs: %s fixed at %d: too low for min rate\n",
469                        rail->reg_id, v);
470                 return ERR_PTR(-EINVAL);
471         }
472
473         dfll_boost = (d->freqs[d->num_freqs - 1] - d->freqs[i - 1]);
474         if (d->dfll_data.max_rate_boost < dfll_boost)
475                 d->dfll_data.max_rate_boost = dfll_boost;
476
477         rail->fixed_millivolts = v;
478         return reg;
479 }
480
481 static int dvfs_rail_connect_to_regulator(struct dvfs_rail *rail)
482 {
483         struct regulator *reg;
484         int v;
485
486         if (!rail->reg) {
487                 reg = regulator_get(NULL, rail->reg_id);
488                 if (IS_ERR(reg)) {
489                         reg = get_fixed_regulator(rail);
490                         if (IS_ERR(reg)) {
491                                 pr_err("tegra_dvfs: failed to connect %s rail\n",
492                                        rail->reg_id);
493                                 return PTR_ERR(reg);
494                         }
495                 }
496                 rail->reg = reg;
497         }
498
499         v = regulator_enable(rail->reg);
500         if (v < 0) {
501                 pr_err("tegra_dvfs: failed on enabling regulator %s\n, err %d",
502                         rail->reg_id, v);
503                 return v;
504         }
505
506         v = regulator_get_voltage(rail->reg);
507         if (v < 0) {
508                 pr_err("tegra_dvfs: failed initial get %s voltage\n",
509                        rail->reg_id);
510                 return v;
511         }
512         rail->millivolts = v / 1000;
513         rail->new_millivolts = rail->millivolts;
514         dvfs_rail_stats_init(rail, rail->millivolts);
515         return 0;
516 }
517
518 static inline unsigned long *dvfs_get_freqs(struct dvfs *d)
519 {
520         return d->alt_freqs ? : &d->freqs[0];
521 }
522
523 static inline const int *dvfs_get_millivolts(struct dvfs *d, unsigned long rate)
524 {
525         if (tegra_dvfs_is_dfll_scale(d, rate))
526                 return d->dfll_millivolts;
527
528         return d->millivolts;
529 }
530
531 static int
532 __tegra_dvfs_set_rate(struct dvfs *d, unsigned long rate)
533 {
534         int i = 0;
535         int ret;
536         unsigned long *freqs = dvfs_get_freqs(d);
537         const int *millivolts = dvfs_get_millivolts(d, rate);
538
539         if (freqs == NULL || millivolts == NULL)
540                 return -ENODEV;
541
542         /* On entry to dfll range limit 1st step to range bottom (full ramp of
543            voltage/rate is completed automatically in dfll mode) */
544         if (tegra_dvfs_is_dfll_range_entry(d, rate))
545                 rate = d->dfll_data.use_dfll_rate_min;
546
547         if (rate > freqs[d->num_freqs - 1]) {
548                 pr_warn("tegra_dvfs: rate %lu too high for dvfs on %s\n", rate,
549                         d->clk_name);
550                 return -EINVAL;
551         }
552
553         if (rate == 0) {
554                 d->cur_millivolts = 0;
555         } else {
556                 while (i < d->num_freqs && rate > freqs[i])
557                         i++;
558
559                 if ((d->max_millivolts) &&
560                     (millivolts[i] > d->max_millivolts)) {
561                         pr_warn("tegra_dvfs: voltage %d too high for dvfs on"
562                                 " %s\n", millivolts[i], d->clk_name);
563                         return -EINVAL;
564                 }
565                 d->cur_millivolts = millivolts[i];
566         }
567
568         d->cur_rate = rate;
569
570         ret = dvfs_rail_update(d->dvfs_rail);
571         if (ret)
572                 pr_err("Failed to set regulator %s for clock %s to %d mV\n",
573                         d->dvfs_rail->reg_id, d->clk_name, d->cur_millivolts);
574
575         return ret;
576 }
577
578 int tegra_dvfs_alt_freqs_set(struct dvfs *d, unsigned long *alt_freqs)
579 {
580         int ret = 0;
581
582         mutex_lock(&dvfs_lock);
583
584         if (d->alt_freqs != alt_freqs) {
585                 d->alt_freqs = alt_freqs;
586                 ret = __tegra_dvfs_set_rate(d, d->cur_rate);
587         }
588
589         mutex_unlock(&dvfs_lock);
590         return ret;
591 }
592
593 static int predict_millivolts(struct clk *c, const int *millivolts,
594                               unsigned long rate)
595 {
596         int i;
597
598         if (!millivolts)
599                 return -ENODEV;
600         /*
601          * Predicted voltage can not be used across the switch to alternative
602          * frequency limits. For now, just fail the call for clock that has
603          * alternative limits initialized.
604          */
605         if (c->dvfs->alt_freqs)
606                 return -ENOSYS;
607
608         for (i = 0; i < c->dvfs->num_freqs; i++) {
609                 if (rate <= c->dvfs->freqs[i])
610                         break;
611         }
612
613         if (i == c->dvfs->num_freqs)
614                 return -EINVAL;
615
616         return millivolts[i];
617 }
618
619 int tegra_dvfs_predict_millivolts(struct clk *c, unsigned long rate)
620 {
621         const int *millivolts;
622
623         if (!rate || !c->dvfs)
624                 return 0;
625
626         millivolts = dvfs_get_millivolts(c->dvfs, rate);
627         return predict_millivolts(c, millivolts, rate);
628 }
629
630 int tegra_dvfs_predict_millivolts_pll(struct clk *c, unsigned long rate)
631 {
632         const int *millivolts;
633
634         if (!rate || !c->dvfs)
635                 return 0;
636
637         millivolts = c->dvfs->millivolts;
638         return predict_millivolts(c, millivolts, rate);
639 }
640
641 int tegra_dvfs_predict_millivolts_dfll(struct clk *c, unsigned long rate)
642 {
643         const int *millivolts;
644
645         if (!rate || !c->dvfs)
646                 return 0;
647
648         millivolts = c->dvfs->dfll_millivolts;
649         return predict_millivolts(c, millivolts, rate);
650 }
651
652 int tegra_dvfs_set_rate(struct clk *c, unsigned long rate)
653 {
654         int ret;
655
656         if (!c->dvfs)
657                 return -EINVAL;
658
659         mutex_lock(&dvfs_lock);
660         ret = __tegra_dvfs_set_rate(c->dvfs, rate);
661         mutex_unlock(&dvfs_lock);
662
663         return ret;
664 }
665 EXPORT_SYMBOL(tegra_dvfs_set_rate);
666
667 #ifdef CONFIG_TEGRA_VDD_CORE_OVERRIDE
668 static DEFINE_MUTEX(rail_override_lock);
669
670 int tegra_dvfs_override_core_voltage(int override_mv)
671 {
672         int ret, floor, ceiling;
673         struct dvfs_rail *rail = tegra_core_rail;
674
675         if (!rail)
676                 return -ENOENT;
677
678         if (rail->fixed_millivolts)
679                 return -ENOSYS;
680
681         floor = rail->min_override_millivolts;
682         ceiling = rail->nominal_millivolts;
683         if (override_mv && ((override_mv < floor) || (override_mv > ceiling))) {
684                 pr_err("%s: override level %d outside the range [%d...%d]\n",
685                        __func__, override_mv, floor, ceiling);
686                 return -EINVAL;
687         }
688
689         mutex_lock(&rail_override_lock);
690
691         if (override_mv == rail->override_millivolts) {
692                 ret = 0;
693                 goto out;
694         }
695
696         if (override_mv) {
697                 ret = tegra_dvfs_core_cap_level_apply(override_mv);
698                 if (ret) {
699                         pr_err("%s: failed to set cap for override level %d\n",
700                                __func__, override_mv);
701                         goto out;
702                 }
703         }
704
705         mutex_lock(&dvfs_lock);
706         if (rail->disabled || rail->suspended) {
707                 pr_err("%s: cannot scale %s rail\n", __func__,
708                        rail->disabled ? "disabled" : "suspended");
709                 ret = -EPERM;
710                 if (!override_mv) {
711                         mutex_unlock(&dvfs_lock);
712                         goto out;
713                 }
714         } else {
715                 rail->override_millivolts = override_mv;
716                 ret = dvfs_rail_update(rail);
717                 if (ret) {
718                         pr_err("%s: failed to set override level %d\n",
719                                __func__, override_mv);
720                         rail->override_millivolts = 0;
721                         dvfs_rail_update(rail);
722                 }
723         }
724         mutex_unlock(&dvfs_lock);
725
726         if (!override_mv || ret)
727                 tegra_dvfs_core_cap_level_apply(0);
728 out:
729         mutex_unlock(&rail_override_lock);
730         return ret;
731 }
732 #else
733 int tegra_dvfs_override_core_voltage(int override_mv)
734 {
735         pr_err("%s: vdd core override is not supported\n", __func__);
736         return -ENOSYS;
737 }
738 #endif
739 EXPORT_SYMBOL(tegra_dvfs_override_core_voltage);
740
741 /* May only be called during clock init, does not take any locks on clock c. */
742 int __init tegra_enable_dvfs_on_clk(struct clk *c, struct dvfs *d)
743 {
744         int i;
745
746         if (c->dvfs) {
747                 pr_err("Error when enabling dvfs on %s for clock %s:\n",
748                         d->dvfs_rail->reg_id, c->name);
749                 pr_err("DVFS already enabled for %s\n",
750                         c->dvfs->dvfs_rail->reg_id);
751                 return -EINVAL;
752         }
753
754         for (i = 0; i < MAX_DVFS_FREQS; i++) {
755                 if (d->millivolts[i] == 0)
756                         break;
757
758                 d->freqs[i] *= d->freqs_mult;
759
760                 /* If final frequencies are 0, pad with previous frequency */
761                 if (d->freqs[i] == 0 && i > 1)
762                         d->freqs[i] = d->freqs[i - 1];
763         }
764         d->num_freqs = i;
765
766         if (d->auto_dvfs) {
767                 c->auto_dvfs = true;
768                 clk_set_cansleep(c);
769         }
770
771         c->dvfs = d;
772
773         /*
774          * Minimum core override level is determined as maximum voltage required
775          * for clocks outside shared buses (shared bus rates can be capped to
776          * safe levels when override limit is set)
777          */
778         if (i && c->ops && !c->ops->shared_bus_update &&
779             !(c->flags & PERIPH_ON_CBUS)) {
780                 int mv = tegra_dvfs_predict_millivolts(c, d->freqs[i-1]);
781                 if (d->dvfs_rail->min_override_millivolts < mv)
782                         d->dvfs_rail->min_override_millivolts = mv;
783         }
784
785         mutex_lock(&dvfs_lock);
786         list_add_tail(&d->reg_node, &d->dvfs_rail->dvfs);
787         mutex_unlock(&dvfs_lock);
788
789         return 0;
790 }
791
792 static bool tegra_dvfs_all_rails_suspended(void)
793 {
794         struct dvfs_rail *rail;
795         bool all_suspended = true;
796
797         list_for_each_entry(rail, &dvfs_rail_list, node)
798                 if (!rail->suspended && !rail->disabled)
799                         all_suspended = false;
800
801         return all_suspended;
802 }
803
804 static bool tegra_dvfs_from_rails_suspended_or_solved(struct dvfs_rail *to)
805 {
806         struct dvfs_relationship *rel;
807         bool all_suspended = true;
808
809         list_for_each_entry(rel, &to->relationships_from, from_node)
810                 if (!rel->from->suspended && !rel->from->disabled &&
811                         !rel->solved_at_nominal)
812                         all_suspended = false;
813
814         return all_suspended;
815 }
816
817 static int tegra_dvfs_suspend_one(void)
818 {
819         struct dvfs_rail *rail;
820         int ret;
821
822         list_for_each_entry(rail, &dvfs_rail_list, node) {
823                 if (!rail->suspended && !rail->disabled &&
824                     tegra_dvfs_from_rails_suspended_or_solved(rail)) {
825                         ret = dvfs_rail_set_nominal(rail);
826                         if (ret)
827                                 return ret;
828                         rail->suspended = true;
829                         return 0;
830                 }
831         }
832
833         return -EINVAL;
834 }
835
836 static void tegra_dvfs_resume(void)
837 {
838         struct dvfs_rail *rail;
839
840         mutex_lock(&dvfs_lock);
841
842         list_for_each_entry(rail, &dvfs_rail_list, node)
843                 rail->suspended = false;
844
845         list_for_each_entry(rail, &dvfs_rail_list, node)
846                 dvfs_rail_update(rail);
847
848         mutex_unlock(&dvfs_lock);
849 }
850
851 static int tegra_dvfs_suspend(void)
852 {
853         int ret = 0;
854
855         mutex_lock(&dvfs_lock);
856
857         while (!tegra_dvfs_all_rails_suspended()) {
858                 ret = tegra_dvfs_suspend_one();
859                 if (ret)
860                         break;
861         }
862
863         mutex_unlock(&dvfs_lock);
864
865         if (ret)
866                 tegra_dvfs_resume();
867
868         return ret;
869 }
870
871 static int tegra_dvfs_pm_notify(struct notifier_block *nb,
872                                 unsigned long event, void *data)
873 {
874         switch (event) {
875         case PM_SUSPEND_PREPARE:
876                 if (tegra_dvfs_suspend())
877                         return NOTIFY_STOP;
878                 break;
879         case PM_POST_SUSPEND:
880                 tegra_dvfs_resume();
881                 break;
882         }
883
884         return NOTIFY_OK;
885 };
886
887 static struct notifier_block tegra_dvfs_nb = {
888         .notifier_call = tegra_dvfs_pm_notify,
889 };
890
891 static int tegra_dvfs_reboot_notify(struct notifier_block *nb,
892                                 unsigned long event, void *data)
893 {
894         switch (event) {
895         case SYS_RESTART:
896         case SYS_HALT:
897         case SYS_POWER_OFF:
898                 tegra_dvfs_suspend();
899                 return NOTIFY_OK;
900         }
901         return NOTIFY_DONE;
902 }
903
904 static struct notifier_block tegra_dvfs_reboot_nb = {
905         .notifier_call = tegra_dvfs_reboot_notify,
906 };
907
908 /* must be called with dvfs lock held */
909 static void __tegra_dvfs_rail_disable(struct dvfs_rail *rail)
910 {
911         int ret;
912
913         /* don't set voltage in DFLL mode - won't work, but break stats */
914         if (rail->dfll_mode) {
915                 rail->disabled = true;
916                 return;
917         }
918
919         ret = dvfs_rail_set_nominal(rail);
920         if (ret) {
921                 pr_info("dvfs: failed to set regulator %s to disable "
922                         "voltage %d\n", rail->reg_id,
923                         rail->nominal_millivolts);
924                 return;
925         }
926         rail->disabled = true;
927 }
928
929 /* must be called with dvfs lock held */
930 static void __tegra_dvfs_rail_enable(struct dvfs_rail *rail)
931 {
932         rail->disabled = false;
933         dvfs_rail_update(rail);
934 }
935
936 void tegra_dvfs_rail_enable(struct dvfs_rail *rail)
937 {
938         if (!rail)
939                 return;
940
941         mutex_lock(&rail_disable_lock);
942
943         if (rail->disabled) {
944                 mutex_lock(&dvfs_lock);
945                 __tegra_dvfs_rail_enable(rail);
946                 mutex_unlock(&dvfs_lock);
947
948                 tegra_dvfs_rail_post_enable(rail);
949         }
950         mutex_unlock(&rail_disable_lock);
951 }
952
953 void tegra_dvfs_rail_disable(struct dvfs_rail *rail)
954 {
955         if (!rail)
956                 return;
957
958         mutex_lock(&rail_disable_lock);
959         if (rail->disabled)
960                 goto out;
961
962         /* rail disable will set it to nominal voltage underneath clock
963            framework - need to re-configure clock rates that are not safe
964            at nominal (yes, unsafe at nominal is ugly, but possible). Rate
965            change must be done outside of dvfs lock. */
966         if (tegra_dvfs_rail_disable_prepare(rail)) {
967                 pr_info("dvfs: failed to prepare regulator %s to disable\n",
968                         rail->reg_id);
969                 goto out;
970         }
971
972         mutex_lock(&dvfs_lock);
973         __tegra_dvfs_rail_disable(rail);
974         mutex_unlock(&dvfs_lock);
975 out:
976         mutex_unlock(&rail_disable_lock);
977 }
978
979 int tegra_dvfs_rail_disable_by_name(const char *reg_id)
980 {
981         struct dvfs_rail *rail = tegra_dvfs_get_rail_by_name(reg_id);
982         if (!rail)
983                 return -EINVAL;
984
985         tegra_dvfs_rail_disable(rail);
986         return 0;
987 }
988
989 struct dvfs_rail *tegra_dvfs_get_rail_by_name(const char *reg_id)
990 {
991         struct dvfs_rail *rail;
992
993         mutex_lock(&dvfs_lock);
994         list_for_each_entry(rail, &dvfs_rail_list, node) {
995                 if (!strcmp(reg_id, rail->reg_id)) {
996                         mutex_unlock(&dvfs_lock);
997                         return rail;
998                 }
999         }
1000         mutex_unlock(&dvfs_lock);
1001         return NULL;
1002 }
1003
1004 bool tegra_dvfs_rail_updating(struct clk *clk)
1005 {
1006         return (!clk ? false :
1007                 (!clk->dvfs ? false :
1008                  (!clk->dvfs->dvfs_rail ? false :
1009                   (clk->dvfs->dvfs_rail->updating ||
1010                    clk->dvfs->dvfs_rail->dfll_mode_updating))));
1011 }
1012
1013 #ifdef CONFIG_OF
1014 int __init of_tegra_dvfs_init(const struct of_device_id *matches)
1015 {
1016         int ret;
1017         struct device_node *np;
1018
1019         for_each_matching_node(np, matches) {
1020                 const struct of_device_id *match = of_match_node(matches, np);
1021                 of_tegra_dvfs_init_cb_t dvfs_init_cb = match->data;
1022                 ret = dvfs_init_cb(np);
1023                 if (ret) {
1024                         pr_err("dt: Failed to read %s tables from DT\n",
1025                                                         match->compatible);
1026                         return ret;
1027                 }
1028         }
1029         return 0;
1030 }
1031 #endif
1032 int tegra_dvfs_dfll_mode_set(struct dvfs *d, unsigned long rate)
1033 {
1034         mutex_lock(&dvfs_lock);
1035         if (!d->dvfs_rail->dfll_mode) {
1036                 d->dvfs_rail->dfll_mode = true;
1037                 __tegra_dvfs_set_rate(d, rate);
1038         }
1039         mutex_unlock(&dvfs_lock);
1040         return 0;
1041 }
1042
1043 int tegra_dvfs_dfll_mode_clear(struct dvfs *d, unsigned long rate)
1044 {
1045         int ret = 0;
1046
1047         mutex_lock(&dvfs_lock);
1048         if (d->dvfs_rail->dfll_mode) {
1049                 d->dvfs_rail->dfll_mode = false;
1050                 /* avoid false detection of matching target (voltage in dfll
1051                    mode is fluctuating, and recorded level is just estimate) */
1052                 d->dvfs_rail->millivolts--;
1053                 if (d->dvfs_rail->disabled) {
1054                         d->dvfs_rail->disabled = false;
1055                         __tegra_dvfs_rail_disable(d->dvfs_rail);
1056                 }
1057                 ret = __tegra_dvfs_set_rate(d, rate);
1058         }
1059         mutex_unlock(&dvfs_lock);
1060         return ret;
1061 }
1062
1063 struct tegra_cooling_device *tegra_dvfs_get_cpu_vmax_cdev(void)
1064 {
1065         if (tegra_cpu_rail)
1066                 return tegra_cpu_rail->vmax_cdev;
1067         return NULL;
1068 }
1069
1070 struct tegra_cooling_device *tegra_dvfs_get_cpu_vmin_cdev(void)
1071 {
1072         if (tegra_cpu_rail)
1073                 return tegra_cpu_rail->vmin_cdev;
1074         return NULL;
1075 }
1076
1077 struct tegra_cooling_device *tegra_dvfs_get_core_vmin_cdev(void)
1078 {
1079         if (tegra_core_rail)
1080                 return tegra_core_rail->vmin_cdev;
1081         return NULL;
1082 }
1083
1084 #ifdef CONFIG_THERMAL
1085 /* Cooling device limits minimum rail voltage at cold temperature in pll mode */
1086 static int tegra_dvfs_rail_get_vmin_cdev_max_state(
1087         struct thermal_cooling_device *cdev, unsigned long *max_state)
1088 {
1089         struct dvfs_rail *rail = (struct dvfs_rail *)cdev->devdata;
1090         *max_state = rail->vmin_cdev->trip_temperatures_num;
1091         return 0;
1092 }
1093
1094 static int tegra_dvfs_rail_get_vmin_cdev_cur_state(
1095         struct thermal_cooling_device *cdev, unsigned long *cur_state)
1096 {
1097         struct dvfs_rail *rail = (struct dvfs_rail *)cdev->devdata;
1098         *cur_state = rail->therm_floor_idx;
1099         return 0;
1100 }
1101
1102 static int tegra_dvfs_rail_set_vmin_cdev_state(
1103         struct thermal_cooling_device *cdev, unsigned long cur_state)
1104 {
1105         struct dvfs_rail *rail = (struct dvfs_rail *)cdev->devdata;
1106
1107         mutex_lock(&dvfs_lock);
1108         if (rail->therm_floor_idx != cur_state) {
1109                 rail->therm_floor_idx = cur_state;
1110                 dvfs_rail_update(rail);
1111         }
1112         mutex_unlock(&dvfs_lock);
1113         return 0;
1114 }
1115
1116 static struct thermal_cooling_device_ops tegra_dvfs_rail_cooling_ops = {
1117         .get_max_state = tegra_dvfs_rail_get_vmin_cdev_max_state,
1118         .get_cur_state = tegra_dvfs_rail_get_vmin_cdev_cur_state,
1119         .set_cur_state = tegra_dvfs_rail_set_vmin_cdev_state,
1120 };
1121
1122 static void tegra_dvfs_rail_register_vmin_cdev(struct dvfs_rail *rail)
1123 {
1124         if (!rail->vmin_cdev)
1125                 return;
1126
1127         /* just report error - initialized for cold temperature, anyway */
1128         if (IS_ERR_OR_NULL(thermal_cooling_device_register(
1129                 rail->vmin_cdev->cdev_type, (void *)rail,
1130                 &tegra_dvfs_rail_cooling_ops)))
1131                 pr_err("tegra cooling device %s failed to register\n",
1132                        rail->vmin_cdev->cdev_type);
1133 }
1134 #else
1135 #define tegra_dvfs_rail_register_vmin_cdev(rail)
1136 #endif
1137
1138 /* Directly set cold temperature limit in dfll mode */
1139 int tegra_dvfs_rail_dfll_mode_set_cold(struct dvfs_rail *rail)
1140 {
1141         int ret = 0;
1142
1143         /* No thermal floors - nothing to do */
1144         if (!rail || !rail->therm_mv_floors)
1145                 return ret;
1146
1147         /*
1148          * Since cooling thresholds are the same in pll and dfll modes, pll mode
1149          * thermal index can be used to decide if cold limit should be set in
1150          * dfll mode.
1151          */
1152         mutex_lock(&dvfs_lock);
1153         if (rail->dfll_mode &&
1154             (rail->therm_floor_idx < rail->therm_mv_floors_num)) {
1155                         int mv = rail->therm_mv_floors[rail->therm_floor_idx];
1156                         ret = dvfs_rail_set_voltage_reg(rail, mv);
1157         }
1158         mutex_unlock(&dvfs_lock);
1159
1160         return ret;
1161 }
1162
1163 /*
1164  * Iterate through all the dvfs regulators, finding the regulator exported
1165  * by the regulator api for each one.  Must be called in late init, after
1166  * all the regulator api's regulators are initialized.
1167  */
1168 int __init tegra_dvfs_late_init(void)
1169 {
1170         bool connected = true;
1171         struct dvfs_rail *rail;
1172
1173         mutex_lock(&dvfs_lock);
1174
1175         list_for_each_entry(rail, &dvfs_rail_list, node)
1176                 if (dvfs_rail_connect_to_regulator(rail))
1177                         connected = false;
1178
1179         list_for_each_entry(rail, &dvfs_rail_list, node)
1180                 if (connected)
1181                         dvfs_rail_update(rail);
1182                 else
1183                         __tegra_dvfs_rail_disable(rail);
1184
1185         mutex_unlock(&dvfs_lock);
1186
1187         if (!connected && tegra_platform_is_silicon())
1188                 return -ENODEV;
1189
1190         register_pm_notifier(&tegra_dvfs_nb);
1191         register_reboot_notifier(&tegra_dvfs_reboot_nb);
1192
1193         list_for_each_entry(rail, &dvfs_rail_list, node)
1194                 tegra_dvfs_rail_register_vmin_cdev(rail);
1195
1196         return 0;
1197 }
1198
1199 static int rail_stats_save_to_buf(char *buf, int len)
1200 {
1201         int i;
1202         struct dvfs_rail *rail;
1203         char *str = buf;
1204         char *end = buf + len;
1205
1206         str += scnprintf(str, end - str, "%-12s %-10s\n", "millivolts", "time");
1207
1208         mutex_lock(&dvfs_lock);
1209
1210         list_for_each_entry(rail, &dvfs_rail_list, node) {
1211                 str += scnprintf(str, end - str, "%s (bin: %d.%dmV)\n",
1212                            rail->reg_id,
1213                            rail->stats.bin_uV / 1000,
1214                            (rail->stats.bin_uV / 10) % 100);
1215
1216                 dvfs_rail_stats_update(rail, -1, ktime_get());
1217
1218                 str += scnprintf(str, end - str, "%-12d %-10llu\n", 0,
1219                         cputime64_to_clock_t(msecs_to_jiffies(
1220                                 ktime_to_ms(rail->stats.time_at_mv[0]))));
1221
1222                 for (i = 1; i <= DVFS_RAIL_STATS_TOP_BIN; i++) {
1223                         ktime_t ktime_zero = ktime_set(0, 0);
1224                         if (ktime_equal(rail->stats.time_at_mv[i], ktime_zero))
1225                                 continue;
1226                         str += scnprintf(str, end - str, "%-12d %-10llu\n",
1227                                 rail->min_millivolts +
1228                                 (i - 1) * rail->stats.bin_uV / 1000,
1229                                 cputime64_to_clock_t(msecs_to_jiffies(
1230                                         ktime_to_ms(rail->stats.time_at_mv[i])))
1231                         );
1232                 }
1233         }
1234         mutex_unlock(&dvfs_lock);
1235         return str - buf;
1236 }
1237
1238 #ifdef CONFIG_DEBUG_FS
1239 static int dvfs_tree_sort_cmp(void *p, struct list_head *a, struct list_head *b)
1240 {
1241         struct dvfs *da = list_entry(a, struct dvfs, reg_node);
1242         struct dvfs *db = list_entry(b, struct dvfs, reg_node);
1243         int ret;
1244
1245         ret = strcmp(da->dvfs_rail->reg_id, db->dvfs_rail->reg_id);
1246         if (ret != 0)
1247                 return ret;
1248
1249         if (da->cur_millivolts < db->cur_millivolts)
1250                 return 1;
1251         if (da->cur_millivolts > db->cur_millivolts)
1252                 return -1;
1253
1254         return strcmp(da->clk_name, db->clk_name);
1255 }
1256
1257 static int dvfs_tree_show(struct seq_file *s, void *data)
1258 {
1259         struct dvfs *d;
1260         struct dvfs_rail *rail;
1261         struct dvfs_relationship *rel;
1262
1263         seq_printf(s, "   clock      rate       mV\n");
1264         seq_printf(s, "--------------------------------\n");
1265
1266         mutex_lock(&dvfs_lock);
1267
1268         list_for_each_entry(rail, &dvfs_rail_list, node) {
1269                 int thermal_mv_floor = 0;
1270
1271                 seq_printf(s, "%s %d mV%s:\n", rail->reg_id, rail->millivolts,
1272                            rail->dfll_mode ? " dfll mode" :
1273                                 rail->disabled ? " disabled" : "");
1274                 list_for_each_entry(rel, &rail->relationships_from, from_node) {
1275                         seq_printf(s, "   %-10s %-7d mV %-4d mV\n",
1276                                 rel->from->reg_id, rel->from->millivolts,
1277                                 dvfs_solve_relationship(rel));
1278                 }
1279                 seq_printf(s, "   offset     %-7d mV\n", rail->offs_millivolts);
1280
1281                 if (rail->therm_mv_floors) {
1282                         int i = rail->therm_floor_idx;
1283                         if (i < rail->therm_mv_floors_num)
1284                                 thermal_mv_floor = rail->therm_mv_floors[i];
1285                 }
1286                 seq_printf(s, "   thermal    %-7d mV\n", thermal_mv_floor);
1287
1288                 if (rail == tegra_core_rail) {
1289                         seq_printf(s, "   override   %-7d mV [%-4d...%-4d]\n",
1290                                    rail->override_millivolts,
1291                                    rail->min_override_millivolts,
1292                                    rail->nominal_millivolts);
1293                 }
1294
1295                 list_sort(NULL, &rail->dvfs, dvfs_tree_sort_cmp);
1296
1297                 list_for_each_entry(d, &rail->dvfs, reg_node) {
1298                         seq_printf(s, "   %-10s %-10lu %-4d mV\n", d->clk_name,
1299                                 d->cur_rate, d->cur_millivolts);
1300                 }
1301         }
1302
1303         mutex_unlock(&dvfs_lock);
1304
1305         return 0;
1306 }
1307
1308 static int dvfs_tree_open(struct inode *inode, struct file *file)
1309 {
1310         return single_open(file, dvfs_tree_show, inode->i_private);
1311 }
1312
1313 static const struct file_operations dvfs_tree_fops = {
1314         .open           = dvfs_tree_open,
1315         .read           = seq_read,
1316         .llseek         = seq_lseek,
1317         .release        = single_release,
1318 };
1319
1320 static int rail_stats_show(struct seq_file *s, void *data)
1321 {
1322         char *buf = kzalloc(PAGE_SIZE, GFP_KERNEL);
1323         int size = 0;
1324
1325         if (!buf)
1326                 return -ENOMEM;
1327
1328         size = rail_stats_save_to_buf(buf, PAGE_SIZE);
1329         seq_write(s, buf, size);
1330         kfree(buf);
1331         return 0;
1332 }
1333
1334 static int rail_stats_open(struct inode *inode, struct file *file)
1335 {
1336         return single_open(file, rail_stats_show, inode->i_private);
1337 }
1338
1339 static const struct file_operations rail_stats_fops = {
1340         .open           = rail_stats_open,
1341         .read           = seq_read,
1342         .llseek         = seq_lseek,
1343         .release        = single_release,
1344 };
1345
1346 static int gpu_dvfs_show(struct seq_file *s, void *data)
1347 {
1348         int idx;
1349         int *millivolts;
1350         unsigned long *freqs;
1351
1352         if (read_gpu_dvfs_table(&millivolts, &freqs)) {
1353                 seq_printf(s, "Only supported for T124 or higher\n");
1354                 return 0;
1355         }
1356
1357         seq_printf(s, "millivolts \t \t frequency\n");
1358         seq_printf(s, "=====================================\n");
1359
1360         for (idx = 0; millivolts[idx]; idx++)
1361                 seq_printf(s, "%d mV \t \t %lu Hz\n", millivolts[idx],
1362                                 freqs[idx]);
1363
1364         return 0;
1365 }
1366
1367 static int gpu_dvfs_open(struct inode *inode, struct file *file)
1368 {
1369         return single_open(file, gpu_dvfs_show, NULL);
1370 }
1371
1372 static const struct file_operations gpu_dvfs_fops = {
1373         .open           = gpu_dvfs_open,
1374         .read           = seq_read,
1375         .llseek         = seq_lseek,
1376         .release        = single_release,
1377 };
1378
1379 static int cpu_offs_get(void *data, u64 *val)
1380 {
1381         if (tegra_cpu_rail) {
1382                 *val = (u64)tegra_cpu_rail->offs_millivolts;
1383                 return 0;
1384         }
1385         *val = 0;
1386         return -ENOENT;
1387 }
1388 static int cpu_offs_set(void *data, u64 val)
1389 {
1390         if (tegra_cpu_rail) {
1391                 mutex_lock(&dvfs_lock);
1392                 tegra_cpu_rail->offs_millivolts = (int)val;
1393                 dvfs_rail_update(tegra_cpu_rail);
1394                 mutex_unlock(&dvfs_lock);
1395                 return 0;
1396         }
1397         return -ENOENT;
1398 }
1399 DEFINE_SIMPLE_ATTRIBUTE(cpu_offs_fops, cpu_offs_get, cpu_offs_set, "%lld\n");
1400
1401 static int core_offs_get(void *data, u64 *val)
1402 {
1403         if (tegra_core_rail) {
1404                 *val = (u64)tegra_core_rail->offs_millivolts;
1405                 return 0;
1406         }
1407         *val = 0;
1408         return -ENOENT;
1409 }
1410 static int core_offs_set(void *data, u64 val)
1411 {
1412         if (tegra_core_rail) {
1413                 mutex_lock(&dvfs_lock);
1414                 tegra_core_rail->offs_millivolts = (int)val;
1415                 dvfs_rail_update(tegra_core_rail);
1416                 mutex_unlock(&dvfs_lock);
1417                 return 0;
1418         }
1419         return -ENOENT;
1420 }
1421 DEFINE_SIMPLE_ATTRIBUTE(core_offs_fops, core_offs_get, core_offs_set, "%lld\n");
1422
1423 static int core_override_get(void *data, u64 *val)
1424 {
1425         if (tegra_core_rail) {
1426                 *val = (u64)tegra_core_rail->override_millivolts;
1427                 return 0;
1428         }
1429         *val = 0;
1430         return -ENOENT;
1431 }
1432 static int core_override_set(void *data, u64 val)
1433 {
1434         return tegra_dvfs_override_core_voltage((int)val);
1435 }
1436 DEFINE_SIMPLE_ATTRIBUTE(core_override_fops,
1437                         core_override_get, core_override_set, "%llu\n");
1438
1439 int __init dvfs_debugfs_init(struct dentry *clk_debugfs_root)
1440 {
1441         struct dentry *d;
1442
1443         d = debugfs_create_file("dvfs", S_IRUGO, clk_debugfs_root, NULL,
1444                 &dvfs_tree_fops);
1445         if (!d)
1446                 return -ENOMEM;
1447
1448         d = debugfs_create_file("rails", S_IRUGO, clk_debugfs_root, NULL,
1449                 &rail_stats_fops);
1450         if (!d)
1451                 return -ENOMEM;
1452
1453         d = debugfs_create_file("vdd_cpu_offs", S_IRUGO | S_IWUSR,
1454                 clk_debugfs_root, NULL, &cpu_offs_fops);
1455         if (!d)
1456                 return -ENOMEM;
1457
1458         d = debugfs_create_file("vdd_core_offs", S_IRUGO | S_IWUSR,
1459                 clk_debugfs_root, NULL, &core_offs_fops);
1460         if (!d)
1461                 return -ENOMEM;
1462
1463         d = debugfs_create_file("vdd_core_override", S_IRUGO | S_IWUSR,
1464                 clk_debugfs_root, NULL, &core_override_fops);
1465
1466         d = debugfs_create_file("gpu_dvfs", S_IRUGO | S_IWUSR,
1467                 clk_debugfs_root, NULL, &gpu_dvfs_fops);
1468
1469         if (!d)
1470                 return -ENOMEM;
1471
1472         return 0;
1473 }
1474
1475 #endif
1476
1477 #ifdef CONFIG_PM
1478 static ssize_t tegra_rail_stats_show(struct kobject *kobj,
1479                                         struct kobj_attribute *attr,
1480                                         char *buf)
1481 {
1482         return rail_stats_save_to_buf(buf, PAGE_SIZE);
1483 }
1484
1485 static struct kobj_attribute rail_stats_attr =
1486                 __ATTR_RO(tegra_rail_stats);
1487
1488 static int __init tegra_dvfs_sysfs_stats_init(void)
1489 {
1490         int error;
1491         error = sysfs_create_file(power_kobj, &rail_stats_attr.attr);
1492         return 0;
1493 }
1494 late_initcall(tegra_dvfs_sysfs_stats_init);
1495 #endif