ARM: tegra: dvfs: Fix error print format
[linux-3.10.git] / arch / arm / mach-tegra / dvfs.c
1 /*
2  *
3  * Copyright (C) 2010 Google, Inc.
4  *
5  * Author:
6  *      Colin Cross <ccross@google.com>
7  *
8  * Copyright (C) 2010-2013 NVIDIA CORPORATION. All rights reserved.
9  *
10  * This software is licensed under the terms of the GNU General Public
11  * License version 2, as published by the Free Software Foundation, and
12  * may be copied, distributed, and modified under those terms.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17  * GNU General Public License for more details.
18  *
19  */
20
21 #include <linux/kernel.h>
22 #include <linux/clk.h>
23 #include <linux/clkdev.h>
24 #include <linux/debugfs.h>
25 #include <linux/init.h>
26 #include <linux/list.h>
27 #include <linux/list_sort.h>
28 #include <linux/module.h>
29 #include <linux/regulator/consumer.h>
30 #include <linux/seq_file.h>
31 #include <linux/slab.h>
32 #include <linux/suspend.h>
33 #include <linux/delay.h>
34 #include <linux/clk/tegra.h>
35 #include <linux/reboot.h>
36
37 #include "board.h"
38 #include "clock.h"
39 #include "dvfs.h"
40
41 #define DVFS_RAIL_STATS_BIN     12500
42
43 struct dvfs_rail *tegra_cpu_rail;
44 struct dvfs_rail *tegra_core_rail;
45
46 static LIST_HEAD(dvfs_rail_list);
47 static DEFINE_MUTEX(dvfs_lock);
48 static DEFINE_MUTEX(rail_disable_lock);
49
50 static int dvfs_rail_update(struct dvfs_rail *rail);
51
52 void tegra_dvfs_add_relationships(struct dvfs_relationship *rels, int n)
53 {
54         int i;
55         struct dvfs_relationship *rel;
56
57         mutex_lock(&dvfs_lock);
58
59         for (i = 0; i < n; i++) {
60                 rel = &rels[i];
61                 list_add_tail(&rel->from_node, &rel->to->relationships_from);
62                 list_add_tail(&rel->to_node, &rel->from->relationships_to);
63         }
64
65         mutex_unlock(&dvfs_lock);
66 }
67
68 /* Make sure there is a matching cooling device for thermal limit profile. */
69 static void dvfs_validate_cdevs(struct dvfs_rail *rail)
70 {
71         if (!rail->therm_mv_caps != !rail->therm_mv_caps_num) {
72                 rail->therm_mv_caps_num = 0;
73                 rail->therm_mv_caps = NULL;
74                 WARN(1, "%s: not matching thermal caps/num\n", rail->reg_id);
75         }
76
77         if (rail->therm_mv_caps && !rail->vmax_cdev)
78                 WARN(1, "%s: missing vmax cooling device\n", rail->reg_id);
79
80         if (!rail->therm_mv_floors != !rail->therm_mv_floors_num) {
81                 rail->therm_mv_floors_num = 0;
82                 rail->therm_mv_floors = NULL;
83                 WARN(1, "%s: not matching thermal floors/num\n", rail->reg_id);
84         }
85
86         if (rail->therm_mv_floors && !rail->vmin_cdev)
87                 WARN(1, "%s: missing vmin cooling device\n", rail->reg_id);
88
89         /* Limit override range to maximum floor */
90         if (rail->therm_mv_floors)
91                 rail->min_override_millivolts = rail->therm_mv_floors[0];
92 }
93
94 int tegra_dvfs_init_rails(struct dvfs_rail *rails[], int n)
95 {
96         int i;
97
98         mutex_lock(&dvfs_lock);
99
100         for (i = 0; i < n; i++) {
101                 INIT_LIST_HEAD(&rails[i]->dvfs);
102                 INIT_LIST_HEAD(&rails[i]->relationships_from);
103                 INIT_LIST_HEAD(&rails[i]->relationships_to);
104                 rails[i]->millivolts = rails[i]->nominal_millivolts;
105                 rails[i]->new_millivolts = rails[i]->nominal_millivolts;
106                 if (!rails[i]->step)
107                         rails[i]->step = rails[i]->max_millivolts;
108
109                 list_add_tail(&rails[i]->node, &dvfs_rail_list);
110
111                 dvfs_validate_cdevs(rails[i]);
112
113                 if (!strcmp("vdd_cpu", rails[i]->reg_id))
114                         tegra_cpu_rail = rails[i];
115                 else if (!strcmp("vdd_core", rails[i]->reg_id))
116                         tegra_core_rail = rails[i];
117         }
118
119         mutex_unlock(&dvfs_lock);
120
121         return 0;
122 };
123
124 static int dvfs_solve_relationship(struct dvfs_relationship *rel)
125 {
126         return rel->solve(rel->from, rel->to);
127 }
128
129 /* rail statistic - called during rail init, or under dfs_lock, or with
130    CPU0 only on-line, and interrupts disabled */
131 static void dvfs_rail_stats_init(struct dvfs_rail *rail, int millivolts)
132 {
133         int dvfs_rail_stats_range;
134
135         if (!rail->stats.bin_uV)
136                 rail->stats.bin_uV = DVFS_RAIL_STATS_BIN;
137
138         dvfs_rail_stats_range =
139                 (DVFS_RAIL_STATS_TOP_BIN - 1) * rail->stats.bin_uV / 1000;
140
141         rail->stats.last_update = ktime_get();
142         if (millivolts >= rail->min_millivolts) {
143                 int i = 1 + (2 * (millivolts - rail->min_millivolts) * 1000 +
144                              rail->stats.bin_uV) / (2 * rail->stats.bin_uV);
145                 rail->stats.last_index = min(i, DVFS_RAIL_STATS_TOP_BIN);
146         }
147
148         if (rail->max_millivolts >
149             rail->min_millivolts + dvfs_rail_stats_range)
150                 pr_warn("tegra_dvfs: %s: stats above %d mV will be squashed\n",
151                         rail->reg_id,
152                         rail->min_millivolts + dvfs_rail_stats_range);
153 }
154
155 static void dvfs_rail_stats_update(
156         struct dvfs_rail *rail, int millivolts, ktime_t now)
157 {
158         rail->stats.time_at_mv[rail->stats.last_index] = ktime_add(
159                 rail->stats.time_at_mv[rail->stats.last_index], ktime_sub(
160                         now, rail->stats.last_update));
161         rail->stats.last_update = now;
162
163         if (rail->stats.off)
164                 return;
165
166         if (millivolts >= rail->min_millivolts) {
167                 int i = 1 + (2 * (millivolts - rail->min_millivolts) * 1000 +
168                              rail->stats.bin_uV) / (2 * rail->stats.bin_uV);
169                 rail->stats.last_index = min(i, DVFS_RAIL_STATS_TOP_BIN);
170         } else if (millivolts == 0)
171                         rail->stats.last_index = 0;
172 }
173
174 static void dvfs_rail_stats_pause(struct dvfs_rail *rail,
175                                   ktime_t delta, bool on)
176 {
177         int i = on ? rail->stats.last_index : 0;
178         rail->stats.time_at_mv[i] = ktime_add(rail->stats.time_at_mv[i], delta);
179 }
180
181 void tegra_dvfs_rail_off(struct dvfs_rail *rail, ktime_t now)
182 {
183         if (rail) {
184                 dvfs_rail_stats_update(rail, 0, now);
185                 rail->stats.off = true;
186         }
187 }
188
189 void tegra_dvfs_rail_on(struct dvfs_rail *rail, ktime_t now)
190 {
191         if (rail) {
192                 rail->stats.off = false;
193                 dvfs_rail_stats_update(rail, rail->millivolts, now);
194         }
195 }
196
197 void tegra_dvfs_rail_pause(struct dvfs_rail *rail, ktime_t delta, bool on)
198 {
199         if (rail)
200                 dvfs_rail_stats_pause(rail, delta, on);
201 }
202
203 static int dvfs_rail_set_voltage_reg(struct dvfs_rail *rail, int millivolts)
204 {
205         int ret;
206
207         /*
208          * safely return success for low voltage requests on fixed regulator
209          * (higher requests will go through and fail, as they should)
210          */
211         if (rail->fixed_millivolts && (millivolts <= rail->fixed_millivolts))
212                 return 0;
213
214         rail->updating = true;
215         rail->reg_max_millivolts = rail->reg_max_millivolts ==
216                 rail->max_millivolts ?
217                 rail->max_millivolts + 1 : rail->max_millivolts;
218         ret = regulator_set_voltage(rail->reg,
219                 millivolts * 1000,
220                 rail->reg_max_millivolts * 1000);
221         rail->updating = false;
222
223         return ret;
224 }
225
226 /* Sets the voltage on a dvfs rail to a specific value, and updates any
227  * rails that depend on this rail. */
228 static int dvfs_rail_set_voltage(struct dvfs_rail *rail, int millivolts)
229 {
230         int ret = 0;
231         struct dvfs_relationship *rel;
232         int step = (millivolts > rail->millivolts) ? rail->step : -rail->step;
233         int i;
234         int steps;
235         bool jmp_to_zero;
236
237         if (!rail->reg) {
238                 if (millivolts == rail->millivolts)
239                         return 0;
240                 else
241                         return -EINVAL;
242         }
243
244         /*
245          * DFLL adjusts rail voltage automatically, but not exactly to the
246          * expected level - update stats, anyway.
247          */
248         if (rail->dfll_mode) {
249                 rail->millivolts = rail->new_millivolts = millivolts;
250                 dvfs_rail_stats_update(rail, millivolts, ktime_get());
251                 return 0;
252         }
253
254         if (rail->disabled)
255                 return 0;
256
257         rail->resolving_to = true;
258         jmp_to_zero = rail->jmp_to_zero &&
259                         ((millivolts == 0) || (rail->millivolts == 0));
260         steps = jmp_to_zero ? 1 :
261                 DIV_ROUND_UP(abs(millivolts - rail->millivolts), rail->step);
262
263         for (i = 0; i < steps; i++) {
264                 if (!jmp_to_zero &&
265                     (abs(millivolts - rail->millivolts) > rail->step))
266                         rail->new_millivolts = rail->millivolts + step;
267                 else
268                         rail->new_millivolts = millivolts;
269
270                 /* Before changing the voltage, tell each rail that depends
271                  * on this rail that the voltage will change.
272                  * This rail will be the "from" rail in the relationship,
273                  * the rail that depends on this rail will be the "to" rail.
274                  * from->millivolts will be the old voltage
275                  * from->new_millivolts will be the new voltage */
276                 list_for_each_entry(rel, &rail->relationships_to, to_node) {
277                         ret = dvfs_rail_update(rel->to);
278                         if (ret)
279                                 goto out;
280                 }
281
282                 ret = dvfs_rail_set_voltage_reg(rail, rail->new_millivolts);
283                 if (ret) {
284                         pr_err("Failed to set dvfs regulator %s\n", rail->reg_id);
285                         goto out;
286                 }
287
288                 rail->millivolts = rail->new_millivolts;
289                 dvfs_rail_stats_update(rail, rail->millivolts, ktime_get());
290
291                 /* After changing the voltage, tell each rail that depends
292                  * on this rail that the voltage has changed.
293                  * from->millivolts and from->new_millivolts will be the
294                  * new voltage */
295                 list_for_each_entry(rel, &rail->relationships_to, to_node) {
296                         ret = dvfs_rail_update(rel->to);
297                         if (ret)
298                                 goto out;
299                 }
300         }
301
302         if (unlikely(rail->millivolts != millivolts)) {
303                 pr_err("%s: rail didn't reach target %d in %d steps (%d)\n",
304                         __func__, millivolts, steps, rail->millivolts);
305                 ret = -EINVAL;
306         }
307
308 out:
309         rail->resolving_to = false;
310         return ret;
311 }
312
313 /* Determine the minimum valid voltage for a rail, taking into account
314  * the dvfs clocks and any rails that this rail depends on.  Calls
315  * dvfs_rail_set_voltage with the new voltage, which will call
316  * dvfs_rail_update on any rails that depend on this rail. */
317 static inline int dvfs_rail_apply_limits(struct dvfs_rail *rail, int millivolts)
318 {
319         int min_mv = rail->min_millivolts;
320
321         if (rail->therm_mv_floors) {
322                 int i = rail->therm_floor_idx;
323                 if (i < rail->therm_mv_floors_num)
324                         min_mv = rail->therm_mv_floors[i];
325         }
326
327         if (rail->override_millivolts) {
328                 millivolts = rail->override_millivolts;
329         } else {
330                 /* apply offset and clip up to pll mode fixed mv */
331                 millivolts += rail->offs_millivolts;
332                 if (!rail->dfll_mode && rail->fixed_millivolts &&
333                     (millivolts < rail->fixed_millivolts))
334                         millivolts = rail->fixed_millivolts;
335         }
336
337         if (millivolts > rail->max_millivolts)
338                 millivolts = rail->max_millivolts;
339         else if (millivolts < min_mv)
340                 millivolts = min_mv;
341
342         return millivolts;
343 }
344
345 static int dvfs_rail_update(struct dvfs_rail *rail)
346 {
347         int millivolts = 0;
348         struct dvfs *d;
349         struct dvfs_relationship *rel;
350         int ret = 0;
351         int steps;
352
353         /* if dvfs is suspended, return and handle it during resume */
354         if (rail->suspended)
355                 return 0;
356
357         /* if regulators are not connected yet, return and handle it later */
358         if (!rail->reg)
359                 return 0;
360
361         /* if rail update is entered while resolving circular dependencies,
362            abort recursion */
363         if (rail->resolving_to)
364                 return 0;
365
366         /* Find the maximum voltage requested by any clock */
367         list_for_each_entry(d, &rail->dvfs, reg_node)
368                 millivolts = max(d->cur_millivolts, millivolts);
369
370         /* Apply offset and min/max limits if any clock is requesting voltage */
371         if (millivolts)
372                 millivolts = dvfs_rail_apply_limits(rail, millivolts);
373
374         /* retry update if limited by from-relationship to account for
375            circular dependencies */
376         steps = DIV_ROUND_UP(abs(millivolts - rail->millivolts), rail->step);
377         for (; steps >= 0; steps--) {
378                 rail->new_millivolts = millivolts;
379
380                 /* Check any rails that this rail depends on */
381                 list_for_each_entry(rel, &rail->relationships_from, from_node)
382                         rail->new_millivolts = dvfs_solve_relationship(rel);
383
384                 if (rail->new_millivolts == rail->millivolts)
385                         break;
386
387                 ret = dvfs_rail_set_voltage(rail, rail->new_millivolts);
388         }
389
390         return ret;
391 }
392
393 /*
394  * This function is called on entry to suspend, or when rail scaling is disabled
395  * - can't do anything in either case if regulsator is fixed in pll mode. Since
396  * the pll mode frequency is already capped according to fixed voltage level, it
397  * is safe to substitute fixed level for nominal, just for stats update.
398  */
399 static int dvfs_rail_set_nominal(struct dvfs_rail *rail)
400 {
401         int mv;
402         if (!rail->dfll_mode && rail->fixed_millivolts)
403                 mv = rail->fixed_millivolts;
404         else
405                 mv = dvfs_rail_apply_limits(rail, rail->nominal_millivolts);
406         return dvfs_rail_set_voltage(rail, mv);
407 }
408
409 static struct regulator *get_fixed_regulator(struct dvfs_rail *rail)
410 {
411         struct regulator *reg;
412         char reg_id[80];
413         struct dvfs *d;
414         int v, i;
415         unsigned long dfll_boost;
416
417         strcpy(reg_id, rail->reg_id);
418         strcat(reg_id, "_fixed");
419         reg = regulator_get(NULL, reg_id);
420         if (IS_ERR(reg))
421                 return reg;
422
423         v = regulator_get_voltage(reg) / 1000;
424         if ((v < rail->min_millivolts) || (v > rail->nominal_millivolts) ||
425             (rail->therm_mv_floors && v < rail->therm_mv_floors[0])) {
426                 pr_err("tegra_dvfs: ivalid fixed %s voltage %d\n",
427                        rail->reg_id, v);
428                 return ERR_PTR(-EINVAL);
429         }
430
431         /*
432          * Only fixed at nominal voltage vdd_core regulator is allowed, same
433          * is true for cpu rail if dfll mode is not supported at all. No thermal
434          * capping can be implemented in this case.
435          */
436         if (!IS_ENABLED(CONFIG_ARCH_TEGRA_HAS_CL_DVFS) ||
437             (rail != tegra_cpu_rail)) {
438                 if (v != rail->nominal_millivolts) {
439                         pr_err("tegra_dvfs: %s fixed below nominal at %d\n",
440                                rail->reg_id, v);
441                         return ERR_PTR(-EINVAL);
442                 }
443                 if (rail->therm_mv_caps) {
444                         pr_err("tegra_dvfs: cannot fix %s with thermal caps\n",
445                                rail->reg_id);
446                         return ERR_PTR(-ENOSYS);
447                 }
448                 return reg;
449         }
450
451         /*
452          * If dfll mode is supported, fixed vdd_cpu regulator may be below
453          * nominal in pll mode - maximum cpu rate in pll mode is limited
454          * respectively. Regulator is required to allow automatic scaling
455          * in dfll mode.
456          *
457          * FIXME: platform data to explicitly identify such "hybrid" regulator?
458          */
459         d = list_first_entry(&rail->dvfs, struct dvfs, reg_node);
460         for (i = 0; i < d->num_freqs; i++) {
461                 if (d->millivolts[i] > v)
462                         break;
463         }
464
465         if (!i) {
466                 pr_err("tegra_dvfs: %s fixed at %d: too low for min rate\n",
467                        rail->reg_id, v);
468                 return ERR_PTR(-EINVAL);
469         }
470
471         dfll_boost = (d->freqs[d->num_freqs - 1] - d->freqs[i - 1]);
472         if (d->dfll_data.max_rate_boost < dfll_boost)
473                 d->dfll_data.max_rate_boost = dfll_boost;
474
475         rail->fixed_millivolts = v;
476         return reg;
477 }
478
479 static int dvfs_rail_connect_to_regulator(struct dvfs_rail *rail)
480 {
481         struct regulator *reg;
482         int v;
483
484         if (!rail->reg) {
485                 reg = regulator_get(NULL, rail->reg_id);
486                 if (IS_ERR(reg)) {
487                         reg = get_fixed_regulator(rail);
488                         if (IS_ERR(reg)) {
489                                 pr_err("tegra_dvfs: failed to connect %s rail\n",
490                                        rail->reg_id);
491                                 return PTR_ERR(reg);
492                         }
493                 }
494                 rail->reg = reg;
495         }
496
497         v = regulator_enable(rail->reg);
498         if (v < 0) {
499                 pr_err("tegra_dvfs: failed on enabling regulator %s\n, err %d",
500                         rail->reg_id, v);
501                 return v;
502         }
503
504         v = regulator_get_voltage(rail->reg);
505         if (v < 0) {
506                 pr_err("tegra_dvfs: failed initial get %s voltage\n",
507                        rail->reg_id);
508                 return v;
509         }
510         rail->millivolts = v / 1000;
511         rail->new_millivolts = rail->millivolts;
512         dvfs_rail_stats_init(rail, rail->millivolts);
513         return 0;
514 }
515
516 static inline unsigned long *dvfs_get_freqs(struct dvfs *d)
517 {
518         return d->alt_freqs ? : &d->freqs[0];
519 }
520
521 static inline const int *dvfs_get_millivolts(struct dvfs *d, unsigned long rate)
522 {
523         if (tegra_dvfs_is_dfll_scale(d, rate))
524                 return d->dfll_millivolts;
525
526         return d->millivolts;
527 }
528
529 static int
530 __tegra_dvfs_set_rate(struct dvfs *d, unsigned long rate)
531 {
532         int i = 0;
533         int ret;
534         unsigned long *freqs = dvfs_get_freqs(d);
535         const int *millivolts = dvfs_get_millivolts(d, rate);
536
537         if (freqs == NULL || millivolts == NULL)
538                 return -ENODEV;
539
540         /* On entry to dfll range limit 1st step to range bottom (full ramp of
541            voltage/rate is completed automatically in dfll mode) */
542         if (tegra_dvfs_is_dfll_range_entry(d, rate))
543                 rate = d->dfll_data.use_dfll_rate_min;
544
545         if (rate > freqs[d->num_freqs - 1]) {
546                 pr_warn("tegra_dvfs: rate %lu too high for dvfs on %s\n", rate,
547                         d->clk_name);
548                 return -EINVAL;
549         }
550
551         if (rate == 0) {
552                 d->cur_millivolts = 0;
553         } else {
554                 while (i < d->num_freqs && rate > freqs[i])
555                         i++;
556
557                 if ((d->max_millivolts) &&
558                     (millivolts[i] > d->max_millivolts)) {
559                         pr_warn("tegra_dvfs: voltage %d too high for dvfs on"
560                                 " %s\n", millivolts[i], d->clk_name);
561                         return -EINVAL;
562                 }
563                 d->cur_millivolts = millivolts[i];
564         }
565
566         d->cur_rate = rate;
567
568         ret = dvfs_rail_update(d->dvfs_rail);
569         if (ret)
570                 pr_err("Failed to set regulator %s for clock %s to %d mV\n",
571                         d->dvfs_rail->reg_id, d->clk_name, d->cur_millivolts);
572
573         return ret;
574 }
575
576 int tegra_dvfs_alt_freqs_set(struct dvfs *d, unsigned long *alt_freqs)
577 {
578         int ret = 0;
579
580         mutex_lock(&dvfs_lock);
581
582         if (d->alt_freqs != alt_freqs) {
583                 d->alt_freqs = alt_freqs;
584                 ret = __tegra_dvfs_set_rate(d, d->cur_rate);
585         }
586
587         mutex_unlock(&dvfs_lock);
588         return ret;
589 }
590
591 static int predict_millivolts(struct clk *c, const int *millivolts,
592                               unsigned long rate)
593 {
594         int i;
595
596         if (!millivolts)
597                 return -ENODEV;
598         /*
599          * Predicted voltage can not be used across the switch to alternative
600          * frequency limits. For now, just fail the call for clock that has
601          * alternative limits initialized.
602          */
603         if (c->dvfs->alt_freqs)
604                 return -ENOSYS;
605
606         for (i = 0; i < c->dvfs->num_freqs; i++) {
607                 if (rate <= c->dvfs->freqs[i])
608                         break;
609         }
610
611         if (i == c->dvfs->num_freqs)
612                 return -EINVAL;
613
614         return millivolts[i];
615 }
616
617 int tegra_dvfs_predict_millivolts(struct clk *c, unsigned long rate)
618 {
619         const int *millivolts;
620
621         if (!rate || !c->dvfs)
622                 return 0;
623
624         millivolts = dvfs_get_millivolts(c->dvfs, rate);
625         return predict_millivolts(c, millivolts, rate);
626 }
627
628 int tegra_dvfs_predict_millivolts_pll(struct clk *c, unsigned long rate)
629 {
630         const int *millivolts;
631
632         if (!rate || !c->dvfs)
633                 return 0;
634
635         millivolts = c->dvfs->millivolts;
636         return predict_millivolts(c, millivolts, rate);
637 }
638
639 int tegra_dvfs_predict_millivolts_dfll(struct clk *c, unsigned long rate)
640 {
641         const int *millivolts;
642
643         if (!rate || !c->dvfs)
644                 return 0;
645
646         millivolts = c->dvfs->dfll_millivolts;
647         return predict_millivolts(c, millivolts, rate);
648 }
649
650 int tegra_dvfs_set_rate(struct clk *c, unsigned long rate)
651 {
652         int ret;
653
654         if (!c->dvfs)
655                 return -EINVAL;
656
657         mutex_lock(&dvfs_lock);
658         ret = __tegra_dvfs_set_rate(c->dvfs, rate);
659         mutex_unlock(&dvfs_lock);
660
661         return ret;
662 }
663 EXPORT_SYMBOL(tegra_dvfs_set_rate);
664
665 #ifdef CONFIG_TEGRA_VDD_CORE_OVERRIDE
666 static DEFINE_MUTEX(rail_override_lock);
667
668 int tegra_dvfs_override_core_voltage(int override_mv)
669 {
670         int ret, floor, ceiling;
671         struct dvfs_rail *rail = tegra_core_rail;
672
673         if (!rail)
674                 return -ENOENT;
675
676         if (rail->fixed_millivolts)
677                 return -ENOSYS;
678
679         floor = rail->min_override_millivolts;
680         ceiling = rail->nominal_millivolts;
681         if (override_mv && ((override_mv < floor) || (override_mv > ceiling))) {
682                 pr_err("%s: override level %d outside the range [%d...%d]\n",
683                        __func__, override_mv, floor, ceiling);
684                 return -EINVAL;
685         }
686
687         mutex_lock(&rail_override_lock);
688
689         if (override_mv == rail->override_millivolts) {
690                 ret = 0;
691                 goto out;
692         }
693
694         if (override_mv) {
695                 ret = tegra_dvfs_core_cap_level_apply(override_mv);
696                 if (ret) {
697                         pr_err("%s: failed to set cap for override level %d\n",
698                                __func__, override_mv);
699                         goto out;
700                 }
701         }
702
703         mutex_lock(&dvfs_lock);
704         if (rail->disabled || rail->suspended) {
705                 pr_err("%s: cannot scale %s rail\n", __func__,
706                        rail->disabled ? "disabled" : "suspended");
707                 ret = -EPERM;
708                 if (!override_mv) {
709                         mutex_unlock(&dvfs_lock);
710                         goto out;
711                 }
712         } else {
713                 rail->override_millivolts = override_mv;
714                 ret = dvfs_rail_update(rail);
715                 if (ret) {
716                         pr_err("%s: failed to set override level %d\n",
717                                __func__, override_mv);
718                         rail->override_millivolts = 0;
719                         dvfs_rail_update(rail);
720                 }
721         }
722         mutex_unlock(&dvfs_lock);
723
724         if (!override_mv || ret)
725                 tegra_dvfs_core_cap_level_apply(0);
726 out:
727         mutex_unlock(&rail_override_lock);
728         return ret;
729 }
730 #else
731 int tegra_dvfs_override_core_voltage(int override_mv)
732 {
733         pr_err("%s: vdd core override is not supported\n", __func__);
734         return -ENOSYS;
735 }
736 #endif
737 EXPORT_SYMBOL(tegra_dvfs_override_core_voltage);
738
739 /* May only be called during clock init, does not take any locks on clock c. */
740 int __init tegra_enable_dvfs_on_clk(struct clk *c, struct dvfs *d)
741 {
742         int i;
743
744         if (c->dvfs) {
745                 pr_err("Error when enabling dvfs on %s for clock %s:\n",
746                         d->dvfs_rail->reg_id, c->name);
747                 pr_err("DVFS already enabled for %s\n",
748                         c->dvfs->dvfs_rail->reg_id);
749                 return -EINVAL;
750         }
751
752         for (i = 0; i < MAX_DVFS_FREQS; i++) {
753                 if (d->millivolts[i] == 0)
754                         break;
755
756                 d->freqs[i] *= d->freqs_mult;
757
758                 /* If final frequencies are 0, pad with previous frequency */
759                 if (d->freqs[i] == 0 && i > 1)
760                         d->freqs[i] = d->freqs[i - 1];
761         }
762         d->num_freqs = i;
763
764         if (d->auto_dvfs) {
765                 c->auto_dvfs = true;
766                 clk_set_cansleep(c);
767         }
768
769         c->dvfs = d;
770
771         /*
772          * Minimum core override level is determined as maximum voltage required
773          * for clocks outside shared buses (shared bus rates can be capped to
774          * safe levels when override limit is set)
775          */
776         if (i && c->ops && !c->ops->shared_bus_update &&
777             !(c->flags & PERIPH_ON_CBUS)) {
778                 int mv = tegra_dvfs_predict_millivolts(c, d->freqs[i-1]);
779                 if (d->dvfs_rail->min_override_millivolts < mv)
780                         d->dvfs_rail->min_override_millivolts = mv;
781         }
782
783         mutex_lock(&dvfs_lock);
784         list_add_tail(&d->reg_node, &d->dvfs_rail->dvfs);
785         mutex_unlock(&dvfs_lock);
786
787         return 0;
788 }
789
790 static bool tegra_dvfs_all_rails_suspended(void)
791 {
792         struct dvfs_rail *rail;
793         bool all_suspended = true;
794
795         list_for_each_entry(rail, &dvfs_rail_list, node)
796                 if (!rail->suspended && !rail->disabled)
797                         all_suspended = false;
798
799         return all_suspended;
800 }
801
802 static bool tegra_dvfs_from_rails_suspended_or_solved(struct dvfs_rail *to)
803 {
804         struct dvfs_relationship *rel;
805         bool all_suspended = true;
806
807         list_for_each_entry(rel, &to->relationships_from, from_node)
808                 if (!rel->from->suspended && !rel->from->disabled &&
809                         !rel->solved_at_nominal)
810                         all_suspended = false;
811
812         return all_suspended;
813 }
814
815 static int tegra_dvfs_suspend_one(void)
816 {
817         struct dvfs_rail *rail;
818         int ret;
819
820         list_for_each_entry(rail, &dvfs_rail_list, node) {
821                 if (!rail->suspended && !rail->disabled &&
822                     tegra_dvfs_from_rails_suspended_or_solved(rail)) {
823                         ret = dvfs_rail_set_nominal(rail);
824                         if (ret)
825                                 return ret;
826                         rail->suspended = true;
827                         return 0;
828                 }
829         }
830
831         return -EINVAL;
832 }
833
834 static void tegra_dvfs_resume(void)
835 {
836         struct dvfs_rail *rail;
837
838         mutex_lock(&dvfs_lock);
839
840         list_for_each_entry(rail, &dvfs_rail_list, node)
841                 rail->suspended = false;
842
843         list_for_each_entry(rail, &dvfs_rail_list, node)
844                 dvfs_rail_update(rail);
845
846         mutex_unlock(&dvfs_lock);
847 }
848
849 static int tegra_dvfs_suspend(void)
850 {
851         int ret = 0;
852
853         mutex_lock(&dvfs_lock);
854
855         while (!tegra_dvfs_all_rails_suspended()) {
856                 ret = tegra_dvfs_suspend_one();
857                 if (ret)
858                         break;
859         }
860
861         mutex_unlock(&dvfs_lock);
862
863         if (ret)
864                 tegra_dvfs_resume();
865
866         return ret;
867 }
868
869 static int tegra_dvfs_pm_notify(struct notifier_block *nb,
870                                 unsigned long event, void *data)
871 {
872         switch (event) {
873         case PM_SUSPEND_PREPARE:
874                 if (tegra_dvfs_suspend())
875                         return NOTIFY_STOP;
876                 break;
877         case PM_POST_SUSPEND:
878                 tegra_dvfs_resume();
879                 break;
880         }
881
882         return NOTIFY_OK;
883 };
884
885 static struct notifier_block tegra_dvfs_nb = {
886         .notifier_call = tegra_dvfs_pm_notify,
887 };
888
889 static int tegra_dvfs_reboot_notify(struct notifier_block *nb,
890                                 unsigned long event, void *data)
891 {
892         switch (event) {
893         case SYS_RESTART:
894         case SYS_HALT:
895         case SYS_POWER_OFF:
896                 tegra_dvfs_suspend();
897                 return NOTIFY_OK;
898         }
899         return NOTIFY_DONE;
900 }
901
902 static struct notifier_block tegra_dvfs_reboot_nb = {
903         .notifier_call = tegra_dvfs_reboot_notify,
904 };
905
906 /* must be called with dvfs lock held */
907 static void __tegra_dvfs_rail_disable(struct dvfs_rail *rail)
908 {
909         int ret;
910
911         /* don't set voltage in DFLL mode - won't work, but break stats */
912         if (rail->dfll_mode) {
913                 rail->disabled = true;
914                 return;
915         }
916
917         ret = dvfs_rail_set_nominal(rail);
918         if (ret) {
919                 pr_info("dvfs: failed to set regulator %s to disable "
920                         "voltage %d\n", rail->reg_id,
921                         rail->nominal_millivolts);
922                 return;
923         }
924         rail->disabled = true;
925 }
926
927 /* must be called with dvfs lock held */
928 static void __tegra_dvfs_rail_enable(struct dvfs_rail *rail)
929 {
930         rail->disabled = false;
931         dvfs_rail_update(rail);
932 }
933
934 void tegra_dvfs_rail_enable(struct dvfs_rail *rail)
935 {
936         if (!rail)
937                 return;
938
939         mutex_lock(&rail_disable_lock);
940
941         if (rail->disabled) {
942                 mutex_lock(&dvfs_lock);
943                 __tegra_dvfs_rail_enable(rail);
944                 mutex_unlock(&dvfs_lock);
945
946                 tegra_dvfs_rail_post_enable(rail);
947         }
948         mutex_unlock(&rail_disable_lock);
949 }
950
951 void tegra_dvfs_rail_disable(struct dvfs_rail *rail)
952 {
953         if (!rail)
954                 return;
955
956         mutex_lock(&rail_disable_lock);
957         if (rail->disabled)
958                 goto out;
959
960         /* rail disable will set it to nominal voltage underneath clock
961            framework - need to re-configure clock rates that are not safe
962            at nominal (yes, unsafe at nominal is ugly, but possible). Rate
963            change must be done outside of dvfs lock. */
964         if (tegra_dvfs_rail_disable_prepare(rail)) {
965                 pr_info("dvfs: failed to prepare regulator %s to disable\n",
966                         rail->reg_id);
967                 goto out;
968         }
969
970         mutex_lock(&dvfs_lock);
971         __tegra_dvfs_rail_disable(rail);
972         mutex_unlock(&dvfs_lock);
973 out:
974         mutex_unlock(&rail_disable_lock);
975 }
976
977 int tegra_dvfs_rail_disable_by_name(const char *reg_id)
978 {
979         struct dvfs_rail *rail = tegra_dvfs_get_rail_by_name(reg_id);
980         if (!rail)
981                 return -EINVAL;
982
983         tegra_dvfs_rail_disable(rail);
984         return 0;
985 }
986
987 struct dvfs_rail *tegra_dvfs_get_rail_by_name(const char *reg_id)
988 {
989         struct dvfs_rail *rail;
990
991         mutex_lock(&dvfs_lock);
992         list_for_each_entry(rail, &dvfs_rail_list, node) {
993                 if (!strcmp(reg_id, rail->reg_id)) {
994                         mutex_unlock(&dvfs_lock);
995                         return rail;
996                 }
997         }
998         mutex_unlock(&dvfs_lock);
999         return NULL;
1000 }
1001
1002 bool tegra_dvfs_rail_updating(struct clk *clk)
1003 {
1004         return (!clk ? false :
1005                 (!clk->dvfs ? false :
1006                  (!clk->dvfs->dvfs_rail ? false :
1007                   (clk->dvfs->dvfs_rail->updating ||
1008                    clk->dvfs->dvfs_rail->dfll_mode_updating))));
1009 }
1010
1011 #ifdef CONFIG_OF
1012 int __init of_tegra_dvfs_init(const struct of_device_id *matches)
1013 {
1014         int ret;
1015         struct device_node *np;
1016
1017         for_each_matching_node(np, matches) {
1018                 const struct of_device_id *match = of_match_node(matches, np);
1019                 of_tegra_dvfs_init_cb_t dvfs_init_cb = match->data;
1020                 ret = dvfs_init_cb(np);
1021                 if (ret) {
1022                         pr_err("dt: Failed to read %s tables from DT\n",
1023                                                         match->compatible);
1024                         return ret;
1025                 }
1026         }
1027         return 0;
1028 }
1029 #endif
1030 int tegra_dvfs_dfll_mode_set(struct dvfs *d, unsigned long rate)
1031 {
1032         mutex_lock(&dvfs_lock);
1033         if (!d->dvfs_rail->dfll_mode) {
1034                 d->dvfs_rail->dfll_mode = true;
1035                 __tegra_dvfs_set_rate(d, rate);
1036         }
1037         mutex_unlock(&dvfs_lock);
1038         return 0;
1039 }
1040
1041 int tegra_dvfs_dfll_mode_clear(struct dvfs *d, unsigned long rate)
1042 {
1043         int ret = 0;
1044
1045         mutex_lock(&dvfs_lock);
1046         if (d->dvfs_rail->dfll_mode) {
1047                 d->dvfs_rail->dfll_mode = false;
1048                 /* avoid false detection of matching target (voltage in dfll
1049                    mode is fluctuating, and recorded level is just estimate) */
1050                 d->dvfs_rail->millivolts--;
1051                 if (d->dvfs_rail->disabled) {
1052                         d->dvfs_rail->disabled = false;
1053                         __tegra_dvfs_rail_disable(d->dvfs_rail);
1054                 }
1055                 ret = __tegra_dvfs_set_rate(d, rate);
1056         }
1057         mutex_unlock(&dvfs_lock);
1058         return ret;
1059 }
1060
1061 struct tegra_cooling_device *tegra_dvfs_get_cpu_vmax_cdev(void)
1062 {
1063         if (tegra_cpu_rail)
1064                 return tegra_cpu_rail->vmax_cdev;
1065         return NULL;
1066 }
1067
1068 struct tegra_cooling_device *tegra_dvfs_get_cpu_vmin_cdev(void)
1069 {
1070         if (tegra_cpu_rail)
1071                 return tegra_cpu_rail->vmin_cdev;
1072         return NULL;
1073 }
1074
1075 struct tegra_cooling_device *tegra_dvfs_get_core_vmin_cdev(void)
1076 {
1077         if (tegra_core_rail)
1078                 return tegra_core_rail->vmin_cdev;
1079         return NULL;
1080 }
1081
1082 #ifdef CONFIG_THERMAL
1083 /* Cooling device limits minimum rail voltage at cold temperature in pll mode */
1084 static int tegra_dvfs_rail_get_vmin_cdev_max_state(
1085         struct thermal_cooling_device *cdev, unsigned long *max_state)
1086 {
1087         struct dvfs_rail *rail = (struct dvfs_rail *)cdev->devdata;
1088         *max_state = rail->vmin_cdev->trip_temperatures_num;
1089         return 0;
1090 }
1091
1092 static int tegra_dvfs_rail_get_vmin_cdev_cur_state(
1093         struct thermal_cooling_device *cdev, unsigned long *cur_state)
1094 {
1095         struct dvfs_rail *rail = (struct dvfs_rail *)cdev->devdata;
1096         *cur_state = rail->therm_floor_idx;
1097         return 0;
1098 }
1099
1100 static int tegra_dvfs_rail_set_vmin_cdev_state(
1101         struct thermal_cooling_device *cdev, unsigned long cur_state)
1102 {
1103         struct dvfs_rail *rail = (struct dvfs_rail *)cdev->devdata;
1104
1105         mutex_lock(&dvfs_lock);
1106         if (rail->therm_floor_idx != cur_state) {
1107                 rail->therm_floor_idx = cur_state;
1108                 dvfs_rail_update(rail);
1109         }
1110         mutex_unlock(&dvfs_lock);
1111         return 0;
1112 }
1113
1114 static struct thermal_cooling_device_ops tegra_dvfs_rail_cooling_ops = {
1115         .get_max_state = tegra_dvfs_rail_get_vmin_cdev_max_state,
1116         .get_cur_state = tegra_dvfs_rail_get_vmin_cdev_cur_state,
1117         .set_cur_state = tegra_dvfs_rail_set_vmin_cdev_state,
1118 };
1119
1120 static void tegra_dvfs_rail_register_vmin_cdev(struct dvfs_rail *rail)
1121 {
1122         if (!rail->vmin_cdev)
1123                 return;
1124
1125         /* just report error - initialized for cold temperature, anyway */
1126         if (IS_ERR_OR_NULL(thermal_cooling_device_register(
1127                 rail->vmin_cdev->cdev_type, (void *)rail,
1128                 &tegra_dvfs_rail_cooling_ops)))
1129                 pr_err("tegra cooling device %s failed to register\n",
1130                        rail->vmin_cdev->cdev_type);
1131 }
1132 #else
1133 #define tegra_dvfs_rail_register_vmin_cdev(rail)
1134 #endif
1135
1136 /* Directly set cold temperature limit in dfll mode */
1137 int tegra_dvfs_rail_dfll_mode_set_cold(struct dvfs_rail *rail)
1138 {
1139         int ret = 0;
1140
1141         /* No thermal floors - nothing to do */
1142         if (!rail || !rail->therm_mv_floors)
1143                 return ret;
1144
1145         /*
1146          * Since cooling thresholds are the same in pll and dfll modes, pll mode
1147          * thermal index can be used to decide if cold limit should be set in
1148          * dfll mode.
1149          */
1150         mutex_lock(&dvfs_lock);
1151         if (rail->dfll_mode &&
1152             (rail->therm_floor_idx < rail->therm_mv_floors_num)) {
1153                         int mv = rail->therm_mv_floors[rail->therm_floor_idx];
1154                         ret = dvfs_rail_set_voltage_reg(rail, mv);
1155         }
1156         mutex_unlock(&dvfs_lock);
1157
1158         return ret;
1159 }
1160
1161 /*
1162  * Iterate through all the dvfs regulators, finding the regulator exported
1163  * by the regulator api for each one.  Must be called in late init, after
1164  * all the regulator api's regulators are initialized.
1165  */
1166 int __init tegra_dvfs_late_init(void)
1167 {
1168         bool connected = true;
1169         struct dvfs_rail *rail;
1170
1171         mutex_lock(&dvfs_lock);
1172
1173         list_for_each_entry(rail, &dvfs_rail_list, node)
1174                 if (dvfs_rail_connect_to_regulator(rail))
1175                         connected = false;
1176
1177         list_for_each_entry(rail, &dvfs_rail_list, node)
1178                 if (connected)
1179                         dvfs_rail_update(rail);
1180                 else
1181                         __tegra_dvfs_rail_disable(rail);
1182
1183         mutex_unlock(&dvfs_lock);
1184
1185 #ifdef CONFIG_TEGRA_SILICON_PLATFORM
1186         if (!connected)
1187                 return -ENODEV;
1188 #endif
1189         register_pm_notifier(&tegra_dvfs_nb);
1190         register_reboot_notifier(&tegra_dvfs_reboot_nb);
1191
1192         list_for_each_entry(rail, &dvfs_rail_list, node)
1193                 tegra_dvfs_rail_register_vmin_cdev(rail);
1194
1195         return 0;
1196 }
1197
1198 static int rail_stats_save_to_buf(char *buf, int len)
1199 {
1200         int i;
1201         struct dvfs_rail *rail;
1202         char *str = buf;
1203         char *end = buf + len;
1204
1205         str += scnprintf(str, end - str, "%-12s %-10s\n", "millivolts", "time");
1206
1207         mutex_lock(&dvfs_lock);
1208
1209         list_for_each_entry(rail, &dvfs_rail_list, node) {
1210                 str += scnprintf(str, end - str, "%s (bin: %d.%dmV)\n",
1211                            rail->reg_id,
1212                            rail->stats.bin_uV / 1000,
1213                            (rail->stats.bin_uV / 10) % 100);
1214
1215                 dvfs_rail_stats_update(rail, -1, ktime_get());
1216
1217                 str += scnprintf(str, end - str, "%-12d %-10llu\n", 0,
1218                         cputime64_to_clock_t(msecs_to_jiffies(
1219                                 ktime_to_ms(rail->stats.time_at_mv[0]))));
1220
1221                 for (i = 1; i <= DVFS_RAIL_STATS_TOP_BIN; i++) {
1222                         ktime_t ktime_zero = ktime_set(0, 0);
1223                         if (ktime_equal(rail->stats.time_at_mv[i], ktime_zero))
1224                                 continue;
1225                         str += scnprintf(str, end - str, "%-12d %-10llu\n",
1226                                 rail->min_millivolts +
1227                                 (i - 1) * rail->stats.bin_uV / 1000,
1228                                 cputime64_to_clock_t(msecs_to_jiffies(
1229                                         ktime_to_ms(rail->stats.time_at_mv[i])))
1230                         );
1231                 }
1232         }
1233         mutex_unlock(&dvfs_lock);
1234         return str - buf;
1235 }
1236
1237 #ifdef CONFIG_DEBUG_FS
1238 static int dvfs_tree_sort_cmp(void *p, struct list_head *a, struct list_head *b)
1239 {
1240         struct dvfs *da = list_entry(a, struct dvfs, reg_node);
1241         struct dvfs *db = list_entry(b, struct dvfs, reg_node);
1242         int ret;
1243
1244         ret = strcmp(da->dvfs_rail->reg_id, db->dvfs_rail->reg_id);
1245         if (ret != 0)
1246                 return ret;
1247
1248         if (da->cur_millivolts < db->cur_millivolts)
1249                 return 1;
1250         if (da->cur_millivolts > db->cur_millivolts)
1251                 return -1;
1252
1253         return strcmp(da->clk_name, db->clk_name);
1254 }
1255
1256 static int dvfs_tree_show(struct seq_file *s, void *data)
1257 {
1258         struct dvfs *d;
1259         struct dvfs_rail *rail;
1260         struct dvfs_relationship *rel;
1261
1262         seq_printf(s, "   clock      rate       mV\n");
1263         seq_printf(s, "--------------------------------\n");
1264
1265         mutex_lock(&dvfs_lock);
1266
1267         list_for_each_entry(rail, &dvfs_rail_list, node) {
1268                 int thermal_mv_floor = 0;
1269
1270                 seq_printf(s, "%s %d mV%s:\n", rail->reg_id, rail->millivolts,
1271                            rail->dfll_mode ? " dfll mode" :
1272                                 rail->disabled ? " disabled" : "");
1273                 list_for_each_entry(rel, &rail->relationships_from, from_node) {
1274                         seq_printf(s, "   %-10s %-7d mV %-4d mV\n",
1275                                 rel->from->reg_id, rel->from->millivolts,
1276                                 dvfs_solve_relationship(rel));
1277                 }
1278                 seq_printf(s, "   offset     %-7d mV\n", rail->offs_millivolts);
1279
1280                 if (rail->therm_mv_floors) {
1281                         int i = rail->therm_floor_idx;
1282                         if (i < rail->therm_mv_floors_num)
1283                                 thermal_mv_floor = rail->therm_mv_floors[i];
1284                 }
1285                 seq_printf(s, "   thermal    %-7d mV\n", thermal_mv_floor);
1286
1287                 if (rail == tegra_core_rail) {
1288                         seq_printf(s, "   override   %-7d mV [%-4d...%-4d]\n",
1289                                    rail->override_millivolts,
1290                                    rail->min_override_millivolts,
1291                                    rail->nominal_millivolts);
1292                 }
1293
1294                 list_sort(NULL, &rail->dvfs, dvfs_tree_sort_cmp);
1295
1296                 list_for_each_entry(d, &rail->dvfs, reg_node) {
1297                         seq_printf(s, "   %-10s %-10lu %-4d mV\n", d->clk_name,
1298                                 d->cur_rate, d->cur_millivolts);
1299                 }
1300         }
1301
1302         mutex_unlock(&dvfs_lock);
1303
1304         return 0;
1305 }
1306
1307 static int dvfs_tree_open(struct inode *inode, struct file *file)
1308 {
1309         return single_open(file, dvfs_tree_show, inode->i_private);
1310 }
1311
1312 static const struct file_operations dvfs_tree_fops = {
1313         .open           = dvfs_tree_open,
1314         .read           = seq_read,
1315         .llseek         = seq_lseek,
1316         .release        = single_release,
1317 };
1318
1319 static int rail_stats_show(struct seq_file *s, void *data)
1320 {
1321         char *buf = kzalloc(PAGE_SIZE, GFP_KERNEL);
1322         int size = 0;
1323
1324         if (!buf)
1325                 return -ENOMEM;
1326
1327         size = rail_stats_save_to_buf(buf, PAGE_SIZE);
1328         seq_write(s, buf, size);
1329         kfree(buf);
1330         return 0;
1331 }
1332
1333 static int rail_stats_open(struct inode *inode, struct file *file)
1334 {
1335         return single_open(file, rail_stats_show, inode->i_private);
1336 }
1337
1338 static const struct file_operations rail_stats_fops = {
1339         .open           = rail_stats_open,
1340         .read           = seq_read,
1341         .llseek         = seq_lseek,
1342         .release        = single_release,
1343 };
1344
1345 static int cpu_offs_get(void *data, u64 *val)
1346 {
1347         if (tegra_cpu_rail) {
1348                 *val = (u64)tegra_cpu_rail->offs_millivolts;
1349                 return 0;
1350         }
1351         *val = 0;
1352         return -ENOENT;
1353 }
1354 static int cpu_offs_set(void *data, u64 val)
1355 {
1356         if (tegra_cpu_rail) {
1357                 mutex_lock(&dvfs_lock);
1358                 tegra_cpu_rail->offs_millivolts = (int)val;
1359                 dvfs_rail_update(tegra_cpu_rail);
1360                 mutex_unlock(&dvfs_lock);
1361                 return 0;
1362         }
1363         return -ENOENT;
1364 }
1365 DEFINE_SIMPLE_ATTRIBUTE(cpu_offs_fops, cpu_offs_get, cpu_offs_set, "%lld\n");
1366
1367 static int core_offs_get(void *data, u64 *val)
1368 {
1369         if (tegra_core_rail) {
1370                 *val = (u64)tegra_core_rail->offs_millivolts;
1371                 return 0;
1372         }
1373         *val = 0;
1374         return -ENOENT;
1375 }
1376 static int core_offs_set(void *data, u64 val)
1377 {
1378         if (tegra_core_rail) {
1379                 mutex_lock(&dvfs_lock);
1380                 tegra_core_rail->offs_millivolts = (int)val;
1381                 dvfs_rail_update(tegra_core_rail);
1382                 mutex_unlock(&dvfs_lock);
1383                 return 0;
1384         }
1385         return -ENOENT;
1386 }
1387 DEFINE_SIMPLE_ATTRIBUTE(core_offs_fops, core_offs_get, core_offs_set, "%lld\n");
1388
1389 static int core_override_get(void *data, u64 *val)
1390 {
1391         if (tegra_core_rail) {
1392                 *val = (u64)tegra_core_rail->override_millivolts;
1393                 return 0;
1394         }
1395         *val = 0;
1396         return -ENOENT;
1397 }
1398 static int core_override_set(void *data, u64 val)
1399 {
1400         return tegra_dvfs_override_core_voltage((int)val);
1401 }
1402 DEFINE_SIMPLE_ATTRIBUTE(core_override_fops,
1403                         core_override_get, core_override_set, "%llu\n");
1404
1405 int __init dvfs_debugfs_init(struct dentry *clk_debugfs_root)
1406 {
1407         struct dentry *d;
1408
1409         d = debugfs_create_file("dvfs", S_IRUGO, clk_debugfs_root, NULL,
1410                 &dvfs_tree_fops);
1411         if (!d)
1412                 return -ENOMEM;
1413
1414         d = debugfs_create_file("rails", S_IRUGO, clk_debugfs_root, NULL,
1415                 &rail_stats_fops);
1416         if (!d)
1417                 return -ENOMEM;
1418
1419         d = debugfs_create_file("vdd_cpu_offs", S_IRUGO | S_IWUSR,
1420                 clk_debugfs_root, NULL, &cpu_offs_fops);
1421         if (!d)
1422                 return -ENOMEM;
1423
1424         d = debugfs_create_file("vdd_core_offs", S_IRUGO | S_IWUSR,
1425                 clk_debugfs_root, NULL, &core_offs_fops);
1426         if (!d)
1427                 return -ENOMEM;
1428
1429         d = debugfs_create_file("vdd_core_override", S_IRUGO | S_IWUSR,
1430                 clk_debugfs_root, NULL, &core_override_fops);
1431         if (!d)
1432                 return -ENOMEM;
1433
1434         return 0;
1435 }
1436
1437 #endif
1438
1439 #ifdef CONFIG_PM
1440 static ssize_t tegra_rail_stats_show(struct kobject *kobj,
1441                                         struct kobj_attribute *attr,
1442                                         char *buf)
1443 {
1444         return rail_stats_save_to_buf(buf, PAGE_SIZE);
1445 }
1446
1447 static struct kobj_attribute rail_stats_attr =
1448                 __ATTR_RO(tegra_rail_stats);
1449
1450 static int __init tegra_dvfs_sysfs_stats_init(void)
1451 {
1452         int error;
1453         error = sysfs_create_file(power_kobj, &rail_stats_attr.attr);
1454         return 0;
1455 }
1456 late_initcall(tegra_dvfs_sysfs_stats_init);
1457 #endif