ARM: tegra: powermon: Fix copyrights from GPLv3 to GPLv2
[linux-3.10.git] / arch / arm / mach-tegra / tegra11_dvfs.c
1 /*
2  * arch/arm/mach-tegra/tegra11_dvfs.c
3  *
4  * Copyright (c) 2012-2013 NVIDIA CORPORATION. All rights reserved.
5  *
6  * This software is licensed under the terms of the GNU General Public
7  * License version 2, as published by the Free Software Foundation, and
8  * may be copied, distributed, and modified under those terms.
9  *
10  * This program is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13  * GNU General Public License for more details.
14  *
15  */
16
17 #include <linux/kernel.h>
18 #include <linux/init.h>
19 #include <linux/string.h>
20 #include <linux/module.h>
21 #include <linux/clk.h>
22 #include <linux/kobject.h>
23 #include <linux/err.h>
24
25 #include "clock.h"
26 #include "dvfs.h"
27 #include "fuse.h"
28 #include "board.h"
29 #include "tegra_cl_dvfs.h"
30
31 static bool tegra_dvfs_cpu_disabled;
32 static bool tegra_dvfs_core_disabled;
33
34 #define KHZ 1000
35 #define MHZ 1000000
36
37 /* FIXME: need tegra11 step */
38 #define VDD_SAFE_STEP                   100
39
40 static int vdd_core_vmin_trips_table[MAX_THERMAL_LIMITS] = { 20, };
41 static int vdd_core_therm_floors_table[MAX_THERMAL_LIMITS] = { 950, };
42
43 static int vdd_cpu_vmax_trips_table[MAX_THERMAL_LIMITS] = { 70, };
44 static int vdd_cpu_therm_caps_table[MAX_THERMAL_LIMITS] = { 1240, };
45
46 static struct tegra_cooling_device cpu_vmax_cdev = {
47         .cdev_type = "cpu_hot",
48 };
49
50 static struct tegra_cooling_device cpu_vmin_cdev = {
51         .cdev_type = "cpu_cold",
52 };
53
54 static struct tegra_cooling_device core_vmin_cdev = {
55         .cdev_type = "core_cold",
56 };
57
58 static struct dvfs_rail tegra11_dvfs_rail_vdd_cpu = {
59         .reg_id = "vdd_cpu",
60         .max_millivolts = 1400,
61         .min_millivolts = 800,
62         .step = VDD_SAFE_STEP,
63         .jmp_to_zero = true,
64         .vmin_cdev = &cpu_vmin_cdev,
65         .vmax_cdev = &cpu_vmax_cdev,
66 };
67
68 static struct dvfs_rail tegra11_dvfs_rail_vdd_core = {
69         .reg_id = "vdd_core",
70         .max_millivolts = 1400,
71         .min_millivolts = 800,
72         .step = VDD_SAFE_STEP,
73         .vmin_cdev = &core_vmin_cdev,
74 };
75
76 static struct dvfs_rail *tegra11_dvfs_rails[] = {
77         &tegra11_dvfs_rail_vdd_cpu,
78         &tegra11_dvfs_rail_vdd_core,
79 };
80
81 /* default cvb alignment on Tegra11 - 10mV */
82 int __attribute__((weak)) tegra_get_cvb_alignment_uV(void)
83 {
84         return 10000;
85 }
86
87 /* CPU DVFS tables */
88 static struct cpu_cvb_dvfs cpu_cvb_dvfs_table[] = {
89         {
90                 .speedo_id = 0,
91                 .process_id = -1,
92                 .dfll_tune_data  = {
93                         .tune0          = 0x00b0019d,
94                         .tune0_high_mv  = 0x00b0019d,
95                         .tune1          = 0x0000001f,
96                         .droop_rate_min = 1000000,
97                         .min_millivolts = 1000,
98                 },
99                 .max_mv = 1250,
100                 .freqs_mult = KHZ,
101                 .speedo_scale = 100,
102                 .voltage_scale = 100,
103                 .cvb_table = {
104                         /*f       dfll: c0,     c1,   c2  pll:  c0,   c1,    c2 */
105                         { 306000, { 107330,  -1569,   0}, {  90000,    0,    0} },
106                         { 408000, { 111250,  -1666,   0}, {  90000,    0,    0} },
107                         { 510000, { 110000,  -1460,   0}, {  94000,    0,    0} },
108                         { 612000, { 117290,  -1745,   0}, {  94000,    0,    0} },
109                         { 714000, { 122700,  -1910,   0}, {  99000,    0,    0} },
110                         { 816000, { 125620,  -1945,   0}, {  99000,    0,    0} },
111                         { 918000, { 130560,  -2076,   0}, { 103000,    0,    0} },
112                         {1020000, { 137280,  -2303,   0}, { 103000,    0,    0} },
113                         {1122000, { 146440,  -2660,   0}, { 109000,    0,    0} },
114                         {1224000, { 152190,  -2825,   0}, { 109000,    0,    0} },
115                         {1326000, { 157520,  -2953,   0}, { 112000,    0,    0} },
116                         {1428000, { 166100,  -3261,   0}, { 140000,    0,    0} },
117                         {1530000, { 176410,  -3647,   0}, { 140000,    0,    0} },
118                         {1632000, { 189620,  -4186,   0}, { 140000,    0,    0} },
119                         {1734000, { 203190,  -4725,   0}, { 140000,    0,    0} },
120                         {1836000, { 222670,  -5573,   0}, { 140000,    0,    0} },
121                         {1938000, { 256210,  -7165,   0}, { 140000,    0,    0} },
122                         {2040000, { 250050,  -6544,   0}, { 140000,    0,    0} },
123                         {      0, {      0,      0,   0}, {      0,    0,    0} },
124                 },
125                 .therm_trips_table = { 20, },
126                 .therm_floors_table = { 1000, },
127         },
128         {
129                 .speedo_id = 1,
130                 .process_id = 0,
131                 .dfll_tune_data  = {
132                         .tune0          = 0x00b0039d,
133                         .tune0_high_mv  = 0x00b0009d,
134                         .tune1          = 0x0000001f,
135                         .droop_rate_min = 1000000,
136                         .tune_high_min_millivolts = 1050,
137                         .min_millivolts = 1000,
138                 },
139                 .max_mv = 1320,
140                 .freqs_mult = KHZ,
141                 .speedo_scale = 100,
142                 .voltage_scale = 1000,
143                 .cvb_table = {
144                         /*f       dfll:  c0,      c1,    c2  pll:   c0,   c1,    c2 */
145                         { 306000, { 2190643, -141851, 3576}, {  900000,    0,    0} },
146                         { 408000, { 2250968, -144331, 3576}, {  950000,    0,    0} },
147                         { 510000, { 2313333, -146811, 3576}, {  970000,    0,    0} },
148                         { 612000, { 2377738, -149291, 3576}, { 1000000,    0,    0} },
149                         { 714000, { 2444183, -151771, 3576}, { 1020000,    0,    0} },
150                         { 816000, { 2512669, -154251, 3576}, { 1020000,    0,    0} },
151                         { 918000, { 2583194, -156731, 3576}, { 1030000,    0,    0} },
152                         {1020000, { 2655759, -159211, 3576}, { 1030000,    0,    0} },
153                         {1122000, { 2730365, -161691, 3576}, { 1090000,    0,    0} },
154                         {1224000, { 2807010, -164171, 3576}, { 1090000,    0,    0} },
155                         {1326000, { 2885696, -166651, 3576}, { 1120000,    0,    0} },
156                         {1428000, { 2966422, -169131, 3576}, { 1400000,    0,    0} },
157                         {1530000, { 3049183, -171601, 3576}, { 1400000,    0,    0} },
158                         {1606500, { 3112179, -173451, 3576}, { 1400000,    0,    0} },
159                         {1708500, { 3198504, -175931, 3576}, { 1400000,    0,    0} },
160                         {1810500, { 3304747, -179126, 3576}, { 1400000,    0,    0} },
161                         {      0, {       0,       0,    0}, {       0,    0,    0} },
162                 },
163                 .therm_trips_table = { 20, },
164                 .therm_floors_table = { 1000, },
165         },
166         {
167                 .speedo_id = 1,
168                 .process_id = 1,
169                 .dfll_tune_data  = {
170                         .tune0          = 0x00b0039d,
171                         .tune0_high_mv  = 0x00b0009d,
172                         .tune1          = 0x0000001f,
173                         .droop_rate_min = 1000000,
174                         .tune_high_min_millivolts = 1050,
175                         .min_millivolts = 1000,
176                 },
177                 .max_mv = 1320,
178                 .freqs_mult = KHZ,
179                 .speedo_scale = 100,
180                 .voltage_scale = 1000,
181                 .cvb_table = {
182                         /*f       dfll:  c0,      c1,    c2  pll:   c0,   c1,    c2 */
183                         { 306000, { 2190643, -141851, 3576}, {  900000,    0,    0} },
184                         { 408000, { 2250968, -144331, 3576}, {  950000,    0,    0} },
185                         { 510000, { 2313333, -146811, 3576}, {  970000,    0,    0} },
186                         { 612000, { 2377738, -149291, 3576}, { 1000000,    0,    0} },
187                         { 714000, { 2444183, -151771, 3576}, { 1020000,    0,    0} },
188                         { 816000, { 2512669, -154251, 3576}, { 1020000,    0,    0} },
189                         { 918000, { 2583194, -156731, 3576}, { 1030000,    0,    0} },
190                         {1020000, { 2655759, -159211, 3576}, { 1030000,    0,    0} },
191                         {1122000, { 2730365, -161691, 3576}, { 1090000,    0,    0} },
192                         {1224000, { 2807010, -164171, 3576}, { 1090000,    0,    0} },
193                         {1326000, { 2885696, -166651, 3576}, { 1120000,    0,    0} },
194                         {1428000, { 2966422, -169131, 3576}, { 1400000,    0,    0} },
195                         {1530000, { 3049183, -171601, 3576}, { 1400000,    0,    0} },
196                         {1606500, { 3112179, -173451, 3576}, { 1400000,    0,    0} },
197                         {1708500, { 3198504, -175931, 3576}, { 1400000,    0,    0} },
198                         {1810500, { 3304747, -179126, 3576}, { 1400000,    0,    0} },
199                         {      0, {       0,       0,    0}, {       0,    0,    0} },
200                 },
201                 .therm_trips_table = { 20, },
202                 .therm_floors_table = { 1000, },
203         },
204         {
205                 .speedo_id = 2,
206                 .process_id = -1,
207                 .dfll_tune_data  = {
208                         .tune0          = 0x00b0039d,
209                         .tune0_high_mv  = 0x00b0009d,
210                         .tune1          = 0x0000001f,
211                         .droop_rate_min = 1000000,
212                         .tune_high_min_millivolts = 1050,
213                         .min_millivolts = 1000,
214                 },
215                 .max_mv = 1320,
216                 .freqs_mult = KHZ,
217                 .speedo_scale = 100,
218                 .voltage_scale = 1000,
219                 .cvb_table = {
220                         /*f       dfll:  c0,      c1,    c2  pll:   c0,   c1,    c2 */
221                         { 306000, { 2190643, -141851, 3576}, {  900000,    0,    0} },
222                         { 408000, { 2250968, -144331, 3576}, {  950000,    0,    0} },
223                         { 510000, { 2313333, -146811, 3576}, {  970000,    0,    0} },
224                         { 612000, { 2377738, -149291, 3576}, { 1000000,    0,    0} },
225                         { 714000, { 2444183, -151771, 3576}, { 1020000,    0,    0} },
226                         { 816000, { 2512669, -154251, 3576}, { 1020000,    0,    0} },
227                         { 918000, { 2583194, -156731, 3576}, { 1030000,    0,    0} },
228                         {1020000, { 2655759, -159211, 3576}, { 1030000,    0,    0} },
229                         {1122000, { 2730365, -161691, 3576}, { 1090000,    0,    0} },
230                         {1224000, { 2807010, -164171, 3576}, { 1090000,    0,    0} },
231                         {1326000, { 2885696, -166651, 3576}, { 1120000,    0,    0} },
232                         {1428000, { 2966422, -169131, 3576}, { 1400000,    0,    0} },
233                         {1530000, { 3049183, -171601, 3576}, { 1400000,    0,    0} },
234                         {1606500, { 3112179, -173451, 3576}, { 1400000,    0,    0} },
235                         {1708500, { 3198504, -175931, 3576}, { 1400000,    0,    0} },
236                         {1810500, { 3304747, -179126, 3576}, { 1400000,    0,    0} },
237                         {1912500, { 3395401, -181606, 3576}, { 1400000,    0,    0} },
238                         {      0, {       0,       0,    0}, {       0,    0,    0} },
239                 },
240                 .therm_trips_table = { 20, },
241                 .therm_floors_table = { 1000, },
242         },
243 };
244
245 static int cpu_millivolts[MAX_DVFS_FREQS];
246 static int cpu_dfll_millivolts[MAX_DVFS_FREQS];
247
248 static struct dvfs cpu_dvfs = {
249         .clk_name       = "cpu_g",
250         .millivolts     = cpu_millivolts,
251         .dfll_millivolts = cpu_dfll_millivolts,
252         .auto_dvfs      = true,
253         .dvfs_rail      = &tegra11_dvfs_rail_vdd_cpu,
254 };
255
256 /* Core DVFS tables */
257 /* FIXME: real data */
258 static const int core_millivolts[MAX_DVFS_FREQS] = {
259         900, 950, 1000, 1050, 1100, 1120, 1170, 1200, 1250};
260
261 #define CORE_DVFS(_clk_name, _speedo_id, _process_id, _auto, _mult, _freqs...) \
262         {                                                       \
263                 .clk_name       = _clk_name,                    \
264                 .speedo_id      = _speedo_id,                   \
265                 .process_id     = _process_id,                  \
266                 .freqs          = {_freqs},                     \
267                 .freqs_mult     = _mult,                        \
268                 .millivolts     = core_millivolts,              \
269                 .auto_dvfs      = _auto,                        \
270                 .dvfs_rail      = &tegra11_dvfs_rail_vdd_core,  \
271         }
272
273 static struct dvfs core_dvfs_table[] = {
274         /* Core voltages (mV):                   900,    950,   1000,   1050,    1100,    1120,    1170,    1200,    1250 */
275         /* Clock limits for internal blocks, PLLs */
276 #ifndef CONFIG_TEGRA_SIMULATION_PLATFORM
277         CORE_DVFS("emc",    -1, -1, 1, KHZ,        1,      1,      1,      1,  800000,  800000,  933000,  933000, 1066000),
278
279         CORE_DVFS("cpu_lp",  0,  0, 1, KHZ,   228000, 306000, 396000, 510000,  648000,  696000,  696000,  696000,  696000),
280         CORE_DVFS("cpu_lp",  0,  1, 1, KHZ,   324000, 396000, 510000, 612000,  696000,  696000,  696000,  696000,  696000),
281         CORE_DVFS("cpu_lp",  1,  1, 1, KHZ,   324000, 396000, 510000, 612000,  768000,  816000,  816000,  816000,  816000),
282
283         CORE_DVFS("sbus",    0,  0, 1, KHZ,   132000, 188000, 240000, 276000,  324000,  336000,  336000,  336000,  336000),
284         CORE_DVFS("sbus",    0,  1, 1, KHZ,   180000, 228000, 276000, 336000,  336000,  336000,  336000,  336000,  336000),
285         CORE_DVFS("sbus",    1,  1, 1, KHZ,   180000, 228000, 276000, 336000,  372000,  384000,  384000,  384000,  384000),
286
287         CORE_DVFS("vi",     -1,  0, 1, KHZ,   144000, 216000, 240000, 312000,  372000,  408000,  408000,  408000,  408000),
288         CORE_DVFS("vi",     -1,  1, 1, KHZ,   144000, 216000, 240000, 408000,  408000,  408000,  408000,  408000,  408000),
289
290         CORE_DVFS("2d",     -1,  0, 1, KHZ,   192000, 228000, 300000, 396000,  492000,  516000,  552000,  552000,  600000),
291         CORE_DVFS("3d",     -1,  0, 1, KHZ,   192000, 228000, 300000, 396000,  492000,  516000,  552000,  552000,  600000),
292         CORE_DVFS("epp",    -1,  0, 1, KHZ,   192000, 228000, 300000, 396000,  492000,  516000,  552000,  552000,  600000),
293
294         CORE_DVFS("2d",     -1,  1, 1, KHZ,   240000, 300000, 384000, 468000,  528000,  564000,  600000,  636000,  672000),
295         CORE_DVFS("3d",     -1,  1, 1, KHZ,   240000, 300000, 384000, 468000,  528000,  564000,  600000,  636000,  672000),
296         CORE_DVFS("epp",    -1,  1, 1, KHZ,   240000, 300000, 384000, 468000,  528000,  564000,  600000,  636000,  672000),
297
298         CORE_DVFS("msenc",   0,  0, 1, KHZ,   144000, 182000, 240000, 312000,  384000,  408000,  408000,  408000,  408000),
299         CORE_DVFS("se",      0,  0, 1, KHZ,   144000, 182000, 240000, 312000,  384000,  408000,  408000,  408000,  408000),
300         CORE_DVFS("tsec",    0,  0, 1, KHZ,   144000, 182000, 240000, 312000,  384000,  408000,  408000,  408000,  408000),
301         CORE_DVFS("vde",     0,  0, 1, KHZ,   144000, 182000, 240000, 312000,  384000,  408000,  408000,  408000,  408000),
302
303         CORE_DVFS("msenc",   0,  1, 1, KHZ,   204000, 252000, 324000, 408000,  408000,  408000,  408000,  408000,  408000),
304         CORE_DVFS("se",      0,  1, 1, KHZ,   204000, 252000, 324000, 408000,  408000,  408000,  408000,  408000,  408000),
305         CORE_DVFS("tsec",    0,  1, 1, KHZ,   204000, 252000, 324000, 408000,  408000,  408000,  408000,  408000,  408000),
306         CORE_DVFS("vde",     0,  1, 1, KHZ,   204000, 252000, 324000, 408000,  408000,  408000,  408000,  408000,  408000),
307
308         CORE_DVFS("msenc",   1,  1, 1, KHZ,   204000, 252000, 324000, 408000,  456000,  480000,  480000,  480000,  480000),
309         CORE_DVFS("se",      1,  1, 1, KHZ,   204000, 252000, 324000, 408000,  456000,  480000,  480000,  480000,  480000),
310         CORE_DVFS("tsec",    1,  1, 1, KHZ,   204000, 252000, 324000, 408000,  456000,  480000,  480000,  480000,  480000),
311         CORE_DVFS("vde",     1,  1, 1, KHZ,   204000, 252000, 324000, 408000,  456000,  480000,  480000,  480000,  480000),
312
313         CORE_DVFS("host1x",  0,  0, 1, KHZ,   144000, 188000, 240000, 276000,  324000,  336000,  336000,  336000,  336000),
314         CORE_DVFS("host1x",  0,  1, 1, KHZ,   180000, 228000, 276000, 336000,  336000,  336000,  336000,  336000,  336000),
315         CORE_DVFS("host1x",  1,  1, 1, KHZ,   180000, 228000, 276000, 336000,  372000,  384000,  384000,  384000,  384000),
316
317 #ifdef CONFIG_TEGRA_DUAL_CBUS
318         CORE_DVFS("c2bus",  -1,  0, 1, KHZ,   192000, 228000, 300000, 396000,  492000,  516000,  552000,  552000,  600000),
319         CORE_DVFS("c2bus",  -1,  1, 1, KHZ,   240000, 300000, 384000, 468000,  528000,  564000,  600000,  636000,  672000),
320         CORE_DVFS("c3bus",   0,  0, 1, KHZ,   144000, 182000, 240000, 312000,  384000,  408000,  408000,  408000,  408000),
321         CORE_DVFS("c3bus",   0,  1, 1, KHZ,   204000, 252000, 324000, 408000,  408000,  408000,  408000,  408000,  408000),
322         CORE_DVFS("c3bus",   1,  1, 1, KHZ,   204000, 252000, 324000, 408000,  456000,  480000,  480000,  480000,  480000),
323 #else
324         CORE_DVFS("cbus",    0,  0, 1, KHZ,   144000, 182000, 240000, 312000,  384000,  408000,  408000,  408000,  408000),
325         CORE_DVFS("cbus",    0,  1, 1, KHZ,   228000, 288000, 360000, 408000,  408000,  408000,  408000,  408000,  408000),
326         CORE_DVFS("cbus",    1,  1, 1, KHZ,   228000, 288000, 360000, 420000,  468000,  480000,  480000,  480000,  480000),
327 #endif
328
329         CORE_DVFS("pll_m",  -1, -1, 1, KHZ,   800000, 800000, 1066000, 1066000, 1066000, 1066000, 1066000, 1066000, 1066000),
330         CORE_DVFS("pll_c",  -1, -1, 1, KHZ,   800000, 800000, 1066000, 1066000, 1066000, 1066000, 1066000, 1066000, 1066000),
331         CORE_DVFS("pll_c2", -1, -1, 1, KHZ,   800000, 800000, 1066000, 1066000, 1066000, 1066000, 1066000, 1066000, 1066000),
332         CORE_DVFS("pll_c3", -1, -1, 1, KHZ,   800000, 800000, 1066000, 1066000, 1066000, 1066000, 1066000, 1066000, 1066000),
333
334         /* Core voltages (mV):                   900,    950,   1000,   1050,    1100,    1120,    1170,    1200,    1250 */
335         /* Clock limits for I/O peripherals */
336         CORE_DVFS("sbc1",   -1, -1, 1, KHZ,    48000,  48000,  48000,  48000,   52000,   52000,   52000,   52000,   52000),
337         CORE_DVFS("sbc2",   -1, -1, 1, KHZ,    48000,  48000,  48000,  48000,   52000,   52000,   52000,   52000,   52000),
338         CORE_DVFS("sbc3",   -1, -1, 1, KHZ,    48000,  48000,  48000,  48000,   52000,   52000,   52000,   52000,   52000),
339         CORE_DVFS("sbc4",   -1, -1, 1, KHZ,    48000,  48000,  48000,  48000,   52000,   52000,   52000,   52000,   52000),
340         CORE_DVFS("sbc5",   -1, -1, 1, KHZ,    48000,  48000,  48000,  48000,   52000,   52000,   52000,   52000,   52000),
341         CORE_DVFS("sbc6",   -1, -1, 1, KHZ,    48000,  48000,  48000,  48000,   52000,   52000,   52000,   52000,   52000),
342
343         CORE_DVFS("sdmmc1", -1, -1, 1, KHZ,        1,  81600,  81600,  81600,   81600,  156000,  156000,  156000,  156000),
344         CORE_DVFS("sdmmc3", -1, -1, 1, KHZ,        1,  81600,  81600,  81600,   81600,  156000,  156000,  156000,  156000),
345         CORE_DVFS("sdmmc4", -1, -1, 1, KHZ,        1, 102000, 102000, 102000,  102000,  156000,  156000,  156000,  156000),
346
347         CORE_DVFS("hdmi",   -1, -1, 1, KHZ,   148500, 148500, 148500, 297000,  297000,  297000,  297000,  297000,  297000),
348
349         /*
350          * The clock rate for the display controllers that determines the
351          * necessary core voltage depends on a divider that is internal
352          * to the display block.  Disable auto-dvfs on the display clocks,
353          * and let the display driver call tegra_dvfs_set_rate manually
354          */
355         CORE_DVFS("disp1",  -1, -1, 0, KHZ,   166000, 166000, 166000, 297000,  297000,  297000,  297000,  297000,  297000),
356         CORE_DVFS("disp2",  -1, -1, 0, KHZ,   166000, 166000, 166000, 297000,  297000,  297000,  297000,  297000,  297000),
357
358         /* xusb clocks */
359         CORE_DVFS("xusb_falcon_src", -1, -1, 1, KHZ,  1, 336000, 336000, 336000,  336000,  336000,  336000,  336000,  336000),
360         CORE_DVFS("xusb_host_src",   -1, -1, 1, KHZ,  1, 112000, 112000, 112000,  112000,  112000,  112000,  112000,  112000),
361         CORE_DVFS("xusb_dev_src",    -1, -1, 1, KHZ,  1,  58300,  58300, 112000,  112000,  112000,  112000,  112000,  112000),
362         CORE_DVFS("xusb_ss_src",     -1, -1, 1, KHZ,  1, 122400, 122400, 122400,  122400,  122400,  122400,  122400,  122400),
363         CORE_DVFS("xusb_fs_src",     -1, -1, 1, KHZ,  1,  48000,  48000,  48000,   48000,   48000,   48000,   48000,   48000),
364         CORE_DVFS("xusb_hs_src",     -1, -1, 1, KHZ,  1,  61200,  61200,  61200,   61200,   61200,   61200,   61200,   61200),
365 #endif
366 };
367
368 int tegra_dvfs_disable_core_set(const char *arg, const struct kernel_param *kp)
369 {
370         int ret;
371
372         ret = param_set_bool(arg, kp);
373         if (ret)
374                 return ret;
375
376         if (tegra_dvfs_core_disabled)
377                 tegra_dvfs_rail_disable(&tegra11_dvfs_rail_vdd_core);
378         else
379                 tegra_dvfs_rail_enable(&tegra11_dvfs_rail_vdd_core);
380
381         return 0;
382 }
383
384 int tegra_dvfs_disable_cpu_set(const char *arg, const struct kernel_param *kp)
385 {
386         int ret;
387
388         ret = param_set_bool(arg, kp);
389         if (ret)
390                 return ret;
391
392         if (tegra_dvfs_cpu_disabled)
393                 tegra_dvfs_rail_disable(&tegra11_dvfs_rail_vdd_cpu);
394         else
395                 tegra_dvfs_rail_enable(&tegra11_dvfs_rail_vdd_cpu);
396
397         return 0;
398 }
399
400 int tegra_dvfs_disable_get(char *buffer, const struct kernel_param *kp)
401 {
402         return param_get_bool(buffer, kp);
403 }
404
405 static struct kernel_param_ops tegra_dvfs_disable_core_ops = {
406         .set = tegra_dvfs_disable_core_set,
407         .get = tegra_dvfs_disable_get,
408 };
409
410 static struct kernel_param_ops tegra_dvfs_disable_cpu_ops = {
411         .set = tegra_dvfs_disable_cpu_set,
412         .get = tegra_dvfs_disable_get,
413 };
414
415 module_param_cb(disable_core, &tegra_dvfs_disable_core_ops,
416         &tegra_dvfs_core_disabled, 0644);
417 module_param_cb(disable_cpu, &tegra_dvfs_disable_cpu_ops,
418         &tegra_dvfs_cpu_disabled, 0644);
419
420 /*
421  * Validate rail thermal profile, and get its size. Valid profile:
422  * - voltage floors are descending with temperature increasing
423  * - the lowest limit is above rail minimum voltage in pll and
424  *   in dfll mode (if applicable)
425  * - the highest limit is below rail nominal voltage
426  */
427 static int __init get_thermal_profile_size(
428         int *trips_table, int *limits_table,
429         struct dvfs_rail *rail, struct dvfs_dfll_data *d)
430 {
431         int i, min_mv;
432
433         for (i = 0; i < MAX_THERMAL_LIMITS - 1; i++) {
434                 if (!limits_table[i+1])
435                         break;
436
437                 if ((trips_table[i] >= trips_table[i+1]) ||
438                     (limits_table[i] < limits_table[i+1])) {
439                         pr_warning("%s: not ordered profile\n", rail->reg_id);
440                         return -EINVAL;
441                 }
442         }
443
444         min_mv = max(rail->min_millivolts, d ? d->min_millivolts : 0);
445         if (limits_table[i] < min_mv) {
446                 pr_warning("%s: thermal profile below Vmin\n", rail->reg_id);
447                 return -EINVAL;
448         }
449
450         if (limits_table[0] > rail->nominal_millivolts) {
451                 pr_warning("%s: thermal profile above Vmax\n", rail->reg_id);
452                 return -EINVAL;
453         }
454         return i + 1;
455 }
456
457 static void __init init_rail_vmax_thermal_profile(
458         int *therm_trips_table, int *therm_caps_table,
459         struct dvfs_rail *rail, struct dvfs_dfll_data *d)
460 {
461         int i = get_thermal_profile_size(therm_trips_table,
462                                          therm_caps_table, rail, d);
463         if (i <= 0) {
464                 rail->vmax_cdev = NULL;
465                 WARN(1, "%s: invalid Vmax thermal profile\n", rail->reg_id);
466                 return;
467         }
468
469         /* Install validated thermal caps */
470         rail->therm_mv_caps = therm_caps_table;
471         rail->therm_mv_caps_num = i;
472
473         /* Setup trip-points if applicable */
474         if (rail->vmax_cdev) {
475                 rail->vmax_cdev->trip_temperatures_num = i;
476                 rail->vmax_cdev->trip_temperatures = therm_trips_table;
477         }
478 }
479
480 static void __init init_rail_vmin_thermal_profile(
481         int *therm_trips_table, int *therm_floors_table,
482         struct dvfs_rail *rail, struct dvfs_dfll_data *d)
483 {
484         int i = get_thermal_profile_size(therm_trips_table,
485                                          therm_floors_table, rail, d);
486         if (i <= 0) {
487                 rail->vmin_cdev = NULL;
488                 WARN(1, "%s: invalid Vmin thermal profile\n", rail->reg_id);
489                 return;
490         }
491
492         /* Install validated thermal floors */
493         rail->therm_mv_floors = therm_floors_table;
494         rail->therm_mv_floors_num = i;
495
496         /* Setup trip-points if applicable */
497         if (rail->vmin_cdev) {
498                 rail->vmin_cdev->trip_temperatures_num = i;
499                 rail->vmin_cdev->trip_temperatures = therm_trips_table;
500         }
501 }
502
503 static bool __init can_update_max_rate(struct clk *c, struct dvfs *d)
504 {
505         /* Don't update manual dvfs clocks */
506         if (!d->auto_dvfs)
507                 return false;
508
509         /*
510          * Don't update EMC shared bus, since EMC dvfs is board dependent: max
511          * rate and EMC scaling frequencies are determined by tegra BCT (flashed
512          * together with the image) and board specific EMC DFS table; we will
513          * check the scaling ladder against nominal core voltage when the table
514          * is loaded (and if on particular board the table is not loaded, EMC
515          * scaling is disabled).
516          */
517         if (c->ops->shared_bus_update && (c->flags & PERIPH_EMC_ENB))
518                 return false;
519
520         /*
521          * Don't update shared cbus, and don't propagate common cbus dvfs
522          * limit down to shared users, but set maximum rate for each user
523          * equal to the respective client limit.
524          */
525         if (c->ops->shared_bus_update && (c->flags & PERIPH_ON_CBUS)) {
526                 struct clk *user;
527                 unsigned long rate;
528
529                 list_for_each_entry(
530                         user, &c->shared_bus_list, u.shared_bus_user.node) {
531                         if (user->u.shared_bus_user.client) {
532                                 rate = user->u.shared_bus_user.client->max_rate;
533                                 user->max_rate = rate;
534                                 user->u.shared_bus_user.rate = rate;
535                         }
536                 }
537                 return false;
538         }
539
540         /* Other, than EMC and cbus, auto-dvfs clocks can be updated */
541         return true;
542 }
543
544 static void __init init_dvfs_one(struct dvfs *d, int max_freq_index)
545 {
546         int ret;
547         struct clk *c = tegra_get_clock_by_name(d->clk_name);
548
549         if (!c) {
550                 pr_debug("tegra11_dvfs: no clock found for %s\n",
551                         d->clk_name);
552                 return;
553         }
554
555         /* Update max rate for auto-dvfs clocks, with shared bus exceptions */
556         if (can_update_max_rate(c, d)) {
557                 BUG_ON(!d->freqs[max_freq_index]);
558                 tegra_init_max_rate(
559                         c, d->freqs[max_freq_index] * d->freqs_mult);
560         }
561         d->max_millivolts = d->dvfs_rail->nominal_millivolts;
562
563         ret = tegra_enable_dvfs_on_clk(c, d);
564         if (ret)
565                 pr_err("tegra11_dvfs: failed to enable dvfs on %s\n", c->name);
566 }
567
568 static bool __init match_dvfs_one(struct dvfs *d, int speedo_id, int process_id)
569 {
570         if ((d->process_id != -1 && d->process_id != process_id) ||
571                 (d->speedo_id != -1 && d->speedo_id != speedo_id)) {
572                 pr_debug("tegra11_dvfs: rejected %s speedo %d,"
573                         " process %d\n", d->clk_name, d->speedo_id,
574                         d->process_id);
575                 return false;
576         }
577         return true;
578 }
579
580 static bool __init match_cpu_cvb_one(struct cpu_cvb_dvfs *d,
581                                      int speedo_id, int process_id)
582 {
583         if ((d->process_id != -1 && d->process_id != process_id) ||
584                 (d->speedo_id != -1 && d->speedo_id != speedo_id)) {
585                 pr_debug("tegra11_dvfs: rejected cpu cvb speedo %d,"
586                         " process %d\n", d->speedo_id, d->process_id);
587                 return false;
588         }
589         return true;
590 }
591
592 /* cvb_mv = ((c2 * speedo / s_scale + c1) * speedo / s_scale + c0) / v_scale */
593 static inline int get_cvb_voltage(int speedo, int s_scale,
594                                   struct cvb_dvfs_parameters *cvb)
595 {
596         /* apply only speedo scale: output mv = cvb_mv * v_scale */
597         int mv;
598         mv = DIV_ROUND_CLOSEST(cvb->c2 * speedo, s_scale);
599         mv = DIV_ROUND_CLOSEST((mv + cvb->c1) * speedo, s_scale) + cvb->c0;
600         return mv;
601 }
602
603 static inline int round_cvb_voltage(int mv, int v_scale)
604 {
605         /* combined: apply voltage scale and round to cvb alignment step */
606         int cvb_align_step_uv = tegra_get_cvb_alignment_uV();
607
608         return DIV_ROUND_UP(mv * 1000, v_scale * cvb_align_step_uv) *
609                 cvb_align_step_uv / 1000;
610 }
611
612 static inline void override_dfll_min_millivolts(struct cpu_cvb_dvfs *d)
613 {
614         /*
615          * dfll min_millivolts for AP40 sku is different from all other skus
616          * that have the same cvb tables
617          */
618         if (tegra_sku_id == 0x06)
619                 d->dfll_tune_data.min_millivolts = 900;
620 }
621
622 static int __init set_cpu_dvfs_data(
623         struct cpu_cvb_dvfs *d, struct dvfs *cpu_dvfs, int *max_freq_index)
624 {
625         int i, j, mv, dfll_mv, min_dfll_mv;
626         unsigned long fmax_at_vmin = 0;
627         unsigned long fmax_pll_mode = 0;
628         unsigned long fmin_use_dfll = 0;
629         struct cvb_dvfs_table *table = NULL;
630         int speedo = tegra_cpu_speedo_value();
631
632         override_dfll_min_millivolts(d);
633         min_dfll_mv = d->dfll_tune_data.min_millivolts;
634         BUG_ON(min_dfll_mv < tegra11_dvfs_rail_vdd_cpu.min_millivolts);
635
636         /*
637          * Use CVB table to fill in CPU dvfs frequencies and voltages. Each
638          * CVB entry specifies CPU frequency and CVB coefficients to calculate
639          * the respective voltage when either DFLL or PLL is used as CPU clock
640          * source.
641          *
642          * Minimum voltage limit is applied only to DFLL source. For PLL source
643          * voltage can go as low as table specifies. Maximum voltage limit is
644          * applied to both sources, but differently: directly clip voltage for
645          * DFLL, and limit maximum frequency for PLL.
646          */
647         for (i = 0, j = 0; i < MAX_DVFS_FREQS; i++) {
648                 table = &d->cvb_table[i];
649                 if (!table->freq)
650                         break;
651
652                 dfll_mv = get_cvb_voltage(
653                         speedo, d->speedo_scale, &table->cvb_dfll_param);
654                 dfll_mv = round_cvb_voltage(dfll_mv, d->voltage_scale);
655
656                 mv = get_cvb_voltage(
657                         speedo, d->speedo_scale, &table->cvb_pll_param);
658                 mv = round_cvb_voltage(mv, d->voltage_scale);
659
660                 /* Check maximum frequency at minimum voltage for dfll source */
661                 dfll_mv = max(dfll_mv, min_dfll_mv);
662                 if (dfll_mv > min_dfll_mv) {
663                         if (!j)
664                                 break;  /* 1st entry already above Vmin */
665                         if (!fmax_at_vmin)
666                                 fmax_at_vmin = cpu_dvfs->freqs[j - 1];
667                 }
668
669                 /* Clip maximum frequency at maximum voltage for pll source */
670                 if (mv > d->max_mv) {
671                         if (!j)
672                                 break;  /* 1st entry already above Vmax */
673                         if (!fmax_pll_mode)
674                                 fmax_pll_mode = cpu_dvfs->freqs[j - 1];
675                 }
676
677                 /* Minimum rate with pll source voltage above dfll Vmin */
678                 if ((mv >= min_dfll_mv) && (!fmin_use_dfll))
679                         fmin_use_dfll = table->freq;
680
681                 /* fill in dvfs tables */
682                 cpu_dvfs->freqs[j] = table->freq;
683                 cpu_dfll_millivolts[j] = min(dfll_mv, d->max_mv);
684                 cpu_millivolts[j] = mv;
685                 j++;
686
687                 /*
688                  * "Round-up" frequency list cut-off (keep first entry that
689                  *  exceeds max voltage - the voltage limit will be enforced
690                  *  anyway, so when requested this frequency dfll will settle
691                  *  at whatever high frequency it can on the particular chip)
692                  */
693                 if (dfll_mv > d->max_mv)
694                         break;
695         }
696         /* Table must not be empty and must have and at least one entry below,
697            and one entry above Vmin */
698         if (!i || !j || !fmax_at_vmin) {
699                 pr_err("tegra11_dvfs: invalid cpu dvfs table\n");
700                 return -ENOENT;
701         }
702
703         /* Must have crossover between dfll and pll operating ranges */
704         if (!fmin_use_dfll || (fmin_use_dfll > fmax_at_vmin)) {
705                 pr_err("tegra11_dvfs: no crossover of dfll and pll voltages\n");
706                 return -EINVAL;
707         }
708
709         /* dvfs tables are successfully populated - fill in the rest */
710         cpu_dvfs->speedo_id = d->speedo_id;
711         cpu_dvfs->process_id = d->process_id;
712         cpu_dvfs->freqs_mult = d->freqs_mult;
713         cpu_dvfs->dvfs_rail->nominal_millivolts = min(d->max_mv,
714                 max(cpu_millivolts[j - 1], cpu_dfll_millivolts[j - 1]));
715         *max_freq_index = j - 1;
716
717         cpu_dvfs->dfll_data = d->dfll_tune_data;
718         cpu_dvfs->dfll_data.max_rate_boost = fmax_pll_mode ?
719                 (cpu_dvfs->freqs[j - 1] - fmax_pll_mode) * d->freqs_mult : 0;
720         cpu_dvfs->dfll_data.out_rate_min = fmax_at_vmin * d->freqs_mult;
721         cpu_dvfs->dfll_data.use_dfll_rate_min = fmin_use_dfll * d->freqs_mult;
722         cpu_dvfs->dfll_data.min_millivolts = min_dfll_mv;
723
724         return 0;
725 }
726
727 static int __init get_core_nominal_mv_index(int speedo_id)
728 {
729         int i;
730         int mv = tegra_core_speedo_mv();
731         int core_edp_voltage = get_core_edp();
732
733         /*
734          * Start with nominal level for the chips with this speedo_id. Then,
735          * make sure core nominal voltage is below edp limit for the board
736          * (if edp limit is set).
737          */
738         if (!core_edp_voltage)
739                 core_edp_voltage = 1100;        /* default 1.1V EDP limit */
740
741         mv = min(mv, core_edp_voltage);
742
743         /* Round nominal level down to the nearest core scaling step */
744         for (i = 0; i < MAX_DVFS_FREQS; i++) {
745                 if ((core_millivolts[i] == 0) || (mv < core_millivolts[i]))
746                         break;
747         }
748
749         if (i == 0) {
750                 pr_err("tegra11_dvfs: unable to adjust core dvfs table to"
751                        " nominal voltage %d\n", mv);
752                 return -ENOSYS;
753         }
754         return i - 1;
755 }
756
757 int tegra_cpu_dvfs_alter(int edp_thermal_index, const cpumask_t *cpus,
758                          bool before_clk_update, int cpu_event)
759 {
760         /* empty definition for tegra11 */
761         return 0;
762 }
763
764 void __init tegra11x_init_dvfs(void)
765 {
766         int cpu_speedo_id = tegra_cpu_speedo_id();
767         int cpu_process_id = tegra_cpu_process_id();
768         int soc_speedo_id = tegra_soc_speedo_id();
769         int core_process_id = tegra_core_process_id();
770
771         int i, ret;
772         int core_nominal_mv_index;
773         int cpu_max_freq_index = 0;
774
775 #ifndef CONFIG_TEGRA_CORE_DVFS
776         tegra_dvfs_core_disabled = true;
777 #endif
778 #ifndef CONFIG_TEGRA_CPU_DVFS
779         tegra_dvfs_cpu_disabled = true;
780 #endif
781         /* Setup rail bins */
782         tegra11_dvfs_rail_vdd_cpu.stats.bin_uV = tegra_get_cvb_alignment_uV();
783         tegra11_dvfs_rail_vdd_core.stats.bin_uV = tegra_get_cvb_alignment_uV();
784
785         /*
786          * Find nominal voltages for core (1st) and cpu rails before rail
787          * init. Nominal voltage index in core scaling ladder can also be
788          * used to determine max dvfs frequencies for all core clocks. In
789          * case of error disable core scaling and set index to 0, so that
790          * core clocks would not exceed rates allowed at minimum voltage.
791          */
792         core_nominal_mv_index = get_core_nominal_mv_index(soc_speedo_id);
793         if (core_nominal_mv_index < 0) {
794                 tegra11_dvfs_rail_vdd_core.disabled = true;
795                 tegra_dvfs_core_disabled = true;
796                 core_nominal_mv_index = 0;
797         }
798         tegra11_dvfs_rail_vdd_core.nominal_millivolts =
799                 core_millivolts[core_nominal_mv_index];
800
801         /*
802          * Setup cpu dvfs and dfll tables from cvb data, determine nominal
803          * voltage for cpu rail, and cpu maximum frequency. Note that entire
804          * frequency range is guaranteed only when dfll is used as cpu clock
805          * source. Reaching maximum frequency with pll as cpu clock source
806          * may not be possible within nominal voltage range (dvfs mechanism
807          * would automatically fail frequency request in this case, so that
808          * voltage limit is not violated). Error when cpu dvfs table can not
809          * be constructed must never happen.
810          */
811         for (ret = 0, i = 0; i <  ARRAY_SIZE(cpu_cvb_dvfs_table); i++) {
812                 struct cpu_cvb_dvfs *d = &cpu_cvb_dvfs_table[i];
813                 if (match_cpu_cvb_one(d, cpu_speedo_id, cpu_process_id)) {
814                         ret = set_cpu_dvfs_data(
815                                 d, &cpu_dvfs, &cpu_max_freq_index);
816                         break;
817                 }
818         }
819         BUG_ON((i == ARRAY_SIZE(cpu_cvb_dvfs_table)) || ret);
820
821         /* Init thermal limits */
822         init_rail_vmax_thermal_profile(
823                 vdd_cpu_vmax_trips_table, vdd_cpu_therm_caps_table,
824                 &tegra11_dvfs_rail_vdd_cpu, &cpu_dvfs.dfll_data);
825         init_rail_vmin_thermal_profile(cpu_cvb_dvfs_table[i].therm_trips_table,
826                 cpu_cvb_dvfs_table[i].therm_floors_table,
827                 &tegra11_dvfs_rail_vdd_cpu, &cpu_dvfs.dfll_data);
828         init_rail_vmin_thermal_profile(vdd_core_vmin_trips_table,
829                 vdd_core_therm_floors_table, &tegra11_dvfs_rail_vdd_core, NULL);
830
831         /* Init rail structures and dependencies */
832         tegra_dvfs_init_rails(tegra11_dvfs_rails,
833                 ARRAY_SIZE(tegra11_dvfs_rails));
834
835         /* Search core dvfs table for speedo/process matching entries and
836            initialize dvfs-ed clocks */
837         for (i = 0; i <  ARRAY_SIZE(core_dvfs_table); i++) {
838                 struct dvfs *d = &core_dvfs_table[i];
839                 if (!match_dvfs_one(d, soc_speedo_id, core_process_id))
840                         continue;
841                 init_dvfs_one(d, core_nominal_mv_index);
842         }
843
844         /* Initialize matching cpu dvfs entry already found when nominal
845            voltage was determined */
846         init_dvfs_one(&cpu_dvfs, cpu_max_freq_index);
847
848         /* Finally disable dvfs on rails if necessary */
849         if (tegra_dvfs_core_disabled)
850                 tegra_dvfs_rail_disable(&tegra11_dvfs_rail_vdd_core);
851         if (tegra_dvfs_cpu_disabled)
852                 tegra_dvfs_rail_disable(&tegra11_dvfs_rail_vdd_cpu);
853
854         pr_info("tegra dvfs: VDD_CPU nominal %dmV, scaling %s\n",
855                 tegra11_dvfs_rail_vdd_cpu.nominal_millivolts,
856                 tegra_dvfs_cpu_disabled ? "disabled" : "enabled");
857         pr_info("tegra dvfs: VDD_CORE nominal %dmV, scaling %s\n",
858                 tegra11_dvfs_rail_vdd_core.nominal_millivolts,
859                 tegra_dvfs_core_disabled ? "disabled" : "enabled");
860 }
861
862 int tegra_dvfs_rail_disable_prepare(struct dvfs_rail *rail)
863 {
864         return 0;
865 }
866
867 int tegra_dvfs_rail_post_enable(struct dvfs_rail *rail)
868 {
869         return 0;
870 }
871
872 /* Core voltage and bus cap object and tables */
873 static struct kobject *cap_kobj;
874
875 static struct core_dvfs_cap_table tegra11_core_cap_table[] = {
876 #ifdef CONFIG_TEGRA_DUAL_CBUS
877         { .cap_name = "cap.c2bus" },
878         { .cap_name = "cap.c3bus" },
879 #else
880         { .cap_name = "cap.cbus" },
881 #endif
882         { .cap_name = "cap.sclk" },
883         { .cap_name = "cap.emc" },
884 };
885
886 /*
887  * Keep sys file names the same for dual and single cbus configurations to
888  * avoid changes in user space GPU capping interface.
889  */
890 static struct core_bus_cap_table tegra11_bus_cap_table[] = {
891 #ifdef CONFIG_TEGRA_DUAL_CBUS
892         { .cap_name = "cap.profile.c2bus",
893           .refcnt_attr = {.attr = {.name = "cbus_cap_state", .mode = 0644} },
894           .level_attr  = {.attr = {.name = "cbus_cap_level", .mode = 0644} },
895         },
896 #else
897         { .cap_name = "cap.profile.cbus",
898           .refcnt_attr = {.attr = {.name = "cbus_cap_state", .mode = 0644} },
899           .level_attr  = {.attr = {.name = "cbus_cap_level", .mode = 0644} },
900         },
901 #endif
902 };
903
904 static int __init tegra11_dvfs_init_core_cap(void)
905 {
906         int ret;
907
908         cap_kobj = kobject_create_and_add("tegra_cap", kernel_kobj);
909         if (!cap_kobj) {
910                 pr_err("tegra11_dvfs: failed to create sysfs cap object\n");
911                 return 0;
912         }
913
914         ret = tegra_init_shared_bus_cap(
915                 tegra11_bus_cap_table, ARRAY_SIZE(tegra11_bus_cap_table),
916                 cap_kobj);
917         if (ret) {
918                 pr_err("tegra11_dvfs: failed to init bus cap interface (%d)\n",
919                        ret);
920                 kobject_del(cap_kobj);
921                 return 0;
922         }
923
924         ret = tegra_init_core_cap(
925                 tegra11_core_cap_table, ARRAY_SIZE(tegra11_core_cap_table),
926                 core_millivolts, ARRAY_SIZE(core_millivolts), cap_kobj);
927
928         if (ret) {
929                 pr_err("tegra11_dvfs: failed to init core cap interface (%d)\n",
930                        ret);
931                 kobject_del(cap_kobj);
932                 return 0;
933         }
934         pr_info("tegra dvfs: tegra sysfs cap interface is initialized\n");
935
936         return 0;
937 }
938 late_initcall(tegra11_dvfs_init_core_cap);