nohz: stat: Fix CPU iowait time accounting
[linux-2.6.git] / fs / proc / stat.c
1 #include <linux/cpumask.h>
2 #include <linux/fs.h>
3 #include <linux/init.h>
4 #include <linux/interrupt.h>
5 #include <linux/kernel_stat.h>
6 #include <linux/proc_fs.h>
7 #include <linux/sched.h>
8 #include <linux/seq_file.h>
9 #include <linux/slab.h>
10 #include <linux/time.h>
11 #include <linux/irqnr.h>
12 #include <asm/cputime.h>
13 #include <linux/tick.h>
14
15 #ifndef arch_irq_stat_cpu
16 #define arch_irq_stat_cpu(cpu) 0
17 #endif
18 #ifndef arch_irq_stat
19 #define arch_irq_stat() 0
20 #endif
21
22 #ifdef arch_idle_time
23
24 static cputime64_t get_idle_time(int cpu)
25 {
26         cputime64_t idle;
27
28         idle = kcpustat_cpu(cpu).cpustat[CPUTIME_IDLE];
29         if (cpu_online(cpu) && !nr_iowait_cpu(cpu))
30                 idle += arch_idle_time(cpu);
31         return idle;
32 }
33
34 static cputime64_t get_iowait_time(int cpu)
35 {
36         cputime64_t iowait;
37
38         iowait = kcpustat_cpu(cpu).cpustat[CPUTIME_IOWAIT];
39         if (cpu_online(cpu) && nr_iowait_cpu(cpu))
40                 iowait += arch_idle_time(cpu);
41         return iowait;
42 }
43
44 #else
45
46 static u64 get_idle_time(int cpu)
47 {
48         u64 idle, idle_time = -1ULL;
49
50         idle_time = get_cpu_idle_time_us(cpu, NULL);
51
52         if (idle_time == -1ULL)
53                 /* !NO_HZ so we can rely on cpustat.idle */
54                 idle = kcpustat_cpu(cpu).cpustat[CPUTIME_IDLE];
55         else
56                 idle = usecs_to_cputime64(idle_time);
57
58         return idle;
59 }
60
61 static u64 get_iowait_time(int cpu)
62 {
63         u64 iowait, iowait_time = -1ULL;
64
65         iowait_time = get_cpu_iowait_time_us(cpu, NULL);
66
67         if (iowait_time == -1ULL)
68                 /* !NO_HZ so we can rely on cpustat.iowait */
69                 iowait = kcpustat_cpu(cpu).cpustat[CPUTIME_IOWAIT];
70         else
71                 iowait = usecs_to_cputime64(iowait_time);
72
73         return iowait;
74 }
75
76 #endif
77
78 static int show_stat(struct seq_file *p, void *v)
79 {
80         int i, j;
81         unsigned long jif;
82         u64 user, nice, system, idle, iowait, irq, softirq, steal;
83         u64 guest, guest_nice;
84         u64 sum = 0;
85         u64 sum_softirq = 0;
86         unsigned int per_softirq_sums[NR_SOFTIRQS] = {0};
87         struct timespec boottime;
88
89         user = nice = system = idle = iowait =
90                 irq = softirq = steal = 0;
91         guest = guest_nice = 0;
92         getboottime(&boottime);
93         jif = boottime.tv_sec;
94
95         for_each_possible_cpu(i) {
96                 user += kcpustat_cpu(i).cpustat[CPUTIME_USER];
97                 nice += kcpustat_cpu(i).cpustat[CPUTIME_NICE];
98                 system += kcpustat_cpu(i).cpustat[CPUTIME_SYSTEM];
99                 idle += get_idle_time(i);
100                 iowait += get_iowait_time(i);
101                 irq += kcpustat_cpu(i).cpustat[CPUTIME_IRQ];
102                 softirq += kcpustat_cpu(i).cpustat[CPUTIME_SOFTIRQ];
103                 steal += kcpustat_cpu(i).cpustat[CPUTIME_STEAL];
104                 guest += kcpustat_cpu(i).cpustat[CPUTIME_GUEST];
105                 guest_nice += kcpustat_cpu(i).cpustat[CPUTIME_GUEST_NICE];
106                 sum += kstat_cpu_irqs_sum(i);
107                 sum += arch_irq_stat_cpu(i);
108
109                 for (j = 0; j < NR_SOFTIRQS; j++) {
110                         unsigned int softirq_stat = kstat_softirqs_cpu(j, i);
111
112                         per_softirq_sums[j] += softirq_stat;
113                         sum_softirq += softirq_stat;
114                 }
115         }
116         sum += arch_irq_stat();
117
118         seq_puts(p, "cpu ");
119         seq_put_decimal_ull(p, ' ', cputime64_to_clock_t(user));
120         seq_put_decimal_ull(p, ' ', cputime64_to_clock_t(nice));
121         seq_put_decimal_ull(p, ' ', cputime64_to_clock_t(system));
122         seq_put_decimal_ull(p, ' ', cputime64_to_clock_t(idle));
123         seq_put_decimal_ull(p, ' ', cputime64_to_clock_t(iowait));
124         seq_put_decimal_ull(p, ' ', cputime64_to_clock_t(irq));
125         seq_put_decimal_ull(p, ' ', cputime64_to_clock_t(softirq));
126         seq_put_decimal_ull(p, ' ', cputime64_to_clock_t(steal));
127         seq_put_decimal_ull(p, ' ', cputime64_to_clock_t(guest));
128         seq_put_decimal_ull(p, ' ', cputime64_to_clock_t(guest_nice));
129         seq_putc(p, '\n');
130
131 #if defined(CONFIG_REPORT_PRESENT_CPUS)
132         for_each_present_cpu(i) {
133 #else
134         for_each_online_cpu(i) {
135 #endif
136
137                 /* Copy values here to work around gcc-2.95.3, gcc-2.96 */
138                 user = kcpustat_cpu(i).cpustat[CPUTIME_USER];
139                 nice = kcpustat_cpu(i).cpustat[CPUTIME_NICE];
140                 system = kcpustat_cpu(i).cpustat[CPUTIME_SYSTEM];
141                 idle = get_idle_time(i);
142                 iowait = get_iowait_time(i);
143                 irq = kcpustat_cpu(i).cpustat[CPUTIME_IRQ];
144                 softirq = kcpustat_cpu(i).cpustat[CPUTIME_SOFTIRQ];
145                 steal = kcpustat_cpu(i).cpustat[CPUTIME_STEAL];
146                 guest = kcpustat_cpu(i).cpustat[CPUTIME_GUEST];
147                 guest_nice = kcpustat_cpu(i).cpustat[CPUTIME_GUEST_NICE];
148                 seq_printf(p, "cpu%d", i);
149                 seq_put_decimal_ull(p, ' ', cputime64_to_clock_t(user));
150                 seq_put_decimal_ull(p, ' ', cputime64_to_clock_t(nice));
151                 seq_put_decimal_ull(p, ' ', cputime64_to_clock_t(system));
152                 seq_put_decimal_ull(p, ' ', cputime64_to_clock_t(idle));
153                 seq_put_decimal_ull(p, ' ', cputime64_to_clock_t(iowait));
154                 seq_put_decimal_ull(p, ' ', cputime64_to_clock_t(irq));
155                 seq_put_decimal_ull(p, ' ', cputime64_to_clock_t(softirq));
156                 seq_put_decimal_ull(p, ' ', cputime64_to_clock_t(steal));
157                 seq_put_decimal_ull(p, ' ', cputime64_to_clock_t(guest));
158                 seq_put_decimal_ull(p, ' ', cputime64_to_clock_t(guest_nice));
159                 seq_putc(p, '\n');
160         }
161         seq_printf(p, "intr %llu", (unsigned long long)sum);
162
163         /* sum again ? it could be updated? */
164         for_each_irq_nr(j)
165                 seq_put_decimal_ull(p, ' ', kstat_irqs(j));
166
167         seq_printf(p,
168                 "\nctxt %llu\n"
169                 "btime %lu\n"
170                 "processes %lu\n"
171                 "procs_running %lu\n"
172                 "procs_blocked %lu\n",
173                 nr_context_switches(),
174                 (unsigned long)jif,
175                 total_forks,
176                 nr_running(),
177                 nr_iowait());
178
179         seq_printf(p, "softirq %llu", (unsigned long long)sum_softirq);
180
181         for (i = 0; i < NR_SOFTIRQS; i++)
182                 seq_put_decimal_ull(p, ' ', per_softirq_sums[i]);
183         seq_putc(p, '\n');
184
185         return 0;
186 }
187
188 static int stat_open(struct inode *inode, struct file *file)
189 {
190         unsigned size = 1024 + 128 * num_possible_cpus();
191         char *buf;
192         struct seq_file *m;
193         int res;
194
195         /* minimum size to display an interrupt count : 2 bytes */
196         size += 2 * nr_irqs;
197
198         /* don't ask for more than the kmalloc() max size */
199         if (size > KMALLOC_MAX_SIZE)
200                 size = KMALLOC_MAX_SIZE;
201         buf = kmalloc(size, GFP_KERNEL);
202         if (!buf)
203                 return -ENOMEM;
204
205         res = single_open(file, show_stat, NULL);
206         if (!res) {
207                 m = file->private_data;
208                 m->buf = buf;
209                 m->size = ksize(buf);
210         } else
211                 kfree(buf);
212         return res;
213 }
214
215 static const struct file_operations proc_stat_operations = {
216         .open           = stat_open,
217         .read           = seq_read,
218         .llseek         = seq_lseek,
219         .release        = single_release,
220 };
221
222 static int __init proc_stat_init(void)
223 {
224         proc_create("stat", 0, NULL, &proc_stat_operations);
225         return 0;
226 }
227 module_init(proc_stat_init);