f7ecd38d7e9c074f3065838c452eb6015ee7619e
[linux-3.10.git] / include / linux / percpu_counter.h
1 #ifndef _LINUX_PERCPU_COUNTER_H
2 #define _LINUX_PERCPU_COUNTER_H
3 /*
4  * A simple "approximate counter" for use in ext2 and ext3 superblocks.
5  *
6  * WARNING: these things are HUGE.  4 kbytes per counter on 32-way P4.
7  */
8
9 #include <linux/spinlock.h>
10 #include <linux/smp.h>
11 #include <linux/list.h>
12 #include <linux/threads.h>
13 #include <linux/percpu.h>
14 #include <linux/types.h>
15
16 #ifdef CONFIG_SMP
17
18 struct percpu_counter {
19         spinlock_t lock;
20         s64 count;
21 #ifdef CONFIG_HOTPLUG_CPU
22         struct list_head list;  /* All percpu_counters are on a list */
23 #endif
24         s32 *counters;
25 };
26
27 #if NR_CPUS >= 16
28 #define FBC_BATCH       (NR_CPUS*2)
29 #else
30 #define FBC_BATCH       (NR_CPUS*4)
31 #endif
32
33 int percpu_counter_init(struct percpu_counter *fbc, s64 amount);
34 void percpu_counter_destroy(struct percpu_counter *fbc);
35 void percpu_counter_set(struct percpu_counter *fbc, s64 amount);
36 void __percpu_counter_add(struct percpu_counter *fbc, s64 amount, s32 batch);
37 s64 __percpu_counter_sum(struct percpu_counter *fbc);
38
39 static inline void percpu_counter_add(struct percpu_counter *fbc, s64 amount)
40 {
41         __percpu_counter_add(fbc, amount, FBC_BATCH);
42 }
43
44 static inline s64 percpu_counter_sum_positive(struct percpu_counter *fbc)
45 {
46         s64 ret = __percpu_counter_sum(fbc);
47         return ret < 0 ? 0 : ret;
48 }
49
50 static inline s64 percpu_counter_sum(struct percpu_counter *fbc)
51 {
52         return __percpu_counter_sum(fbc);
53 }
54
55 static inline s64 percpu_counter_read(struct percpu_counter *fbc)
56 {
57         return fbc->count;
58 }
59
60 /*
61  * It is possible for the percpu_counter_read() to return a small negative
62  * number for some counter which should never be negative.
63  *
64  */
65 static inline s64 percpu_counter_read_positive(struct percpu_counter *fbc)
66 {
67         s64 ret = fbc->count;
68
69         barrier();              /* Prevent reloads of fbc->count */
70         if (ret >= 0)
71                 return ret;
72         return 1;
73 }
74
75 #else
76
77 struct percpu_counter {
78         s64 count;
79 };
80
81 static inline int percpu_counter_init(struct percpu_counter *fbc, s64 amount)
82 {
83         fbc->count = amount;
84         return 0;
85 }
86
87 static inline void percpu_counter_destroy(struct percpu_counter *fbc)
88 {
89 }
90
91 static inline void percpu_counter_set(struct percpu_counter *fbc, s64 amount)
92 {
93         fbc->count = amount;
94 }
95
96 #define __percpu_counter_add(fbc, amount, batch) \
97         percpu_counter_add(fbc, amount)
98
99 static inline void
100 percpu_counter_add(struct percpu_counter *fbc, s64 amount)
101 {
102         preempt_disable();
103         fbc->count += amount;
104         preempt_enable();
105 }
106
107 static inline s64 percpu_counter_read(struct percpu_counter *fbc)
108 {
109         return fbc->count;
110 }
111
112 static inline s64 percpu_counter_read_positive(struct percpu_counter *fbc)
113 {
114         return fbc->count;
115 }
116
117 static inline s64 percpu_counter_sum_positive(struct percpu_counter *fbc)
118 {
119         return percpu_counter_read_positive(fbc);
120 }
121
122 static inline s64 percpu_counter_sum(struct percpu_counter *fbc)
123 {
124         return percpu_counter_read(fbc);
125 }
126
127 #endif  /* CONFIG_SMP */
128
129 static inline void percpu_counter_inc(struct percpu_counter *fbc)
130 {
131         percpu_counter_add(fbc, 1);
132 }
133
134 static inline void percpu_counter_dec(struct percpu_counter *fbc)
135 {
136         percpu_counter_add(fbc, -1);
137 }
138
139 static inline void percpu_counter_sub(struct percpu_counter *fbc, s64 amount)
140 {
141         percpu_counter_add(fbc, -amount);
142 }
143
144 #endif /* _LINUX_PERCPU_COUNTER_H */