x86, generic: optimize find_next_(zero_)bit for small constant-size bitmaps
[linux-2.6.git] / include / linux / bitops.h
1 #ifndef _LINUX_BITOPS_H
2 #define _LINUX_BITOPS_H
3 #include <asm/types.h>
4
5 #ifdef  __KERNEL__
6 #define BIT(nr)                 (1UL << (nr))
7 #define BIT_MASK(nr)            (1UL << ((nr) % BITS_PER_LONG))
8 #define BIT_WORD(nr)            ((nr) / BITS_PER_LONG)
9 #define BITS_TO_LONGS(nr)       DIV_ROUND_UP(nr, BITS_PER_LONG)
10 #define BITS_PER_BYTE           8
11 #endif
12
13 /*
14  * Include this here because some architectures need generic_ffs/fls in
15  * scope
16  */
17 #include <asm/bitops.h>
18
19 #define for_each_bit(bit, addr, size) \
20         for ((bit) = find_first_bit((addr), (size)); \
21              (bit) < (size); \
22              (bit) = find_next_bit((addr), (size), (bit) + 1))
23
24
25 static __inline__ int get_bitmask_order(unsigned int count)
26 {
27         int order;
28         
29         order = fls(count);
30         return order;   /* We could be slightly more clever with -1 here... */
31 }
32
33 static __inline__ int get_count_order(unsigned int count)
34 {
35         int order;
36         
37         order = fls(count) - 1;
38         if (count & (count - 1))
39                 order++;
40         return order;
41 }
42
43 static inline unsigned long hweight_long(unsigned long w)
44 {
45         return sizeof(w) == 4 ? hweight32(w) : hweight64(w);
46 }
47
48 /**
49  * rol32 - rotate a 32-bit value left
50  * @word: value to rotate
51  * @shift: bits to roll
52  */
53 static inline __u32 rol32(__u32 word, unsigned int shift)
54 {
55         return (word << shift) | (word >> (32 - shift));
56 }
57
58 /**
59  * ror32 - rotate a 32-bit value right
60  * @word: value to rotate
61  * @shift: bits to roll
62  */
63 static inline __u32 ror32(__u32 word, unsigned int shift)
64 {
65         return (word >> shift) | (word << (32 - shift));
66 }
67
68 /**
69  * rol16 - rotate a 16-bit value left
70  * @word: value to rotate
71  * @shift: bits to roll
72  */
73 static inline __u16 rol16(__u16 word, unsigned int shift)
74 {
75         return (word << shift) | (word >> (16 - shift));
76 }
77
78 /**
79  * ror16 - rotate a 16-bit value right
80  * @word: value to rotate
81  * @shift: bits to roll
82  */
83 static inline __u16 ror16(__u16 word, unsigned int shift)
84 {
85         return (word >> shift) | (word << (16 - shift));
86 }
87
88 /**
89  * rol8 - rotate an 8-bit value left
90  * @word: value to rotate
91  * @shift: bits to roll
92  */
93 static inline __u8 rol8(__u8 word, unsigned int shift)
94 {
95         return (word << shift) | (word >> (8 - shift));
96 }
97
98 /**
99  * ror8 - rotate an 8-bit value right
100  * @word: value to rotate
101  * @shift: bits to roll
102  */
103 static inline __u8 ror8(__u8 word, unsigned int shift)
104 {
105         return (word >> shift) | (word << (8 - shift));
106 }
107
108 static inline unsigned fls_long(unsigned long l)
109 {
110         if (sizeof(l) == 4)
111                 return fls(l);
112         return fls64(l);
113 }
114
115 #ifdef __KERNEL__
116 #ifdef CONFIG_GENERIC_FIND_NEXT_BIT
117 extern unsigned long __find_next_bit(const unsigned long *addr,
118                 unsigned long size, unsigned long offset);
119
120 /**
121  * find_next_bit - find the next set bit in a memory region
122  * @addr: The address to base the search on
123  * @offset: The bitnumber to start searching at
124  * @size: The bitmap size in bits
125  */
126 static __always_inline unsigned long
127 find_next_bit(const unsigned long *addr, unsigned long size,
128                 unsigned long offset)
129 {
130         unsigned long value;
131
132         /* Avoid a function call if the bitmap size is a constant */
133         /* and not bigger than BITS_PER_LONG. */
134
135         /* insert a sentinel so that __ffs returns size if there */
136         /* are no set bits in the bitmap */
137         if (__builtin_constant_p(size) && (size < BITS_PER_LONG)) {
138                 value = (*addr) & ((~0ul) << offset);
139                 value |= (1ul << size);
140                 return __ffs(value);
141         }
142
143         /* the result of __ffs(0) is undefined, so it needs to be */
144         /* handled separately */
145         if (__builtin_constant_p(size) && (size == BITS_PER_LONG)) {
146                 value = (*addr) & ((~0ul) << offset);
147                 return (value == 0) ? BITS_PER_LONG : __ffs(value);
148         }
149
150         /* size is not constant or too big */
151         return __find_next_bit(addr, size, offset);
152 }
153
154 extern unsigned long __find_next_zero_bit(const unsigned long *addr,
155                 unsigned long size, unsigned long offset);
156
157 /**
158  * find_next_zero_bit - find the next cleared bit in a memory region
159  * @addr: The address to base the search on
160  * @offset: The bitnumber to start searching at
161  * @size: The bitmap size in bits
162  */
163 static __always_inline unsigned long
164 find_next_zero_bit(const unsigned long *addr, unsigned long size,
165                 unsigned long offset)
166 {
167         unsigned long value;
168
169         /* Avoid a function call if the bitmap size is a constant */
170         /* and not bigger than BITS_PER_LONG. */
171
172         /* insert a sentinel so that __ffs returns size if there */
173         /* are no set bits in the bitmap */
174         if (__builtin_constant_p(size) && (size < BITS_PER_LONG)) {
175                 value = (~(*addr)) & ((~0ul) << offset);
176                 value |= (1ul << size);
177                 return __ffs(value);
178         }
179
180         /* the result of __ffs(0) is undefined, so it needs to be */
181         /* handled separately */
182         if (__builtin_constant_p(size) && (size == BITS_PER_LONG)) {
183                 value = (~(*addr)) & ((~0ul) << offset);
184                 return (value == 0) ? BITS_PER_LONG : __ffs(value);
185         }
186
187         /* size is not constant or too big */
188         return __find_next_zero_bit(addr, size, offset);
189 }
190 #endif /* CONFIG_GENERIC_FIND_NEXT_BIT */
191 #endif /* __KERNEL__ */
192 #endif