memcg: change page_cgroup_zoneinfo signature
[linux-2.6.git] / include / linux / page_cgroup.h
1 #ifndef __LINUX_PAGE_CGROUP_H
2 #define __LINUX_PAGE_CGROUP_H
3
4 #ifdef CONFIG_CGROUP_MEM_RES_CTLR
5 #include <linux/bit_spinlock.h>
6 /*
7  * Page Cgroup can be considered as an extended mem_map.
8  * A page_cgroup page is associated with every page descriptor. The
9  * page_cgroup helps us identify information about the cgroup
10  * All page cgroups are allocated at boot or memory hotplug event,
11  * then the page cgroup for pfn always exists.
12  */
13 struct page_cgroup {
14         unsigned long flags;
15         struct mem_cgroup *mem_cgroup;
16         struct page *page;
17         struct list_head lru;           /* per cgroup LRU list */
18 };
19
20 void __meminit pgdat_page_cgroup_init(struct pglist_data *pgdat);
21
22 #ifdef CONFIG_SPARSEMEM
23 static inline void __init page_cgroup_init_flatmem(void)
24 {
25 }
26 extern void __init page_cgroup_init(void);
27 #else
28 void __init page_cgroup_init_flatmem(void);
29 static inline void __init page_cgroup_init(void)
30 {
31 }
32 #endif
33
34 struct page_cgroup *lookup_page_cgroup(struct page *page);
35
36 enum {
37         /* flags for mem_cgroup */
38         PCG_LOCK,  /* Lock for pc->mem_cgroup and following bits. */
39         PCG_CACHE, /* charged as cache */
40         PCG_USED, /* this object is in use. */
41         PCG_MIGRATION, /* under page migration */
42         /* flags for mem_cgroup and file and I/O status */
43         PCG_MOVE_LOCK, /* For race between move_account v.s. following bits */
44         PCG_FILE_MAPPED, /* page is accounted as "mapped" */
45         /* No lock in page_cgroup */
46         PCG_ACCT_LRU, /* page has been accounted for (under lru_lock) */
47 };
48
49 #define TESTPCGFLAG(uname, lname)                       \
50 static inline int PageCgroup##uname(struct page_cgroup *pc)     \
51         { return test_bit(PCG_##lname, &pc->flags); }
52
53 #define SETPCGFLAG(uname, lname)                        \
54 static inline void SetPageCgroup##uname(struct page_cgroup *pc)\
55         { set_bit(PCG_##lname, &pc->flags);  }
56
57 #define CLEARPCGFLAG(uname, lname)                      \
58 static inline void ClearPageCgroup##uname(struct page_cgroup *pc)       \
59         { clear_bit(PCG_##lname, &pc->flags);  }
60
61 #define TESTCLEARPCGFLAG(uname, lname)                  \
62 static inline int TestClearPageCgroup##uname(struct page_cgroup *pc)    \
63         { return test_and_clear_bit(PCG_##lname, &pc->flags);  }
64
65 /* Cache flag is set only once (at allocation) */
66 TESTPCGFLAG(Cache, CACHE)
67 CLEARPCGFLAG(Cache, CACHE)
68 SETPCGFLAG(Cache, CACHE)
69
70 TESTPCGFLAG(Used, USED)
71 CLEARPCGFLAG(Used, USED)
72 SETPCGFLAG(Used, USED)
73
74 SETPCGFLAG(AcctLRU, ACCT_LRU)
75 CLEARPCGFLAG(AcctLRU, ACCT_LRU)
76 TESTPCGFLAG(AcctLRU, ACCT_LRU)
77 TESTCLEARPCGFLAG(AcctLRU, ACCT_LRU)
78
79
80 SETPCGFLAG(FileMapped, FILE_MAPPED)
81 CLEARPCGFLAG(FileMapped, FILE_MAPPED)
82 TESTPCGFLAG(FileMapped, FILE_MAPPED)
83
84 SETPCGFLAG(Migration, MIGRATION)
85 CLEARPCGFLAG(Migration, MIGRATION)
86 TESTPCGFLAG(Migration, MIGRATION)
87
88 static inline void lock_page_cgroup(struct page_cgroup *pc)
89 {
90         /*
91          * Don't take this lock in IRQ context.
92          * This lock is for pc->mem_cgroup, USED, CACHE, MIGRATION
93          */
94         bit_spin_lock(PCG_LOCK, &pc->flags);
95 }
96
97 static inline void unlock_page_cgroup(struct page_cgroup *pc)
98 {
99         bit_spin_unlock(PCG_LOCK, &pc->flags);
100 }
101
102 static inline int page_is_cgroup_locked(struct page_cgroup *pc)
103 {
104         return bit_spin_is_locked(PCG_LOCK, &pc->flags);
105 }
106
107 static inline void move_lock_page_cgroup(struct page_cgroup *pc,
108         unsigned long *flags)
109 {
110         /*
111          * We know updates to pc->flags of page cache's stats are from both of
112          * usual context or IRQ context. Disable IRQ to avoid deadlock.
113          */
114         local_irq_save(*flags);
115         bit_spin_lock(PCG_MOVE_LOCK, &pc->flags);
116 }
117
118 static inline void move_unlock_page_cgroup(struct page_cgroup *pc,
119         unsigned long *flags)
120 {
121         bit_spin_unlock(PCG_MOVE_LOCK, &pc->flags);
122         local_irq_restore(*flags);
123 }
124
125 #else /* CONFIG_CGROUP_MEM_RES_CTLR */
126 struct page_cgroup;
127
128 static inline void __meminit pgdat_page_cgroup_init(struct pglist_data *pgdat)
129 {
130 }
131
132 static inline struct page_cgroup *lookup_page_cgroup(struct page *page)
133 {
134         return NULL;
135 }
136
137 static inline void page_cgroup_init(void)
138 {
139 }
140
141 static inline void __init page_cgroup_init_flatmem(void)
142 {
143 }
144
145 #endif
146
147 #include <linux/swap.h>
148
149 #ifdef CONFIG_CGROUP_MEM_RES_CTLR_SWAP
150 extern unsigned short swap_cgroup_cmpxchg(swp_entry_t ent,
151                                         unsigned short old, unsigned short new);
152 extern unsigned short swap_cgroup_record(swp_entry_t ent, unsigned short id);
153 extern unsigned short lookup_swap_cgroup(swp_entry_t ent);
154 extern int swap_cgroup_swapon(int type, unsigned long max_pages);
155 extern void swap_cgroup_swapoff(int type);
156 #else
157
158 static inline
159 unsigned short swap_cgroup_record(swp_entry_t ent, unsigned short id)
160 {
161         return 0;
162 }
163
164 static inline
165 unsigned short lookup_swap_cgroup(swp_entry_t ent)
166 {
167         return 0;
168 }
169
170 static inline int
171 swap_cgroup_swapon(int type, unsigned long max_pages)
172 {
173         return 0;
174 }
175
176 static inline void swap_cgroup_swapoff(int type)
177 {
178         return;
179 }
180
181 #endif
182 #endif