clocksource: Change __ARCH_HAS_CLOCKSOURCE_DATA to a CONFIG option
[linux-2.6.git] / include / asm-generic / tlb.h
1 /* include/asm-generic/tlb.h
2  *
3  *      Generic TLB shootdown code
4  *
5  * Copyright 2001 Red Hat, Inc.
6  * Based on code from mm/memory.c Copyright Linus Torvalds and others.
7  *
8  * Copyright 2011 Red Hat, Inc., Peter Zijlstra <pzijlstr@redhat.com>
9  *
10  * This program is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU General Public License
12  * as published by the Free Software Foundation; either version
13  * 2 of the License, or (at your option) any later version.
14  */
15 #ifndef _ASM_GENERIC__TLB_H
16 #define _ASM_GENERIC__TLB_H
17
18 #include <linux/swap.h>
19 #include <asm/pgalloc.h>
20 #include <asm/tlbflush.h>
21
22 #ifdef CONFIG_HAVE_RCU_TABLE_FREE
23 /*
24  * Semi RCU freeing of the page directories.
25  *
26  * This is needed by some architectures to implement software pagetable walkers.
27  *
28  * gup_fast() and other software pagetable walkers do a lockless page-table
29  * walk and therefore needs some synchronization with the freeing of the page
30  * directories. The chosen means to accomplish that is by disabling IRQs over
31  * the walk.
32  *
33  * Architectures that use IPIs to flush TLBs will then automagically DTRT,
34  * since we unlink the page, flush TLBs, free the page. Since the disabling of
35  * IRQs delays the completion of the TLB flush we can never observe an already
36  * freed page.
37  *
38  * Architectures that do not have this (PPC) need to delay the freeing by some
39  * other means, this is that means.
40  *
41  * What we do is batch the freed directory pages (tables) and RCU free them.
42  * We use the sched RCU variant, as that guarantees that IRQ/preempt disabling
43  * holds off grace periods.
44  *
45  * However, in order to batch these pages we need to allocate storage, this
46  * allocation is deep inside the MM code and can thus easily fail on memory
47  * pressure. To guarantee progress we fall back to single table freeing, see
48  * the implementation of tlb_remove_table_one().
49  *
50  */
51 struct mmu_table_batch {
52         struct rcu_head         rcu;
53         unsigned int            nr;
54         void                    *tables[0];
55 };
56
57 #define MAX_TABLE_BATCH         \
58         ((PAGE_SIZE - sizeof(struct mmu_table_batch)) / sizeof(void *))
59
60 extern void tlb_table_flush(struct mmu_gather *tlb);
61 extern void tlb_remove_table(struct mmu_gather *tlb, void *table);
62
63 #endif
64
65 /*
66  * If we can't allocate a page to make a big batch of page pointers
67  * to work on, then just handle a few from the on-stack structure.
68  */
69 #define MMU_GATHER_BUNDLE       8
70
71 struct mmu_gather_batch {
72         struct mmu_gather_batch *next;
73         unsigned int            nr;
74         unsigned int            max;
75         struct page             *pages[0];
76 };
77
78 #define MAX_GATHER_BATCH        \
79         ((PAGE_SIZE - sizeof(struct mmu_gather_batch)) / sizeof(void *))
80
81 /* struct mmu_gather is an opaque type used by the mm code for passing around
82  * any data needed by arch specific code for tlb_remove_page.
83  */
84 struct mmu_gather {
85         struct mm_struct        *mm;
86 #ifdef CONFIG_HAVE_RCU_TABLE_FREE
87         struct mmu_table_batch  *batch;
88 #endif
89         unsigned int            need_flush : 1, /* Did free PTEs */
90                                 fast_mode  : 1; /* No batching   */
91
92         unsigned int            fullmm;
93
94         struct mmu_gather_batch *active;
95         struct mmu_gather_batch local;
96         struct page             *__pages[MMU_GATHER_BUNDLE];
97 };
98
99 #define HAVE_GENERIC_MMU_GATHER
100
101 static inline int tlb_fast_mode(struct mmu_gather *tlb)
102 {
103 #ifdef CONFIG_SMP
104         return tlb->fast_mode;
105 #else
106         /*
107          * For UP we don't need to worry about TLB flush
108          * and page free order so much..
109          */
110         return 1;
111 #endif
112 }
113
114 void tlb_gather_mmu(struct mmu_gather *tlb, struct mm_struct *mm, bool fullmm);
115 void tlb_flush_mmu(struct mmu_gather *tlb);
116 void tlb_finish_mmu(struct mmu_gather *tlb, unsigned long start, unsigned long end);
117 int __tlb_remove_page(struct mmu_gather *tlb, struct page *page);
118
119 /* tlb_remove_page
120  *      Similar to __tlb_remove_page but will call tlb_flush_mmu() itself when
121  *      required.
122  */
123 static inline void tlb_remove_page(struct mmu_gather *tlb, struct page *page)
124 {
125         if (!__tlb_remove_page(tlb, page))
126                 tlb_flush_mmu(tlb);
127 }
128
129 /**
130  * tlb_remove_tlb_entry - remember a pte unmapping for later tlb invalidation.
131  *
132  * Record the fact that pte's were really umapped in ->need_flush, so we can
133  * later optimise away the tlb invalidate.   This helps when userspace is
134  * unmapping already-unmapped pages, which happens quite a lot.
135  */
136 #define tlb_remove_tlb_entry(tlb, ptep, address)                \
137         do {                                                    \
138                 tlb->need_flush = 1;                            \
139                 __tlb_remove_tlb_entry(tlb, ptep, address);     \
140         } while (0)
141
142 #define pte_free_tlb(tlb, ptep, address)                        \
143         do {                                                    \
144                 tlb->need_flush = 1;                            \
145                 __pte_free_tlb(tlb, ptep, address);             \
146         } while (0)
147
148 #ifndef __ARCH_HAS_4LEVEL_HACK
149 #define pud_free_tlb(tlb, pudp, address)                        \
150         do {                                                    \
151                 tlb->need_flush = 1;                            \
152                 __pud_free_tlb(tlb, pudp, address);             \
153         } while (0)
154 #endif
155
156 #define pmd_free_tlb(tlb, pmdp, address)                        \
157         do {                                                    \
158                 tlb->need_flush = 1;                            \
159                 __pmd_free_tlb(tlb, pmdp, address);             \
160         } while (0)
161
162 #define tlb_migrate_finish(mm) do {} while (0)
163
164 #endif /* _ASM_GENERIC__TLB_H */