ARM: 6384/1: Remove the domain switching on ARMv6k/v7 CPUs
[linux-3.10.git] / arch / arm / mm / proc-macros.S
1 /*
2  * We need constants.h for:
3  *  VMA_VM_MM
4  *  VMA_VM_FLAGS
5  *  VM_EXEC
6  */
7 #include <asm/asm-offsets.h>
8 #include <asm/thread_info.h>
9
10 /*
11  * vma_vm_mm - get mm pointer from vma pointer (vma->vm_mm)
12  */
13         .macro  vma_vm_mm, rd, rn
14         ldr     \rd, [\rn, #VMA_VM_MM]
15         .endm
16
17 /*
18  * vma_vm_flags - get vma->vm_flags
19  */
20         .macro  vma_vm_flags, rd, rn
21         ldr     \rd, [\rn, #VMA_VM_FLAGS]
22         .endm
23
24         .macro  tsk_mm, rd, rn
25         ldr     \rd, [\rn, #TI_TASK]
26         ldr     \rd, [\rd, #TSK_ACTIVE_MM]
27         .endm
28
29 /*
30  * act_mm - get current->active_mm
31  */
32         .macro  act_mm, rd
33         bic     \rd, sp, #8128
34         bic     \rd, \rd, #63
35         ldr     \rd, [\rd, #TI_TASK]
36         ldr     \rd, [\rd, #TSK_ACTIVE_MM]
37         .endm
38
39 /*
40  * mmid - get context id from mm pointer (mm->context.id)
41  */
42         .macro  mmid, rd, rn
43         ldr     \rd, [\rn, #MM_CONTEXT_ID]
44         .endm
45
46 /*
47  * mask_asid - mask the ASID from the context ID
48  */
49         .macro  asid, rd, rn
50         and     \rd, \rn, #255
51         .endm
52
53         .macro  crval, clear, mmuset, ucset
54 #ifdef CONFIG_MMU
55         .word   \clear
56         .word   \mmuset
57 #else
58         .word   \clear
59         .word   \ucset
60 #endif
61         .endm
62
63 /*
64  * cache_line_size - get the cache line size from the CSIDR register
65  * (available on ARMv7+). It assumes that the CSSR register was configured
66  * to access the L1 data cache CSIDR.
67  */
68         .macro  dcache_line_size, reg, tmp
69         mrc     p15, 1, \tmp, c0, c0, 0         @ read CSIDR
70         and     \tmp, \tmp, #7                  @ cache line size encoding
71         mov     \reg, #16                       @ size offset
72         mov     \reg, \reg, lsl \tmp            @ actual cache line size
73         .endm
74
75
76 /*
77  * Sanity check the PTE configuration for the code below - which makes
78  * certain assumptions about how these bits are layed out.
79  */
80 #ifdef CONFIG_MMU
81 #if L_PTE_SHARED != PTE_EXT_SHARED
82 #error PTE shared bit mismatch
83 #endif
84 #if (L_PTE_EXEC+L_PTE_USER+L_PTE_WRITE+L_PTE_DIRTY+L_PTE_YOUNG+\
85      L_PTE_FILE+L_PTE_PRESENT) > L_PTE_SHARED
86 #error Invalid Linux PTE bit settings
87 #endif
88 #endif  /* CONFIG_MMU */
89
90 /*
91  * The ARMv6 and ARMv7 set_pte_ext translation function.
92  *
93  * Permission translation:
94  *  YUWD  APX AP1 AP0   SVC     User
95  *  0xxx   0   0   0    no acc  no acc
96  *  100x   1   0   1    r/o     no acc
97  *  10x0   1   0   1    r/o     no acc
98  *  1011   0   0   1    r/w     no acc
99  *  110x   0   1   0    r/w     r/o
100  *  11x0   0   1   0    r/w     r/o
101  *  1111   0   1   1    r/w     r/w
102  *
103  * If !CONFIG_CPU_USE_DOMAINS, the following permissions are changed:
104  *  110x   1   1   1    r/o     r/o
105  *  11x0   1   1   1    r/o     r/o
106  */
107         .macro  armv6_mt_table pfx
108 \pfx\()_mt_table:
109         .long   0x00                                            @ L_PTE_MT_UNCACHED
110         .long   PTE_EXT_TEX(1)                                  @ L_PTE_MT_BUFFERABLE
111         .long   PTE_CACHEABLE                                   @ L_PTE_MT_WRITETHROUGH
112         .long   PTE_CACHEABLE | PTE_BUFFERABLE                  @ L_PTE_MT_WRITEBACK
113         .long   PTE_BUFFERABLE                                  @ L_PTE_MT_DEV_SHARED
114         .long   0x00                                            @ unused
115         .long   0x00                                            @ L_PTE_MT_MINICACHE (not present)
116         .long   PTE_EXT_TEX(1) | PTE_CACHEABLE | PTE_BUFFERABLE @ L_PTE_MT_WRITEALLOC
117         .long   0x00                                            @ unused
118         .long   PTE_EXT_TEX(1)                                  @ L_PTE_MT_DEV_WC
119         .long   0x00                                            @ unused
120         .long   PTE_CACHEABLE | PTE_BUFFERABLE                  @ L_PTE_MT_DEV_CACHED
121         .long   PTE_EXT_TEX(2)                                  @ L_PTE_MT_DEV_NONSHARED
122         .long   0x00                                            @ unused
123         .long   0x00                                            @ unused
124         .long   0x00                                            @ unused
125         .endm
126
127         .macro  armv6_set_pte_ext pfx
128         str     r1, [r0], #-2048                @ linux version
129
130         bic     r3, r1, #0x000003fc
131         bic     r3, r3, #PTE_TYPE_MASK
132         orr     r3, r3, r2
133         orr     r3, r3, #PTE_EXT_AP0 | 2
134
135         adr     ip, \pfx\()_mt_table
136         and     r2, r1, #L_PTE_MT_MASK
137         ldr     r2, [ip, r2]
138
139         tst     r1, #L_PTE_WRITE
140         tstne   r1, #L_PTE_DIRTY
141         orreq   r3, r3, #PTE_EXT_APX
142
143         tst     r1, #L_PTE_USER
144         orrne   r3, r3, #PTE_EXT_AP1
145 #ifdef CONFIG_CPU_USE_DOMAINS
146         @ allow kernel read/write access to read-only user pages
147         tstne   r3, #PTE_EXT_APX
148         bicne   r3, r3, #PTE_EXT_APX | PTE_EXT_AP0
149 #endif
150
151         tst     r1, #L_PTE_EXEC
152         orreq   r3, r3, #PTE_EXT_XN
153
154         orr     r3, r3, r2
155
156         tst     r1, #L_PTE_YOUNG
157         tstne   r1, #L_PTE_PRESENT
158         moveq   r3, #0
159
160         str     r3, [r0]
161         mcr     p15, 0, r0, c7, c10, 1          @ flush_pte
162         .endm
163
164
165 /*
166  * The ARMv3, ARMv4 and ARMv5 set_pte_ext translation function,
167  * covering most CPUs except Xscale and Xscale 3.
168  *
169  * Permission translation:
170  *  YUWD   AP   SVC     User
171  *  0xxx  0x00  no acc  no acc
172  *  100x  0x00  r/o     no acc
173  *  10x0  0x00  r/o     no acc
174  *  1011  0x55  r/w     no acc
175  *  110x  0xaa  r/w     r/o
176  *  11x0  0xaa  r/w     r/o
177  *  1111  0xff  r/w     r/w
178  */
179         .macro  armv3_set_pte_ext wc_disable=1
180         str     r1, [r0], #-2048                @ linux version
181
182         eor     r3, r1, #L_PTE_PRESENT | L_PTE_YOUNG | L_PTE_WRITE | L_PTE_DIRTY
183
184         bic     r2, r1, #PTE_SMALL_AP_MASK      @ keep C, B bits
185         bic     r2, r2, #PTE_TYPE_MASK
186         orr     r2, r2, #PTE_TYPE_SMALL
187
188         tst     r3, #L_PTE_USER                 @ user?
189         orrne   r2, r2, #PTE_SMALL_AP_URO_SRW
190
191         tst     r3, #L_PTE_WRITE | L_PTE_DIRTY  @ write and dirty?
192         orreq   r2, r2, #PTE_SMALL_AP_UNO_SRW
193
194         tst     r3, #L_PTE_PRESENT | L_PTE_YOUNG        @ present and young?
195         movne   r2, #0
196
197         .if     \wc_disable
198 #ifdef CONFIG_CPU_DCACHE_WRITETHROUGH
199         tst     r2, #PTE_CACHEABLE
200         bicne   r2, r2, #PTE_BUFFERABLE
201 #endif
202         .endif
203         str     r2, [r0]                        @ hardware version
204         .endm
205
206
207 /*
208  * Xscale set_pte_ext translation, split into two halves to cope
209  * with work-arounds.  r3 must be preserved by code between these
210  * two macros.
211  *
212  * Permission translation:
213  *  YUWD  AP    SVC     User
214  *  0xxx  00    no acc  no acc
215  *  100x  00    r/o     no acc
216  *  10x0  00    r/o     no acc
217  *  1011  01    r/w     no acc
218  *  110x  10    r/w     r/o
219  *  11x0  10    r/w     r/o
220  *  1111  11    r/w     r/w
221  */
222         .macro  xscale_set_pte_ext_prologue
223         str     r1, [r0], #-2048                @ linux version
224
225         eor     r3, r1, #L_PTE_PRESENT | L_PTE_YOUNG | L_PTE_WRITE | L_PTE_DIRTY
226
227         bic     r2, r1, #PTE_SMALL_AP_MASK      @ keep C, B bits
228         orr     r2, r2, #PTE_TYPE_EXT           @ extended page
229
230         tst     r3, #L_PTE_USER                 @ user?
231         orrne   r2, r2, #PTE_EXT_AP_URO_SRW     @ yes -> user r/o, system r/w
232
233         tst     r3, #L_PTE_WRITE | L_PTE_DIRTY  @ write and dirty?
234         orreq   r2, r2, #PTE_EXT_AP_UNO_SRW     @ yes -> user n/a, system r/w
235                                                 @ combined with user -> user r/w
236         .endm
237
238         .macro  xscale_set_pte_ext_epilogue
239         tst     r3, #L_PTE_PRESENT | L_PTE_YOUNG        @ present and young?
240         movne   r2, #0                          @ no -> fault
241
242         str     r2, [r0]                        @ hardware version
243         mov     ip, #0
244         mcr     p15, 0, r0, c7, c10, 1          @ clean L1 D line
245         mcr     p15, 0, ip, c7, c10, 4          @ data write barrier
246         .endm