Remove obsolete #include <linux/config.h>
[linux-2.6.git] / arch / frv / mm / tlb-miss.S
1 /* tlb-miss.S: TLB miss handlers
2  *
3  * Copyright (C) 2004 Red Hat, Inc. All Rights Reserved.
4  * Written by David Howells (dhowells@redhat.com)
5  *
6  * This program is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU General Public License
8  * as published by the Free Software Foundation; either version
9  * 2 of the License, or (at your option) any later version.
10  */
11
12 #include <linux/sys.h>
13 #include <linux/linkage.h>
14 #include <asm/page.h>
15 #include <asm/pgtable.h>
16 #include <asm/highmem.h>
17 #include <asm/spr-regs.h>
18
19         .section        .text
20         .balign         4
21
22         .globl          __entry_insn_mmu_miss
23 __entry_insn_mmu_miss:
24         break
25         nop
26
27         .globl          __entry_insn_mmu_exception
28 __entry_insn_mmu_exception:
29         break
30         nop
31
32         .globl          __entry_data_mmu_miss
33 __entry_data_mmu_miss:
34         break
35         nop
36
37         .globl          __entry_data_mmu_exception
38 __entry_data_mmu_exception:
39         break
40         nop
41
42 ###############################################################################
43 #
44 # handle a lookup failure of one sort or another in a kernel TLB handler
45 # On entry:
46 #   GR29 - faulting address
47 #   SCR2 - saved CCR
48 #
49 ###############################################################################
50         .type           __tlb_kernel_fault,@function
51 __tlb_kernel_fault:
52         # see if we're supposed to re-enable single-step mode upon return
53         sethi.p         %hi(__break_tlb_miss_return_break),gr30
54         setlo           %lo(__break_tlb_miss_return_break),gr30
55         movsg           pcsr,gr31
56
57         subcc           gr31,gr30,gr0,icc0
58         beq             icc0,#0,__tlb_kernel_fault_sstep
59
60         movsg           scr2,gr30
61         movgs           gr30,ccr
62         movgs           gr29,scr2                       /* save EAR0 value */
63         sethi.p         %hi(__kernel_current_task),gr29
64         setlo           %lo(__kernel_current_task),gr29
65         ldi.p           @(gr29,#0),gr29                 /* restore GR29 */
66
67         bra             __entry_kernel_handle_mmu_fault
68
69         # we've got to re-enable single-stepping
70 __tlb_kernel_fault_sstep:
71         sethi.p         %hi(__break_tlb_miss_real_return_info),gr30
72         setlo           %lo(__break_tlb_miss_real_return_info),gr30
73         lddi            @(gr30,0),gr30
74         movgs           gr30,pcsr
75         movgs           gr31,psr
76
77         movsg           scr2,gr30
78         movgs           gr30,ccr
79         movgs           gr29,scr2                       /* save EAR0 value */
80         sethi.p         %hi(__kernel_current_task),gr29
81         setlo           %lo(__kernel_current_task),gr29
82         ldi.p           @(gr29,#0),gr29                 /* restore GR29 */
83         bra             __entry_kernel_handle_mmu_fault_sstep
84
85         .size           __tlb_kernel_fault, .-__tlb_kernel_fault
86
87 ###############################################################################
88 #
89 # handle a lookup failure of one sort or another in a user TLB handler
90 # On entry:
91 #   GR28 - faulting address
92 #   SCR2 - saved CCR
93 #
94 ###############################################################################
95         .type           __tlb_user_fault,@function
96 __tlb_user_fault:
97         # see if we're supposed to re-enable single-step mode upon return
98         sethi.p         %hi(__break_tlb_miss_return_break),gr30
99         setlo           %lo(__break_tlb_miss_return_break),gr30
100         movsg           pcsr,gr31
101         subcc           gr31,gr30,gr0,icc0
102         beq             icc0,#0,__tlb_user_fault_sstep
103
104         movsg           scr2,gr30
105         movgs           gr30,ccr
106         bra             __entry_uspace_handle_mmu_fault
107
108         # we've got to re-enable single-stepping
109 __tlb_user_fault_sstep:
110         sethi.p         %hi(__break_tlb_miss_real_return_info),gr30
111         setlo           %lo(__break_tlb_miss_real_return_info),gr30
112         lddi            @(gr30,0),gr30
113         movgs           gr30,pcsr
114         movgs           gr31,psr
115         movsg           scr2,gr30
116         movgs           gr30,ccr
117         bra             __entry_uspace_handle_mmu_fault_sstep
118
119         .size           __tlb_user_fault, .-__tlb_user_fault
120
121 ###############################################################################
122 #
123 # Kernel instruction TLB miss handler
124 # On entry:
125 #   GR1   - kernel stack pointer
126 #   GR28  - saved exception frame pointer
127 #   GR29  - faulting address
128 #   GR31  - EAR0 ^ SCR0
129 #   SCR0  - base of virtual range covered by cached PGE from last ITLB miss (or 0xffffffff)
130 #   DAMR3 - mapped page directory
131 #   DAMR4 - mapped page table as matched by SCR0
132 #
133 ###############################################################################
134         .globl          __entry_kernel_insn_tlb_miss
135         .type           __entry_kernel_insn_tlb_miss,@function
136 __entry_kernel_insn_tlb_miss:
137 #if 0
138         sethi.p         %hi(0xe1200004),gr30
139         setlo           %lo(0xe1200004),gr30
140         st              gr0,@(gr30,gr0)
141         sethi.p         %hi(0xffc00100),gr30
142         setlo           %lo(0xffc00100),gr30
143         sth             gr30,@(gr30,gr0)
144         membar
145 #endif
146
147         movsg           ccr,gr30                        /* save CCR */
148         movgs           gr30,scr2
149
150         # see if the cached page table mapping is appropriate
151         srlicc.p        gr31,#26,gr0,icc0
152         setlos          0x3ffc,gr30
153         srli.p          gr29,#12,gr31                   /* use EAR0[25:14] as PTE index */
154         bne             icc0,#0,__itlb_k_PTD_miss
155
156 __itlb_k_PTD_mapped:
157         # access the PTD with EAR0[25:14]
158         # - DAMLR4 points to the virtual address of the appropriate page table
159         # - the PTD holds 4096 PTEs
160         # - the PTD must be accessed uncached
161         # - the PTE must be marked accessed if it was valid
162         #
163         and             gr31,gr30,gr31
164         movsg           damlr4,gr30
165         add             gr30,gr31,gr31
166         ldi             @(gr31,#0),gr30                 /* fetch the PTE */
167         andicc          gr30,#_PAGE_PRESENT,gr0,icc0
168         ori.p           gr30,#_PAGE_ACCESSED,gr30
169         beq             icc0,#0,__tlb_kernel_fault      /* jump if PTE invalid */
170         sti.p           gr30,@(gr31,#0)                 /* update the PTE */
171         andi            gr30,#~_PAGE_ACCESSED,gr30
172
173         # we're using IAMR1 as an extra TLB entry
174         # - punt the entry here (if valid) to the real TLB and then replace with the new PTE
175         # - need to check DAMR1 lest we cause an multiple-DAT-hit exception
176         # - IAMPR1 has no WP bit, and we mustn't lose WP information
177         movsg           iampr1,gr31
178         andicc          gr31,#xAMPRx_V,gr0,icc0
179         setlos.p        0xfffff000,gr31
180         beq             icc0,#0,__itlb_k_nopunt         /* punt not required */
181
182         movsg           iamlr1,gr31
183         movgs           gr31,tplr                       /* set TPLR.CXN */
184         tlbpr           gr31,gr0,#4,#0                  /* delete matches from TLB, IAMR1, DAMR1 */
185
186         movsg           dampr1,gr31
187         ori             gr31,#xAMPRx_V,gr31             /* entry was invalidated by tlbpr #4 */
188         movgs           gr31,tppr
189         movsg           iamlr1,gr31                     /* set TPLR.CXN */
190         movgs           gr31,tplr
191         tlbpr           gr31,gr0,#2,#0                  /* save to the TLB */
192         movsg           tpxr,gr31                       /* check the TLB write error flag */
193         andicc.p        gr31,#TPXR_E,gr0,icc0
194         setlos          #0xfffff000,gr31
195         bne             icc0,#0,__tlb_kernel_fault
196
197 __itlb_k_nopunt:
198
199         # assemble the new TLB entry
200         and             gr29,gr31,gr29
201         movsg           cxnr,gr31
202         or              gr29,gr31,gr29
203         movgs           gr29,iamlr1                     /* xAMLR = address | context number */
204         movgs           gr30,iampr1
205         movgs           gr29,damlr1
206         movgs           gr30,dampr1
207
208         # return, restoring registers
209         movsg           scr2,gr30
210         movgs           gr30,ccr
211         sethi.p         %hi(__kernel_current_task),gr29
212         setlo           %lo(__kernel_current_task),gr29
213         ldi             @(gr29,#0),gr29
214         rett            #0
215         beq             icc0,#3,0                       /* prevent icache prefetch */
216
217         # the PTE we want wasn't in the PTD we have mapped, so we need to go looking for a more
218         # appropriate page table and map that instead
219         #   - access the PGD with EAR0[31:26]
220         #   - DAMLR3 points to the virtual address of the page directory
221         #   - the PGD holds 64 PGEs and each PGE/PME points to a set of page tables
222 __itlb_k_PTD_miss:
223         srli            gr29,#26,gr31                   /* calculate PGE offset */
224         slli            gr31,#8,gr31                    /* and clear bottom bits */
225
226         movsg           damlr3,gr30
227         ld              @(gr31,gr30),gr30               /* access the PGE */
228
229         andicc.p        gr30,#_PAGE_PRESENT,gr0,icc0
230         andicc          gr30,#xAMPRx_SS,gr0,icc1
231
232         # map this PTD instead and record coverage address
233         ori.p           gr30,#xAMPRx_L|xAMPRx_SS_16Kb|xAMPRx_S|xAMPRx_C|xAMPRx_V,gr30
234         beq             icc0,#0,__tlb_kernel_fault      /* jump if PGE not present */
235         slli.p          gr31,#18,gr31
236         bne             icc1,#0,__itlb_k_bigpage
237         movgs           gr30,dampr4
238         movgs           gr31,scr0
239
240         # we can now resume normal service
241         setlos          0x3ffc,gr30
242         srli.p          gr29,#12,gr31                   /* use EAR0[25:14] as PTE index */
243         bra             __itlb_k_PTD_mapped
244
245 __itlb_k_bigpage:
246         break
247         nop
248
249         .size           __entry_kernel_insn_tlb_miss, .-__entry_kernel_insn_tlb_miss
250
251 ###############################################################################
252 #
253 # Kernel data TLB miss handler
254 # On entry:
255 #   GR1   - kernel stack pointer
256 #   GR28  - saved exception frame pointer
257 #   GR29  - faulting address
258 #   GR31  - EAR0 ^ SCR1
259 #   SCR1  - base of virtual range covered by cached PGE from last DTLB miss (or 0xffffffff)
260 #   DAMR3 - mapped page directory
261 #   DAMR5 - mapped page table as matched by SCR1
262 #
263 ###############################################################################
264         .globl          __entry_kernel_data_tlb_miss
265         .type           __entry_kernel_data_tlb_miss,@function
266 __entry_kernel_data_tlb_miss:
267 #if 0
268         sethi.p         %hi(0xe1200004),gr30
269         setlo           %lo(0xe1200004),gr30
270         st              gr0,@(gr30,gr0)
271         sethi.p         %hi(0xffc00100),gr30
272         setlo           %lo(0xffc00100),gr30
273         sth             gr30,@(gr30,gr0)
274         membar
275 #endif
276
277         movsg           ccr,gr30                        /* save CCR */
278         movgs           gr30,scr2
279
280         # see if the cached page table mapping is appropriate
281         srlicc.p        gr31,#26,gr0,icc0
282         setlos          0x3ffc,gr30
283         srli.p          gr29,#12,gr31                   /* use EAR0[25:14] as PTE index */
284         bne             icc0,#0,__dtlb_k_PTD_miss
285
286 __dtlb_k_PTD_mapped:
287         # access the PTD with EAR0[25:14]
288         # - DAMLR5 points to the virtual address of the appropriate page table
289         # - the PTD holds 4096 PTEs
290         # - the PTD must be accessed uncached
291         # - the PTE must be marked accessed if it was valid
292         #
293         and             gr31,gr30,gr31
294         movsg           damlr5,gr30
295         add             gr30,gr31,gr31
296         ldi             @(gr31,#0),gr30                 /* fetch the PTE */
297         andicc          gr30,#_PAGE_PRESENT,gr0,icc0
298         ori.p           gr30,#_PAGE_ACCESSED,gr30
299         beq             icc0,#0,__tlb_kernel_fault      /* jump if PTE invalid */
300         sti.p           gr30,@(gr31,#0)                 /* update the PTE */
301         andi            gr30,#~_PAGE_ACCESSED,gr30
302
303         # we're using DAMR1 as an extra TLB entry
304         # - punt the entry here (if valid) to the real TLB and then replace with the new PTE
305         # - need to check IAMR1 lest we cause an multiple-DAT-hit exception
306         movsg           dampr1,gr31
307         andicc          gr31,#xAMPRx_V,gr0,icc0
308         setlos.p        0xfffff000,gr31
309         beq             icc0,#0,__dtlb_k_nopunt         /* punt not required */
310
311         movsg           damlr1,gr31
312         movgs           gr31,tplr                       /* set TPLR.CXN */
313         tlbpr           gr31,gr0,#4,#0                  /* delete matches from TLB, IAMR1, DAMR1 */
314
315         movsg           dampr1,gr31
316         ori             gr31,#xAMPRx_V,gr31             /* entry was invalidated by tlbpr #4 */
317         movgs           gr31,tppr
318         movsg           damlr1,gr31                     /* set TPLR.CXN */
319         movgs           gr31,tplr
320         tlbpr           gr31,gr0,#2,#0                  /* save to the TLB */
321         movsg           tpxr,gr31                       /* check the TLB write error flag */
322         andicc.p        gr31,#TPXR_E,gr0,icc0
323         setlos          #0xfffff000,gr31
324         bne             icc0,#0,__tlb_kernel_fault
325
326 __dtlb_k_nopunt:
327
328         # assemble the new TLB entry
329         and             gr29,gr31,gr29
330         movsg           cxnr,gr31
331         or              gr29,gr31,gr29
332         movgs           gr29,iamlr1                     /* xAMLR = address | context number */
333         movgs           gr30,iampr1
334         movgs           gr29,damlr1
335         movgs           gr30,dampr1
336
337         # return, restoring registers
338         movsg           scr2,gr30
339         movgs           gr30,ccr
340         sethi.p         %hi(__kernel_current_task),gr29
341         setlo           %lo(__kernel_current_task),gr29
342         ldi             @(gr29,#0),gr29
343         rett            #0
344         beq             icc0,#3,0                       /* prevent icache prefetch */
345
346         # the PTE we want wasn't in the PTD we have mapped, so we need to go looking for a more
347         # appropriate page table and map that instead
348         #   - access the PGD with EAR0[31:26]
349         #   - DAMLR3 points to the virtual address of the page directory
350         #   - the PGD holds 64 PGEs and each PGE/PME points to a set of page tables
351 __dtlb_k_PTD_miss:
352         srli            gr29,#26,gr31                   /* calculate PGE offset */
353         slli            gr31,#8,gr31                    /* and clear bottom bits */
354
355         movsg           damlr3,gr30
356         ld              @(gr31,gr30),gr30               /* access the PGE */
357
358         andicc.p        gr30,#_PAGE_PRESENT,gr0,icc0
359         andicc          gr30,#xAMPRx_SS,gr0,icc1
360
361         # map this PTD instead and record coverage address
362         ori.p           gr30,#xAMPRx_L|xAMPRx_SS_16Kb|xAMPRx_S|xAMPRx_C|xAMPRx_V,gr30
363         beq             icc0,#0,__tlb_kernel_fault      /* jump if PGE not present */
364         slli.p          gr31,#18,gr31
365         bne             icc1,#0,__dtlb_k_bigpage
366         movgs           gr30,dampr5
367         movgs           gr31,scr1
368
369         # we can now resume normal service
370         setlos          0x3ffc,gr30
371         srli.p          gr29,#12,gr31                   /* use EAR0[25:14] as PTE index */
372         bra             __dtlb_k_PTD_mapped
373
374 __dtlb_k_bigpage:
375         break
376         nop
377
378         .size           __entry_kernel_data_tlb_miss, .-__entry_kernel_data_tlb_miss
379
380 ###############################################################################
381 #
382 # Userspace instruction TLB miss handler (with PGE prediction)
383 # On entry:
384 #   GR28  - faulting address
385 #   GR31  - EAR0 ^ SCR0
386 #   SCR0  - base of virtual range covered by cached PGE from last ITLB miss (or 0xffffffff)
387 #   DAMR3 - mapped page directory
388 #   DAMR4 - mapped page table as matched by SCR0
389 #
390 ###############################################################################
391         .globl          __entry_user_insn_tlb_miss
392         .type           __entry_user_insn_tlb_miss,@function
393 __entry_user_insn_tlb_miss:
394 #if 0
395         sethi.p         %hi(0xe1200004),gr30
396         setlo           %lo(0xe1200004),gr30
397         st              gr0,@(gr30,gr0)
398         sethi.p         %hi(0xffc00100),gr30
399         setlo           %lo(0xffc00100),gr30
400         sth             gr30,@(gr30,gr0)
401         membar
402 #endif
403
404         movsg           ccr,gr30                        /* save CCR */
405         movgs           gr30,scr2
406
407         # see if the cached page table mapping is appropriate
408         srlicc.p        gr31,#26,gr0,icc0
409         setlos          0x3ffc,gr30
410         srli.p          gr28,#12,gr31                   /* use EAR0[25:14] as PTE index */
411         bne             icc0,#0,__itlb_u_PTD_miss
412
413 __itlb_u_PTD_mapped:
414         # access the PTD with EAR0[25:14]
415         # - DAMLR4 points to the virtual address of the appropriate page table
416         # - the PTD holds 4096 PTEs
417         # - the PTD must be accessed uncached
418         # - the PTE must be marked accessed if it was valid
419         #
420         and             gr31,gr30,gr31
421         movsg           damlr4,gr30
422         add             gr30,gr31,gr31
423         ldi             @(gr31,#0),gr30                 /* fetch the PTE */
424         andicc          gr30,#_PAGE_PRESENT,gr0,icc0
425         ori.p           gr30,#_PAGE_ACCESSED,gr30
426         beq             icc0,#0,__tlb_user_fault        /* jump if PTE invalid */
427         sti.p           gr30,@(gr31,#0)                 /* update the PTE */
428         andi            gr30,#~_PAGE_ACCESSED,gr30
429
430         # we're using IAMR1/DAMR1 as an extra TLB entry
431         # - punt the entry here (if valid) to the real TLB and then replace with the new PTE
432         movsg           dampr1,gr31
433         andicc          gr31,#xAMPRx_V,gr0,icc0
434         setlos.p        0xfffff000,gr31
435         beq             icc0,#0,__itlb_u_nopunt         /* punt not required */
436
437         movsg           dampr1,gr31
438         movgs           gr31,tppr
439         movsg           damlr1,gr31                     /* set TPLR.CXN */
440         movgs           gr31,tplr
441         tlbpr           gr31,gr0,#2,#0                  /* save to the TLB */
442         movsg           tpxr,gr31                       /* check the TLB write error flag */
443         andicc.p        gr31,#TPXR_E,gr0,icc0
444         setlos          #0xfffff000,gr31
445         bne             icc0,#0,__tlb_user_fault
446
447 __itlb_u_nopunt:
448
449         # assemble the new TLB entry
450         and             gr28,gr31,gr28
451         movsg           cxnr,gr31
452         or              gr28,gr31,gr28
453         movgs           gr28,iamlr1                     /* xAMLR = address | context number */
454         movgs           gr30,iampr1
455         movgs           gr28,damlr1
456         movgs           gr30,dampr1
457
458         # return, restoring registers
459         movsg           scr2,gr30
460         movgs           gr30,ccr
461         rett            #0
462         beq             icc0,#3,0                       /* prevent icache prefetch */
463
464         # the PTE we want wasn't in the PTD we have mapped, so we need to go looking for a more
465         # appropriate page table and map that instead
466         #   - access the PGD with EAR0[31:26]
467         #   - DAMLR3 points to the virtual address of the page directory
468         #   - the PGD holds 64 PGEs and each PGE/PME points to a set of page tables
469 __itlb_u_PTD_miss:
470         srli            gr28,#26,gr31                   /* calculate PGE offset */
471         slli            gr31,#8,gr31                    /* and clear bottom bits */
472
473         movsg           damlr3,gr30
474         ld              @(gr31,gr30),gr30               /* access the PGE */
475
476         andicc.p        gr30,#_PAGE_PRESENT,gr0,icc0
477         andicc          gr30,#xAMPRx_SS,gr0,icc1
478
479         # map this PTD instead and record coverage address
480         ori.p           gr30,#xAMPRx_L|xAMPRx_SS_16Kb|xAMPRx_S|xAMPRx_C|xAMPRx_V,gr30
481         beq             icc0,#0,__tlb_user_fault        /* jump if PGE not present */
482         slli.p          gr31,#18,gr31
483         bne             icc1,#0,__itlb_u_bigpage
484         movgs           gr30,dampr4
485         movgs           gr31,scr0
486
487         # we can now resume normal service
488         setlos          0x3ffc,gr30
489         srli.p          gr28,#12,gr31                   /* use EAR0[25:14] as PTE index */
490         bra             __itlb_u_PTD_mapped
491
492 __itlb_u_bigpage:
493         break
494         nop
495
496         .size           __entry_user_insn_tlb_miss, .-__entry_user_insn_tlb_miss
497
498 ###############################################################################
499 #
500 # Userspace data TLB miss handler
501 # On entry:
502 #   GR28  - faulting address
503 #   GR31  - EAR0 ^ SCR1
504 #   SCR1  - base of virtual range covered by cached PGE from last DTLB miss (or 0xffffffff)
505 #   DAMR3 - mapped page directory
506 #   DAMR5 - mapped page table as matched by SCR1
507 #
508 ###############################################################################
509         .globl          __entry_user_data_tlb_miss
510         .type           __entry_user_data_tlb_miss,@function
511 __entry_user_data_tlb_miss:
512 #if 0
513         sethi.p         %hi(0xe1200004),gr30
514         setlo           %lo(0xe1200004),gr30
515         st              gr0,@(gr30,gr0)
516         sethi.p         %hi(0xffc00100),gr30
517         setlo           %lo(0xffc00100),gr30
518         sth             gr30,@(gr30,gr0)
519         membar
520 #endif
521
522         movsg           ccr,gr30                        /* save CCR */
523         movgs           gr30,scr2
524
525         # see if the cached page table mapping is appropriate
526         srlicc.p        gr31,#26,gr0,icc0
527         setlos          0x3ffc,gr30
528         srli.p          gr28,#12,gr31                   /* use EAR0[25:14] as PTE index */
529         bne             icc0,#0,__dtlb_u_PTD_miss
530
531 __dtlb_u_PTD_mapped:
532         # access the PTD with EAR0[25:14]
533         # - DAMLR5 points to the virtual address of the appropriate page table
534         # - the PTD holds 4096 PTEs
535         # - the PTD must be accessed uncached
536         # - the PTE must be marked accessed if it was valid
537         #
538         and             gr31,gr30,gr31
539         movsg           damlr5,gr30
540
541 __dtlb_u_using_iPTD:
542         add             gr30,gr31,gr31
543         ldi             @(gr31,#0),gr30                 /* fetch the PTE */
544         andicc          gr30,#_PAGE_PRESENT,gr0,icc0
545         ori.p           gr30,#_PAGE_ACCESSED,gr30
546         beq             icc0,#0,__tlb_user_fault        /* jump if PTE invalid */
547         sti.p           gr30,@(gr31,#0)                 /* update the PTE */
548         andi            gr30,#~_PAGE_ACCESSED,gr30
549
550         # we're using DAMR1 as an extra TLB entry
551         # - punt the entry here (if valid) to the real TLB and then replace with the new PTE
552         movsg           dampr1,gr31
553         andicc          gr31,#xAMPRx_V,gr0,icc0
554         setlos.p        0xfffff000,gr31
555         beq             icc0,#0,__dtlb_u_nopunt         /* punt not required */
556
557         movsg           dampr1,gr31
558         movgs           gr31,tppr
559         movsg           damlr1,gr31                     /* set TPLR.CXN */
560         movgs           gr31,tplr
561         tlbpr           gr31,gr0,#2,#0                  /* save to the TLB */
562         movsg           tpxr,gr31                       /* check the TLB write error flag */
563         andicc.p        gr31,#TPXR_E,gr0,icc0
564         setlos          #0xfffff000,gr31
565         bne             icc0,#0,__tlb_user_fault
566
567 __dtlb_u_nopunt:
568
569         # assemble the new TLB entry
570         and             gr28,gr31,gr28
571         movsg           cxnr,gr31
572         or              gr28,gr31,gr28
573         movgs           gr28,iamlr1                     /* xAMLR = address | context number */
574         movgs           gr30,iampr1
575         movgs           gr28,damlr1
576         movgs           gr30,dampr1
577
578         # return, restoring registers
579         movsg           scr2,gr30
580         movgs           gr30,ccr
581         rett            #0
582         beq             icc0,#3,0                       /* prevent icache prefetch */
583
584         # the PTE we want wasn't in the PTD we have mapped, so we need to go looking for a more
585         # appropriate page table and map that instead
586         #   - first of all, check the insn PGE cache - we may well get a hit there
587         #   - access the PGD with EAR0[31:26]
588         #   - DAMLR3 points to the virtual address of the page directory
589         #   - the PGD holds 64 PGEs and each PGE/PME points to a set of page tables
590 __dtlb_u_PTD_miss:
591         movsg           scr0,gr31                       /* consult the insn-PGE-cache key */
592         xor             gr28,gr31,gr31
593         srlicc          gr31,#26,gr0,icc0
594         srli            gr28,#12,gr31                   /* use EAR0[25:14] as PTE index */
595         bne             icc0,#0,__dtlb_u_iPGE_miss
596
597         # what we're looking for is covered by the insn-PGE-cache
598         setlos          0x3ffc,gr30
599         and             gr31,gr30,gr31
600         movsg           damlr4,gr30
601         bra             __dtlb_u_using_iPTD
602
603 __dtlb_u_iPGE_miss:
604         srli            gr28,#26,gr31                   /* calculate PGE offset */
605         slli            gr31,#8,gr31                    /* and clear bottom bits */
606
607         movsg           damlr3,gr30
608         ld              @(gr31,gr30),gr30               /* access the PGE */
609
610         andicc.p        gr30,#_PAGE_PRESENT,gr0,icc0
611         andicc          gr30,#xAMPRx_SS,gr0,icc1
612
613         # map this PTD instead and record coverage address
614         ori.p           gr30,#xAMPRx_L|xAMPRx_SS_16Kb|xAMPRx_S|xAMPRx_C|xAMPRx_V,gr30
615         beq             icc0,#0,__tlb_user_fault        /* jump if PGE not present */
616         slli.p          gr31,#18,gr31
617         bne             icc1,#0,__dtlb_u_bigpage
618         movgs           gr30,dampr5
619         movgs           gr31,scr1
620
621         # we can now resume normal service
622         setlos          0x3ffc,gr30
623         srli.p          gr28,#12,gr31                   /* use EAR0[25:14] as PTE index */
624         bra             __dtlb_u_PTD_mapped
625
626 __dtlb_u_bigpage:
627         break
628         nop
629
630         .size           __entry_user_data_tlb_miss, .-__entry_user_data_tlb_miss