[XTENSA] Add support for cache-aliasing
[linux-2.6.git] / arch / xtensa / mm / fault.c
1 // TODO VM_EXEC flag work-around, cache aliasing
2 /*
3  * arch/xtensa/mm/fault.c
4  *
5  * This file is subject to the terms and conditions of the GNU General Public
6  * License.  See the file "COPYING" in the main directory of this archive
7  * for more details.
8  *
9  * Copyright (C) 2001 - 2005 Tensilica Inc.
10  *
11  * Chris Zankel <chris@zankel.net>
12  * Joe Taylor   <joe@tensilica.com, joetylr@yahoo.com>
13  */
14
15 #include <linux/mm.h>
16 #include <linux/module.h>
17 #include <asm/mmu_context.h>
18 #include <asm/cacheflush.h>
19 #include <asm/hardirq.h>
20 #include <asm/uaccess.h>
21 #include <asm/system.h>
22 #include <asm/pgalloc.h>
23
24 unsigned long asid_cache = ASID_USER_FIRST;
25 void bad_page_fault(struct pt_regs*, unsigned long, int);
26
27 #undef DEBUG_PAGE_FAULT
28
29 /*
30  * This routine handles page faults.  It determines the address,
31  * and the problem, and then passes it off to one of the appropriate
32  * routines.
33  *
34  * Note: does not handle Miss and MultiHit.
35  */
36
37 void do_page_fault(struct pt_regs *regs)
38 {
39         struct vm_area_struct * vma;
40         struct mm_struct *mm = current->mm;
41         unsigned int exccause = regs->exccause;
42         unsigned int address = regs->excvaddr;
43         siginfo_t info;
44
45         int is_write, is_exec;
46         int fault;
47
48         info.si_code = SEGV_MAPERR;
49
50         /* We fault-in kernel-space virtual memory on-demand. The
51          * 'reference' page table is init_mm.pgd.
52          */
53         if (address >= TASK_SIZE && !user_mode(regs))
54                 goto vmalloc_fault;
55
56         /* If we're in an interrupt or have no user
57          * context, we must not take the fault..
58          */
59         if (in_atomic() || !mm) {
60                 bad_page_fault(regs, address, SIGSEGV);
61                 return;
62         }
63
64         is_write = (exccause == EXCCAUSE_STORE_CACHE_ATTRIBUTE) ? 1 : 0;
65         is_exec =  (exccause == EXCCAUSE_ITLB_PRIVILEGE ||
66                     exccause == EXCCAUSE_ITLB_MISS ||
67                     exccause == EXCCAUSE_FETCH_CACHE_ATTRIBUTE) ? 1 : 0;
68
69 #ifdef DEBUG_PAGE_FAULT
70         printk("[%s:%d:%08x:%d:%08x:%s%s]\n", current->comm, current->pid,
71                address, exccause, regs->pc, is_write? "w":"", is_exec? "x":"");
72 #endif
73
74         down_read(&mm->mmap_sem);
75         vma = find_vma(mm, address);
76
77         if (!vma)
78                 goto bad_area;
79         if (vma->vm_start <= address)
80                 goto good_area;
81         if (!(vma->vm_flags & VM_GROWSDOWN))
82                 goto bad_area;
83         if (expand_stack(vma, address))
84                 goto bad_area;
85
86         /* Ok, we have a good vm_area for this memory access, so
87          * we can handle it..
88          */
89
90 good_area:
91         info.si_code = SEGV_ACCERR;
92
93         if (is_write) {
94                 if (!(vma->vm_flags & VM_WRITE))
95                         goto bad_area;
96         } else if (is_exec) {
97                 if (!(vma->vm_flags & VM_EXEC))
98                         goto bad_area;
99         } else  /* Allow read even from write-only pages. */
100                 if (!(vma->vm_flags & (VM_READ | VM_WRITE)))
101                         goto bad_area;
102
103         /* If for any reason at all we couldn't handle the fault,
104          * make sure we exit gracefully rather than endlessly redo
105          * the fault.
106          */
107 survive:
108         fault = handle_mm_fault(mm, vma, address, is_write);
109         if (unlikely(fault & VM_FAULT_ERROR)) {
110                 if (fault & VM_FAULT_OOM)
111                         goto out_of_memory;
112                 else if (fault & VM_FAULT_SIGBUS)
113                         goto do_sigbus;
114                 BUG();
115         }
116         if (fault & VM_FAULT_MAJOR)
117                 current->maj_flt++;
118         else
119                 current->min_flt++;
120
121         up_read(&mm->mmap_sem);
122         return;
123
124         /* Something tried to access memory that isn't in our memory map..
125          * Fix it, but check if it's kernel or user first..
126          */
127 bad_area:
128         up_read(&mm->mmap_sem);
129         if (user_mode(regs)) {
130                 current->thread.bad_vaddr = address;
131                 current->thread.error_code = is_write;
132                 info.si_signo = SIGSEGV;
133                 info.si_errno = 0;
134                 /* info.si_code has been set above */
135                 info.si_addr = (void *) address;
136                 force_sig_info(SIGSEGV, &info, current);
137                 return;
138         }
139         bad_page_fault(regs, address, SIGSEGV);
140         return;
141
142
143         /* We ran out of memory, or some other thing happened to us that made
144          * us unable to handle the page fault gracefully.
145          */
146 out_of_memory:
147         up_read(&mm->mmap_sem);
148         if (is_init(current)) {
149                 yield();
150                 down_read(&mm->mmap_sem);
151                 goto survive;
152         }
153         printk("VM: killing process %s\n", current->comm);
154         if (user_mode(regs))
155                 do_exit(SIGKILL);
156         bad_page_fault(regs, address, SIGKILL);
157         return;
158
159 do_sigbus:
160         up_read(&mm->mmap_sem);
161
162         /* Send a sigbus, regardless of whether we were in kernel
163          * or user mode.
164          */
165         current->thread.bad_vaddr = address;
166         info.si_code = SIGBUS;
167         info.si_errno = 0;
168         info.si_code = BUS_ADRERR;
169         info.si_addr = (void *) address;
170         force_sig_info(SIGBUS, &info, current);
171
172         /* Kernel mode? Handle exceptions or die */
173         if (!user_mode(regs))
174                 bad_page_fault(regs, address, SIGBUS);
175
176 vmalloc_fault:
177         {
178                 /* Synchronize this task's top level page-table
179                  * with the 'reference' page table.
180                  */
181                 struct mm_struct *act_mm = current->active_mm;
182                 int index = pgd_index(address);
183                 pgd_t *pgd, *pgd_k;
184                 pmd_t *pmd, *pmd_k;
185                 pte_t *pte_k;
186
187                 if (act_mm == NULL)
188                         goto bad_page_fault;
189
190                 pgd = act_mm->pgd + index;
191                 pgd_k = init_mm.pgd + index;
192
193                 if (!pgd_present(*pgd_k))
194                         goto bad_page_fault;
195
196                 pgd_val(*pgd) = pgd_val(*pgd_k);
197
198                 pmd = pmd_offset(pgd, address);
199                 pmd_k = pmd_offset(pgd_k, address);
200                 if (!pmd_present(*pmd) || !pmd_present(*pmd_k))
201                         goto bad_page_fault;
202
203                 pmd_val(*pmd) = pmd_val(*pmd_k);
204                 pte_k = pte_offset_kernel(pmd_k, address);
205
206                 if (!pte_present(*pte_k))
207                         goto bad_page_fault;
208                 return;
209         }
210 bad_page_fault:
211         bad_page_fault(regs, address, SIGKILL);
212         return;
213 }
214
215
216 void
217 bad_page_fault(struct pt_regs *regs, unsigned long address, int sig)
218 {
219         extern void die(const char*, struct pt_regs*, long);
220         const struct exception_table_entry *entry;
221
222         /* Are we prepared to handle this kernel fault?  */
223         if ((entry = search_exception_tables(regs->pc)) != NULL) {
224 #ifdef DEBUG_PAGE_FAULT
225                 printk(KERN_DEBUG "%s: Exception at pc=%#010lx (%lx)\n",
226                                 current->comm, regs->pc, entry->fixup);
227 #endif
228                 current->thread.bad_uaddr = address;
229                 regs->pc = entry->fixup;
230                 return;
231         }
232
233         /* Oops. The kernel tried to access some bad page. We'll have to
234          * terminate things with extreme prejudice.
235          */
236         printk(KERN_ALERT "Unable to handle kernel paging request at virtual "
237                "address %08lx\n pc = %08lx, ra = %08lx\n",
238                address, regs->pc, regs->areg[0]);
239         die("Oops", regs, sig);
240         do_exit(sig);
241 }
242