cris build fixes: corrected and improved NMI and IRQ handling
[linux-3.10.git] / arch / cris / arch-v10 / kernel / entry.S
1 /* $Id: entry.S,v 1.28 2005/06/20 05:06:30 starvik Exp $
2  *
3  *  linux/arch/cris/entry.S
4  *
5  *  Copyright (C) 2000, 2001, 2002 Axis Communications AB
6  *
7  *  Authors:    Bjorn Wesen (bjornw@axis.com)
8  *
9  *  $Log: entry.S,v $
10  *  Revision 1.28  2005/06/20 05:06:30  starvik
11  *  Remove unnecessary diff to kernel.org tree
12  *
13  *  Revision 1.27  2005/03/04 08:16:16  starvik
14  *  Merge of Linux 2.6.11.
15  *
16  *  Revision 1.26  2005/01/11 13:49:47  starvik
17  *  Added NMI handler.
18  *
19  *  Revision 1.25  2004/12/27 11:18:32  starvik
20  *  Merge of Linux 2.6.10 (not functional yet).
21  *
22  *  Revision 1.24  2004/12/22 10:41:23  starvik
23  *  Updates to make v10 compile with the latest SMP aware generic code (even
24  *  though v10 will never have SMP).
25  *
26  *  Revision 1.23  2004/10/19 13:07:37  starvik
27  *  Merge of Linux 2.6.9
28  *
29  *  Revision 1.22  2004/06/21 10:29:55  starvik
30  *  Merge of Linux 2.6.7
31  *
32  *  Revision 1.21  2004/06/09 05:30:27  starvik
33  *  Clean up multiple interrupt handling.
34  *    Prevent interrupts from interrupting each other.
35  *    Handle all active interrupts.
36  *
37  *  Revision 1.20  2004/06/08 08:55:32  starvik
38  *  Removed unused code
39  *
40  *  Revision 1.19  2004/06/04 11:56:15  starvik
41  *  Implemented page table lookup for refills in assembler for improved performance.
42  *
43  *  Revision 1.18  2004/05/11 12:28:25  starvik
44  *  Merge of Linux 2.6.6
45  *
46  *  Revision 1.17  2003/09/11 07:29:49  starvik
47  *  Merge of Linux 2.6.0-test5
48  *
49  *  Revision 1.16  2003/07/04 08:27:41  starvik
50  *  Merge of Linux 2.5.74
51  *
52  *  Revision 1.15  2003/04/09 07:32:55  starvik
53  *  resume should return task_struct, not thread_info
54  *
55  *  Revision 1.14  2003/04/09 05:20:44  starvik
56  *  Merge of Linux 2.5.67
57  *
58  *  Revision 1.13  2002/12/11 15:42:02  starvik
59  *  Extracted v10 (ETRAX 100LX) specific stuff from arch/cris/kernel/*.c
60  *
61  *  Revision 1.12  2002/12/10 09:00:10  starvik
62  *  Merge of Linux 2.5.51
63  *
64  *  Revision 1.11  2002/12/05 07:53:10  starvik
65  *  Corrected constants used with btstq
66  *
67  *  Revision 1.10  2002/11/27 08:45:10  starvik
68  *  pid is in task_struct, not thread_info
69  *
70  *  Revision 1.9  2002/11/26 09:52:05  starvik
71  *  Added preemptive kernel scheduling (if CONFIG_PREEMPT)
72  *
73  *  Revision 1.8  2002/11/20 11:56:11  starvik
74  *  Merge of Linux 2.5.48
75  *
76  *  Revision 1.7  2002/11/18 13:02:42  starvik
77  *  Added fourth parameter to do_notify_resume
78  *  Minor cleanup
79  *
80  *  Revision 1.6  2002/11/11 10:37:50  starvik
81  *  Use new asm-offset defines
82  *  Modified for new location of current->work etc
83  *  Removed SYMBOL_NAME from syscalls
84  *  Added some new syscalls
85  *
86  *  Revision 1.5  2002/11/05 06:45:11  starvik
87  *  Merge of Linux 2.5.45
88  *
89  *  Revision 1.4  2002/02/05 15:41:31  bjornw
90  *  Rewritten to conform better to current 2.5 code (similar to arch/i386)
91  *
92  *  Revision 1.3  2002/01/21 15:22:20  bjornw
93  *  NICE_DOGGY fix from 2.4 arch/cris
94  *
95  *  Revision 1.37  2001/12/07 17:03:55  bjornw
96  *  Call a c-hook called watchdog_bite_hook instead of show_registers directly
97  *
98  *  Revision 1.36  2001/11/22 13:36:36  bjornw
99  *  * In ret_from_intr, check regs->dccr for usermode reentrance instead of
100  *    DCCR explicitly (because the latter might not reflect current reality)
101  *  * In mmu_bus_fault, set $r9 _after_ calling the C-code instead of before
102  *    since $r9 is call-clobbered and is potentially needed afterwards
103  *
104  *  Revision 1.35  2001/10/30 17:10:15  bjornw
105  *  Add some syscalls
106  *
107  *  Revision 1.34  2001/10/01 14:45:03  bjornw
108  *  Removed underscores and added register prefixes
109  *
110  *  Revision 1.33  2001/08/21 13:48:01  jonashg
111  *  Added fix by HP to avoid oops when doing a hard_reset_now.
112  *
113  *  Revision 1.32  2001/08/14 04:32:02  hp
114  *  In _resume, add comment why R9 is saved; don't sound like it's call-saved.
115  *
116  *  Revision 1.31  2001/07/25 16:07:42  bjornw
117  *  softirq_active/mask -> softirq_pending only
118  *
119  *  Revision 1.30  2001/07/05 01:03:32  hp
120  *  - include asm/errno.h to get ENOSYS.
121  *  - Use ENOSYS, not local constant LENOSYS; tweak comments.
122  *  - Explain why .include, not #include is used.
123  *  - Make oops-register-dump if watchdog bits and it's not expected.
124  *  - Don't jsr, use jump _hard_reset_now, and skip spurious nop.
125  *  - Use correct section attribute for section .rodata.
126  *  - Adjust sys_ni_syscall fill number.
127  *
128  *  Revision 1.29  2001/06/25 14:07:00  hp
129  *      Fix review comment.
130  *      * head.S: Use IO_STATE, IO_FIELD and IO_MASK constructs instead of
131  *      magic numbers.  Add comment that -traditional must not be used.
132  *      * entry.S (SYMBOL_NAME): Change redefinition to use ## concatenation.
133  *      Correct and update comment.
134  *      * Makefile (.S.o): Don't use -traditional.  Add comment why the
135  *      toplevel rule can't be used (now that there's a reason).
136  *
137  *  Revision 1.28  2001/06/21 02:00:40  hp
138  *      * entry.S: Include asm/unistd.h.
139  *      (_sys_call_table): Use section .rodata, not .data.
140  *      (_kernel_thread): Move from...
141  *      * process.c: ... here.
142  *      * entryoffsets.c (VAL): Break out from...
143  *      (OF): Use VAL.
144  *      (LCLONE_VM): New asmified value from CLONE_VM.
145  *
146  *  Revision 1.27  2001/05/29 11:25:27  markusl
147  *  In case of "spurious_interrupt", do hard_reset instead of hanging system in a loop...
148  *
149  *  Revision 1.26  2001/05/15 15:46:03  bjornw
150  *  Include config.h now that we use some CONFIG_ options
151  *
152  *  Revision 1.25  2001/05/15 05:38:47  hp
153  *  Tweaked code in _ret_from_sys_call
154  *
155  *  Revision 1.24  2001/05/15 05:27:49  hp
156  *  Save r9 in r1 over function call rather than on stack.
157  *
158  *  Revision 1.23  2001/05/15 05:10:00  hp
159  *  Generate entry.S structure offsets from C
160  *
161  *  Revision 1.22  2001/04/17 13:58:39  orjanf
162  *  * Renamed CONFIG_KGDB to CONFIG_ETRAX_KGDB.
163  *
164  *  Revision 1.21  2001/04/17 11:33:29  orjanf
165  *  Updated according to review:
166  *  * Included asm/sv_addr_ag.h to get macro for internal register.
167  *  * Corrected comment regarding system call argument passing.
168  *  * Removed comment about instruction being in a delay slot.
169  *  * Added comment about SYMBOL_NAME macro.
170  *
171  *  Revision 1.20  2001/04/12 08:51:07  hp
172  *  - Add entry for sys_fcntl64.  In fact copy last piece from i386 including ...
173  *  - .rept to fill table to safe state with sys_ni_syscall.
174  *
175  *  Revision 1.19  2001/04/04 09:43:32  orjanf
176  *  * Moved do_sigtrap from traps.c to entry.S.
177  *  * LTASK_PID need not be global anymore.
178  *
179  *  Revision 1.18  2001/03/26 09:25:02  markusl
180  *  Updated after review, should now handle USB interrupts correctly.
181  *
182  *  Revision 1.17  2001/03/21 16:12:55  bjornw
183  *  * Always make room for the cpu status record in the frame, in order to
184  *    use the same framelength and layout for both mmu busfaults and normal
185  *    irqs. No need to check for the explicit CRIS_FRAME_FIXUP type anymore.
186  *  * Fixed bug with using addq for popping the stack in the epilogue - it
187  *    destroyed the flag register. Use instructions that don't affect the
188  *    flag register instead.
189  *  * Removed write to R_PORT_PA_DATA during spurious_interrupt
190  *
191  *  Revision 1.16  2001/03/20 19:43:02  bjornw
192  *  * Get rid of esp0 setting
193  *  * Give a 7th argument to a systemcall - the stackframe
194  *
195  *  Revision 1.15  2001/03/05 13:14:30  bjornw
196  *  Spelling fix
197  *
198  *  Revision 1.14  2001/02/23 08:36:36  perf
199  *  New ABI; syscallnr=r9, arg5=mof, arg6=srp.
200  *  Corrected tracesys call check.
201  *
202  *  Revision 1.13  2001/02/15 08:40:55  perf
203  *  H-P by way of perf;
204  *  - (_system_call): Don't read system call function address into r1.
205  *  - (RBFExit): There is no such thing as a null pop.  Adjust sp by addq.
206  *  - (_system_call): Don't use r10 and don't save and restore it.
207  *  - (THREAD_ESP0): New constant.
208  *  - (_system_call): Inline set_esp0.
209  *
210  *  Revision 1.12  2001/01/31 17:56:25  orjanf
211  *  Added definition of LTASK_PID and made it global.
212  *
213  *  Revision 1.11  2001/01/10 21:13:29  bjornw
214  *  SYMBOL_NAME is defined incorrectly for the compiler options we currently use
215  *
216  *  Revision 1.10  2000/12/18 23:47:56  bjornw
217  *  * Added syscall trace support (ptrace), completely untested of course
218  *  * Removed redundant check for NULL entries in syscall_table
219  *
220  *  Revision 1.9  2000/11/21 16:40:51  bjornw
221  *  * New frame type used when an SBFS frame needs to be popped without
222  *    actually restarting the instruction
223  *  * Enable interrupts in signal_return (they did so in x86, I hope it's a good
224  *    idea)
225  *
226  *  Revision 1.8  2000/11/17 16:53:35  bjornw
227  *  Added detection of frame-type in Rexit, so that mmu_bus_fault can
228  *  use ret_from_intr in the return-path to check for signals (like SEGV)
229  *  and other foul things that might have occurred during the fault.
230  *
231  *  Revision 1.7  2000/10/06 15:04:28  bjornw
232  *  Include mof in register savings
233  *
234  *  Revision 1.6  2000/09/12 16:02:44  bjornw
235  *  Linux-2.4.0-test7 derived updates
236  *
237  *  Revision 1.5  2000/08/17 15:35:15  bjornw
238  *  2.4.0-test6 changed local_irq_count and friends API
239  *
240  *  Revision 1.4  2000/08/02 13:59:30  bjornw
241  *  Removed olduname and uname from the syscall list
242  *
243  *  Revision 1.3  2000/07/31 13:32:58  bjornw
244  *  * Export ret_from_intr
245  *  * _resume updated (prev/last tjohejsan)
246  *  * timer_interrupt obsolete
247  *  * SIGSEGV detection in mmu_bus_fault temporarily disabled
248  *
249  *
250  */
251
252 /*
253  * entry.S contains the system-call and fault low-level handling routines.
254  *
255  * NOTE: This code handles signal-recognition, which happens every time
256  * after a timer-interrupt and after each system call.
257  *
258  * Stack layout in 'ret_from_system_call':
259  *      ptrace needs to have all regs on the stack.
260  *      if the order here is changed, it needs to be 
261  *      updated in fork.c:copy_process, signal.c:do_signal,
262  *      ptrace.c and ptrace.h
263  *
264  */
265
266 #include <linux/linkage.h>
267 #include <linux/sys.h>
268 #include <asm/unistd.h>
269 #include <asm/arch/sv_addr_ag.h>
270 #include <asm/errno.h>
271 #include <asm/thread_info.h>
272 #include <asm/asm-offsets.h>
273 #include <asm/page.h>
274 #include <asm/pgtable.h>
275
276         ;; functions exported from this file
277         
278         .globl system_call
279         .globl ret_from_intr
280         .globl ret_from_fork
281         .globl resume
282         .globl multiple_interrupt
283         .globl hwbreakpoint
284         .globl IRQ1_interrupt
285         .globl spurious_interrupt
286         .globl hw_bp_trigs
287         .globl mmu_bus_fault
288         .globl do_sigtrap
289         .globl gdb_handle_breakpoint
290         .globl sys_call_table
291         
292         ;; below are various parts of system_call which are not in the fast-path
293         
294 #ifdef CONFIG_PREEMPT   
295         ; Check if preemptive kernel scheduling should be done
296 _resume_kernel:
297         di
298         ; Load current task struct
299         movs.w  -8192, $r0      ;  THREAD_SIZE = 8192
300         and.d   $sp, $r0
301         move.d  [$r0+TI_preempt_count], $r10    ;  Preemption disabled?
302         bne     _Rexit
303         nop
304 _need_resched:
305         move.d  [$r0+TI_flags], $r10
306         btstq   TIF_NEED_RESCHED, $r10  ; Check if need_resched is set
307         bpl     _Rexit
308         nop
309         ; Ok, lets's do some preemptive kernel scheduling
310         jsr     preempt_schedule_irq
311         ; Load new task struct
312         movs.w  -8192, $r0      ;  THREAD_SIZE = 8192
313         and.d   $sp, $r0
314         ; One more time (with new task)
315         ba      _need_resched
316         nop
317 #else
318 #define _resume_kernel _Rexit
319 #endif  
320
321         ; Called at exit from fork. schedule_tail must be called to drop
322         ; spinlock if CONFIG_PREEMPT
323 ret_from_fork:
324         jsr schedule_tail
325         ba  ret_from_sys_call
326         nop
327                 
328 ret_from_intr:
329         ;; check for resched if preemptive kernel or if we're going back to user-mode 
330         ;; this test matches the user_regs(regs) macro
331         ;; we cannot simply test $dccr, because that does not necessarily
332         ;; reflect what mode we'll return into.
333         
334         move.d  [$sp + PT_dccr], $r0; regs->dccr
335         btstq   8, $r0          ; U-flag
336         bpl     _resume_kernel
337         ; Note that di below is in delay slot 
338         
339 _resume_userspace:
340         di                      ; so need_resched and sigpending don't change
341
342         movs.w  -8192, $r0      ; THREAD_SIZE == 8192
343         and.d   $sp, $r0
344
345         move.d  [$r0+TI_flags], $r10    ; current->work
346         and.d   _TIF_WORK_MASK, $r10    ; is there any work to be done on return
347         bne     _work_pending
348         nop
349         ba      _Rexit
350         nop
351         
352         ;; The system_call is called by a BREAK instruction, which works like
353         ;; an interrupt call but it stores the return PC in BRP instead of IRP.
354         ;; Since we dont really want to have two epilogues (one for system calls
355         ;; and one for interrupts) we push the contents of BRP instead of IRP in the
356         ;; system call prologue, to make it look like an ordinary interrupt on the
357         ;; stackframe.
358         ;;
359         ;; Since we can't have system calls inside interrupts, it should not matter
360         ;; that we don't stack IRP.
361         ;; 
362         ;; In r9 we have the wanted syscall number. Arguments come in r10,r11,r12,r13,mof,srp
363         ;;
364         ;; This function looks on the _surface_ like spaghetti programming, but it's
365         ;; really designed so that the fast-path does not force cache-loading of non-used
366         ;; instructions. Only the non-common cases cause the outlined code to run..
367
368 system_call:
369         ;; stack-frame similar to the irq heads, which is reversed in ret_from_sys_call
370         move    $brp,[$sp=$sp-16]; instruction pointer and room for a fake SBFS frame
371         push    $srp
372         push    $dccr
373         push    $mof
374         subq    14*4, $sp               ; make room for r0-r13
375         movem   $r13, [$sp]     ; push r0-r13
376         push    $r10            ; push orig_r10
377         clear.d [$sp=$sp-4]     ; frametype == 0, normal stackframe
378         
379         movs.w  -ENOSYS, $r0
380         move.d  $r0, [$sp+PT_r10]       ; put the default return value in r10 in the frame
381
382         ;; check if this process is syscall-traced
383
384         movs.w  -8192, $r0      ; THREAD_SIZE == 8192
385         and.d   $sp, $r0
386         
387         move.d  [$r0+TI_flags], $r0
388         btstq   TIF_SYSCALL_TRACE, $r0
389         bmi     _syscall_trace_entry
390         nop     
391
392 _syscall_traced:        
393
394         ;; check for sanity in the requested syscall number
395         
396         cmpu.w  NR_syscalls, $r9        
397         bcc     ret_from_sys_call
398         lslq    2, $r9          ;  multiply by 4, in the delay slot
399
400         ;; as a bonus 7th parameter, we give the location on the stack
401         ;; of the register structure itself. some syscalls need this.
402
403         push    $sp
404         
405         ;; the parameter carrying registers r10, r11, r12 and 13 are intact.
406         ;; the fifth and sixth parameters (if any) was in mof and srp 
407         ;; respectively, and we need to put them on the stack.
408
409         push    $srp
410         push    $mof
411         
412         jsr     [$r9+sys_call_table]    ; actually do the system call
413         addq    3*4, $sp                ; pop the mof, srp and regs parameters
414         move.d  $r10, [$sp+PT_r10]      ; save the return value
415
416         moveq   1, $r9          ; "parameter" to ret_from_sys_call to show it was a sys call
417         
418         ;; fall through into ret_from_sys_call to return
419         
420 ret_from_sys_call:
421         ;; r9 is a parameter - if >=1 we came from a syscall, if 0, from an irq
422                 
423         ;; get the current task-struct pointer (see top for defs)
424
425         movs.w  -8192, $r0      ; THREAD_SIZE == 8192 
426         and.d   $sp, $r0
427
428         di                      ; make sure need_resched and sigpending don't change
429         move.d  [$r0+TI_flags],$r1
430         and.d   _TIF_ALLWORK_MASK, $r1
431         bne     _syscall_exit_work
432         nop
433
434 _Rexit:
435         ;; this epilogue MUST match the prologues in multiple_interrupt, irq.h and ptregs.h
436         pop     $r10            ; frametype
437         bne     _RBFexit        ; was not CRIS_FRAME_NORMAL, handle otherwise
438         addq    4, $sp          ; skip orig_r10, in delayslot
439         movem   [$sp+], $r13    ; registers r0-r13
440         pop     $mof            ; multiply overflow register 
441         pop     $dccr           ; condition codes
442         pop     $srp            ; subroutine return pointer
443         ;; now we have a 4-word SBFS frame which we do not want to restore
444         ;; using RBF since it was not stacked with SBFS. instead we would like to
445         ;; just get the PC value to restart it with, and skip the rest of
446         ;; the frame.
447         ;; Also notice that it's important to use instructions here that
448         ;; keep the interrupts disabled (since we've already popped DCCR)
449         move    [$sp=$sp+16], $p8; pop the SBFS frame from the sp
450         jmpu    [$sp-16]        ; return through the irp field in the sbfs frame
451
452 _RBFexit:
453         movem   [$sp+], $r13    ; registers r0-r13, in delay slot
454         pop     $mof            ; multiply overflow register 
455         pop     $dccr           ; condition codes
456         pop     $srp            ; subroutine return pointer
457         rbf     [$sp+]          ; return by popping the CPU status
458
459         ;; We get here after doing a syscall if extra work might need to be done
460         ;; perform syscall exit tracing if needed
461         
462 _syscall_exit_work:
463         ;; $r0 contains current at this point and irq's are disabled
464
465         move.d  [$r0+TI_flags], $r1
466         btstq   TIF_SYSCALL_TRACE, $r1
467         bpl     _work_pending
468         nop
469         
470         ei
471
472         move.d  $r9, $r1        ; preserve r9
473         jsr     do_syscall_trace
474         move.d  $r1, $r9
475         
476         ba      _resume_userspace
477         nop
478         
479 _work_pending:
480         move.d  [$r0+TI_flags], $r1
481         btstq   TIF_NEED_RESCHED, $r1
482         bpl     _work_notifysig ; was neither trace nor sched, must be signal/notify
483         nop
484         
485 _work_resched:
486         move.d  $r9, $r1        ; preserve r9
487         jsr     schedule
488         move.d  $r1, $r9
489         di
490
491         move.d  [$r0+TI_flags], $r1
492         and.d   _TIF_WORK_MASK, $r1; ignore the syscall trace counter
493         beq     _Rexit
494         nop
495         btstq   TIF_NEED_RESCHED, $r1
496         bmi     _work_resched   ; current->work.need_resched
497         nop
498
499 _work_notifysig:
500         ;; deal with pending signals and notify-resume requests
501
502         move.d  $r9, $r10       ; do_notify_resume syscall/irq param
503         move.d  $sp, $r11       ; the regs param
504         move.d  $r1, $r12       ; the thread_info_flags parameter
505         jsr     do_notify_resume
506         
507         ba _Rexit
508         nop
509
510         ;; We get here as a sidetrack when we've entered a syscall with the
511         ;; trace-bit set. We need to call do_syscall_trace and then continue
512         ;; with the call.
513         
514 _syscall_trace_entry:
515         ;; PT_r10 in the frame contains -ENOSYS as required, at this point
516         
517         jsr     do_syscall_trace
518
519         ;; now re-enter the syscall code to do the syscall itself
520         ;; we need to restore $r9 here to contain the wanted syscall, and
521         ;; the other parameter-bearing registers
522
523         move.d  [$sp+PT_r9], $r9
524         move.d  [$sp+PT_orig_r10], $r10  ; PT_r10 is already filled with -ENOSYS.
525         move.d  [$sp+PT_r11],      $r11
526         move.d  [$sp+PT_r12],      $r12
527         move.d  [$sp+PT_r13],      $r13
528         move    [$sp+PT_mof],      $mof
529         move    [$sp+PT_srp],      $srp
530         
531         ba      _syscall_traced
532         nop
533         
534         ;; resume performs the actual task-switching, by switching stack pointers
535         ;; input arguments: r10 = prev, r11 = next, r12 = thread offset in task struct
536         ;; returns old current in r10
537         ;;
538         ;; TODO:  see the i386 version. The switch_to which calls resume in our version
539         ;;        could really be an inline asm of this.
540
541 resume: 
542         push    $srp                     ; we keep the old/new PC on the stack 
543         add.d   $r12, $r10               ; r10 = current tasks tss
544         move    $dccr, [$r10+THREAD_dccr]; save irq enable state
545         di
546
547         move    $usp, [$r10+ THREAD_usp] ; save user-mode stackpointer
548         
549         ;; See copy_thread for the reason why register R9 is saved.
550         subq    10*4, $sp
551         movem   $r9, [$sp]               ; save non-scratch registers and R9.
552         
553         move.d  $sp, [$r10+THREAD_ksp]   ; save the kernel stack pointer for the old task
554         move.d  $sp, $r10                ; return last running task in r10
555         and.d   -8192, $r10              ; get thread_info from stackpointer
556         move.d  [$r10+TI_task], $r10     ; get task  
557         add.d   $r12, $r11               ; find the new tasks tss
558         move.d  [$r11+THREAD_ksp], $sp   ; switch into the new stackframe by restoring kernel sp
559
560         movem   [$sp+], $r9              ; restore non-scratch registers and R9.
561
562         move    [$r11+THREAD_usp], $usp ; restore user-mode stackpointer
563         
564         move    [$r11+THREAD_dccr], $dccr ; restore irq enable status
565         jump    [$sp+]                   ; restore PC
566
567         ;; This is the MMU bus fault handler.
568         ;; It needs to stack the CPU status and overall is different
569         ;; from the other interrupt handlers.
570
571 mmu_bus_fault:
572         ;; For refills we try to do a quick page table lookup. If it is
573         ;; a real fault we let the mm subsystem handle it.
574
575         ;; the first longword in the sbfs frame was the interrupted PC
576         ;; which fits nicely with the "IRP" slot in pt_regs normally used to
577         ;; contain the return address. used by Oops to print kernel errors.
578         sbfs    [$sp=$sp-16]    ; push the internal CPU status
579         push    $dccr
580         di
581         subq    2*4, $sp
582         movem   $r1, [$sp]
583         move.d  [R_MMU_CAUSE], $r1
584         ;; ETRAX 100LX TR89 bugfix: if the second half of an unaligned
585         ;; write causes a MMU-fault, it will not be restarted correctly.
586         ;; This could happen if a write crosses a page-boundary and the
587         ;; second page is not yet COW'ed or even loaded. The workaround
588         ;; is to clear the unaligned bit in the CPU status record, so
589         ;; that the CPU will rerun both the first and second halves of
590         ;; the instruction. This will not have any sideeffects unless
591         ;; the first half goes to any device or memory that can't be
592         ;; written twice, and which is mapped through the MMU.
593         ;;
594         ;; We only need to do this for writes.
595         btstq   8, $r1             ; Write access?
596         bpl     1f
597         nop
598         move.d  [$sp+16], $r0      ; Clear unaligned bit in csrinstr
599         and.d   ~(1<<5), $r0
600         move.d  $r0, [$sp+16]
601 1:      btstq   12, $r1            ; Refill?
602         bpl     2f
603         lsrq    24, $r1     ; Get PGD index (bit 24-31)
604         move.d  [per_cpu__current_pgd], $r0 ; PGD for the current process
605         move.d  [$r0+$r1.d], $r0   ; Get PMD
606         beq     2f
607         nop
608         and.w   PAGE_MASK, $r0     ; Remove PMD flags
609         move.d  [R_MMU_CAUSE], $r1
610         lsrq    PAGE_SHIFT, $r1
611         and.d   0x7ff, $r1         ; Get PTE index into PGD (bit 13-23)
612         move.d  [$r0+$r1.d], $r1   ; Get PTE
613         beq     2f
614         nop
615         ;; Store in TLB
616         move.d  $r1, [R_TLB_LO]
617         ;; Return
618         movem   [$sp+], $r1
619         pop     $dccr
620         rbf     [$sp+]          ; return by popping the CPU status
621
622 2:      ; PMD or PTE missing, let the mm subsystem fix it up.
623         movem   [$sp+], $r1
624         pop     $dccr
625
626         ; Ok, not that easy, pass it on to the mm subsystem
627         ; The MMU status record is now on the stack
628         push    $srp            ; make a stackframe similar to pt_regs
629         push    $dccr
630         push    $mof
631         di
632         subq    14*4, $sp
633         movem   $r13, [$sp]
634         push    $r10            ; dummy orig_r10
635         moveq   1, $r10
636         push    $r10            ; frametype == 1, BUSFAULT frame type
637
638         move.d  $sp, $r10       ; pt_regs argument to handle_mmu_bus_fault
639                 
640         jsr     handle_mmu_bus_fault  ; in arch/cris/arch-v10/mm/fault.c
641
642         ;; now we need to return through the normal path, we cannot just
643         ;; do the RBFexit since we might have killed off the running
644         ;; process due to a SEGV, scheduled due to a page blocking or
645         ;; whatever.
646
647         moveq   0, $r9          ; busfault is equivalent to an irq
648                 
649         ba      ret_from_intr
650         nop
651                 
652         ;; special handlers for breakpoint and NMI
653 hwbreakpoint:
654         push    $dccr
655         di
656         push    $r10
657         push    $r11
658         move.d  [hw_bp_trig_ptr],$r10
659         move    $brp,$r11
660         move.d  $r11,[$r10+]
661         move.d  $r10,[hw_bp_trig_ptr]
662 1:      pop     $r11
663         pop     $r10
664         pop     $dccr
665         retb
666         nop
667         
668 IRQ1_interrupt:
669         ;; this prologue MUST match the one in irq.h and the struct in ptregs.h!!!
670         move    $brp,[$sp=$sp-16]; instruction pointer and room for a fake SBFS frame
671         push    $srp
672         push    $dccr
673         push    $mof
674         di
675         subq    14*4, $sp
676         movem   $r13, [$sp]
677         push    $r10            ; push orig_r10
678         clear.d [$sp=$sp-4]     ; frametype == 0, normal frame
679
680         ;; If there is a glitch on the NMI pin shorter than ~100ns
681         ;; (i.e. non-active by the time we get here) then the nmi_pin bit
682         ;; in R_IRQ_MASK0_RD will already be cleared.  The watchdog_nmi bit
683         ;; is cleared by us however (when feeding the watchdog), which is why
684         ;; we use that bit to determine what brought us here.
685
686         move.d  [R_IRQ_MASK0_RD], $r1 ; External NMI or watchdog?
687         and.d   (1<<30), $r1
688         bne     wdog
689         move.d  $sp, $r10
690         jsr     handle_nmi
691         setf m                  ; Enable NMI again
692         ba      _Rexit          ; Return the standard way
693         nop
694 wdog:
695 #if defined(CONFIG_ETRAX_WATCHDOG) && !defined(CONFIG_SVINTO_SIM)
696 ;; Check if we're waiting for reset to happen, as signalled by
697 ;; hard_reset_now setting cause_of_death to a magic value.  If so, just
698 ;; get stuck until reset happens.
699         .comm   cause_of_death, 4       ;; Don't declare this anywhere.
700         move.d  [cause_of_death], $r10
701         cmp.d   0xbedead, $r10
702 _killed_by_death:
703         beq     _killed_by_death
704         nop
705
706 ;; We'll see this in ksymoops dumps.
707 Watchdog_bite:
708
709 #ifdef CONFIG_ETRAX_WATCHDOG_NICE_DOGGY
710        ;; We just restart the watchdog here to be sure we dont get
711        ;; hit while printing the watchdogmsg below
712        ;; This restart is compatible with the rest of the C-code, so
713        ;; the C-code can keep restarting the watchdog after this point.
714        ;; The non-NICE_DOGGY code below though, disables the possibility
715        ;; to restart since it changes the watchdog key, to avoid any
716        ;; buggy loops etc. keeping the watchdog alive after this.
717        jsr     reset_watchdog
718 #else
719
720 ;; We need to extend the 3.3ms after the NMI at watchdog bite, so we have
721 ;; time for an oops-dump over a 115k2 serial wire.  Another 100ms should do.
722
723 ;; Change the watchdog key to an arbitrary 3-bit value and restart the
724 ;; watchdog.
725 #define WD_INIT 2
726         moveq     IO_FIELD (R_WATCHDOG, key, WD_INIT), $r10
727         move.d  R_WATCHDOG, $r11
728
729         move.d  $r10, [$r11]
730         moveq     IO_FIELD (R_WATCHDOG, key,                            \
731                             IO_EXTRACT (R_WATCHDOG, key,                \
732                                         IO_MASK (R_WATCHDOG, key))      \
733                             ^ WD_INIT)                                  \
734                 | IO_STATE (R_WATCHDOG, enable, start), $r10
735         move.d  $r10, [$r11]
736
737 #endif
738         
739 ;; Note that we don't do "setf m" here (or after two necessary NOPs),
740 ;; since *not* doing that saves us from re-entrancy checks.  We don't want
741 ;; to get here again due to possible subsequent NMIs; we want the watchdog
742 ;; to reset us.
743
744         move.d  _watchdogmsg,$r10
745         jsr     printk
746
747         move.d  $sp, $r10
748         jsr     watchdog_bite_hook
749
750 ;; This nop is here so we see the "Watchdog_bite" label in ksymoops dumps
751 ;; rather than "spurious_interrupt".
752         nop
753 ;; At this point we drop down into spurious_interrupt, which will do a
754 ;; hard reset.
755
756         .section .rodata,"a"
757 _watchdogmsg:
758         .ascii  "Oops: bitten by watchdog\n\0"
759         .previous
760
761 #endif /* CONFIG_ETRAX_WATCHDOG and not CONFIG_SVINTO_SIM */
762
763 spurious_interrupt:     
764         di
765         jump hard_reset_now
766
767         ;; this handles the case when multiple interrupts arrive at the same time
768         ;; we jump to the first set interrupt bit in a priority fashion
769         ;; the hardware will call the unserved interrupts after the handler finishes
770         
771 multiple_interrupt:
772         ;; this prologue MUST match the one in irq.h and the struct in ptregs.h!!!
773         move    $irp,[$sp=$sp-16]; instruction pointer and room for a fake SBFS frame
774         push    $srp
775         push    $dccr
776         push    $mof
777         di
778         subq    14*4, $sp
779         movem   $r13, [$sp]
780         push    $r10            ; push orig_r10
781         clear.d [$sp=$sp-4]     ; frametype == 0, normal frame
782         
783         move.d  $sp, $r10
784         jsr     do_multiple_IRQ
785         
786         jump    ret_from_intr
787
788 do_sigtrap:
789         ;; 
790         ;; SIGTRAP the process that executed the break instruction.
791         ;; Make a frame that Rexit in entry.S expects.
792         ;;
793         move    $brp, [$sp=$sp-16]      ; Push BRP while faking a cpu status record.
794         push    $srp                    ; Push subroutine return pointer.
795         push    $dccr                   ; Push condition codes.
796         push    $mof                    ; Push multiply overflow reg.
797         di                              ; Need to disable irq's at this point.
798         subq    14*4, $sp               ; Make room for r0-r13.
799         movem   $r13, [$sp]             ; Push the r0-r13 registers.
800         push    $r10                    ; Push orig_r10.
801         clear.d [$sp=$sp-4]             ; Frametype - this is a normal stackframe.
802
803         movs.w  -8192,$r9               ; THREAD_SIZE == 8192
804         and.d   $sp, $r9
805         move.d  [$r9+TI_task], $r10
806         move.d  [$r10+TASK_pid], $r10   ; current->pid as arg1. 
807         moveq   5, $r11                 ; SIGTRAP as arg2.
808         jsr     sys_kill       
809         jump    ret_from_intr           ; Use the return routine for interrupts.
810
811 gdb_handle_breakpoint:  
812         push    $dccr
813         push    $r0
814 #ifdef CONFIG_ETRAX_KGDB
815         move    $dccr, $r0              ; U-flag not affected by previous insns. 
816         btstq   8, $r0                  ; Test the U-flag.
817         bmi     _ugdb_handle_breakpoint ; Go to user mode debugging. 
818         nop                             ; Empty delay slot (cannot pop r0 here). 
819         pop     $r0                     ; Restore r0.
820         ba      kgdb_handle_breakpoint  ; Go to kernel debugging. 
821         pop     $dccr                   ; Restore dccr in delay slot.
822 #endif
823         
824 _ugdb_handle_breakpoint:        
825         move    $brp, $r0               ; Use r0 temporarily for calculation.
826         subq    2, $r0                  ; Set to address of previous instruction.
827         move    $r0, $brp
828         pop     $r0                     ; Restore r0. 
829         ba      do_sigtrap              ; SIGTRAP the offending process. 
830         pop     $dccr                   ; Restore dccr in delay slot.
831         
832         .global kernel_execve
833 kernel_execve:
834         move.d __NR_execve, $r9
835         break 13
836         ret
837         nop
838
839         .data
840
841 hw_bp_trigs:
842         .space 64*4
843 hw_bp_trig_ptr:
844         .dword hw_bp_trigs
845
846         .section .rodata,"a"
847 sys_call_table: 
848         .long sys_restart_syscall       /* 0 - old "setup()" system call, used for restarting */
849         .long sys_exit
850         .long sys_fork
851         .long sys_read
852         .long sys_write
853         .long sys_open          /* 5 */
854         .long sys_close
855         .long sys_waitpid
856         .long sys_creat
857         .long sys_link
858         .long sys_unlink        /* 10 */
859         .long sys_execve
860         .long sys_chdir
861         .long sys_time
862         .long sys_mknod
863         .long sys_chmod         /* 15 */
864         .long sys_lchown16
865         .long sys_ni_syscall    /* old break syscall holder */
866         .long sys_stat
867         .long sys_lseek
868         .long sys_getpid        /* 20 */
869         .long sys_mount
870         .long sys_oldumount
871         .long sys_setuid16
872         .long sys_getuid16
873         .long sys_stime         /* 25 */
874         .long sys_ptrace
875         .long sys_alarm
876         .long sys_fstat
877         .long sys_pause
878         .long sys_utime         /* 30 */
879         .long sys_ni_syscall    /* old stty syscall holder */
880         .long sys_ni_syscall    /* old gtty syscall holder */
881         .long sys_access
882         .long sys_nice
883         .long sys_ni_syscall    /* 35  old ftime syscall holder */
884         .long sys_sync
885         .long sys_kill
886         .long sys_rename
887         .long sys_mkdir
888         .long sys_rmdir         /* 40 */
889         .long sys_dup
890         .long sys_pipe
891         .long sys_times
892         .long sys_ni_syscall    /* old prof syscall holder */
893         .long sys_brk           /* 45 */
894         .long sys_setgid16
895         .long sys_getgid16
896         .long sys_signal
897         .long sys_geteuid16
898         .long sys_getegid16     /* 50 */
899         .long sys_acct
900         .long sys_umount        /* recycled never used phys( */
901         .long sys_ni_syscall    /* old lock syscall holder */
902         .long sys_ioctl
903         .long sys_fcntl         /* 55 */
904         .long sys_ni_syscall    /* old mpx syscall holder */
905         .long sys_setpgid
906         .long sys_ni_syscall    /* old ulimit syscall holder */
907         .long sys_ni_syscall    /* old sys_olduname holder */
908         .long sys_umask         /* 60 */
909         .long sys_chroot
910         .long sys_ustat
911         .long sys_dup2
912         .long sys_getppid
913         .long sys_getpgrp       /* 65 */
914         .long sys_setsid
915         .long sys_sigaction
916         .long sys_sgetmask
917         .long sys_ssetmask
918         .long sys_setreuid16    /* 70 */
919         .long sys_setregid16
920         .long sys_sigsuspend
921         .long sys_sigpending
922         .long sys_sethostname
923         .long sys_setrlimit     /* 75 */
924         .long sys_old_getrlimit
925         .long sys_getrusage
926         .long sys_gettimeofday
927         .long sys_settimeofday
928         .long sys_getgroups16   /* 80 */
929         .long sys_setgroups16
930         .long sys_select        /* was old_select in Linux/E100 */
931         .long sys_symlink
932         .long sys_lstat
933         .long sys_readlink      /* 85 */
934         .long sys_uselib
935         .long sys_swapon
936         .long sys_reboot
937         .long old_readdir
938         .long old_mmap          /* 90 */
939         .long sys_munmap
940         .long sys_truncate
941         .long sys_ftruncate
942         .long sys_fchmod
943         .long sys_fchown16      /* 95 */
944         .long sys_getpriority
945         .long sys_setpriority
946         .long sys_ni_syscall    /* old profil syscall holder */
947         .long sys_statfs
948         .long sys_fstatfs       /* 100 */
949         .long sys_ni_syscall    /* sys_ioperm in i386 */
950         .long sys_socketcall
951         .long sys_syslog
952         .long sys_setitimer
953         .long sys_getitimer     /* 105 */
954         .long sys_newstat
955         .long sys_newlstat
956         .long sys_newfstat
957         .long sys_ni_syscall    /* old sys_uname holder */
958         .long sys_ni_syscall    /* sys_iopl in i386 */
959         .long sys_vhangup
960         .long sys_ni_syscall    /* old "idle" system call */
961         .long sys_ni_syscall    /* vm86old in i386 */
962         .long sys_wait4
963         .long sys_swapoff       /* 115 */
964         .long sys_sysinfo
965         .long sys_ipc
966         .long sys_fsync
967         .long sys_sigreturn
968         .long sys_clone         /* 120 */
969         .long sys_setdomainname
970         .long sys_newuname
971         .long sys_ni_syscall    /* sys_modify_ldt */
972         .long sys_adjtimex
973         .long sys_mprotect      /* 125 */
974         .long sys_sigprocmask
975         .long sys_ni_syscall    /* old "create_module" */ 
976         .long sys_init_module
977         .long sys_delete_module
978         .long sys_ni_syscall    /* 130: old "get_kernel_syms" */
979         .long sys_quotactl
980         .long sys_getpgid
981         .long sys_fchdir
982         .long sys_bdflush
983         .long sys_sysfs         /* 135 */
984         .long sys_personality
985         .long sys_ni_syscall    /* for afs_syscall */
986         .long sys_setfsuid16
987         .long sys_setfsgid16
988         .long sys_llseek        /* 140 */
989         .long sys_getdents
990         .long sys_select
991         .long sys_flock
992         .long sys_msync
993         .long sys_readv         /* 145 */
994         .long sys_writev
995         .long sys_getsid
996         .long sys_fdatasync
997         .long sys_sysctl
998         .long sys_mlock         /* 150 */
999         .long sys_munlock
1000         .long sys_mlockall
1001         .long sys_munlockall
1002         .long sys_sched_setparam
1003         .long sys_sched_getparam        /* 155 */
1004         .long sys_sched_setscheduler
1005         .long sys_sched_getscheduler
1006         .long sys_sched_yield
1007         .long sys_sched_get_priority_max
1008         .long sys_sched_get_priority_min        /* 160 */
1009         .long sys_sched_rr_get_interval
1010         .long sys_nanosleep
1011         .long sys_mremap
1012         .long sys_setresuid16
1013         .long sys_getresuid16   /* 165 */
1014         .long sys_ni_syscall    /* sys_vm86 */
1015         .long sys_ni_syscall    /* Old sys_query_module */
1016         .long sys_poll
1017         .long sys_nfsservctl
1018         .long sys_setresgid16   /* 170 */
1019         .long sys_getresgid16
1020         .long sys_prctl
1021         .long sys_rt_sigreturn
1022         .long sys_rt_sigaction
1023         .long sys_rt_sigprocmask        /* 175 */
1024         .long sys_rt_sigpending
1025         .long sys_rt_sigtimedwait
1026         .long sys_rt_sigqueueinfo
1027         .long sys_rt_sigsuspend
1028         .long sys_pread64       /* 180 */
1029         .long sys_pwrite64
1030         .long sys_chown16
1031         .long sys_getcwd
1032         .long sys_capget
1033         .long sys_capset        /* 185 */
1034         .long sys_sigaltstack
1035         .long sys_sendfile
1036         .long sys_ni_syscall    /* streams1 */
1037         .long sys_ni_syscall    /* streams2 */
1038         .long sys_vfork         /* 190 */
1039         .long sys_getrlimit
1040         .long sys_mmap2
1041         .long sys_truncate64
1042         .long sys_ftruncate64
1043         .long sys_stat64        /* 195 */
1044         .long sys_lstat64
1045         .long sys_fstat64
1046         .long sys_lchown
1047         .long sys_getuid
1048         .long sys_getgid        /* 200 */
1049         .long sys_geteuid
1050         .long sys_getegid
1051         .long sys_setreuid
1052         .long sys_setregid
1053         .long sys_getgroups     /* 205 */
1054         .long sys_setgroups
1055         .long sys_fchown
1056         .long sys_setresuid
1057         .long sys_getresuid
1058         .long sys_setresgid     /* 210 */
1059         .long sys_getresgid
1060         .long sys_chown
1061         .long sys_setuid
1062         .long sys_setgid
1063         .long sys_setfsuid      /* 215 */
1064         .long sys_setfsgid
1065         .long sys_pivot_root
1066         .long sys_mincore
1067         .long sys_madvise
1068         .long sys_getdents64    /* 220 */
1069         .long sys_fcntl64
1070         .long sys_ni_syscall    /* reserved for TUX */
1071         .long sys_ni_syscall
1072         .long sys_gettid
1073         .long sys_readahead     /* 225 */
1074         .long sys_setxattr
1075         .long sys_lsetxattr
1076         .long sys_fsetxattr
1077         .long sys_getxattr
1078         .long sys_lgetxattr     /* 230 */
1079         .long sys_fgetxattr
1080         .long sys_listxattr
1081         .long sys_llistxattr
1082         .long sys_flistxattr
1083         .long sys_removexattr   /* 235 */
1084         .long sys_lremovexattr
1085         .long sys_fremovexattr
1086         .long sys_tkill
1087         .long sys_sendfile64
1088         .long sys_futex         /* 240 */
1089         .long sys_sched_setaffinity
1090         .long sys_sched_getaffinity
1091         .long sys_ni_syscall    /* sys_set_thread_area */
1092         .long sys_ni_syscall    /* sys_get_thread_area */
1093         .long sys_io_setup      /* 245 */
1094         .long sys_io_destroy
1095         .long sys_io_getevents
1096         .long sys_io_submit
1097         .long sys_io_cancel
1098         .long sys_fadvise64     /* 250 */
1099         .long sys_ni_syscall
1100         .long sys_exit_group
1101         .long sys_lookup_dcookie
1102         .long sys_epoll_create
1103         .long sys_epoll_ctl     /* 255 */
1104         .long sys_epoll_wait
1105         .long sys_remap_file_pages
1106         .long sys_set_tid_address
1107         .long sys_timer_create
1108         .long sys_timer_settime         /* 260 */
1109         .long sys_timer_gettime
1110         .long sys_timer_getoverrun
1111         .long sys_timer_delete
1112         .long sys_clock_settime
1113         .long sys_clock_gettime         /* 265 */
1114         .long sys_clock_getres
1115         .long sys_clock_nanosleep
1116         .long sys_statfs64
1117         .long sys_fstatfs64     
1118         .long sys_tgkill        /* 270 */
1119         .long sys_utimes
1120         .long sys_fadvise64_64
1121         .long sys_ni_syscall    /* sys_vserver */
1122         .long sys_ni_syscall    /* sys_mbind */
1123         .long sys_ni_syscall    /* 275 sys_get_mempolicy */
1124         .long sys_ni_syscall    /* sys_set_mempolicy */
1125         .long sys_mq_open
1126         .long sys_mq_unlink
1127         .long sys_mq_timedsend
1128         .long sys_mq_timedreceive       /* 280 */
1129         .long sys_mq_notify
1130         .long sys_mq_getsetattr
1131         .long sys_ni_syscall            /* reserved for kexec */
1132         .long sys_waitid
1133         .long sys_ni_syscall            /* 285 */ /* available */
1134         .long sys_add_key
1135         .long sys_request_key
1136         .long sys_keyctl
1137         .long sys_ioprio_set
1138         .long sys_ioprio_get            /* 290 */
1139         .long sys_inotify_init
1140         .long sys_inotify_add_watch
1141         .long sys_inotify_rm_watch
1142         .long sys_migrate_pages
1143         .long sys_openat                /* 295 */
1144         .long sys_mkdirat
1145         .long sys_mknodat
1146         .long sys_fchownat
1147         .long sys_futimesat
1148         .long sys_fstatat64             /* 300 */
1149         .long sys_unlinkat
1150         .long sys_renameat
1151         .long sys_linkat
1152         .long sys_symlinkat
1153         .long sys_readlinkat            /* 305 */
1154         .long sys_fchmodat
1155         .long sys_faccessat
1156         .long sys_pselect6
1157         .long sys_ppoll
1158         .long sys_unshare               /* 310 */
1159         .long sys_set_robust_list
1160         .long sys_get_robust_list
1161         .long sys_splice
1162         .long sys_sync_file_range
1163         .long sys_tee                   /* 315 */
1164         .long sys_vmsplice
1165         .long sys_move_pages
1166         .long sys_getcpu
1167         .long sys_epoll_pwait
1168         .long sys_utimensat             /* 320 */
1169         .long sys_signalfd
1170         .long sys_timerfd
1171         .long sys_eventfd
1172         .long sys_fallocate
1173
1174         /*
1175          * NOTE!! This doesn't have to be exact - we just have
1176          * to make sure we have _enough_ of the "sys_ni_syscall"
1177          * entries. Don't panic if you notice that this hasn't
1178          * been shrunk every time we add a new system call.
1179          */
1180
1181         .rept NR_syscalls-(.-sys_call_table)/4
1182                 .long sys_ni_syscall
1183         .endr
1184