[MIPS] Fix typo in R3000 TRACE_IRQFLAGS code
[linux-3.10.git] / arch / mips / kernel / genex.S
1 /*
2  * This file is subject to the terms and conditions of the GNU General Public
3  * License.  See the file "COPYING" in the main directory of this archive
4  * for more details.
5  *
6  * Copyright (C) 1994 - 2000, 2001, 2003 Ralf Baechle
7  * Copyright (C) 1999, 2000 Silicon Graphics, Inc.
8  * Copyright (C) 2001 MIPS Technologies, Inc.
9  * Copyright (C) 2002 Maciej W. Rozycki
10  */
11 #include <linux/init.h>
12
13 #include <asm/asm.h>
14 #include <asm/asmmacro.h>
15 #include <asm/cacheops.h>
16 #include <asm/irqflags.h>
17 #include <asm/regdef.h>
18 #include <asm/fpregdef.h>
19 #include <asm/mipsregs.h>
20 #include <asm/stackframe.h>
21 #include <asm/war.h>
22 #include <asm/page.h>
23
24 #define PANIC_PIC(msg)                                  \
25                 .set push;                              \
26                 .set    reorder;                        \
27                 PTR_LA  a0,8f;                          \
28                 .set    noat;                           \
29                 PTR_LA  AT, panic;                      \
30                 jr      AT;                             \
31 9:              b       9b;                             \
32                 .set    pop;                            \
33                 TEXT(msg)
34
35         __INIT
36
37 NESTED(except_vec0_generic, 0, sp)
38         PANIC_PIC("Exception vector 0 called")
39         END(except_vec0_generic)
40
41 NESTED(except_vec1_generic, 0, sp)
42         PANIC_PIC("Exception vector 1 called")
43         END(except_vec1_generic)
44
45 /*
46  * General exception vector for all other CPUs.
47  *
48  * Be careful when changing this, it has to be at most 128 bytes
49  * to fit into space reserved for the exception handler.
50  */
51 NESTED(except_vec3_generic, 0, sp)
52         .set    push
53         .set    noat
54 #if R5432_CP0_INTERRUPT_WAR
55         mfc0    k0, CP0_INDEX
56 #endif
57         mfc0    k1, CP0_CAUSE
58         andi    k1, k1, 0x7c
59 #ifdef CONFIG_64BIT
60         dsll    k1, k1, 1
61 #endif
62         PTR_L   k0, exception_handlers(k1)
63         jr      k0
64         .set    pop
65         END(except_vec3_generic)
66
67 /*
68  * General exception handler for CPUs with virtual coherency exception.
69  *
70  * Be careful when changing this, it has to be at most 256 (as a special
71  * exception) bytes to fit into space reserved for the exception handler.
72  */
73 NESTED(except_vec3_r4000, 0, sp)
74         .set    push
75         .set    mips3
76         .set    noat
77         mfc0    k1, CP0_CAUSE
78         li      k0, 31<<2
79         andi    k1, k1, 0x7c
80         .set    push
81         .set    noreorder
82         .set    nomacro
83         beq     k1, k0, handle_vced
84          li     k0, 14<<2
85         beq     k1, k0, handle_vcei
86 #ifdef CONFIG_64BIT
87          dsll   k1, k1, 1
88 #endif
89         .set    pop
90         PTR_L   k0, exception_handlers(k1)
91         jr      k0
92
93         /*
94          * Big shit, we now may have two dirty primary cache lines for the same
95          * physical address.  We can safely invalidate the line pointed to by
96          * c0_badvaddr because after return from this exception handler the
97          * load / store will be re-executed.
98          */
99 handle_vced:
100         MFC0    k0, CP0_BADVADDR
101         li      k1, -4                                  # Is this ...
102         and     k0, k1                                  # ... really needed?
103         mtc0    zero, CP0_TAGLO
104         cache   Index_Store_Tag_D, (k0)
105         cache   Hit_Writeback_Inv_SD, (k0)
106 #ifdef CONFIG_PROC_FS
107         PTR_LA  k0, vced_count
108         lw      k1, (k0)
109         addiu   k1, 1
110         sw      k1, (k0)
111 #endif
112         eret
113
114 handle_vcei:
115         MFC0    k0, CP0_BADVADDR
116         cache   Hit_Writeback_Inv_SD, (k0)              # also cleans pi
117 #ifdef CONFIG_PROC_FS
118         PTR_LA  k0, vcei_count
119         lw      k1, (k0)
120         addiu   k1, 1
121         sw      k1, (k0)
122 #endif
123         eret
124         .set    pop
125         END(except_vec3_r4000)
126
127         __FINIT
128
129         .align  5
130 NESTED(handle_int, PT_SIZE, sp)
131 #ifdef CONFIG_TRACE_IRQFLAGS
132         /*
133          * Check to see if the interrupted code has just disabled
134          * interrupts and ignore this interrupt for now if so.
135          *
136          * local_irq_disable() disables interrupts and then calls
137          * trace_hardirqs_off() to track the state. If an interrupt is taken
138          * after interrupts are disabled but before the state is updated
139          * it will appear to restore_all that it is incorrectly returning with
140          * interrupts disabled
141          */
142         .set    push
143         .set    noat
144         mfc0    k0, CP0_STATUS
145 #if defined(CONFIG_CPU_R3000) || defined(CONFIG_CPU_TX39XX)
146         and     k0, ST0_IEP
147         bnez    k0, 1f
148
149         mfc0    k0, CP0_EPC
150         .set    noreorder
151         j       k0
152         rfe
153 #else
154         and     k0, ST0_IE
155         bnez    k0, 1f
156
157         eret
158 #endif
159 1:
160         .set pop
161 #endif
162         SAVE_ALL
163         CLI
164         TRACE_IRQS_OFF
165
166         LONG_L  s0, TI_REGS($28)
167         LONG_S  sp, TI_REGS($28)
168         PTR_LA  ra, ret_from_irq
169         j       plat_irq_dispatch
170         END(handle_int)
171
172         __INIT
173
174 /*
175  * Special interrupt vector for MIPS64 ISA & embedded MIPS processors.
176  * This is a dedicated interrupt exception vector which reduces the
177  * interrupt processing overhead.  The jump instruction will be replaced
178  * at the initialization time.
179  *
180  * Be careful when changing this, it has to be at most 128 bytes
181  * to fit into space reserved for the exception handler.
182  */
183 NESTED(except_vec4, 0, sp)
184 1:      j       1b                      /* Dummy, will be replaced */
185         END(except_vec4)
186
187 /*
188  * EJTAG debug exception handler.
189  * The EJTAG debug exception entry point is 0xbfc00480, which
190  * normally is in the boot PROM, so the boot PROM must do a
191  * unconditional jump to this vector.
192  */
193 NESTED(except_vec_ejtag_debug, 0, sp)
194         j       ejtag_debug_handler
195         END(except_vec_ejtag_debug)
196
197         __FINIT
198
199 /*
200  * Vectored interrupt handler.
201  * This prototype is copied to ebase + n*IntCtl.VS and patched
202  * to invoke the handler
203  */
204 NESTED(except_vec_vi, 0, sp)
205         SAVE_SOME
206         SAVE_AT
207         .set    push
208         .set    noreorder
209 #ifdef CONFIG_MIPS_MT_SMTC
210         /*
211          * To keep from blindly blocking *all* interrupts
212          * during service by SMTC kernel, we also want to
213          * pass the IM value to be cleared.
214          */
215 FEXPORT(except_vec_vi_mori)
216         ori     a0, $0, 0
217 #endif /* CONFIG_MIPS_MT_SMTC */
218 FEXPORT(except_vec_vi_lui)
219         lui     v0, 0           /* Patched */
220         j       except_vec_vi_handler
221 FEXPORT(except_vec_vi_ori)
222          ori    v0, 0           /* Patched */
223         .set    pop
224         END(except_vec_vi)
225 EXPORT(except_vec_vi_end)
226
227 /*
228  * Common Vectored Interrupt code
229  * Complete the register saves and invoke the handler which is passed in $v0
230  */
231 NESTED(except_vec_vi_handler, 0, sp)
232         SAVE_TEMP
233         SAVE_STATIC
234 #ifdef CONFIG_MIPS_MT_SMTC
235         /*
236          * SMTC has an interesting problem that interrupts are level-triggered,
237          * and the CLI macro will clear EXL, potentially causing a duplicate
238          * interrupt service invocation. So we need to clear the associated
239          * IM bit of Status prior to doing CLI, and restore it after the
240          * service routine has been invoked - we must assume that the
241          * service routine will have cleared the state, and any active
242          * level represents a new or otherwised unserviced event...
243          */
244         mfc0    t1, CP0_STATUS
245         and     t0, a0, t1
246 #ifdef CONFIG_MIPS_MT_SMTC_IM_BACKSTOP
247         mfc0    t2, CP0_TCCONTEXT
248         or      t0, t0, t2
249         mtc0    t0, CP0_TCCONTEXT
250 #endif /* CONFIG_MIPS_MT_SMTC_IM_BACKSTOP */
251         xor     t1, t1, t0
252         mtc0    t1, CP0_STATUS
253         _ehb
254 #endif /* CONFIG_MIPS_MT_SMTC */
255         CLI
256 #ifdef CONFIG_TRACE_IRQFLAGS
257         move    s0, v0
258 #ifdef CONFIG_MIPS_MT_SMTC
259         move    s1, a0
260 #endif
261         TRACE_IRQS_OFF
262 #ifdef CONFIG_MIPS_MT_SMTC
263         move    a0, s1
264 #endif
265         move    v0, s0
266 #endif
267
268         LONG_L  s0, TI_REGS($28)
269         LONG_S  sp, TI_REGS($28)
270         PTR_LA  ra, ret_from_irq
271         jr      v0
272         END(except_vec_vi_handler)
273
274 /*
275  * EJTAG debug exception handler.
276  */
277 NESTED(ejtag_debug_handler, PT_SIZE, sp)
278         .set    push
279         .set    noat
280         MTC0    k0, CP0_DESAVE
281         mfc0    k0, CP0_DEBUG
282
283         sll     k0, k0, 30      # Check for SDBBP.
284         bgez    k0, ejtag_return
285
286         PTR_LA  k0, ejtag_debug_buffer
287         LONG_S  k1, 0(k0)
288         SAVE_ALL
289         move    a0, sp
290         jal     ejtag_exception_handler
291         RESTORE_ALL
292         PTR_LA  k0, ejtag_debug_buffer
293         LONG_L  k1, 0(k0)
294
295 ejtag_return:
296         MFC0    k0, CP0_DESAVE
297         .set    mips32
298         deret
299         .set pop
300         END(ejtag_debug_handler)
301
302 /*
303  * This buffer is reserved for the use of the EJTAG debug
304  * handler.
305  */
306         .data
307 EXPORT(ejtag_debug_buffer)
308         .fill   LONGSIZE
309         .previous
310
311         __INIT
312
313 /*
314  * NMI debug exception handler for MIPS reference boards.
315  * The NMI debug exception entry point is 0xbfc00000, which
316  * normally is in the boot PROM, so the boot PROM must do a
317  * unconditional jump to this vector.
318  */
319 NESTED(except_vec_nmi, 0, sp)
320         j       nmi_handler
321         END(except_vec_nmi)
322
323         __FINIT
324
325 NESTED(nmi_handler, PT_SIZE, sp)
326         .set    push
327         .set    noat
328         SAVE_ALL
329         move    a0, sp
330         jal     nmi_exception_handler
331         RESTORE_ALL
332         .set    mips3
333         eret
334         .set    pop
335         END(nmi_handler)
336
337         .macro  __build_clear_none
338         .endm
339
340         .macro  __build_clear_sti
341         TRACE_IRQS_ON
342         STI
343         .endm
344
345         .macro  __build_clear_cli
346         CLI
347         TRACE_IRQS_OFF
348         .endm
349
350         .macro  __build_clear_fpe
351         cfc1    a1, fcr31
352         li      a2, ~(0x3f << 12)
353         and     a2, a1
354         ctc1    a2, fcr31
355         TRACE_IRQS_ON
356         STI
357         .endm
358
359         .macro  __build_clear_ade
360         MFC0    t0, CP0_BADVADDR
361         PTR_S   t0, PT_BVADDR(sp)
362         KMODE
363         .endm
364
365         .macro  __BUILD_silent exception
366         .endm
367
368         /* Gas tries to parse the PRINT argument as a string containing
369            string escapes and emits bogus warnings if it believes to
370            recognize an unknown escape code.  So make the arguments
371            start with an n and gas will believe \n is ok ...  */
372         .macro  __BUILD_verbose nexception
373         LONG_L  a1, PT_EPC(sp)
374 #ifdef CONFIG_32BIT
375         PRINT("Got \nexception at %08lx\012")
376 #endif
377 #ifdef CONFIG_64BIT
378         PRINT("Got \nexception at %016lx\012")
379 #endif
380         .endm
381
382         .macro  __BUILD_count exception
383         LONG_L  t0,exception_count_\exception
384         LONG_ADDIU t0, 1
385         LONG_S  t0,exception_count_\exception
386         .comm   exception_count\exception, 8, 8
387         .endm
388
389         .macro  __BUILD_HANDLER exception handler clear verbose ext
390         .align  5
391         NESTED(handle_\exception, PT_SIZE, sp)
392         .set    noat
393         SAVE_ALL
394         FEXPORT(handle_\exception\ext)
395         __BUILD_clear_\clear
396         .set    at
397         __BUILD_\verbose \exception
398         move    a0, sp
399         PTR_LA  ra, ret_from_exception
400         j       do_\handler
401         END(handle_\exception)
402         .endm
403
404         .macro  BUILD_HANDLER exception handler clear verbose
405         __BUILD_HANDLER \exception \handler \clear \verbose _int
406         .endm
407
408         BUILD_HANDLER adel ade ade silent               /* #4  */
409         BUILD_HANDLER ades ade ade silent               /* #5  */
410         BUILD_HANDLER ibe be cli silent                 /* #6  */
411         BUILD_HANDLER dbe be cli silent                 /* #7  */
412         BUILD_HANDLER bp bp sti silent                  /* #9  */
413         BUILD_HANDLER ri ri sti silent                  /* #10 */
414         BUILD_HANDLER cpu cpu sti silent                /* #11 */
415         BUILD_HANDLER ov ov sti silent                  /* #12 */
416         BUILD_HANDLER tr tr sti silent                  /* #13 */
417         BUILD_HANDLER fpe fpe fpe silent                /* #15 */
418         BUILD_HANDLER mdmx mdmx sti silent              /* #22 */
419         BUILD_HANDLER watch watch sti verbose           /* #23 */
420         BUILD_HANDLER mcheck mcheck cli verbose         /* #24 */
421         BUILD_HANDLER mt mt sti silent                  /* #25 */
422         BUILD_HANDLER dsp dsp sti silent                /* #26 */
423         BUILD_HANDLER reserved reserved sti verbose     /* others */
424
425         .align  5
426         LEAF(handle_ri_rdhwr_vivt)
427 #ifdef CONFIG_MIPS_MT_SMTC
428         PANIC_PIC("handle_ri_rdhwr_vivt called")
429 #else
430         .set    push
431         .set    noat
432         .set    noreorder
433         /* check if TLB contains a entry for EPC */
434         MFC0    k1, CP0_ENTRYHI
435         andi    k1, 0xff        /* ASID_MASK */
436         MFC0    k0, CP0_EPC
437         PTR_SRL k0, PAGE_SHIFT + 1
438         PTR_SLL k0, PAGE_SHIFT + 1
439         or      k1, k0
440         MTC0    k1, CP0_ENTRYHI
441         mtc0_tlbw_hazard
442         tlbp
443         tlb_probe_hazard
444         mfc0    k1, CP0_INDEX
445         .set    pop
446         bltz    k1, handle_ri   /* slow path */
447         /* fall thru */
448 #endif
449         END(handle_ri_rdhwr_vivt)
450
451         LEAF(handle_ri_rdhwr)
452         .set    push
453         .set    noat
454         .set    noreorder
455         /* 0x7c03e83b: rdhwr v1,$29 */
456         MFC0    k1, CP0_EPC
457         lui     k0, 0x7c03
458         lw      k1, (k1)
459         ori     k0, 0xe83b
460         .set    reorder
461         bne     k0, k1, handle_ri       /* if not ours */
462         /* The insn is rdhwr.  No need to check CAUSE.BD here. */
463         get_saved_sp    /* k1 := current_thread_info */
464         .set    noreorder
465         MFC0    k0, CP0_EPC
466 #if defined(CONFIG_CPU_R3000) || defined(CONFIG_CPU_TX39XX)
467         ori     k1, _THREAD_MASK
468         xori    k1, _THREAD_MASK
469         LONG_L  v1, TI_TP_VALUE(k1)
470         LONG_ADDIU      k0, 4
471         jr      k0
472          rfe
473 #else
474         LONG_ADDIU      k0, 4           /* stall on $k0 */
475         MTC0    k0, CP0_EPC
476         /* I hope three instructions between MTC0 and ERET are enough... */
477         ori     k1, _THREAD_MASK
478         xori    k1, _THREAD_MASK
479         LONG_L  v1, TI_TP_VALUE(k1)
480         .set    mips3
481         eret
482         .set    mips0
483 #endif
484         .set    pop
485         END(handle_ri_rdhwr)
486
487 #ifdef CONFIG_64BIT
488 /* A temporary overflow handler used by check_daddi(). */
489
490         __INIT
491
492         BUILD_HANDLER  daddi_ov daddi_ov none silent    /* #12 */
493 #endif