Linux-2.6.12-rc2
[linux-2.6.git] / arch / sparc64 / kernel / head.S
1 /* $Id: head.S,v 1.87 2002/02/09 19:49:31 davem Exp $
2  * head.S: Initial boot code for the Sparc64 port of Linux.
3  *
4  * Copyright (C) 1996,1997 David S. Miller (davem@caip.rutgers.edu)
5  * Copyright (C) 1996 David Sitsky (David.Sitsky@anu.edu.au)
6  * Copyright (C) 1997,1998 Jakub Jelinek (jj@sunsite.mff.cuni.cz)
7  * Copyright (C) 1997 Miguel de Icaza (miguel@nuclecu.unam.mx)
8  */
9
10 #include <linux/config.h>
11 #include <linux/version.h>
12 #include <linux/errno.h>
13 #include <asm/thread_info.h>
14 #include <asm/asi.h>
15 #include <asm/pstate.h>
16 #include <asm/ptrace.h>
17 #include <asm/spitfire.h>
18 #include <asm/page.h>
19 #include <asm/pgtable.h>
20 #include <asm/errno.h>
21 #include <asm/signal.h>
22 #include <asm/processor.h>
23 #include <asm/lsu.h>
24 #include <asm/dcr.h>
25 #include <asm/dcu.h>
26 #include <asm/head.h>
27 #include <asm/ttable.h>
28 #include <asm/mmu.h>
29         
30 /* This section from from _start to sparc64_boot_end should fit into
31  * 0x0000.0000.0040.4000 to 0x0000.0000.0040.8000 and will be sharing space
32  * with bootup_user_stack, which is from 0x0000.0000.0040.4000 to
33  * 0x0000.0000.0040.6000 and empty_bad_page, which is from
34  * 0x0000.0000.0040.6000 to 0x0000.0000.0040.8000. 
35  */
36
37         .text
38         .globl  start, _start, stext, _stext
39 _start:
40 start:
41 _stext:
42 stext:
43 bootup_user_stack:
44 ! 0x0000000000404000
45         b       sparc64_boot
46          flushw                                 /* Flush register file.      */
47
48 /* This stuff has to be in sync with SILO and other potential boot loaders
49  * Fields should be kept upward compatible and whenever any change is made,
50  * HdrS version should be incremented.
51  */
52         .global root_flags, ram_flags, root_dev
53         .global sparc_ramdisk_image, sparc_ramdisk_size
54         .global sparc_ramdisk_image64
55
56         .ascii  "HdrS"
57         .word   LINUX_VERSION_CODE
58
59         /* History:
60          *
61          * 0x0300 : Supports being located at other than 0x4000
62          * 0x0202 : Supports kernel params string
63          * 0x0201 : Supports reboot_command
64          */
65         .half   0x0301          /* HdrS version */
66
67 root_flags:
68         .half   1
69 root_dev:
70         .half   0
71 ram_flags:
72         .half   0
73 sparc_ramdisk_image:
74         .word   0
75 sparc_ramdisk_size:
76         .word   0
77         .xword  reboot_command
78         .xword  bootstr_info
79 sparc_ramdisk_image64:
80         .xword  0
81         .word   _end
82
83         /* We must be careful, 32-bit OpenBOOT will get confused if it
84          * tries to save away a register window to a 64-bit kernel
85          * stack address.  Flush all windows, disable interrupts,
86          * remap if necessary, jump onto kernel trap table, then kernel
87          * stack, or else we die.
88          *
89          * PROM entry point is on %o4
90          */
91 sparc64_boot:
92         BRANCH_IF_CHEETAH_BASE(g1,g7,cheetah_boot)
93         BRANCH_IF_CHEETAH_PLUS_OR_FOLLOWON(g1,g7,cheetah_plus_boot)
94         ba,pt   %xcc, spitfire_boot
95          nop
96
97 cheetah_plus_boot:
98         /* Preserve OBP chosen DCU and DCR register settings.  */
99         ba,pt   %xcc, cheetah_generic_boot
100          nop
101
102 cheetah_boot:
103         mov     DCR_BPE | DCR_RPE | DCR_SI | DCR_IFPOE | DCR_MS, %g1
104         wr      %g1, %asr18
105
106         sethi   %uhi(DCU_ME|DCU_RE|DCU_HPE|DCU_SPE|DCU_SL|DCU_WE), %g7
107         or      %g7, %ulo(DCU_ME|DCU_RE|DCU_HPE|DCU_SPE|DCU_SL|DCU_WE), %g7
108         sllx    %g7, 32, %g7
109         or      %g7, DCU_DM | DCU_IM | DCU_DC | DCU_IC, %g7
110         stxa    %g7, [%g0] ASI_DCU_CONTROL_REG
111         membar  #Sync
112
113 cheetah_generic_boot:
114         mov     TSB_EXTENSION_P, %g3
115         stxa    %g0, [%g3] ASI_DMMU
116         stxa    %g0, [%g3] ASI_IMMU
117         membar  #Sync
118
119         mov     TSB_EXTENSION_S, %g3
120         stxa    %g0, [%g3] ASI_DMMU
121         membar  #Sync
122
123         mov     TSB_EXTENSION_N, %g3
124         stxa    %g0, [%g3] ASI_DMMU
125         stxa    %g0, [%g3] ASI_IMMU
126         membar  #Sync
127
128         wrpr    %g0, (PSTATE_PRIV|PSTATE_PEF|PSTATE_IE), %pstate
129         wr      %g0, 0, %fprs
130
131         /* Just like for Spitfire, we probe itlb-2 for a mapping which
132          * matches our current %pc.  We take the physical address in
133          * that mapping and use it to make our own.
134          */
135
136         /* %g5 holds the tlb data */
137         sethi   %uhi(_PAGE_VALID | _PAGE_SZ4MB), %g5
138         sllx    %g5, 32, %g5
139         or      %g5, (_PAGE_CP | _PAGE_CV | _PAGE_P | _PAGE_L | _PAGE_W | _PAGE_G), %g5
140
141         /* Put PADDR tlb data mask into %g3. */
142         sethi   %uhi(_PAGE_PADDR), %g3
143         or      %g3, %ulo(_PAGE_PADDR), %g3
144         sllx    %g3, 32, %g3
145         sethi   %hi(_PAGE_PADDR), %g7
146         or      %g7, %lo(_PAGE_PADDR), %g7
147         or      %g3, %g7, %g3
148
149         set     2 << 16, %l0            /* TLB entry walker. */
150         set     0x1fff, %l2             /* Page mask. */
151         rd      %pc, %l3
152         andn    %l3, %l2, %g2           /* vaddr comparator */
153
154 1:      ldxa    [%l0] ASI_ITLB_TAG_READ, %g1
155         membar  #Sync
156         andn    %g1, %l2, %g1
157         cmp     %g1, %g2
158         be,pn   %xcc, cheetah_got_tlbentry
159          nop
160         and     %l0, (127 << 3), %g1
161         cmp     %g1, (127 << 3)
162         blu,pt  %xcc, 1b
163          add    %l0, (1 << 3), %l0
164
165         /* Search the small TLB.  OBP never maps us like that but
166          * newer SILO can.
167          */
168         clr     %l0
169
170 1:      ldxa    [%l0] ASI_ITLB_TAG_READ, %g1
171         membar  #Sync
172         andn    %g1, %l2, %g1
173         cmp     %g1, %g2
174         be,pn   %xcc, cheetah_got_tlbentry
175          nop
176         cmp     %l0, (15 << 3)
177         blu,pt  %xcc, 1b
178          add    %l0, (1 << 3), %l0
179
180         /* BUG() if we get here... */
181         ta      0x5
182
183 cheetah_got_tlbentry:
184         ldxa    [%l0] ASI_ITLB_DATA_ACCESS, %g0
185         ldxa    [%l0] ASI_ITLB_DATA_ACCESS, %g1
186         membar  #Sync
187         and     %g1, %g3, %g1
188         set     0x5fff, %l0
189         andn    %g1, %l0, %g1
190         or      %g5, %g1, %g5
191
192         /* Clear out any KERNBASE area entries. */
193         set     2 << 16, %l0
194         sethi   %hi(KERNBASE), %g3
195         sethi   %hi(KERNBASE<<1), %g7
196         mov     TLB_TAG_ACCESS, %l7
197
198         /* First, check ITLB */
199 1:      ldxa    [%l0] ASI_ITLB_TAG_READ, %g1
200         membar  #Sync
201         andn    %g1, %l2, %g1
202         cmp     %g1, %g3
203         blu,pn  %xcc, 2f
204          cmp    %g1, %g7
205         bgeu,pn %xcc, 2f
206          nop
207         stxa    %g0, [%l7] ASI_IMMU
208         membar  #Sync
209         stxa    %g0, [%l0] ASI_ITLB_DATA_ACCESS
210         membar  #Sync
211
212 2:      and     %l0, (127 << 3), %g1
213         cmp     %g1, (127 << 3)
214         blu,pt  %xcc, 1b
215          add    %l0, (1 << 3), %l0
216
217         /* Next, check DTLB */
218         set     2 << 16, %l0
219 1:      ldxa    [%l0] ASI_DTLB_TAG_READ, %g1
220         membar  #Sync
221         andn    %g1, %l2, %g1
222         cmp     %g1, %g3
223         blu,pn  %xcc, 2f
224          cmp    %g1, %g7
225         bgeu,pn %xcc, 2f
226          nop
227         stxa    %g0, [%l7] ASI_DMMU
228         membar  #Sync
229         stxa    %g0, [%l0] ASI_DTLB_DATA_ACCESS
230         membar  #Sync
231         
232 2:      and     %l0, (511 << 3), %g1
233         cmp     %g1, (511 << 3)
234         blu,pt  %xcc, 1b
235          add    %l0, (1 << 3), %l0
236
237         /* On Cheetah+, have to check second DTLB.  */
238         BRANCH_IF_CHEETAH_PLUS_OR_FOLLOWON(g1,l0,2f)
239         ba,pt   %xcc, 9f
240          nop
241
242 2:      set     3 << 16, %l0
243 1:      ldxa    [%l0] ASI_DTLB_TAG_READ, %g1
244         membar  #Sync
245         andn    %g1, %l2, %g1
246         cmp     %g1, %g3
247         blu,pn  %xcc, 2f
248          cmp    %g1, %g7
249         bgeu,pn %xcc, 2f
250          nop
251         stxa    %g0, [%l7] ASI_DMMU
252         membar  #Sync
253         stxa    %g0, [%l0] ASI_DTLB_DATA_ACCESS
254         membar  #Sync
255         
256 2:      and     %l0, (511 << 3), %g1
257         cmp     %g1, (511 << 3)
258         blu,pt  %xcc, 1b
259          add    %l0, (1 << 3), %l0
260
261 9:
262
263         /* Now lock the TTE we created into ITLB-0 and DTLB-0,
264          * entry 15 (and maybe 14 too).
265          */
266         sethi   %hi(KERNBASE), %g3
267         set     (0 << 16) | (15 << 3), %g7
268         stxa    %g3, [%l7] ASI_DMMU
269         membar  #Sync
270         stxa    %g5, [%g7] ASI_DTLB_DATA_ACCESS
271         membar  #Sync
272         stxa    %g3, [%l7] ASI_IMMU
273         membar  #Sync
274         stxa    %g5, [%g7] ASI_ITLB_DATA_ACCESS
275         membar  #Sync
276         flush   %g3
277         membar  #Sync
278         sethi   %hi(_end), %g3                  /* Check for bigkernel case */
279         or      %g3, %lo(_end), %g3
280         srl     %g3, 23, %g3                    /* Check if _end > 8M */
281         brz,pt  %g3, 1f
282          sethi  %hi(KERNBASE), %g3              /* Restore for fixup code below */
283         sethi   %hi(0x400000), %g3
284         or      %g3, %lo(0x400000), %g3
285         add     %g5, %g3, %g5                   /* New tte data */
286         andn    %g5, (_PAGE_G), %g5
287         sethi   %hi(KERNBASE+0x400000), %g3
288         or      %g3, %lo(KERNBASE+0x400000), %g3
289         set     (0 << 16) | (14 << 3), %g7
290         stxa    %g3, [%l7] ASI_DMMU
291         membar  #Sync
292         stxa    %g5, [%g7] ASI_DTLB_DATA_ACCESS
293         membar  #Sync
294         stxa    %g3, [%l7] ASI_IMMU
295         membar  #Sync
296         stxa    %g5, [%g7] ASI_ITLB_DATA_ACCESS
297         membar  #Sync
298         flush   %g3
299         membar  #Sync
300         sethi   %hi(KERNBASE), %g3              /* Restore for fixup code below */
301         ba,pt   %xcc, 1f
302          nop
303
304 1:      set     sun4u_init, %g2
305         jmpl    %g2 + %g0, %g0
306          nop
307
308 spitfire_boot:
309         /* Typically PROM has already enabled both MMU's and both on-chip
310          * caches, but we do it here anyway just to be paranoid.
311          */
312         mov     (LSU_CONTROL_IC|LSU_CONTROL_DC|LSU_CONTROL_IM|LSU_CONTROL_DM), %g1
313         stxa    %g1, [%g0] ASI_LSU_CONTROL
314         membar  #Sync
315
316         /*
317          * Make sure we are in privileged mode, have address masking,
318          * using the ordinary globals and have enabled floating
319          * point.
320          *
321          * Again, typically PROM has left %pil at 13 or similar, and
322          * (PSTATE_PRIV | PSTATE_PEF | PSTATE_IE) in %pstate.
323          */
324         wrpr    %g0, (PSTATE_PRIV|PSTATE_PEF|PSTATE_IE), %pstate
325         wr      %g0, 0, %fprs
326
327 spitfire_create_mappings:
328         /* %g5 holds the tlb data */
329         sethi   %uhi(_PAGE_VALID | _PAGE_SZ4MB), %g5
330         sllx    %g5, 32, %g5
331         or      %g5, (_PAGE_CP | _PAGE_CV | _PAGE_P | _PAGE_L | _PAGE_W | _PAGE_G), %g5
332
333         /* Base of physical memory cannot reliably be assumed to be
334          * at 0x0!  Figure out where it happens to be. -DaveM
335          */
336
337         /* Put PADDR tlb data mask into %g3. */
338         sethi   %uhi(_PAGE_PADDR_SF), %g3
339         or      %g3, %ulo(_PAGE_PADDR_SF), %g3
340         sllx    %g3, 32, %g3
341         sethi   %hi(_PAGE_PADDR_SF), %g7
342         or      %g7, %lo(_PAGE_PADDR_SF), %g7
343         or      %g3, %g7, %g3
344
345         /* Walk through entire ITLB, looking for entry which maps
346          * our %pc currently, stick PADDR from there into %g5 tlb data.
347          */
348         clr     %l0                     /* TLB entry walker. */
349         set     0x1fff, %l2             /* Page mask. */
350         rd      %pc, %l3
351         andn    %l3, %l2, %g2           /* vaddr comparator */
352 1:
353         /* Yes, the nops seem to be necessary for now, don't ask me why. -DaveM */
354         ldxa    [%l0] ASI_ITLB_TAG_READ, %g1
355         nop
356         nop
357         nop
358         andn    %g1, %l2, %g1           /* Get vaddr */
359         cmp     %g1, %g2
360         be,a,pn %xcc, spitfire_got_tlbentry
361          ldxa   [%l0] ASI_ITLB_DATA_ACCESS, %g1
362         cmp     %l0, (63 << 3)
363         blu,pt  %xcc, 1b
364          add    %l0, (1 << 3), %l0
365
366         /* BUG() if we get here... */
367         ta      0x5
368
369 spitfire_got_tlbentry:
370         /* Nops here again, perhaps Cheetah/Blackbird are better behaved... */
371         nop
372         nop
373         nop
374         and     %g1, %g3, %g1           /* Mask to just get paddr bits.       */
375         set     0x5fff, %l3             /* Mask offset to get phys base.      */
376         andn    %g1, %l3, %g1
377
378         /* NOTE: We hold on to %g1 paddr base as we need it below to lock
379          * NOTE: the PROM cif code into the TLB.
380          */
381
382         or      %g5, %g1, %g5           /* Or it into TAG being built.        */
383
384         clr     %l0                     /* TLB entry walker. */
385         sethi   %hi(KERNBASE), %g3      /* 4M lower limit */
386         sethi   %hi(KERNBASE<<1), %g7   /* 8M upper limit */
387         mov     TLB_TAG_ACCESS, %l7
388 1:
389         /* Yes, the nops seem to be necessary for now, don't ask me why. -DaveM */
390         ldxa    [%l0] ASI_ITLB_TAG_READ, %g1
391         nop
392         nop
393         nop
394         andn    %g1, %l2, %g1           /* Get vaddr */
395         cmp     %g1, %g3
396         blu,pn  %xcc, 2f
397          cmp    %g1, %g7
398         bgeu,pn %xcc, 2f
399          nop
400         stxa    %g0, [%l7] ASI_IMMU
401         stxa    %g0, [%l0] ASI_ITLB_DATA_ACCESS
402         membar  #Sync
403 2:
404         cmp     %l0, (63 << 3)
405         blu,pt  %xcc, 1b
406          add    %l0, (1 << 3), %l0
407
408         nop; nop; nop
409
410         clr     %l0                     /* TLB entry walker. */
411 1:
412         /* Yes, the nops seem to be necessary for now, don't ask me why. -DaveM */
413         ldxa    [%l0] ASI_DTLB_TAG_READ, %g1
414         nop
415         nop
416         nop
417         andn    %g1, %l2, %g1           /* Get vaddr */
418         cmp     %g1, %g3
419         blu,pn  %xcc, 2f
420          cmp    %g1, %g7
421         bgeu,pn %xcc, 2f
422          nop
423         stxa    %g0, [%l7] ASI_DMMU
424         stxa    %g0, [%l0] ASI_DTLB_DATA_ACCESS
425         membar  #Sync
426 2:
427         cmp     %l0, (63 << 3)
428         blu,pt  %xcc, 1b
429          add    %l0, (1 << 3), %l0
430
431         nop; nop; nop
432
433
434         /* PROM never puts any TLB entries into the MMU with the lock bit
435          * set.  So we gladly use tlb entry 63 for KERNBASE. And maybe 62 too.
436          */
437
438         sethi   %hi(KERNBASE), %g3
439         mov     (63 << 3), %g7
440         stxa    %g3, [%l7] ASI_DMMU             /* KERNBASE into TLB TAG        */
441         stxa    %g5, [%g7] ASI_DTLB_DATA_ACCESS /* TTE into TLB DATA            */
442         membar  #Sync
443         stxa    %g3, [%l7] ASI_IMMU             /* KERNBASE into TLB TAG        */
444         stxa    %g5, [%g7] ASI_ITLB_DATA_ACCESS /* TTE into TLB DATA            */
445         membar  #Sync
446         flush   %g3
447         membar  #Sync
448         sethi   %hi(_end), %g3                  /* Check for bigkernel case */
449         or      %g3, %lo(_end), %g3
450         srl     %g3, 23, %g3                    /* Check if _end > 8M */
451         brz,pt  %g3, 2f
452          sethi  %hi(KERNBASE), %g3              /* Restore for fixup code below */
453         sethi   %hi(0x400000), %g3
454         or      %g3, %lo(0x400000), %g3
455         add     %g5, %g3, %g5                   /* New tte data */
456         andn    %g5, (_PAGE_G), %g5
457         sethi   %hi(KERNBASE+0x400000), %g3
458         or      %g3, %lo(KERNBASE+0x400000), %g3
459         mov     (62 << 3), %g7
460         stxa    %g3, [%l7] ASI_DMMU
461         stxa    %g5, [%g7] ASI_DTLB_DATA_ACCESS
462         membar  #Sync
463         stxa    %g3, [%l7] ASI_IMMU
464         stxa    %g5, [%g7] ASI_ITLB_DATA_ACCESS
465         membar  #Sync
466         flush   %g3
467         membar  #Sync
468         sethi   %hi(KERNBASE), %g3              /* Restore for fixup code below */
469 2:      ba,pt   %xcc, 1f
470          nop
471 1:
472         set     sun4u_init, %g2
473         jmpl    %g2 + %g0, %g0
474          nop
475
476 sun4u_init:
477         /* Set ctx 0 */
478         mov     PRIMARY_CONTEXT, %g7
479         stxa    %g0, [%g7] ASI_DMMU
480         membar  #Sync
481
482         mov     SECONDARY_CONTEXT, %g7
483         stxa    %g0, [%g7] ASI_DMMU
484         membar  #Sync
485
486         /* We are now safely (we hope) in Nucleus context (0), rewrite
487          * the KERNBASE TTE's so they no longer have the global bit set.
488          * Don't forget to setup TAG_ACCESS first 8-)
489          */
490         mov     TLB_TAG_ACCESS, %g2
491         stxa    %g3, [%g2] ASI_IMMU
492         stxa    %g3, [%g2] ASI_DMMU
493         membar  #Sync
494
495         BRANCH_IF_ANY_CHEETAH(g1,g7,cheetah_tlb_fixup)
496
497         ba,pt   %xcc, spitfire_tlb_fixup
498          nop
499
500 cheetah_tlb_fixup:
501         set     (0 << 16) | (15 << 3), %g7
502         ldxa    [%g7] ASI_ITLB_DATA_ACCESS, %g0
503         ldxa    [%g7] ASI_ITLB_DATA_ACCESS, %g1
504         andn    %g1, (_PAGE_G), %g1
505         stxa    %g1, [%g7] ASI_ITLB_DATA_ACCESS
506         membar  #Sync
507
508         ldxa    [%g7] ASI_DTLB_DATA_ACCESS, %g0
509         ldxa    [%g7] ASI_DTLB_DATA_ACCESS, %g1
510         andn    %g1, (_PAGE_G), %g1
511         stxa    %g1, [%g7] ASI_DTLB_DATA_ACCESS
512         membar  #Sync
513
514         /* Kill instruction prefetch queues. */
515         flush   %g3
516         membar  #Sync
517
518         mov     2, %g2          /* Set TLB type to cheetah+. */
519         BRANCH_IF_CHEETAH_PLUS_OR_FOLLOWON(g1,g7,1f)
520
521         mov     1, %g2          /* Set TLB type to cheetah. */
522
523 1:      sethi   %hi(tlb_type), %g1
524         stw     %g2, [%g1 + %lo(tlb_type)]
525
526         BRANCH_IF_CHEETAH_PLUS_OR_FOLLOWON(g1,g7,1f)
527         ba,pt   %xcc, 2f
528          nop
529
530 1:      /* Patch context register writes to support nucleus page
531          * size correctly.
532          */
533         call    cheetah_plus_patch_etrap
534          nop
535         call    cheetah_plus_patch_rtrap
536          nop
537         call    cheetah_plus_patch_fpdis
538          nop
539         call    cheetah_plus_patch_winfixup
540          nop
541         
542
543 2:      /* Patch copy/page operations to cheetah optimized versions. */
544         call    cheetah_patch_copyops
545          nop
546         call    cheetah_patch_cachetlbops
547          nop
548
549         ba,pt   %xcc, tlb_fixup_done
550          nop
551
552 spitfire_tlb_fixup:
553         mov     (63 << 3), %g7
554         ldxa    [%g7] ASI_ITLB_DATA_ACCESS, %g1
555         andn    %g1, (_PAGE_G), %g1
556         stxa    %g1, [%g7] ASI_ITLB_DATA_ACCESS
557         membar  #Sync
558
559         ldxa    [%g7] ASI_DTLB_DATA_ACCESS, %g1
560         andn    %g1, (_PAGE_G), %g1
561         stxa    %g1, [%g7] ASI_DTLB_DATA_ACCESS
562         membar  #Sync
563
564         /* Kill instruction prefetch queues. */
565         flush   %g3
566         membar  #Sync
567
568         /* Set TLB type to spitfire. */
569         mov     0, %g2
570         sethi   %hi(tlb_type), %g1
571         stw     %g2, [%g1 + %lo(tlb_type)]
572
573 tlb_fixup_done:
574         sethi   %hi(init_thread_union), %g6
575         or      %g6, %lo(init_thread_union), %g6
576         ldx     [%g6 + TI_TASK], %g4
577         mov     %sp, %l6
578         mov     %o4, %l7
579
580 #if 0   /* We don't do it like this anymore, but for historical hack value
581          * I leave this snippet here to show how crazy we can be sometimes. 8-)
582          */
583
584         /* Setup "Linux Current Register", thanks Sun 8-) */
585         wr      %g0, 0x1, %pcr
586
587         /* Blackbird errata workaround.  See commentary in
588          * smp.c:smp_percpu_timer_interrupt() for more
589          * information.
590          */
591         ba,pt   %xcc, 99f
592          nop
593         .align  64
594 99:     wr      %g6, %g0, %pic
595         rd      %pic, %g0
596 #endif
597
598         wr      %g0, ASI_P, %asi
599         mov     1, %g1
600         sllx    %g1, THREAD_SHIFT, %g1
601         sub     %g1, (STACKFRAME_SZ + STACK_BIAS), %g1
602         add     %g6, %g1, %sp
603         mov     0, %fp
604
605         /* Set per-cpu pointer initially to zero, this makes
606          * the boot-cpu use the in-kernel-image per-cpu areas
607          * before setup_per_cpu_area() is invoked.
608          */
609         clr     %g5
610
611         wrpr    %g0, 0, %wstate
612         wrpr    %g0, 0x0, %tl
613
614         /* Clear the bss */
615         sethi   %hi(__bss_start), %o0
616         or      %o0, %lo(__bss_start), %o0
617         sethi   %hi(_end), %o1
618         or      %o1, %lo(_end), %o1
619         call    __bzero
620          sub    %o1, %o0, %o1
621
622         mov     %l6, %o1                        ! OpenPROM stack
623         call    prom_init
624          mov    %l7, %o0                        ! OpenPROM cif handler
625
626         /* Off we go.... */
627         call    start_kernel
628          nop
629         /* Not reached... */
630
631 /* IMPORTANT NOTE: Whenever making changes here, check
632  * trampoline.S as well. -jj */
633         .globl  setup_tba
634 setup_tba:      /* i0 = is_starfire */
635         save    %sp, -160, %sp
636
637         rdpr    %tba, %g7
638         sethi   %hi(prom_tba), %o1
639         or      %o1, %lo(prom_tba), %o1
640         stx     %g7, [%o1]
641
642         /* Setup "Linux" globals 8-) */
643         rdpr    %pstate, %o1
644         mov     %g6, %o2
645         wrpr    %o1, (PSTATE_AG|PSTATE_IE), %pstate
646         sethi   %hi(sparc64_ttable_tl0), %g1
647         wrpr    %g1, %tba
648         mov     %o2, %g6
649
650         /* Set up MMU globals */
651         wrpr    %o1, (PSTATE_MG|PSTATE_IE), %pstate
652
653         /* Set fixed globals used by dTLB miss handler. */
654 #define KERN_HIGHBITS           ((_PAGE_VALID|_PAGE_SZ4MB)^0xfffff80000000000)
655 #define KERN_LOWBITS            (_PAGE_CP | _PAGE_CV | _PAGE_P | _PAGE_W)
656
657         mov     TSB_REG, %g1
658         stxa    %g0, [%g1] ASI_DMMU
659         membar  #Sync
660         stxa    %g0, [%g1] ASI_IMMU
661         membar  #Sync
662         mov     TLB_SFSR, %g1
663         sethi   %uhi(KERN_HIGHBITS), %g2
664         or      %g2, %ulo(KERN_HIGHBITS), %g2
665         sllx    %g2, 32, %g2
666         or      %g2, KERN_LOWBITS, %g2
667
668         BRANCH_IF_ANY_CHEETAH(g3,g7,cheetah_vpte_base)
669         ba,pt   %xcc, spitfire_vpte_base
670          nop
671
672 cheetah_vpte_base:
673         sethi           %uhi(VPTE_BASE_CHEETAH), %g3
674         or              %g3, %ulo(VPTE_BASE_CHEETAH), %g3
675         ba,pt           %xcc, 2f
676          sllx           %g3, 32, %g3
677
678 spitfire_vpte_base:
679         sethi           %uhi(VPTE_BASE_SPITFIRE), %g3
680         or              %g3, %ulo(VPTE_BASE_SPITFIRE), %g3
681         sllx            %g3, 32, %g3
682
683 2:
684         clr     %g7
685 #undef KERN_HIGHBITS
686 #undef KERN_LOWBITS
687
688         /* Kill PROM timer */
689         sethi   %hi(0x80000000), %o2
690         sllx    %o2, 32, %o2
691         wr      %o2, 0, %tick_cmpr
692
693         BRANCH_IF_ANY_CHEETAH(o2,o3,1f)
694
695         ba,pt   %xcc, 2f
696          nop
697
698         /* Disable STICK_INT interrupts. */
699 1:
700         sethi   %hi(0x80000000), %o2
701         sllx    %o2, 32, %o2
702         wr      %o2, %asr25
703
704         /* Ok, we're done setting up all the state our trap mechanims needs,
705          * now get back into normal globals and let the PROM know what is up.
706          */
707 2:
708         wrpr    %g0, %g0, %wstate
709         wrpr    %o1, PSTATE_IE, %pstate
710
711         call    init_irqwork_curcpu
712          nop
713
714         call    prom_set_trap_table
715          sethi  %hi(sparc64_ttable_tl0), %o0
716
717         BRANCH_IF_CHEETAH_PLUS_OR_FOLLOWON(g2,g3,1f)
718         ba,pt   %xcc, 2f
719          nop
720
721 1:      /* Start using proper page size encodings in ctx register.  */
722         sethi   %uhi(CTX_CHEETAH_PLUS_NUC), %g3
723         mov     PRIMARY_CONTEXT, %g1
724         sllx    %g3, 32, %g3
725         sethi   %hi(CTX_CHEETAH_PLUS_CTX0), %g2
726         or      %g3, %g2, %g3
727         stxa    %g3, [%g1] ASI_DMMU
728         membar  #Sync
729
730 2:
731         rdpr    %pstate, %o1
732         or      %o1, PSTATE_IE, %o1
733         wrpr    %o1, 0, %pstate
734
735         ret
736          restore
737
738 /*
739  * The following skips make sure the trap table in ttable.S is aligned
740  * on a 32K boundary as required by the v9 specs for TBA register.
741  */
742 sparc64_boot_end:
743         .skip   0x2000 + _start - sparc64_boot_end
744 bootup_user_stack_end:
745         .skip   0x2000
746
747 #ifdef CONFIG_SBUS
748 /* This is just a hack to fool make depend config.h discovering
749    strategy: As the .S files below need config.h, but
750    make depend does not find it for them, we include config.h
751    in head.S */
752 #endif
753
754 ! 0x0000000000408000
755
756 #include "ttable.S"
757 #include "systbls.S"
758
759         .align  1024
760         .globl  swapper_pg_dir
761 swapper_pg_dir:
762         .word   0
763
764 #include "etrap.S"
765 #include "rtrap.S"
766 #include "winfixup.S"
767 #include "entry.S"
768
769         /* This is just anal retentiveness on my part... */
770         .align  16384
771
772         .data
773         .align  8
774         .globl  prom_tba, tlb_type
775 prom_tba:       .xword  0
776 tlb_type:       .word   0       /* Must NOT end up in BSS */
777         .section        ".fixup",#alloc,#execinstr
778         .globl  __ret_efault
779 __ret_efault:
780         ret
781          restore %g0, -EFAULT, %o0
782