parisc: fix trivial section name warnings
[linux-2.6.git] / arch / parisc / kernel / syscall.S
1 /* 
2  * Linux/PA-RISC Project (http://www.parisc-linux.org/)
3  * 
4  * System call entry code Copyright (c) Matthew Wilcox 1999 <willy@bofh.ai>
5  * Licensed under the GNU GPL.
6  * thanks to Philipp Rumpf, Mike Shaver and various others
7  * sorry about the wall, puffin..
8  */
9
10 #include <asm/asm-offsets.h>
11 #include <asm/unistd.h>
12 #include <asm/errno.h>
13 #include <asm/page.h>
14 #include <asm/psw.h>
15 #include <asm/thread_info.h>
16 #include <asm/assembly.h>
17 #include <asm/processor.h>
18
19 #include <linux/linkage.h>
20 #include <linux/init.h>
21
22         /* We fill the empty parts of the gateway page with
23          * something that will kill the kernel or a
24          * userspace application.
25          */
26 #define KILL_INSN       break   0,0
27
28         .level          LEVEL
29
30         __HEAD
31
32         .import syscall_exit,code
33         .import syscall_exit_rfi,code
34
35         /* Linux gateway page is aliased to virtual page 0 in the kernel
36          * address space. Since it is a gateway page it cannot be
37          * dereferenced, so null pointers will still fault. We start
38          * the actual entry point at 0x100. We put break instructions
39          * at the beginning of the page to trap null indirect function
40          * pointers.
41          */
42
43         .align PAGE_SIZE
44 ENTRY(linux_gateway_page)
45
46         /* ADDRESS 0x00 to 0xb0 = 176 bytes / 4 bytes per insn = 44 insns */
47         .rept 44
48         KILL_INSN
49         .endr
50
51         /* ADDRESS 0xb0 to 0xb4, lws uses 1 insns for entry */
52         /* Light-weight-syscall entry must always be located at 0xb0 */
53         /* WARNING: Keep this number updated with table size changes */
54 #define __NR_lws_entries (2)
55
56 lws_entry:
57         /* Unconditional branch to lws_start, located on the 
58            same gateway page */
59         b,n     lws_start
60
61         /* Fill from 0xb4 to 0xe0 */
62         .rept 11
63         KILL_INSN
64         .endr
65
66         /* This function MUST be located at 0xe0 for glibc's threading 
67         mechanism to work. DO NOT MOVE THIS CODE EVER! */
68 set_thread_pointer:
69         gate    .+8, %r0                /* increase privilege */
70         depi    3, 31, 2, %r31          /* Ensure we return into user mode. */
71         be      0(%sr7,%r31)            /* return to user space */
72         mtctl   %r26, %cr27             /* move arg0 to the control register */
73
74         /* Increase the chance of trapping if random jumps occur to this
75         address, fill from 0xf0 to 0x100 */
76         .rept 4
77         KILL_INSN
78         .endr
79
80 /* This address must remain fixed at 0x100 for glibc's syscalls to work */
81         .align 256
82 linux_gateway_entry:
83         gate    .+8, %r0                        /* become privileged */
84         mtsp    %r0,%sr4                        /* get kernel space into sr4 */
85         mtsp    %r0,%sr5                        /* get kernel space into sr5 */
86         mtsp    %r0,%sr6                        /* get kernel space into sr6 */
87         mfsp    %sr7,%r1                        /* save user sr7 */
88         mtsp    %r1,%sr3                        /* and store it in sr3 */
89
90 #ifdef CONFIG_64BIT
91         /* for now we can *always* set the W bit on entry to the syscall
92          * since we don't support wide userland processes.  We could
93          * also save the current SM other than in r0 and restore it on
94          * exit from the syscall, and also use that value to know
95          * whether to do narrow or wide syscalls. -PB
96          */
97         ssm     PSW_SM_W, %r1
98         extrd,u %r1,PSW_W_BIT,1,%r1
99         /* sp must be aligned on 4, so deposit the W bit setting into
100          * the bottom of sp temporarily */
101         or,ev   %r1,%r30,%r30
102         b,n     1f
103         /* The top halves of argument registers must be cleared on syscall
104          * entry from narrow executable.
105          */
106         depdi   0, 31, 32, %r26
107         depdi   0, 31, 32, %r25
108         depdi   0, 31, 32, %r24
109         depdi   0, 31, 32, %r23
110         depdi   0, 31, 32, %r22
111         depdi   0, 31, 32, %r21
112 1:      
113 #endif
114         mfctl   %cr30,%r1
115         xor     %r1,%r30,%r30                   /* ye olde xor trick */
116         xor     %r1,%r30,%r1
117         xor     %r1,%r30,%r30
118         
119         ldo     THREAD_SZ_ALGN+FRAME_SIZE(%r30),%r30  /* set up kernel stack */
120
121         /* N.B.: It is critical that we don't set sr7 to 0 until r30
122          *       contains a valid kernel stack pointer. It is also
123          *       critical that we don't start using the kernel stack
124          *       until after sr7 has been set to 0.
125          */
126
127         mtsp    %r0,%sr7                        /* get kernel space into sr7 */
128         STREGM  %r1,FRAME_SIZE(%r30)            /* save r1 (usp) here for now */
129         mfctl   %cr30,%r1                       /* get task ptr in %r1 */
130         LDREG   TI_TASK(%r1),%r1
131
132         /* Save some registers for sigcontext and potential task
133            switch (see entry.S for the details of which ones are
134            saved/restored).  TASK_PT_PSW is zeroed so we can see whether
135            a process is on a syscall or not.  For an interrupt the real
136            PSW value is stored.  This is needed for gdb and sys_ptrace. */
137         STREG   %r0,  TASK_PT_PSW(%r1)
138         STREG   %r2,  TASK_PT_GR2(%r1)          /* preserve rp */
139         STREG   %r19, TASK_PT_GR19(%r1)
140
141         LDREGM  -FRAME_SIZE(%r30), %r2          /* get users sp back */
142 #ifdef CONFIG_64BIT
143         extrd,u %r2,63,1,%r19                   /* W hidden in bottom bit */
144 #if 0
145         xor     %r19,%r2,%r2                    /* clear bottom bit */
146         depd,z  %r19,1,1,%r19
147         std     %r19,TASK_PT_PSW(%r1)
148 #endif
149 #endif
150         STREG   %r2,  TASK_PT_GR30(%r1)         /* ... and save it */
151         
152         STREG   %r20, TASK_PT_GR20(%r1)         /* Syscall number */
153         STREG   %r21, TASK_PT_GR21(%r1)
154         STREG   %r22, TASK_PT_GR22(%r1)
155         STREG   %r23, TASK_PT_GR23(%r1)         /* 4th argument */
156         STREG   %r24, TASK_PT_GR24(%r1)         /* 3rd argument */
157         STREG   %r25, TASK_PT_GR25(%r1)         /* 2nd argument */
158         STREG   %r26, TASK_PT_GR26(%r1)         /* 1st argument */
159         STREG   %r27, TASK_PT_GR27(%r1)         /* user dp */
160         STREG   %r28, TASK_PT_GR28(%r1)         /* return value 0 */
161         STREG   %r28, TASK_PT_ORIG_R28(%r1)     /* return value 0 (saved for signals) */
162         STREG   %r29, TASK_PT_GR29(%r1)         /* return value 1 */
163         STREG   %r31, TASK_PT_GR31(%r1)         /* preserve syscall return ptr */
164         
165         ldo     TASK_PT_FR0(%r1), %r27          /* save fpregs from the kernel */
166         save_fp %r27                            /* or potential task switch  */
167
168         mfctl   %cr11, %r27                     /* i.e. SAR */
169         STREG   %r27, TASK_PT_SAR(%r1)
170
171         loadgp
172
173 #ifdef CONFIG_64BIT
174         ldo     -16(%r30),%r29                  /* Reference param save area */
175         copy    %r19,%r2                        /* W bit back to r2 */
176 #else
177         /* no need to save these on stack in wide mode because the first 8
178          * args are passed in registers */
179         stw     %r22, -52(%r30)                 /* 5th argument */
180         stw     %r21, -56(%r30)                 /* 6th argument */
181 #endif
182
183         /* Are we being ptraced? */
184         mfctl   %cr30, %r1
185         LDREG   TI_TASK(%r1),%r1
186         ldw     TASK_PTRACE(%r1), %r1
187         bb,<,n  %r1,31,.Ltracesys
188         
189         /* Note!  We cannot use the syscall table that is mapped
190         nearby since the gateway page is mapped execute-only. */
191
192 #ifdef CONFIG_64BIT
193         ldil    L%sys_call_table, %r1
194         or,=    %r2,%r2,%r2
195         addil   L%(sys_call_table64-sys_call_table), %r1
196         ldo     R%sys_call_table(%r1), %r19
197         or,=    %r2,%r2,%r2
198         ldo     R%sys_call_table64(%r1), %r19
199 #else
200         ldil    L%sys_call_table, %r1
201         ldo     R%sys_call_table(%r1), %r19
202 #endif  
203         comiclr,>>      __NR_Linux_syscalls, %r20, %r0
204         b,n     .Lsyscall_nosys
205         
206         LDREGX  %r20(%r19), %r19
207
208         /* If this is a sys_rt_sigreturn call, and the signal was received
209          * when not in_syscall, then we want to return via syscall_exit_rfi,
210          * not syscall_exit.  Signal no. in r20, in_syscall in r25 (see
211          * trampoline code in signal.c).
212          */
213         ldi     __NR_rt_sigreturn,%r2
214         comb,=  %r2,%r20,.Lrt_sigreturn
215 .Lin_syscall:
216         ldil    L%syscall_exit,%r2
217         be      0(%sr7,%r19)
218         ldo     R%syscall_exit(%r2),%r2
219 .Lrt_sigreturn:
220         comib,<> 0,%r25,.Lin_syscall
221         ldil    L%syscall_exit_rfi,%r2
222         be      0(%sr7,%r19)
223         ldo     R%syscall_exit_rfi(%r2),%r2
224
225         /* Note!  Because we are not running where we were linked, any
226         calls to functions external to this file must be indirect.  To
227         be safe, we apply the opposite rule to functions within this
228         file, with local labels given to them to ensure correctness. */
229         
230 .Lsyscall_nosys:
231 syscall_nosys:
232         ldil    L%syscall_exit,%r1
233         be      R%syscall_exit(%sr7,%r1)
234         ldo     -ENOSYS(%r0),%r28                  /* set errno */
235
236
237 /* Warning! This trace code is a virtual duplicate of the code above so be
238  * sure to maintain both! */
239 .Ltracesys:
240 tracesys:
241         /* Need to save more registers so the debugger can see where we
242          * are.  This saves only the lower 8 bits of PSW, so that the C
243          * bit is still clear on syscalls, and the D bit is set if this
244          * full register save path has been executed.  We check the D
245          * bit on syscall_return_rfi to determine which registers to
246          * restore.  An interrupt results in a full PSW saved with the
247          * C bit set, a non-straced syscall entry results in C and D clear
248          * in the saved PSW.
249          */
250         ldo     -THREAD_SZ_ALGN-FRAME_SIZE(%r30),%r1      /* get task ptr */
251         LDREG   TI_TASK(%r1), %r1
252         ssm     0,%r2
253         STREG   %r2,TASK_PT_PSW(%r1)            /* Lower 8 bits only!! */
254         mfsp    %sr0,%r2
255         STREG   %r2,TASK_PT_SR0(%r1)
256         mfsp    %sr1,%r2
257         STREG   %r2,TASK_PT_SR1(%r1)
258         mfsp    %sr2,%r2
259         STREG   %r2,TASK_PT_SR2(%r1)
260         mfsp    %sr3,%r2
261         STREG   %r2,TASK_PT_SR3(%r1)
262         STREG   %r2,TASK_PT_SR4(%r1)
263         STREG   %r2,TASK_PT_SR5(%r1)
264         STREG   %r2,TASK_PT_SR6(%r1)
265         STREG   %r2,TASK_PT_SR7(%r1)
266         STREG   %r2,TASK_PT_IASQ0(%r1)
267         STREG   %r2,TASK_PT_IASQ1(%r1)
268         LDREG   TASK_PT_GR31(%r1),%r2
269         STREG   %r2,TASK_PT_IAOQ0(%r1)
270         ldo     4(%r2),%r2
271         STREG   %r2,TASK_PT_IAOQ1(%r1)
272         ldo     TASK_REGS(%r1),%r2
273         /* reg_save %r2 */
274         STREG   %r3,PT_GR3(%r2)
275         STREG   %r4,PT_GR4(%r2)
276         STREG   %r5,PT_GR5(%r2)
277         STREG   %r6,PT_GR6(%r2)
278         STREG   %r7,PT_GR7(%r2)
279         STREG   %r8,PT_GR8(%r2)
280         STREG   %r9,PT_GR9(%r2)
281         STREG   %r10,PT_GR10(%r2)
282         STREG   %r11,PT_GR11(%r2)
283         STREG   %r12,PT_GR12(%r2)
284         STREG   %r13,PT_GR13(%r2)
285         STREG   %r14,PT_GR14(%r2)
286         STREG   %r15,PT_GR15(%r2)
287         STREG   %r16,PT_GR16(%r2)
288         STREG   %r17,PT_GR17(%r2)
289         STREG   %r18,PT_GR18(%r2)
290         /* Finished saving things for the debugger */
291
292         ldil    L%syscall_trace,%r1
293         ldil    L%tracesys_next,%r2
294         be      R%syscall_trace(%sr7,%r1)
295         ldo     R%tracesys_next(%r2),%r2
296         
297 tracesys_next:  
298         ldil    L%sys_call_table,%r1
299         ldo     R%sys_call_table(%r1), %r19
300
301         ldo     -THREAD_SZ_ALGN-FRAME_SIZE(%r30),%r1      /* get task ptr */
302         LDREG   TI_TASK(%r1), %r1
303         LDREG   TASK_PT_GR20(%r1), %r20
304         LDREG   TASK_PT_GR26(%r1), %r26         /* Restore the users args */
305         LDREG   TASK_PT_GR25(%r1), %r25
306         LDREG   TASK_PT_GR24(%r1), %r24
307         LDREG   TASK_PT_GR23(%r1), %r23
308 #ifdef CONFIG_64BIT
309         LDREG   TASK_PT_GR22(%r1), %r22
310         LDREG   TASK_PT_GR21(%r1), %r21
311         ldo     -16(%r30),%r29                  /* Reference param save area */
312 #endif
313
314         comiclr,>>=     __NR_Linux_syscalls, %r20, %r0
315         b,n     .Lsyscall_nosys
316
317         LDREGX  %r20(%r19), %r19
318
319         /* If this is a sys_rt_sigreturn call, and the signal was received
320          * when not in_syscall, then we want to return via syscall_exit_rfi,
321          * not syscall_exit.  Signal no. in r20, in_syscall in r25 (see
322          * trampoline code in signal.c).
323          */
324         ldi     __NR_rt_sigreturn,%r2
325         comb,=  %r2,%r20,.Ltrace_rt_sigreturn
326 .Ltrace_in_syscall:
327         ldil    L%tracesys_exit,%r2
328         be      0(%sr7,%r19)
329         ldo     R%tracesys_exit(%r2),%r2
330
331         /* Do *not* call this function on the gateway page, because it
332         makes a direct call to syscall_trace. */
333         
334 tracesys_exit:
335         ldo     -THREAD_SZ_ALGN-FRAME_SIZE(%r30),%r1      /* get task ptr */
336         LDREG   TI_TASK(%r1), %r1
337 #ifdef CONFIG_64BIT
338         ldo     -16(%r30),%r29                  /* Reference param save area */
339 #endif
340         bl      syscall_trace, %r2
341         STREG   %r28,TASK_PT_GR28(%r1)          /* save return value now */
342         ldo     -THREAD_SZ_ALGN-FRAME_SIZE(%r30),%r1      /* get task ptr */
343         LDREG   TI_TASK(%r1), %r1
344         LDREG   TASK_PT_GR28(%r1), %r28         /* Restore return val. */
345
346         ldil    L%syscall_exit,%r1
347         be,n    R%syscall_exit(%sr7,%r1)
348
349 .Ltrace_rt_sigreturn:
350         comib,<> 0,%r25,.Ltrace_in_syscall
351         ldil    L%tracesys_sigexit,%r2
352         be      0(%sr7,%r19)
353         ldo     R%tracesys_sigexit(%r2),%r2
354
355 tracesys_sigexit:
356         ldo     -THREAD_SZ_ALGN-FRAME_SIZE(%r30),%r1      /* get task ptr */
357         LDREG   0(%r1), %r1
358 #ifdef CONFIG_64BIT
359         ldo     -16(%r30),%r29                  /* Reference param save area */
360 #endif
361         bl      syscall_trace, %r2
362         nop
363
364         ldil    L%syscall_exit_rfi,%r1
365         be,n    R%syscall_exit_rfi(%sr7,%r1)
366
367
368         /*********************************************************
369                 Light-weight-syscall code
370
371                 r20 - lws number
372                 r26,r25,r24,r23,r22 - Input registers
373                 r28 - Function return register
374                 r21 - Error code.
375
376                 Scracth: Any of the above that aren't being
377                 currently used, including r1. 
378
379                 Return pointer: r31 (Not usable)
380
381                 Error codes returned by entry path:
382
383                 ENOSYS - r20 was an invalid LWS number.
384
385         *********************************************************/
386 lws_start:
387         /* Gate and ensure we return to userspace */
388         gate    .+8, %r0
389         depi    3, 31, 2, %r31  /* Ensure we return to userspace */
390
391 #ifdef CONFIG_64BIT
392         /* FIXME: If we are a 64-bit kernel just
393          *        turn this on unconditionally.
394          */
395         ssm     PSW_SM_W, %r1
396         extrd,u %r1,PSW_W_BIT,1,%r1
397         /* sp must be aligned on 4, so deposit the W bit setting into
398          * the bottom of sp temporarily */
399         or,ev   %r1,%r30,%r30
400
401         /* Clip LWS number to a 32-bit value always */
402         depdi   0, 31, 32, %r20
403 #endif  
404
405         /* Is the lws entry number valid? */
406         comiclr,>>=     __NR_lws_entries, %r20, %r0
407         b,n     lws_exit_nosys
408
409         /* WARNING: Trashing sr2 and sr3 */
410         mfsp    %sr7,%r1                        /* get userspace into sr3 */
411         mtsp    %r1,%sr3
412         mtsp    %r0,%sr2                        /* get kernel space into sr2 */
413
414         /* Load table start */
415         ldil    L%lws_table, %r1
416         ldo     R%lws_table(%r1), %r28  /* Scratch use of r28 */
417         LDREGX  %r20(%sr2,r28), %r21    /* Scratch use of r21 */
418
419         /* Jump to lws, lws table pointers already relocated */
420         be,n    0(%sr2,%r21)
421
422 lws_exit_nosys:
423         ldo     -ENOSYS(%r0),%r21                  /* set errno */
424         /* Fall through: Return to userspace */
425
426 lws_exit:
427 #ifdef CONFIG_64BIT
428         /* decide whether to reset the wide mode bit
429          *
430          * For a syscall, the W bit is stored in the lowest bit
431          * of sp.  Extract it and reset W if it is zero */
432         extrd,u,*<>     %r30,63,1,%r1
433         rsm     PSW_SM_W, %r0
434         /* now reset the lowest bit of sp if it was set */
435         xor     %r30,%r1,%r30
436 #endif
437         be,n    0(%sr3, %r31)
438
439
440         
441         /***************************************************
442                 Implementing CAS as an atomic operation:
443
444                 %r26 - Address to examine
445                 %r25 - Old value to check (old)
446                 %r24 - New value to set (new)
447                 %r28 - Return prev through this register.
448                 %r21 - Kernel error code
449
450                 If debugging is DISabled:
451
452                 %r21 has the following meanings:
453
454                 EAGAIN - CAS is busy, ldcw failed, try again.
455                 EFAULT - Read or write failed.          
456
457                 If debugging is enabled:
458
459                 EDEADLOCK - CAS called recursively.
460                 EAGAIN && r28 == 1 - CAS is busy. Lock contended.
461                 EAGAIN && r28 == 2 - CAS is busy. ldcw failed.
462                 EFAULT - Read or write failed.
463
464                 Scratch: r20, r28, r1
465
466         ****************************************************/
467
468         /* Do not enable LWS debugging */
469 #define ENABLE_LWS_DEBUG 0 
470
471         /* ELF64 Process entry path */
472 lws_compare_and_swap64:
473 #ifdef CONFIG_64BIT
474         b,n     lws_compare_and_swap
475 #else
476         /* If we are not a 64-bit kernel, then we don't
477          * implement having 64-bit input registers
478          */
479         b,n     lws_exit_nosys
480 #endif
481
482         /* ELF32 Process entry path */
483 lws_compare_and_swap32:
484 #ifdef CONFIG_64BIT
485         /* Clip all the input registers */
486         depdi   0, 31, 32, %r26
487         depdi   0, 31, 32, %r25
488         depdi   0, 31, 32, %r24
489 #endif
490
491 lws_compare_and_swap:
492 #ifdef CONFIG_SMP
493         /* Load start of lock table */
494         ldil    L%lws_lock_start, %r20
495         ldo     R%lws_lock_start(%r20), %r28
496
497         /* Extract four bits from r26 and hash lock (Bits 4-7) */
498         extru  %r26, 27, 4, %r20
499
500         /* Find lock to use, the hash is either one of 0 to
501            15, multiplied by 16 (keep it 16-byte aligned)
502            and add to the lock table offset. */
503         shlw    %r20, 4, %r20
504         add     %r20, %r28, %r20
505
506 # if ENABLE_LWS_DEBUG
507         /*      
508                 DEBUG, check for deadlock! 
509                 If the thread register values are the same
510                 then we were the one that locked it last and
511                 this is a recurisve call that will deadlock.
512                 We *must* giveup this call and fail.
513         */
514         ldw     4(%sr2,%r20), %r28                      /* Load thread register */
515         /* WARNING: If cr27 cycles to the same value we have problems */
516         mfctl   %cr27, %r21                             /* Get current thread register */
517         cmpb,<>,n       %r21, %r28, cas_lock            /* Called recursive? */
518         b       lws_exit                                /* Return error! */
519         ldo     -EDEADLOCK(%r0), %r21
520 cas_lock:
521         cmpb,=,n        %r0, %r28, cas_nocontend        /* Is nobody using it? */
522         ldo     1(%r0), %r28                            /* 1st case */
523         b       lws_exit                                /* Contended... */
524         ldo     -EAGAIN(%r0), %r21                      /* Spin in userspace */
525 cas_nocontend:
526 # endif
527 /* ENABLE_LWS_DEBUG */
528
529         LDCW    0(%sr2,%r20), %r28                      /* Try to acquire the lock */
530         cmpb,<>,n       %r0, %r28, cas_action           /* Did we get it? */
531 cas_wouldblock:
532         ldo     2(%r0), %r28                            /* 2nd case */
533         b       lws_exit                                /* Contended... */
534         ldo     -EAGAIN(%r0), %r21                      /* Spin in userspace */
535 #endif
536 /* CONFIG_SMP */
537
538         /*
539                 prev = *addr;
540                 if ( prev == old )
541                   *addr = new;
542                 return prev;
543         */
544
545         /* NOTES:
546                 This all works becuse intr_do_signal
547                 and schedule both check the return iasq
548                 and see that we are on the kernel page
549                 so this process is never scheduled off
550                 or is ever sent any signal of any sort,
551                 thus it is wholly atomic from usrspaces
552                 perspective
553         */
554 cas_action:
555 #if defined CONFIG_SMP && ENABLE_LWS_DEBUG
556         /* DEBUG */
557         mfctl   %cr27, %r1
558         stw     %r1, 4(%sr2,%r20)
559 #endif
560         /* The load and store could fail */
561 1:      ldw     0(%sr3,%r26), %r28
562         sub,<>  %r28, %r25, %r0
563 2:      stw     %r24, 0(%sr3,%r26)
564 #ifdef CONFIG_SMP
565         /* Free lock */
566         stw     %r20, 0(%sr2,%r20)
567 # if ENABLE_LWS_DEBUG
568         /* Clear thread register indicator */
569         stw     %r0, 4(%sr2,%r20)
570 # endif
571 #endif
572         /* Return to userspace, set no error */
573         b       lws_exit
574         copy    %r0, %r21
575
576 3:              
577         /* Error occured on load or store */
578 #ifdef CONFIG_SMP
579         /* Free lock */
580         stw     %r20, 0(%sr2,%r20)
581 # if ENABLE_LWS_DEBUG
582         stw     %r0, 4(%sr2,%r20)
583 # endif
584 #endif
585         b       lws_exit
586         ldo     -EFAULT(%r0),%r21       /* set errno */
587         nop
588         nop
589         nop
590         nop
591
592         /* Two exception table entries, one for the load,
593            the other for the store. Either return -EFAULT.
594            Each of the entries must be relocated. */
595         .section __ex_table,"aw"
596         ASM_ULONG_INSN (1b - linux_gateway_page), (3b - linux_gateway_page)
597         ASM_ULONG_INSN (2b - linux_gateway_page), (3b - linux_gateway_page)
598         .previous
599
600
601         /* Make sure nothing else is placed on this page */
602         .align PAGE_SIZE
603 END(linux_gateway_page)
604 ENTRY(end_linux_gateway_page)
605
606         /* Relocate symbols assuming linux_gateway_page is mapped
607            to virtual address 0x0 */
608
609 #define LWS_ENTRY(_name_) ASM_ULONG_INSN (lws_##_name_ - linux_gateway_page)
610
611         .section .rodata,"a"
612
613         .align PAGE_SIZE
614         /* Light-weight-syscall table */
615         /* Start of lws table. */
616 ENTRY(lws_table)
617         LWS_ENTRY(compare_and_swap32)   /* 0 - ELF32 Atomic compare and swap */
618         LWS_ENTRY(compare_and_swap64)   /* 1 - ELF64 Atomic compare and swap */
619 END(lws_table)
620         /* End of lws table */
621
622         .align PAGE_SIZE
623 ENTRY(sys_call_table)
624 #include "syscall_table.S"
625 END(sys_call_table)
626
627 #ifdef CONFIG_64BIT
628         .align PAGE_SIZE
629 ENTRY(sys_call_table64)
630 #define SYSCALL_TABLE_64BIT
631 #include "syscall_table.S"
632 END(sys_call_table64)
633 #endif
634
635 #ifdef CONFIG_SMP
636         /*
637                 All light-weight-syscall atomic operations 
638                 will use this set of locks 
639         */
640         .section .data, "aw"
641         .align  PAGE_SIZE
642 ENTRY(lws_lock_start)
643         /* lws locks */
644         .align 16
645         .rept 16
646         /* Keep locks aligned at 16-bytes */
647         .word 1
648         .word 0 
649         .word 0
650         .word 0
651         .endr
652 END(lws_lock_start)
653         .previous
654 #endif
655 /* CONFIG_SMP for lws_lock_start */
656
657 .end
658
659