[PARISC] more ENTRY(), ENDPROC(), END() conversions
[linux-2.6.git] / arch / parisc / kernel / syscall.S
1 /* 
2  * Linux/PA-RISC Project (http://www.parisc-linux.org/)
3  * 
4  * System call entry code Copyright (c) Matthew Wilcox 1999 <willy@bofh.ai>
5  * Licensed under the GNU GPL.
6  * thanks to Philipp Rumpf, Mike Shaver and various others
7  * sorry about the wall, puffin..
8  */
9
10 #include <asm/asm-offsets.h>
11 #include <asm/unistd.h>
12 #include <asm/errno.h>
13 #include <asm/psw.h>
14 #include <asm/thread_info.h>
15 #include <asm/assembly.h>
16 #include <asm/processor.h>
17
18 #include <linux/linkage.h>
19
20         /* We fill the empty parts of the gateway page with
21          * something that will kill the kernel or a
22          * userspace application.
23          */
24 #define KILL_INSN       break   0,0
25
26 #ifdef CONFIG_64BIT
27         .level          2.0w
28 #else
29         .level          1.1
30 #endif
31
32 /* on 64bit pad to 64bit values */
33 #ifdef CONFIG_64BIT
34 #define ULONG_WORD(x)   .word 0, x
35 #else
36 #define ULONG_WORD(x)   .word x
37 #endif
38
39
40         .text
41
42         .import syscall_exit,code
43         .import syscall_exit_rfi,code
44
45         /* Linux gateway page is aliased to virtual page 0 in the kernel
46          * address space. Since it is a gateway page it cannot be
47          * dereferenced, so null pointers will still fault. We start
48          * the actual entry point at 0x100. We put break instructions
49          * at the beginning of the page to trap null indirect function
50          * pointers.
51          */
52
53         .align ASM_PAGE_SIZE
54 ENTRY(linux_gateway_page)
55
56         /* ADDRESS 0x00 to 0xb0 = 176 bytes / 4 bytes per insn = 44 insns */
57         .rept 44
58         KILL_INSN
59         .endr
60
61         /* ADDRESS 0xb0 to 0xb4, lws uses 1 insns for entry */
62         /* Light-weight-syscall entry must always be located at 0xb0 */
63         /* WARNING: Keep this number updated with table size changes */
64 #define __NR_lws_entries (2)
65
66 lws_entry:
67         /* Unconditional branch to lws_start, located on the 
68            same gateway page */
69         b,n     lws_start
70
71         /* Fill from 0xb4 to 0xe0 */
72         .rept 11
73         KILL_INSN
74         .endr
75
76         /* This function MUST be located at 0xe0 for glibc's threading 
77         mechanism to work. DO NOT MOVE THIS CODE EVER! */
78 set_thread_pointer:
79         gate    .+8, %r0                /* increase privilege */
80         depi    3, 31, 2, %r31          /* Ensure we return into user mode. */
81         be      0(%sr7,%r31)            /* return to user space */
82         mtctl   %r26, %cr27             /* move arg0 to the control register */
83
84         /* Increase the chance of trapping if random jumps occur to this
85         address, fill from 0xf0 to 0x100 */
86         .rept 4
87         KILL_INSN
88         .endr
89
90 /* This address must remain fixed at 0x100 for glibc's syscalls to work */
91         .align 256
92 linux_gateway_entry:
93         gate    .+8, %r0                        /* become privileged */
94         mtsp    %r0,%sr4                        /* get kernel space into sr4 */
95         mtsp    %r0,%sr5                        /* get kernel space into sr5 */
96         mtsp    %r0,%sr6                        /* get kernel space into sr6 */
97         mfsp    %sr7,%r1                        /* save user sr7 */
98         mtsp    %r1,%sr3                        /* and store it in sr3 */
99
100 #ifdef CONFIG_64BIT
101         /* for now we can *always* set the W bit on entry to the syscall
102          * since we don't support wide userland processes.  We could
103          * also save the current SM other than in r0 and restore it on
104          * exit from the syscall, and also use that value to know
105          * whether to do narrow or wide syscalls. -PB
106          */
107         ssm     PSW_SM_W, %r1
108         extrd,u %r1,PSW_W_BIT,1,%r1
109         /* sp must be aligned on 4, so deposit the W bit setting into
110          * the bottom of sp temporarily */
111         or,ev   %r1,%r30,%r30
112         b,n     1f
113         /* The top halves of argument registers must be cleared on syscall
114          * entry from narrow executable.
115          */
116         depdi   0, 31, 32, %r26
117         depdi   0, 31, 32, %r25
118         depdi   0, 31, 32, %r24
119         depdi   0, 31, 32, %r23
120         depdi   0, 31, 32, %r22
121         depdi   0, 31, 32, %r21
122 1:      
123 #endif
124         mfctl   %cr30,%r1
125         xor     %r1,%r30,%r30                   /* ye olde xor trick */
126         xor     %r1,%r30,%r1
127         xor     %r1,%r30,%r30
128         
129         ldo     THREAD_SZ_ALGN+FRAME_SIZE(%r30),%r30  /* set up kernel stack */
130
131         /* N.B.: It is critical that we don't set sr7 to 0 until r30
132          *       contains a valid kernel stack pointer. It is also
133          *       critical that we don't start using the kernel stack
134          *       until after sr7 has been set to 0.
135          */
136
137         mtsp    %r0,%sr7                        /* get kernel space into sr7 */
138         STREGM  %r1,FRAME_SIZE(%r30)            /* save r1 (usp) here for now */
139         mfctl   %cr30,%r1                       /* get task ptr in %r1 */
140         LDREG   TI_TASK(%r1),%r1
141
142         /* Save some registers for sigcontext and potential task
143            switch (see entry.S for the details of which ones are
144            saved/restored).  TASK_PT_PSW is zeroed so we can see whether
145            a process is on a syscall or not.  For an interrupt the real
146            PSW value is stored.  This is needed for gdb and sys_ptrace. */
147         STREG   %r0,  TASK_PT_PSW(%r1)
148         STREG   %r2,  TASK_PT_GR2(%r1)          /* preserve rp */
149         STREG   %r19, TASK_PT_GR19(%r1)
150
151         LDREGM  -FRAME_SIZE(%r30), %r2          /* get users sp back */
152 #ifdef CONFIG_64BIT
153         extrd,u %r2,63,1,%r19                   /* W hidden in bottom bit */
154 #if 0
155         xor     %r19,%r2,%r2                    /* clear bottom bit */
156         depd,z  %r19,1,1,%r19
157         std     %r19,TASK_PT_PSW(%r1)
158 #endif
159 #endif
160         STREG   %r2,  TASK_PT_GR30(%r1)         /* ... and save it */
161         
162         STREG   %r20, TASK_PT_GR20(%r1)         /* Syscall number */
163         STREG   %r21, TASK_PT_GR21(%r1)
164         STREG   %r22, TASK_PT_GR22(%r1)
165         STREG   %r23, TASK_PT_GR23(%r1)         /* 4th argument */
166         STREG   %r24, TASK_PT_GR24(%r1)         /* 3rd argument */
167         STREG   %r25, TASK_PT_GR25(%r1)         /* 2nd argument */
168         STREG   %r26, TASK_PT_GR26(%r1)         /* 1st argument */
169         STREG   %r27, TASK_PT_GR27(%r1)         /* user dp */
170         STREG   %r28, TASK_PT_GR28(%r1)         /* return value 0 */
171         STREG   %r28, TASK_PT_ORIG_R28(%r1)     /* return value 0 (saved for signals) */
172         STREG   %r29, TASK_PT_GR29(%r1)         /* return value 1 */
173         STREG   %r31, TASK_PT_GR31(%r1)         /* preserve syscall return ptr */
174         
175         ldo     TASK_PT_FR0(%r1), %r27          /* save fpregs from the kernel */
176         save_fp %r27                            /* or potential task switch  */
177
178         mfctl   %cr11, %r27                     /* i.e. SAR */
179         STREG   %r27, TASK_PT_SAR(%r1)
180
181         loadgp
182
183 #ifdef CONFIG_64BIT
184         ldo     -16(%r30),%r29                  /* Reference param save area */
185         copy    %r19,%r2                        /* W bit back to r2 */
186 #else
187         /* no need to save these on stack in wide mode because the first 8
188          * args are passed in registers */
189         stw     %r22, -52(%r30)                 /* 5th argument */
190         stw     %r21, -56(%r30)                 /* 6th argument */
191 #endif
192
193         /* Are we being ptraced? */
194         mfctl   %cr30, %r1
195         LDREG   TI_TASK(%r1),%r1
196         LDREG   TASK_PTRACE(%r1), %r1
197         bb,<,n  %r1,31,.Ltracesys
198         
199         /* Note!  We cannot use the syscall table that is mapped
200         nearby since the gateway page is mapped execute-only. */
201
202 #ifdef CONFIG_64BIT
203         ldil    L%sys_call_table, %r1
204         or,=    %r2,%r2,%r2
205         addil   L%(sys_call_table64-sys_call_table), %r1
206         ldo     R%sys_call_table(%r1), %r19
207         or,=    %r2,%r2,%r2
208         ldo     R%sys_call_table64(%r1), %r19
209 #else
210         ldil    L%sys_call_table, %r1
211         ldo     R%sys_call_table(%r1), %r19
212 #endif  
213         comiclr,>>=     __NR_Linux_syscalls, %r20, %r0
214         b,n     .Lsyscall_nosys
215         
216         LDREGX  %r20(%r19), %r19
217
218         /* If this is a sys_rt_sigreturn call, and the signal was received
219          * when not in_syscall, then we want to return via syscall_exit_rfi,
220          * not syscall_exit.  Signal no. in r20, in_syscall in r25 (see
221          * trampoline code in signal.c).
222          */
223         ldi     __NR_rt_sigreturn,%r2
224         comb,=  %r2,%r20,.Lrt_sigreturn
225 .Lin_syscall:
226         ldil    L%syscall_exit,%r2
227         be      0(%sr7,%r19)
228         ldo     R%syscall_exit(%r2),%r2
229 .Lrt_sigreturn:
230         comib,<> 0,%r25,.Lin_syscall
231         ldil    L%syscall_exit_rfi,%r2
232         be      0(%sr7,%r19)
233         ldo     R%syscall_exit_rfi(%r2),%r2
234
235         /* Note!  Because we are not running where we were linked, any
236         calls to functions external to this file must be indirect.  To
237         be safe, we apply the opposite rule to functions within this
238         file, with local labels given to them to ensure correctness. */
239         
240 .Lsyscall_nosys:
241 syscall_nosys:
242         ldil    L%syscall_exit,%r1
243         be      R%syscall_exit(%sr7,%r1)
244         ldo     -ENOSYS(%r0),%r28                  /* set errno */
245
246
247 /* Warning! This trace code is a virtual duplicate of the code above so be
248  * sure to maintain both! */
249 .Ltracesys:
250 tracesys:
251         /* Need to save more registers so the debugger can see where we
252          * are.  This saves only the lower 8 bits of PSW, so that the C
253          * bit is still clear on syscalls, and the D bit is set if this
254          * full register save path has been executed.  We check the D
255          * bit on syscall_return_rfi to determine which registers to
256          * restore.  An interrupt results in a full PSW saved with the
257          * C bit set, a non-straced syscall entry results in C and D clear
258          * in the saved PSW.
259          */
260         ldo     -THREAD_SZ_ALGN-FRAME_SIZE(%r30),%r1      /* get task ptr */
261         LDREG   TI_TASK(%r1), %r1
262         ssm     0,%r2
263         STREG   %r2,TASK_PT_PSW(%r1)            /* Lower 8 bits only!! */
264         mfsp    %sr0,%r2
265         STREG   %r2,TASK_PT_SR0(%r1)
266         mfsp    %sr1,%r2
267         STREG   %r2,TASK_PT_SR1(%r1)
268         mfsp    %sr2,%r2
269         STREG   %r2,TASK_PT_SR2(%r1)
270         mfsp    %sr3,%r2
271         STREG   %r2,TASK_PT_SR3(%r1)
272         STREG   %r2,TASK_PT_SR4(%r1)
273         STREG   %r2,TASK_PT_SR5(%r1)
274         STREG   %r2,TASK_PT_SR6(%r1)
275         STREG   %r2,TASK_PT_SR7(%r1)
276         STREG   %r2,TASK_PT_IASQ0(%r1)
277         STREG   %r2,TASK_PT_IASQ1(%r1)
278         LDREG   TASK_PT_GR31(%r1),%r2
279         STREG   %r2,TASK_PT_IAOQ0(%r1)
280         ldo     4(%r2),%r2
281         STREG   %r2,TASK_PT_IAOQ1(%r1)
282         ldo     TASK_REGS(%r1),%r2
283         /* reg_save %r2 */
284         STREG   %r3,PT_GR3(%r2)
285         STREG   %r4,PT_GR4(%r2)
286         STREG   %r5,PT_GR5(%r2)
287         STREG   %r6,PT_GR6(%r2)
288         STREG   %r7,PT_GR7(%r2)
289         STREG   %r8,PT_GR8(%r2)
290         STREG   %r9,PT_GR9(%r2)
291         STREG   %r10,PT_GR10(%r2)
292         STREG   %r11,PT_GR11(%r2)
293         STREG   %r12,PT_GR12(%r2)
294         STREG   %r13,PT_GR13(%r2)
295         STREG   %r14,PT_GR14(%r2)
296         STREG   %r15,PT_GR15(%r2)
297         STREG   %r16,PT_GR16(%r2)
298         STREG   %r17,PT_GR17(%r2)
299         STREG   %r18,PT_GR18(%r2)
300         /* Finished saving things for the debugger */
301
302         ldil    L%syscall_trace,%r1
303         ldil    L%tracesys_next,%r2
304         be      R%syscall_trace(%sr7,%r1)
305         ldo     R%tracesys_next(%r2),%r2
306         
307 tracesys_next:  
308         ldil    L%sys_call_table,%r1
309         ldo     R%sys_call_table(%r1), %r19
310
311         ldo     -THREAD_SZ_ALGN-FRAME_SIZE(%r30),%r1      /* get task ptr */
312         LDREG   TI_TASK(%r1), %r1
313         LDREG   TASK_PT_GR20(%r1), %r20
314         LDREG   TASK_PT_GR26(%r1), %r26         /* Restore the users args */
315         LDREG   TASK_PT_GR25(%r1), %r25
316         LDREG   TASK_PT_GR24(%r1), %r24
317         LDREG   TASK_PT_GR23(%r1), %r23
318 #ifdef CONFIG_64BIT
319         LDREG   TASK_PT_GR22(%r1), %r22
320         LDREG   TASK_PT_GR21(%r1), %r21
321         ldo     -16(%r30),%r29                  /* Reference param save area */
322 #endif
323
324         comiclr,>>=     __NR_Linux_syscalls, %r20, %r0
325         b,n     .Lsyscall_nosys
326
327         LDREGX  %r20(%r19), %r19
328
329         /* If this is a sys_rt_sigreturn call, and the signal was received
330          * when not in_syscall, then we want to return via syscall_exit_rfi,
331          * not syscall_exit.  Signal no. in r20, in_syscall in r25 (see
332          * trampoline code in signal.c).
333          */
334         ldi     __NR_rt_sigreturn,%r2
335         comb,=  %r2,%r20,.Ltrace_rt_sigreturn
336 .Ltrace_in_syscall:
337         ldil    L%tracesys_exit,%r2
338         be      0(%sr7,%r19)
339         ldo     R%tracesys_exit(%r2),%r2
340
341         /* Do *not* call this function on the gateway page, because it
342         makes a direct call to syscall_trace. */
343         
344 tracesys_exit:
345         ldo     -THREAD_SZ_ALGN-FRAME_SIZE(%r30),%r1      /* get task ptr */
346         LDREG   TI_TASK(%r1), %r1
347 #ifdef CONFIG_64BIT
348         ldo     -16(%r30),%r29                  /* Reference param save area */
349 #endif
350         bl      syscall_trace, %r2
351         STREG   %r28,TASK_PT_GR28(%r1)          /* save return value now */
352         ldo     -THREAD_SZ_ALGN-FRAME_SIZE(%r30),%r1      /* get task ptr */
353         LDREG   TI_TASK(%r1), %r1
354         LDREG   TASK_PT_GR28(%r1), %r28         /* Restore return val. */
355
356         ldil    L%syscall_exit,%r1
357         be,n    R%syscall_exit(%sr7,%r1)
358
359 .Ltrace_rt_sigreturn:
360         comib,<> 0,%r25,.Ltrace_in_syscall
361         ldil    L%tracesys_sigexit,%r2
362         be      0(%sr7,%r19)
363         ldo     R%tracesys_sigexit(%r2),%r2
364
365 tracesys_sigexit:
366         ldo     -THREAD_SZ_ALGN-FRAME_SIZE(%r30),%r1      /* get task ptr */
367         LDREG   0(%r1), %r1
368 #ifdef CONFIG_64BIT
369         ldo     -16(%r30),%r29                  /* Reference param save area */
370 #endif
371         bl      syscall_trace, %r2
372         nop
373
374         ldil    L%syscall_exit_rfi,%r1
375         be,n    R%syscall_exit_rfi(%sr7,%r1)
376
377
378         /*********************************************************
379                 Light-weight-syscall code
380
381                 r20 - lws number
382                 r26,r25,r24,r23,r22 - Input registers
383                 r28 - Function return register
384                 r21 - Error code.
385
386                 Scracth: Any of the above that aren't being
387                 currently used, including r1. 
388
389                 Return pointer: r31 (Not usable)
390
391                 Error codes returned by entry path:
392
393                 ENOSYS - r20 was an invalid LWS number.
394
395         *********************************************************/
396 lws_start:
397         /* Gate and ensure we return to userspace */
398         gate    .+8, %r0
399         depi    3, 31, 2, %r31  /* Ensure we return to userspace */
400
401 #ifdef CONFIG_64BIT
402         /* FIXME: If we are a 64-bit kernel just
403          *        turn this on unconditionally.
404          */
405         ssm     PSW_SM_W, %r1
406         extrd,u %r1,PSW_W_BIT,1,%r1
407         /* sp must be aligned on 4, so deposit the W bit setting into
408          * the bottom of sp temporarily */
409         or,ev   %r1,%r30,%r30
410
411         /* Clip LWS number to a 32-bit value always */
412         depdi   0, 31, 32, %r20
413 #endif  
414
415         /* Is the lws entry number valid? */
416         comiclr,>>=     __NR_lws_entries, %r20, %r0
417         b,n     lws_exit_nosys
418
419         /* WARNING: Trashing sr2 and sr3 */
420         mfsp    %sr7,%r1                        /* get userspace into sr3 */
421         mtsp    %r1,%sr3
422         mtsp    %r0,%sr2                        /* get kernel space into sr2 */
423
424         /* Load table start */
425         ldil    L%lws_table, %r1
426         ldo     R%lws_table(%r1), %r28  /* Scratch use of r28 */
427         LDREGX  %r20(%sr2,r28), %r21    /* Scratch use of r21 */
428
429         /* Jump to lws, lws table pointers already relocated */
430         be,n    0(%sr2,%r21)
431
432 lws_exit_nosys:
433         ldo     -ENOSYS(%r0),%r21                  /* set errno */
434         /* Fall through: Return to userspace */
435
436 lws_exit:
437 #ifdef CONFIG_64BIT
438         /* decide whether to reset the wide mode bit
439          *
440          * For a syscall, the W bit is stored in the lowest bit
441          * of sp.  Extract it and reset W if it is zero */
442         extrd,u,*<>     %r30,63,1,%r1
443         rsm     PSW_SM_W, %r0
444         /* now reset the lowest bit of sp if it was set */
445         xor     %r30,%r1,%r30
446 #endif
447         be,n    0(%sr3, %r31)
448
449
450         
451         /***************************************************
452                 Implementing CAS as an atomic operation:
453
454                 %r26 - Address to examine
455                 %r25 - Old value to check (old)
456                 %r24 - New value to set (new)
457                 %r28 - Return prev through this register.
458                 %r21 - Kernel error code
459
460                 If debugging is DISabled:
461
462                 %r21 has the following meanings:
463
464                 EAGAIN - CAS is busy, ldcw failed, try again.
465                 EFAULT - Read or write failed.          
466
467                 If debugging is enabled:
468
469                 EDEADLOCK - CAS called recursively.
470                 EAGAIN && r28 == 1 - CAS is busy. Lock contended.
471                 EAGAIN && r28 == 2 - CAS is busy. ldcw failed.
472                 EFAULT - Read or write failed.
473
474                 Scratch: r20, r28, r1
475
476         ****************************************************/
477
478         /* Do not enable LWS debugging */
479 #define ENABLE_LWS_DEBUG 0 
480
481         /* ELF64 Process entry path */
482 lws_compare_and_swap64:
483 #ifdef CONFIG_64BIT
484         b,n     lws_compare_and_swap
485 #else
486         /* If we are not a 64-bit kernel, then we don't
487          * implement having 64-bit input registers
488          */
489         b,n     lws_exit_nosys
490 #endif
491
492         /* ELF32 Process entry path */
493 lws_compare_and_swap32:
494 #ifdef CONFIG_64BIT
495         /* Clip all the input registers */
496         depdi   0, 31, 32, %r26
497         depdi   0, 31, 32, %r25
498         depdi   0, 31, 32, %r24
499 #endif
500
501 lws_compare_and_swap:
502 #ifdef CONFIG_SMP
503         /* Load start of lock table */
504         ldil    L%lws_lock_start, %r20
505         ldo     R%lws_lock_start(%r20), %r28
506
507         /* Extract four bits from r26 and hash lock (Bits 4-7) */
508         extru  %r26, 27, 4, %r20
509
510         /* Find lock to use, the hash is either one of 0 to
511            15, multiplied by 16 (keep it 16-byte aligned)
512            and add to the lock table offset. */
513         shlw    %r20, 4, %r20
514         add     %r20, %r28, %r20
515
516 # ifdef ENABLE_LWS_DEBUG
517         /*      
518                 DEBUG, check for deadlock! 
519                 If the thread register values are the same
520                 then we were the one that locked it last and
521                 this is a recurisve call that will deadlock.
522                 We *must* giveup this call and fail.
523         */
524         ldw     4(%sr2,%r20), %r28                      /* Load thread register */
525         /* WARNING: If cr27 cycles to the same value we have problems */
526         mfctl   %cr27, %r21                             /* Get current thread register */
527         cmpb,<>,n       %r21, %r28, cas_lock            /* Called recursive? */
528         b       lws_exit                                /* Return error! */
529         ldo     -EDEADLOCK(%r0), %r21
530 cas_lock:
531         cmpb,=,n        %r0, %r28, cas_nocontend        /* Is nobody using it? */
532         ldo     1(%r0), %r28                            /* 1st case */
533         b       lws_exit                                /* Contended... */
534         ldo     -EAGAIN(%r0), %r21                      /* Spin in userspace */
535 cas_nocontend:
536 # endif
537 /* ENABLE_LWS_DEBUG */
538
539         LDCW    0(%sr2,%r20), %r28                      /* Try to acquire the lock */
540         cmpb,<>,n       %r0, %r28, cas_action           /* Did we get it? */
541 cas_wouldblock:
542         ldo     2(%r0), %r28                            /* 2nd case */
543         b       lws_exit                                /* Contended... */
544         ldo     -EAGAIN(%r0), %r21                      /* Spin in userspace */
545 #endif
546 /* CONFIG_SMP */
547
548         /*
549                 prev = *addr;
550                 if ( prev == old )
551                   *addr = new;
552                 return prev;
553         */
554
555         /* NOTES:
556                 This all works becuse intr_do_signal
557                 and schedule both check the return iasq
558                 and see that we are on the kernel page
559                 so this process is never scheduled off
560                 or is ever sent any signal of any sort,
561                 thus it is wholly atomic from usrspaces
562                 perspective
563         */
564 cas_action:
565 #if defined CONFIG_SMP && defined ENABLE_LWS_DEBUG
566         /* DEBUG */
567         mfctl   %cr27, %r1
568         stw     %r1, 4(%sr2,%r20)
569 #endif
570         /* The load and store could fail */
571 1:      ldw     0(%sr3,%r26), %r28
572         sub,<>  %r28, %r25, %r0
573 2:      stw     %r24, 0(%sr3,%r26)
574 #ifdef CONFIG_SMP
575         /* Free lock */
576         stw     %r20, 0(%sr2,%r20)
577 # ifdef ENABLE_LWS_DEBUG
578         /* Clear thread register indicator */
579         stw     %r0, 4(%sr2,%r20)
580 # endif
581 #endif
582         /* Return to userspace, set no error */
583         b       lws_exit
584         copy    %r0, %r21
585
586 3:              
587         /* Error occured on load or store */
588 #ifdef CONFIG_SMP
589         /* Free lock */
590         stw     %r20, 0(%sr2,%r20)
591 # ifdef ENABLE_LWS_DEBUG
592         stw     %r0, 4(%sr2,%r20)
593 # endif
594 #endif
595         b       lws_exit
596         ldo     -EFAULT(%r0),%r21       /* set errno */
597         nop
598         nop
599         nop
600         nop
601
602         /* Two exception table entries, one for the load,
603            the other for the store. Either return -EFAULT.
604            Each of the entries must be relocated. */
605         .section __ex_table,"aw"
606         ULONG_WORD(2b - linux_gateway_page)
607         ULONG_WORD(3b - linux_gateway_page)
608         .previous
609
610         .section __ex_table,"aw"
611         ULONG_WORD(1b - linux_gateway_page)
612         ULONG_WORD(3b - linux_gateway_page)
613         .previous
614
615 end_compare_and_swap:
616
617         /* Make sure nothing else is placed on this page */
618         .align ASM_PAGE_SIZE
619 END(linux_gateway_page)
620 ENTRY(end_linux_gateway_page)
621
622         /* Relocate symbols assuming linux_gateway_page is mapped
623            to virtual address 0x0 */
624
625 #define LWS_ENTRY(_name_) ULONG_WORD(lws_##_name_ - linux_gateway_page)
626
627         .section .rodata,"a"
628
629         .align ASM_PAGE_SIZE
630         /* Light-weight-syscall table */
631         /* Start of lws table. */
632 ENTRY(lws_table)
633         LWS_ENTRY(compare_and_swap32)   /* 0 - ELF32 Atomic compare and swap */
634         LWS_ENTRY(compare_and_swap64)   /* 1 - ELF64 Atomic compare and swap */
635 END(lws_table)
636         /* End of lws table */
637
638         .align ASM_PAGE_SIZE
639 ENTRY(sys_call_table)
640 #include "syscall_table.S"
641 END(sys_call_table)
642
643 #ifdef CONFIG_64BIT
644         .align ASM_PAGE_SIZE
645 ENTRY(sys_call_table64)
646 #define SYSCALL_TABLE_64BIT
647 #include "syscall_table.S"
648 END(sys_call_table64)
649 #endif
650
651 #ifdef CONFIG_SMP
652         /*
653                 All light-weight-syscall atomic operations 
654                 will use this set of locks 
655         */
656         .section .data
657         .align 4096
658 ENTRY(lws_lock_start)
659         /* lws locks */
660         .align 16
661         .rept 16
662         /* Keep locks aligned at 16-bytes */
663         .word 1
664         .word 0 
665         .word 0
666         .word 0
667         .endr
668 END(lws_lock_start)
669         .previous
670 #endif
671 /* CONFIG_SMP for lws_lock_start */
672
673 .end
674
675