x86: Use {push,pop}_cfi in more places
[linux-3.10.git] / arch / x86 / lib / copy_user_nocache_64.S
1 /*
2  * Copyright 2008 Vitaly Mayatskikh <vmayatsk@redhat.com>
3  * Copyright 2002 Andi Kleen, SuSE Labs.
4  * Subject to the GNU Public License v2.
5  *
6  * Functions to copy from and to user space.
7  */
8
9 #include <linux/linkage.h>
10 #include <asm/dwarf2.h>
11
12 #define FIX_ALIGNMENT 1
13
14 #include <asm/current.h>
15 #include <asm/asm-offsets.h>
16 #include <asm/thread_info.h>
17
18         .macro ALIGN_DESTINATION
19 #ifdef FIX_ALIGNMENT
20         /* check for bad alignment of destination */
21         movl %edi,%ecx
22         andl $7,%ecx
23         jz 102f                         /* already aligned */
24         subl $8,%ecx
25         negl %ecx
26         subl %ecx,%edx
27 100:    movb (%rsi),%al
28 101:    movb %al,(%rdi)
29         incq %rsi
30         incq %rdi
31         decl %ecx
32         jnz 100b
33 102:
34         .section .fixup,"ax"
35 103:    addl %ecx,%edx                  /* ecx is zerorest also */
36         jmp copy_user_handle_tail
37         .previous
38
39         .section __ex_table,"a"
40         .align 8
41         .quad 100b,103b
42         .quad 101b,103b
43         .previous
44 #endif
45         .endm
46
47 /*
48  * copy_user_nocache - Uncached memory copy with exception handling
49  * This will force destination/source out of cache for more performance.
50  */
51 ENTRY(__copy_user_nocache)
52         CFI_STARTPROC
53         cmpl $8,%edx
54         jb 20f          /* less then 8 bytes, go to byte copy loop */
55         ALIGN_DESTINATION
56         movl %edx,%ecx
57         andl $63,%edx
58         shrl $6,%ecx
59         jz 17f
60 1:      movq (%rsi),%r8
61 2:      movq 1*8(%rsi),%r9
62 3:      movq 2*8(%rsi),%r10
63 4:      movq 3*8(%rsi),%r11
64 5:      movnti %r8,(%rdi)
65 6:      movnti %r9,1*8(%rdi)
66 7:      movnti %r10,2*8(%rdi)
67 8:      movnti %r11,3*8(%rdi)
68 9:      movq 4*8(%rsi),%r8
69 10:     movq 5*8(%rsi),%r9
70 11:     movq 6*8(%rsi),%r10
71 12:     movq 7*8(%rsi),%r11
72 13:     movnti %r8,4*8(%rdi)
73 14:     movnti %r9,5*8(%rdi)
74 15:     movnti %r10,6*8(%rdi)
75 16:     movnti %r11,7*8(%rdi)
76         leaq 64(%rsi),%rsi
77         leaq 64(%rdi),%rdi
78         decl %ecx
79         jnz 1b
80 17:     movl %edx,%ecx
81         andl $7,%edx
82         shrl $3,%ecx
83         jz 20f
84 18:     movq (%rsi),%r8
85 19:     movnti %r8,(%rdi)
86         leaq 8(%rsi),%rsi
87         leaq 8(%rdi),%rdi
88         decl %ecx
89         jnz 18b
90 20:     andl %edx,%edx
91         jz 23f
92         movl %edx,%ecx
93 21:     movb (%rsi),%al
94 22:     movb %al,(%rdi)
95         incq %rsi
96         incq %rdi
97         decl %ecx
98         jnz 21b
99 23:     xorl %eax,%eax
100         sfence
101         ret
102
103         .section .fixup,"ax"
104 30:     shll $6,%ecx
105         addl %ecx,%edx
106         jmp 60f
107 40:     lea (%rdx,%rcx,8),%rdx
108         jmp 60f
109 50:     movl %ecx,%edx
110 60:     sfence
111         jmp copy_user_handle_tail
112         .previous
113
114         .section __ex_table,"a"
115         .quad 1b,30b
116         .quad 2b,30b
117         .quad 3b,30b
118         .quad 4b,30b
119         .quad 5b,30b
120         .quad 6b,30b
121         .quad 7b,30b
122         .quad 8b,30b
123         .quad 9b,30b
124         .quad 10b,30b
125         .quad 11b,30b
126         .quad 12b,30b
127         .quad 13b,30b
128         .quad 14b,30b
129         .quad 15b,30b
130         .quad 16b,30b
131         .quad 18b,40b
132         .quad 19b,40b
133         .quad 21b,50b
134         .quad 22b,50b
135         .previous
136         CFI_ENDPROC
137 ENDPROC(__copy_user_nocache)