[S390] Fix build errors (fallout from system.h disintegration)
[linux-2.6.git] / arch / x86 / net / bpf_jit.S
1 /* bpf_jit.S : BPF JIT helper functions
2  *
3  * Copyright (C) 2011 Eric Dumazet (eric.dumazet@gmail.com)
4  *
5  * This program is free software; you can redistribute it and/or
6  * modify it under the terms of the GNU General Public License
7  * as published by the Free Software Foundation; version 2
8  * of the License.
9  */
10 #include <linux/linkage.h>
11 #include <asm/dwarf2.h>
12
13 /*
14  * Calling convention :
15  * rdi : skb pointer
16  * esi : offset of byte(s) to fetch in skb (can be scratched)
17  * r8  : copy of skb->data
18  * r9d : hlen = skb->len - skb->data_len
19  */
20 #define SKBDATA %r8
21
22 sk_load_word_ind:
23         .globl  sk_load_word_ind
24
25         add     %ebx,%esi       /* offset += X */
26 #       test    %esi,%esi       /* if (offset < 0) goto bpf_error; */
27         js      bpf_error
28
29 sk_load_word:
30         .globl  sk_load_word
31
32         mov     %r9d,%eax               # hlen
33         sub     %esi,%eax               # hlen - offset
34         cmp     $3,%eax
35         jle     bpf_slow_path_word
36         mov     (SKBDATA,%rsi),%eax
37         bswap   %eax                    /* ntohl() */
38         ret
39
40
41 sk_load_half_ind:
42         .globl sk_load_half_ind
43
44         add     %ebx,%esi       /* offset += X */
45         js      bpf_error
46
47 sk_load_half:
48         .globl  sk_load_half
49
50         mov     %r9d,%eax
51         sub     %esi,%eax               #       hlen - offset
52         cmp     $1,%eax
53         jle     bpf_slow_path_half
54         movzwl  (SKBDATA,%rsi),%eax
55         rol     $8,%ax                  # ntohs()
56         ret
57
58 sk_load_byte_ind:
59         .globl sk_load_byte_ind
60         add     %ebx,%esi       /* offset += X */
61         js      bpf_error
62
63 sk_load_byte:
64         .globl  sk_load_byte
65
66         cmp     %esi,%r9d   /* if (offset >= hlen) goto bpf_slow_path_byte */
67         jle     bpf_slow_path_byte
68         movzbl  (SKBDATA,%rsi),%eax
69         ret
70
71 /**
72  * sk_load_byte_msh - BPF_S_LDX_B_MSH helper
73  *
74  * Implements BPF_S_LDX_B_MSH : ldxb  4*([offset]&0xf)
75  * Must preserve A accumulator (%eax)
76  * Inputs : %esi is the offset value, already known positive
77  */
78 ENTRY(sk_load_byte_msh)
79         CFI_STARTPROC
80         cmp     %esi,%r9d      /* if (offset >= hlen) goto bpf_slow_path_byte_msh */
81         jle     bpf_slow_path_byte_msh
82         movzbl  (SKBDATA,%rsi),%ebx
83         and     $15,%bl
84         shl     $2,%bl
85         ret
86         CFI_ENDPROC
87 ENDPROC(sk_load_byte_msh)
88
89 bpf_error:
90 # force a return 0 from jit handler
91         xor             %eax,%eax
92         mov             -8(%rbp),%rbx
93         leaveq
94         ret
95
96 /* rsi contains offset and can be scratched */
97 #define bpf_slow_path_common(LEN)               \
98         push    %rdi;    /* save skb */         \
99         push    %r9;                            \
100         push    SKBDATA;                        \
101 /* rsi already has offset */                    \
102         mov     $LEN,%ecx;      /* len */       \
103         lea     -12(%rbp),%rdx;                 \
104         call    skb_copy_bits;                  \
105         test    %eax,%eax;                      \
106         pop     SKBDATA;                        \
107         pop     %r9;                            \
108         pop     %rdi
109
110
111 bpf_slow_path_word:
112         bpf_slow_path_common(4)
113         js      bpf_error
114         mov     -12(%rbp),%eax
115         bswap   %eax
116         ret
117
118 bpf_slow_path_half:
119         bpf_slow_path_common(2)
120         js      bpf_error
121         mov     -12(%rbp),%ax
122         rol     $8,%ax
123         movzwl  %ax,%eax
124         ret
125
126 bpf_slow_path_byte:
127         bpf_slow_path_common(1)
128         js      bpf_error
129         movzbl  -12(%rbp),%eax
130         ret
131
132 bpf_slow_path_byte_msh:
133         xchg    %eax,%ebx /* dont lose A , X is about to be scratched */
134         bpf_slow_path_common(1)
135         js      bpf_error
136         movzbl  -12(%rbp),%eax
137         and     $15,%al
138         shl     $2,%al
139         xchg    %eax,%ebx
140         ret