crypto: ghash-intel - Add PSHUFB macros
[linux-2.6.git] / arch / x86 / crypto / ghash-clmulni-intel_asm.S
1 /*
2  * Accelerated GHASH implementation with Intel PCLMULQDQ-NI
3  * instructions. This file contains accelerated part of ghash
4  * implementation. More information about PCLMULQDQ can be found at:
5  *
6  * http://software.intel.com/en-us/articles/carry-less-multiplication-and-its-usage-for-computing-the-gcm-mode/
7  *
8  * Copyright (c) 2009 Intel Corp.
9  *   Author: Huang Ying <ying.huang@intel.com>
10  *           Vinodh Gopal
11  *           Erdinc Ozturk
12  *           Deniz Karakoyunlu
13  *
14  * This program is free software; you can redistribute it and/or modify it
15  * under the terms of the GNU General Public License version 2 as published
16  * by the Free Software Foundation.
17  */
18
19 #include <linux/linkage.h>
20 #include <asm/i387.h>
21
22 .align 16
23 .Lbswap_mask:
24         .octa 0x000102030405060708090a0b0c0d0e0f
25 .Lpoly:
26         .octa 0xc2000000000000000000000000000001
27 .Ltwo_one:
28         .octa 0x00000001000000000000000000000001
29
30 #define DATA    %xmm0
31 #define SHASH   %xmm1
32 #define T1      %xmm2
33 #define T2      %xmm3
34 #define T3      %xmm4
35 #define BSWAP   %xmm5
36 #define IN1     %xmm6
37
38 .text
39
40 /*
41  * __clmul_gf128mul_ble:        internal ABI
42  * input:
43  *      DATA:                   operand1
44  *      SHASH:                  operand2, hash_key << 1 mod poly
45  * output:
46  *      DATA:                   operand1 * operand2 mod poly
47  * changed:
48  *      T1
49  *      T2
50  *      T3
51  */
52 __clmul_gf128mul_ble:
53         movaps DATA, T1
54         pshufd $0b01001110, DATA, T2
55         pshufd $0b01001110, SHASH, T3
56         pxor DATA, T2
57         pxor SHASH, T3
58
59         # pclmulqdq $0x00, SHASH, DATA  # DATA = a0 * b0
60         .byte 0x66, 0x0f, 0x3a, 0x44, 0xc1, 0x00
61         # pclmulqdq $0x11, SHASH, T1    # T1 = a1 * b1
62         .byte 0x66, 0x0f, 0x3a, 0x44, 0xd1, 0x11
63         # pclmulqdq $0x00, T3, T2       # T2 = (a1 + a0) * (b1 + b0)
64         .byte 0x66, 0x0f, 0x3a, 0x44, 0xdc, 0x00
65         pxor DATA, T2
66         pxor T1, T2                     # T2 = a0 * b1 + a1 * b0
67
68         movaps T2, T3
69         pslldq $8, T3
70         psrldq $8, T2
71         pxor T3, DATA
72         pxor T2, T1                     # <T1:DATA> is result of
73                                         # carry-less multiplication
74
75         # first phase of the reduction
76         movaps DATA, T3
77         psllq $1, T3
78         pxor DATA, T3
79         psllq $5, T3
80         pxor DATA, T3
81         psllq $57, T3
82         movaps T3, T2
83         pslldq $8, T2
84         psrldq $8, T3
85         pxor T2, DATA
86         pxor T3, T1
87
88         # second phase of the reduction
89         movaps DATA, T2
90         psrlq $5, T2
91         pxor DATA, T2
92         psrlq $1, T2
93         pxor DATA, T2
94         psrlq $1, T2
95         pxor T2, T1
96         pxor T1, DATA
97         ret
98
99 /* void clmul_ghash_mul(char *dst, const be128 *shash) */
100 ENTRY(clmul_ghash_mul)
101         movups (%rdi), DATA
102         movups (%rsi), SHASH
103         movaps .Lbswap_mask, BSWAP
104         # pshufb BSWAP, DATA
105         PSHUFB_XMM5_XMM0
106         call __clmul_gf128mul_ble
107         # pshufb BSWAP, DATA
108         .byte 0x66, 0x0f, 0x38, 0x00, 0xc5
109         movups DATA, (%rdi)
110         ret
111
112 /*
113  * void clmul_ghash_update(char *dst, const char *src, unsigned int srclen,
114  *                         const be128 *shash);
115  */
116 ENTRY(clmul_ghash_update)
117         cmp $16, %rdx
118         jb .Lupdate_just_ret    # check length
119         movaps .Lbswap_mask, BSWAP
120         movups (%rdi), DATA
121         movups (%rcx), SHASH
122         # pshufb BSWAP, DATA
123         PSHUFB_XMM5_XMM0
124 .align 4
125 .Lupdate_loop:
126         movups (%rsi), IN1
127         # pshufb BSWAP, IN1
128         PSHUFB_XMM5_XMM6
129         pxor IN1, DATA
130         call __clmul_gf128mul_ble
131         sub $16, %rdx
132         add $16, %rsi
133         cmp $16, %rdx
134         jge .Lupdate_loop
135         # pshufb BSWAP, DATA
136         PSHUFB_XMM5_XMM0
137         movups DATA, (%rdi)
138 .Lupdate_just_ret:
139         ret
140
141 /*
142  * void clmul_ghash_setkey(be128 *shash, const u8 *key);
143  *
144  * Calculate hash_key << 1 mod poly
145  */
146 ENTRY(clmul_ghash_setkey)
147         movaps .Lbswap_mask, BSWAP
148         movups (%rsi), %xmm0
149         # pshufb BSWAP, %xmm0
150         PSHUFB_XMM5_XMM0
151         movaps %xmm0, %xmm1
152         psllq $1, %xmm0
153         psrlq $63, %xmm1
154         movaps %xmm1, %xmm2
155         pslldq $8, %xmm1
156         psrldq $8, %xmm2
157         por %xmm1, %xmm0
158         # reduction
159         pshufd $0b00100100, %xmm2, %xmm1
160         pcmpeqd .Ltwo_one, %xmm1
161         pand .Lpoly, %xmm1
162         pxor %xmm1, %xmm0
163         movups %xmm0, (%rdi)
164         ret