Merge master.kernel.org:/pub/scm/linux/kernel/git/davem/sparc-2.6
authorLinus Torvalds <torvalds@g5.osdl.org>
Thu, 7 Jul 2005 05:15:13 +0000 (22:15 -0700)
committerLinus Torvalds <torvalds@g5.osdl.org>
Thu, 7 Jul 2005 05:15:13 +0000 (22:15 -0700)
45 files changed:
arch/arm/kernel/armksyms.c
arch/arm/mach-ixp4xx/common-pci.c
arch/arm/mach-ixp4xx/coyote-setup.c
arch/arm/mach-ixp4xx/ixdp425-setup.c
arch/arm/mm/proc-v6.S
arch/ppc/syslib/of_device.c
arch/ppc64/kernel/of_device.c
arch/x86_64/Makefile
arch/x86_64/crypto/Makefile [new file with mode: 0644]
arch/x86_64/crypto/aes-x86_64-asm.S [new file with mode: 0644]
arch/x86_64/crypto/aes.c [new file with mode: 0644]
crypto/Kconfig
crypto/api.c
crypto/cipher.c
crypto/des.c
crypto/hmac.c
crypto/internal.h
crypto/scatterwalk.c
crypto/scatterwalk.h
crypto/serpent.c
drivers/crypto/padlock-aes.c
drivers/crypto/padlock.h
drivers/i2c/busses/i2c-keywest.c
drivers/ide/ppc/pmac.c
drivers/ieee1394/ieee1394_core.h
drivers/macintosh/Makefile
drivers/macintosh/macio_asic.c
drivers/macintosh/macio_sysfs.c [new file with mode: 0644]
drivers/macintosh/mediabay.c
drivers/macintosh/therm_pm72.c
drivers/macintosh/therm_windtunnel.c
drivers/net/bmac.c
drivers/net/mace.c
drivers/net/wireless/airport.c
drivers/pci/setup-bus.c
drivers/scsi/mac53c94.c
drivers/scsi/mesh.c
drivers/serial/pmac_zilog.c
drivers/video/platinumfb.c
include/asm-arm/arch-ixp4xx/io.h
include/asm-ppc/macio.h
include/asm-ppc/of_device.h
include/linux/crypto.h
include/linux/mod_devicetable.h
scripts/mod/file2alias.c

index b713c44c6fb429c8da7bdfab8a4399a906df1050..835d450797a1e29378986f05b3e5ac852afd2a36 100644 (file)
@@ -41,7 +41,10 @@ extern void fp_enter(void);
  * This has a special calling convention; it doesn't
  * modify any of the usual registers, except for LR.
  */
+#define EXPORT_CRC_ALIAS(sym) __CRC_SYMBOL(sym, "")
+
 #define EXPORT_SYMBOL_ALIAS(sym,orig)          \
+ EXPORT_CRC_ALIAS(sym)                         \
  const struct kernel_symbol __ksymtab_##sym    \
   __attribute__((section("__ksymtab"))) =      \
     { (unsigned long)&orig, #sym };
index aa92e3708838ed31fadbead7b073cfc7a3894578..2b544363c078c7704d2dee04e9092970d48870fb 100644 (file)
@@ -453,8 +453,8 @@ int ixp4xx_setup(int nr, struct pci_sys_data *sys)
        local_write_config(PCI_COMMAND, 2, PCI_COMMAND_MASTER | PCI_COMMAND_MEMORY);
 
        res[0].name = "PCI I/O Space";
-       res[0].start = 0x00001000;
-       res[0].end = 0xffff0000;
+       res[0].start = 0x00000000;
+       res[0].end = 0x0000ffff;
        res[0].flags = IORESOURCE_IO;
 
        res[1].name = "PCI Memory Space";
index c6335f51907dbd0481591df2628eacd34e165480..4ff4393ef0ea681fcd0eca14fdae6bee00f03e35 100644 (file)
@@ -56,21 +56,24 @@ static struct resource coyote_uart_resource = {
        .flags  = IORESOURCE_MEM,
 };
 
-static struct plat_serial8250_port coyote_uart_data = {
-       .mapbase        = IXP4XX_UART2_BASE_PHYS,
-       .membase        = (char *)IXP4XX_UART2_BASE_VIRT + REG_OFFSET,
-       .irq            = IRQ_IXP4XX_UART2,
-       .flags          = UPF_BOOT_AUTOCONF,
-       .iotype         = UPIO_MEM,
-       .regshift       = 2,
-       .uartclk        = IXP4XX_UART_XTAL,
+static struct plat_serial8250_port coyote_uart_data[] = {
+       {
+               .mapbase        = IXP4XX_UART2_BASE_PHYS,
+               .membase        = (char *)IXP4XX_UART2_BASE_VIRT + REG_OFFSET,
+               .irq            = IRQ_IXP4XX_UART2,
+               .flags          = UPF_BOOT_AUTOCONF,
+               .iotype         = UPIO_MEM,
+               .regshift       = 2,
+               .uartclk        = IXP4XX_UART_XTAL,
+       },
+       { },
 };
 
 static struct platform_device coyote_uart = {
        .name           = "serial8250",
        .id             = 0,
        .dev                    = {
-               .platform_data  = &coyote_uart_data,
+               .platform_data  = coyote_uart_data,
        },
        .num_resources  = 1,
        .resource       = &coyote_uart_resource,
@@ -87,10 +90,10 @@ static void __init coyote_init(void)
        *IXP4XX_EXP_CS1 = *IXP4XX_EXP_CS0;
 
        if (machine_is_ixdpg425()) {
-               coyote_uart_data.membase =
+               coyote_uart_data[0].membase =
                        (char*)(IXP4XX_UART1_BASE_VIRT + REG_OFFSET);
-               coyote_uart_data.mapbase = IXP4XX_UART1_BASE_PHYS;
-               coyote_uart_data.irq = IRQ_IXP4XX_UART1;
+               coyote_uart_data[0].mapbase = IXP4XX_UART1_BASE_PHYS;
+               coyote_uart_data[0].irq = IRQ_IXP4XX_UART1;
        }
 
 
index f2e9c0ea05019405b1ba868fa7d2f3ae5c164f70..c2ba759e994611116101bb6719ed84d6bc069227 100644 (file)
@@ -95,7 +95,8 @@ static struct plat_serial8250_port ixdp425_uart_data[] = {
                .iotype         = UPIO_MEM,
                .regshift       = 2,
                .uartclk        = IXP4XX_UART_XTAL,
-       }
+       },
+       { },
 };
 
 static struct platform_device ixdp425_uart = {
index e3d8510f43400b9c66b85bf8f7995b5653050409..352db98ee2697f7f985973945f5d5fc2909d3263 100644 (file)
@@ -200,7 +200,7 @@ __v6_setup:
        mcr     p15, 0, r4, c2, c0, 1           @ load TTB1
 #ifdef CONFIG_VFP
        mrc     p15, 0, r0, c1, c0, 2
-       orr     r0, r0, #(3 << 20)
+       orr     r0, r0, #(0xf << 20)
        mcr     p15, 0, r0, c1, c0, 2           @ Enable full access to VFP
 #endif
        mrc     p15, 0, r0, c1, c0, 0           @ read control register
index 49c0e34e2d6bf2abf8c37522337e122e007c71ce..1eb4f726ca9ffb09567d77489d9e5bf341f29357 100644 (file)
@@ -3,6 +3,7 @@
 #include <linux/kernel.h>
 #include <linux/init.h>
 #include <linux/module.h>
+#include <linux/mod_devicetable.h>
 #include <asm/errno.h>
 #include <asm/of_device.h>
 
  * Used by a driver to check whether an of_device present in the
  * system is in its list of supported devices.
  */
-const struct of_match * of_match_device(const struct of_match *matches,
+const struct of_device_id * of_match_device(const struct of_device_id *matches,
                                        const struct of_device *dev)
 {
        if (!dev->node)
                return NULL;
-       while (matches->name || matches->type || matches->compatible) {
+       while (matches->name[0] || matches->type[0] || matches->compatible[0]) {
                int match = 1;
-               if (matches->name && matches->name != OF_ANY_MATCH)
+               if (matches->name[0])
                        match &= dev->node->name
                                && !strcmp(matches->name, dev->node->name);
-               if (matches->type && matches->type != OF_ANY_MATCH)
+               if (matches->type[0])
                        match &= dev->node->type
                                && !strcmp(matches->type, dev->node->type);
-               if (matches->compatible && matches->compatible != OF_ANY_MATCH)
+               if (matches->compatible[0])
                        match &= device_is_compatible(dev->node,
                                matches->compatible);
                if (match)
@@ -42,7 +43,7 @@ static int of_platform_bus_match(struct device *dev, struct device_driver *drv)
 {
        struct of_device * of_dev = to_of_device(dev);
        struct of_platform_driver * of_drv = to_of_platform_driver(drv);
-       const struct of_match * matches = of_drv->match_table;
+       const struct of_device_id * matches = of_drv->match_table;
 
        if (!matches)
                return 0;
@@ -75,7 +76,7 @@ static int of_device_probe(struct device *dev)
        int error = -ENODEV;
        struct of_platform_driver *drv;
        struct of_device *of_dev;
-       const struct of_match *match;
+       const struct of_device_id *match;
 
        drv = to_of_platform_driver(dev->driver);
        of_dev = to_of_device(dev);
index 66bd5ab7c25a4f17a3d95430fcc790c68e2c6360..b80e81984ba867c5f03dcfe2c91caccf4d73802c 100644 (file)
@@ -3,6 +3,7 @@
 #include <linux/kernel.h>
 #include <linux/init.h>
 #include <linux/module.h>
+#include <linux/mod_devicetable.h>
 #include <asm/errno.h>
 #include <asm/of_device.h>
 
  * Used by a driver to check whether an of_device present in the
  * system is in its list of supported devices.
  */
-const struct of_match * of_match_device(const struct of_match *matches,
+const struct of_device_id *of_match_device(const struct of_device_id *matches,
                                        const struct of_device *dev)
 {
        if (!dev->node)
                return NULL;
-       while (matches->name || matches->type || matches->compatible) {
+       while (matches->name[0] || matches->type[0] || matches->compatible[0]) {
                int match = 1;
-               if (matches->name && matches->name != OF_ANY_MATCH)
+               if (matches->name[0])
                        match &= dev->node->name
                                && !strcmp(matches->name, dev->node->name);
-               if (matches->type && matches->type != OF_ANY_MATCH)
+               if (matches->type[0])
                        match &= dev->node->type
                                && !strcmp(matches->type, dev->node->type);
-               if (matches->compatible && matches->compatible != OF_ANY_MATCH)
+               if (matches->compatible[0])
                        match &= device_is_compatible(dev->node,
                                matches->compatible);
                if (match)
@@ -42,7 +43,7 @@ static int of_platform_bus_match(struct device *dev, struct device_driver *drv)
 {
        struct of_device * of_dev = to_of_device(dev);
        struct of_platform_driver * of_drv = to_of_platform_driver(drv);
-       const struct of_match * matches = of_drv->match_table;
+       const struct of_device_id * matches = of_drv->match_table;
 
        if (!matches)
                return 0;
@@ -75,7 +76,7 @@ static int of_device_probe(struct device *dev)
        int error = -ENODEV;
        struct of_platform_driver *drv;
        struct of_device *of_dev;
-       const struct of_match *match;
+       const struct of_device_id *match;
 
        drv = to_of_platform_driver(dev->driver);
        of_dev = to_of_device(dev);
index 8a73794f9b9022dba5b6085fab84a81556dc8d0c..4289156976751580dbf2895f086b4eaad0345003 100644 (file)
@@ -65,7 +65,9 @@ CFLAGS += $(call cc-option,-mno-sse -mno-mmx -mno-sse2 -mno-3dnow,)
 head-y := arch/x86_64/kernel/head.o arch/x86_64/kernel/head64.o arch/x86_64/kernel/init_task.o
 
 libs-y                                         += arch/x86_64/lib/
-core-y                                 += arch/x86_64/kernel/ arch/x86_64/mm/
+core-y                                 += arch/x86_64/kernel/ \
+                                          arch/x86_64/mm/ \
+                                          arch/x86_64/crypto/
 core-$(CONFIG_IA32_EMULATION)          += arch/x86_64/ia32/
 drivers-$(CONFIG_PCI)                  += arch/x86_64/pci/
 drivers-$(CONFIG_OPROFILE)             += arch/x86_64/oprofile/
diff --git a/arch/x86_64/crypto/Makefile b/arch/x86_64/crypto/Makefile
new file mode 100644 (file)
index 0000000..426d20f
--- /dev/null
@@ -0,0 +1,9 @@
+# 
+# x86_64/crypto/Makefile 
+# 
+# Arch-specific CryptoAPI modules.
+# 
+
+obj-$(CONFIG_CRYPTO_AES_X86_64) += aes-x86_64.o
+
+aes-x86_64-y := aes-x86_64-asm.o aes.o
diff --git a/arch/x86_64/crypto/aes-x86_64-asm.S b/arch/x86_64/crypto/aes-x86_64-asm.S
new file mode 100644 (file)
index 0000000..483cbb2
--- /dev/null
@@ -0,0 +1,186 @@
+/* AES (Rijndael) implementation (FIPS PUB 197) for x86_64
+ *
+ * Copyright (C) 2005 Andreas Steinmetz, <ast@domdv.de>
+ *
+ * License:
+ * This code can be distributed under the terms of the GNU General Public
+ * License (GPL) Version 2 provided that the above header down to and
+ * including this sentence is retained in full.
+ */
+
+.extern aes_ft_tab
+.extern aes_it_tab
+.extern aes_fl_tab
+.extern aes_il_tab
+
+.text
+
+#define R1     %rax
+#define R1E    %eax
+#define R1X    %ax
+#define R1H    %ah
+#define R1L    %al
+#define R2     %rbx
+#define R2E    %ebx
+#define R2X    %bx
+#define R2H    %bh
+#define R2L    %bl
+#define R3     %rcx
+#define R3E    %ecx
+#define R3X    %cx
+#define R3H    %ch
+#define R3L    %cl
+#define R4     %rdx
+#define R4E    %edx
+#define R4X    %dx
+#define R4H    %dh
+#define R4L    %dl
+#define R5     %rsi
+#define R5E    %esi
+#define R6     %rdi
+#define R6E    %edi
+#define R7     %rbp
+#define R7E    %ebp
+#define R8     %r8
+#define R9     %r9
+#define R10    %r10
+#define R11    %r11
+
+#define prologue(FUNC,BASE,B128,B192,r1,r2,r3,r4,r5,r6,r7,r8,r9,r10,r11) \
+       .global FUNC;                   \
+       .type   FUNC,@function;         \
+       .align  8;                      \
+FUNC:  movq    r1,r2;                  \
+       movq    r3,r4;                  \
+       leaq    BASE+52(r8),r9;         \
+       movq    r10,r11;                \
+       movl    (r7),r5 ## E;           \
+       movl    4(r7),r1 ## E;          \
+       movl    8(r7),r6 ## E;          \
+       movl    12(r7),r7 ## E;         \
+       movl    (r8),r10 ## E;          \
+       xorl    -48(r9),r5 ## E;        \
+       xorl    -44(r9),r1 ## E;        \
+       xorl    -40(r9),r6 ## E;        \
+       xorl    -36(r9),r7 ## E;        \
+       cmpl    $24,r10 ## E;           \
+       jb      B128;                   \
+       leaq    32(r9),r9;              \
+       je      B192;                   \
+       leaq    32(r9),r9;
+
+#define epilogue(r1,r2,r3,r4,r5,r6,r7,r8,r9) \
+       movq    r1,r2;                  \
+       movq    r3,r4;                  \
+       movl    r5 ## E,(r9);           \
+       movl    r6 ## E,4(r9);          \
+       movl    r7 ## E,8(r9);          \
+       movl    r8 ## E,12(r9);         \
+       ret;
+
+#define round(TAB,OFFSET,r1,r2,r3,r4,r5,r6,r7,r8,ra,rb,rc,rd) \
+       movzbl  r2 ## H,r5 ## E;        \
+       movzbl  r2 ## L,r6 ## E;        \
+       movl    TAB+1024(,r5,4),r5 ## E;\
+       movw    r4 ## X,r2 ## X;        \
+       movl    TAB(,r6,4),r6 ## E;     \
+       roll    $16,r2 ## E;            \
+       shrl    $16,r4 ## E;            \
+       movzbl  r4 ## H,r7 ## E;        \
+       movzbl  r4 ## L,r4 ## E;        \
+       xorl    OFFSET(r8),ra ## E;     \
+       xorl    OFFSET+4(r8),rb ## E;   \
+       xorl    TAB+3072(,r7,4),r5 ## E;\
+       xorl    TAB+2048(,r4,4),r6 ## E;\
+       movzbl  r1 ## L,r7 ## E;        \
+       movzbl  r1 ## H,r4 ## E;        \
+       movl    TAB+1024(,r4,4),r4 ## E;\
+       movw    r3 ## X,r1 ## X;        \
+       roll    $16,r1 ## E;            \
+       shrl    $16,r3 ## E;            \
+       xorl    TAB(,r7,4),r5 ## E;     \
+       movzbl  r3 ## H,r7 ## E;        \
+       movzbl  r3 ## L,r3 ## E;        \
+       xorl    TAB+3072(,r7,4),r4 ## E;\
+       xorl    TAB+2048(,r3,4),r5 ## E;\
+       movzbl  r1 ## H,r7 ## E;        \
+       movzbl  r1 ## L,r3 ## E;        \
+       shrl    $16,r1 ## E;            \
+       xorl    TAB+3072(,r7,4),r6 ## E;\
+       movl    TAB+2048(,r3,4),r3 ## E;\
+       movzbl  r1 ## H,r7 ## E;        \
+       movzbl  r1 ## L,r1 ## E;        \
+       xorl    TAB+1024(,r7,4),r6 ## E;\
+       xorl    TAB(,r1,4),r3 ## E;     \
+       movzbl  r2 ## H,r1 ## E;        \
+       movzbl  r2 ## L,r7 ## E;        \
+       shrl    $16,r2 ## E;            \
+       xorl    TAB+3072(,r1,4),r3 ## E;\
+       xorl    TAB+2048(,r7,4),r4 ## E;\
+       movzbl  r2 ## H,r1 ## E;        \
+       movzbl  r2 ## L,r2 ## E;        \
+       xorl    OFFSET+8(r8),rc ## E;   \
+       xorl    OFFSET+12(r8),rd ## E;  \
+       xorl    TAB+1024(,r1,4),r3 ## E;\
+       xorl    TAB(,r2,4),r4 ## E;
+
+#define move_regs(r1,r2,r3,r4) \
+       movl    r3 ## E,r1 ## E;        \
+       movl    r4 ## E,r2 ## E;
+
+#define entry(FUNC,BASE,B128,B192) \
+       prologue(FUNC,BASE,B128,B192,R2,R8,R7,R9,R1,R3,R4,R6,R10,R5,R11)
+
+#define return epilogue(R8,R2,R9,R7,R5,R6,R3,R4,R11)
+
+#define encrypt_round(TAB,OFFSET) \
+       round(TAB,OFFSET,R1,R2,R3,R4,R5,R6,R7,R10,R5,R6,R3,R4) \
+       move_regs(R1,R2,R5,R6)
+
+#define encrypt_final(TAB,OFFSET) \
+       round(TAB,OFFSET,R1,R2,R3,R4,R5,R6,R7,R10,R5,R6,R3,R4)
+
+#define decrypt_round(TAB,OFFSET) \
+       round(TAB,OFFSET,R2,R1,R4,R3,R6,R5,R7,R10,R5,R6,R3,R4) \
+       move_regs(R1,R2,R5,R6)
+
+#define decrypt_final(TAB,OFFSET) \
+       round(TAB,OFFSET,R2,R1,R4,R3,R6,R5,R7,R10,R5,R6,R3,R4)
+
+/* void aes_encrypt(void *ctx, u8 *out, const u8 *in) */
+
+       entry(aes_encrypt,0,enc128,enc192)
+       encrypt_round(aes_ft_tab,-96)
+       encrypt_round(aes_ft_tab,-80)
+enc192:        encrypt_round(aes_ft_tab,-64)
+       encrypt_round(aes_ft_tab,-48)
+enc128:        encrypt_round(aes_ft_tab,-32)
+       encrypt_round(aes_ft_tab,-16)
+       encrypt_round(aes_ft_tab,  0)
+       encrypt_round(aes_ft_tab, 16)
+       encrypt_round(aes_ft_tab, 32)
+       encrypt_round(aes_ft_tab, 48)
+       encrypt_round(aes_ft_tab, 64)
+       encrypt_round(aes_ft_tab, 80)
+       encrypt_round(aes_ft_tab, 96)
+       encrypt_final(aes_fl_tab,112)
+       return
+
+/* void aes_decrypt(void *ctx, u8 *out, const u8 *in) */
+
+       entry(aes_decrypt,240,dec128,dec192)
+       decrypt_round(aes_it_tab,-96)
+       decrypt_round(aes_it_tab,-80)
+dec192:        decrypt_round(aes_it_tab,-64)
+       decrypt_round(aes_it_tab,-48)
+dec128:        decrypt_round(aes_it_tab,-32)
+       decrypt_round(aes_it_tab,-16)
+       decrypt_round(aes_it_tab,  0)
+       decrypt_round(aes_it_tab, 16)
+       decrypt_round(aes_it_tab, 32)
+       decrypt_round(aes_it_tab, 48)
+       decrypt_round(aes_it_tab, 64)
+       decrypt_round(aes_it_tab, 80)
+       decrypt_round(aes_it_tab, 96)
+       decrypt_final(aes_il_tab,112)
+       return
diff --git a/arch/x86_64/crypto/aes.c b/arch/x86_64/crypto/aes.c
new file mode 100644 (file)
index 0000000..2b5c401
--- /dev/null
@@ -0,0 +1,324 @@
+/*
+ * Cryptographic API.
+ *
+ * AES Cipher Algorithm.
+ *
+ * Based on Brian Gladman's code.
+ *
+ * Linux developers:
+ *  Alexander Kjeldaas <astor@fast.no>
+ *  Herbert Valerio Riedel <hvr@hvrlab.org>
+ *  Kyle McMartin <kyle@debian.org>
+ *  Adam J. Richter <adam@yggdrasil.com> (conversion to 2.5 API).
+ *  Andreas Steinmetz <ast@domdv.de> (adapted to x86_64 assembler)
+ *
+ * This program is free software; you can redistribute it and/or modify
+ * it under the terms of the GNU General Public License as published by
+ * the Free Software Foundation; either version 2 of the License, or
+ * (at your option) any later version.
+ *
+ * ---------------------------------------------------------------------------
+ * Copyright (c) 2002, Dr Brian Gladman <brg@gladman.me.uk>, Worcester, UK.
+ * All rights reserved.
+ *
+ * LICENSE TERMS
+ *
+ * The free distribution and use of this software in both source and binary
+ * form is allowed (with or without changes) provided that:
+ *
+ *   1. distributions of this source code include the above copyright
+ *      notice, this list of conditions and the following disclaimer;
+ *
+ *   2. distributions in binary form include the above copyright
+ *      notice, this list of conditions and the following disclaimer
+ *      in the documentation and/or other associated materials;
+ *
+ *   3. the copyright holder's name is not used to endorse products
+ *      built using this software without specific written permission.
+ *
+ * ALTERNATIVELY, provided that this notice is retained in full, this product
+ * may be distributed under the terms of the GNU General Public License (GPL),
+ * in which case the provisions of the GPL apply INSTEAD OF those given above.
+ *
+ * DISCLAIMER
+ *
+ * This software is provided 'as is' with no explicit or implied warranties
+ * in respect of its properties, including, but not limited to, correctness
+ * and/or fitness for purpose.
+ * ---------------------------------------------------------------------------
+ */
+
+/* Some changes from the Gladman version:
+    s/RIJNDAEL(e_key)/E_KEY/g
+    s/RIJNDAEL(d_key)/D_KEY/g
+*/
+
+#include <asm/byteorder.h>
+#include <linux/bitops.h>
+#include <linux/crypto.h>
+#include <linux/errno.h>
+#include <linux/init.h>
+#include <linux/module.h>
+#include <linux/types.h>
+
+#define AES_MIN_KEY_SIZE       16
+#define AES_MAX_KEY_SIZE       32
+
+#define AES_BLOCK_SIZE         16
+
+/*
+ * #define byte(x, nr) ((unsigned char)((x) >> (nr*8)))
+ */
+static inline u8 byte(const u32 x, const unsigned n)
+{
+       return x >> (n << 3);
+}
+
+#define u32_in(x) le32_to_cpu(*(const __le32 *)(x))
+
+struct aes_ctx
+{
+       u32 key_length;
+       u32 E[60];
+       u32 D[60];
+};
+
+#define E_KEY ctx->E
+#define D_KEY ctx->D
+
+static u8 pow_tab[256] __initdata;
+static u8 log_tab[256] __initdata;
+static u8 sbx_tab[256] __initdata;
+static u8 isb_tab[256] __initdata;
+static u32 rco_tab[10];
+u32 aes_ft_tab[4][256];
+u32 aes_it_tab[4][256];
+
+u32 aes_fl_tab[4][256];
+u32 aes_il_tab[4][256];
+
+static inline u8 f_mult(u8 a, u8 b)
+{
+       u8 aa = log_tab[a], cc = aa + log_tab[b];
+
+       return pow_tab[cc + (cc < aa ? 1 : 0)];
+}
+
+#define ff_mult(a, b) (a && b ? f_mult(a, b) : 0)
+
+#define ls_box(x)                              \
+       (aes_fl_tab[0][byte(x, 0)] ^            \
+        aes_fl_tab[1][byte(x, 1)] ^            \
+        aes_fl_tab[2][byte(x, 2)] ^            \
+        aes_fl_tab[3][byte(x, 3)])
+
+static void __init gen_tabs(void)
+{
+       u32 i, t;
+       u8 p, q;
+
+       /* log and power tables for GF(2**8) finite field with
+          0x011b as modular polynomial - the simplest primitive
+          root is 0x03, used here to generate the tables */
+
+       for (i = 0, p = 1; i < 256; ++i) {
+               pow_tab[i] = (u8)p;
+               log_tab[p] = (u8)i;
+
+               p ^= (p << 1) ^ (p & 0x80 ? 0x01b : 0);
+       }
+
+       log_tab[1] = 0;
+
+       for (i = 0, p = 1; i < 10; ++i) {
+               rco_tab[i] = p;
+
+               p = (p << 1) ^ (p & 0x80 ? 0x01b : 0);
+       }
+
+       for (i = 0; i < 256; ++i) {
+               p = (i ? pow_tab[255 - log_tab[i]] : 0);
+               q = ((p >> 7) | (p << 1)) ^ ((p >> 6) | (p << 2));
+               p ^= 0x63 ^ q ^ ((q >> 6) | (q << 2));
+               sbx_tab[i] = p;
+               isb_tab[p] = (u8)i;
+       }
+
+       for (i = 0; i < 256; ++i) {
+               p = sbx_tab[i];
+
+               t = p;
+               aes_fl_tab[0][i] = t;
+               aes_fl_tab[1][i] = rol32(t, 8);
+               aes_fl_tab[2][i] = rol32(t, 16);
+               aes_fl_tab[3][i] = rol32(t, 24);
+
+               t = ((u32)ff_mult(2, p)) |
+                   ((u32)p << 8) |
+                   ((u32)p << 16) | ((u32)ff_mult(3, p) << 24);
+
+               aes_ft_tab[0][i] = t;
+               aes_ft_tab[1][i] = rol32(t, 8);
+               aes_ft_tab[2][i] = rol32(t, 16);
+               aes_ft_tab[3][i] = rol32(t, 24);
+
+               p = isb_tab[i];
+
+               t = p;
+               aes_il_tab[0][i] = t;
+               aes_il_tab[1][i] = rol32(t, 8);
+               aes_il_tab[2][i] = rol32(t, 16);
+               aes_il_tab[3][i] = rol32(t, 24);
+
+               t = ((u32)ff_mult(14, p)) |
+                   ((u32)ff_mult(9, p) << 8) |
+                   ((u32)ff_mult(13, p) << 16) |
+                   ((u32)ff_mult(11, p) << 24);
+
+               aes_it_tab[0][i] = t;
+               aes_it_tab[1][i] = rol32(t, 8);
+               aes_it_tab[2][i] = rol32(t, 16);
+               aes_it_tab[3][i] = rol32(t, 24);
+       }
+}
+
+#define star_x(x) (((x) & 0x7f7f7f7f) << 1) ^ ((((x) & 0x80808080) >> 7) * 0x1b)
+
+#define imix_col(y, x)                 \
+       u    = star_x(x);               \
+       v    = star_x(u);               \
+       w    = star_x(v);               \
+       t    = w ^ (x);                 \
+       (y)  = u ^ v ^ w;               \
+       (y) ^= ror32(u ^ t,  8) ^       \
+              ror32(v ^ t, 16) ^       \
+              ror32(t, 24)
+
+/* initialise the key schedule from the user supplied key */
+
+#define loop4(i)                                       \
+{                                                      \
+       t = ror32(t,  8); t = ls_box(t) ^ rco_tab[i];   \
+       t ^= E_KEY[4 * i];     E_KEY[4 * i + 4] = t;    \
+       t ^= E_KEY[4 * i + 1]; E_KEY[4 * i + 5] = t;    \
+       t ^= E_KEY[4 * i + 2]; E_KEY[4 * i + 6] = t;    \
+       t ^= E_KEY[4 * i + 3]; E_KEY[4 * i + 7] = t;    \
+}
+
+#define loop6(i)                                       \
+{                                                      \
+       t = ror32(t,  8); t = ls_box(t) ^ rco_tab[i];   \
+       t ^= E_KEY[6 * i];     E_KEY[6 * i + 6] = t;    \
+       t ^= E_KEY[6 * i + 1]; E_KEY[6 * i + 7] = t;    \
+       t ^= E_KEY[6 * i + 2]; E_KEY[6 * i + 8] = t;    \
+       t ^= E_KEY[6 * i + 3]; E_KEY[6 * i + 9] = t;    \
+       t ^= E_KEY[6 * i + 4]; E_KEY[6 * i + 10] = t;   \
+       t ^= E_KEY[6 * i + 5]; E_KEY[6 * i + 11] = t;   \
+}
+
+#define loop8(i)                                       \
+{                                                      \
+       t = ror32(t,  8); ; t = ls_box(t) ^ rco_tab[i]; \
+       t ^= E_KEY[8 * i];     E_KEY[8 * i + 8] = t;    \
+       t ^= E_KEY[8 * i + 1]; E_KEY[8 * i + 9] = t;    \
+       t ^= E_KEY[8 * i + 2]; E_KEY[8 * i + 10] = t;   \
+       t ^= E_KEY[8 * i + 3]; E_KEY[8 * i + 11] = t;   \
+       t  = E_KEY[8 * i + 4] ^ ls_box(t);              \
+       E_KEY[8 * i + 12] = t;                          \
+       t ^= E_KEY[8 * i + 5]; E_KEY[8 * i + 13] = t;   \
+       t ^= E_KEY[8 * i + 6]; E_KEY[8 * i + 14] = t;   \
+       t ^= E_KEY[8 * i + 7]; E_KEY[8 * i + 15] = t;   \
+}
+
+static int aes_set_key(void *ctx_arg, const u8 *in_key, unsigned int key_len,
+                      u32 *flags)
+{
+       struct aes_ctx *ctx = ctx_arg;
+       u32 i, j, t, u, v, w;
+
+       if (key_len != 16 && key_len != 24 && key_len != 32) {
+               *flags |= CRYPTO_TFM_RES_BAD_KEY_LEN;
+               return -EINVAL;
+       }
+
+       ctx->key_length = key_len;
+
+       D_KEY[key_len + 24] = E_KEY[0] = u32_in(in_key);
+       D_KEY[key_len + 25] = E_KEY[1] = u32_in(in_key + 4);
+       D_KEY[key_len + 26] = E_KEY[2] = u32_in(in_key + 8);
+       D_KEY[key_len + 27] = E_KEY[3] = u32_in(in_key + 12);
+
+       switch (key_len) {
+       case 16:
+               t = E_KEY[3];
+               for (i = 0; i < 10; ++i)
+                       loop4(i);
+               break;
+
+       case 24:
+               E_KEY[4] = u32_in(in_key + 16);
+               t = E_KEY[5] = u32_in(in_key + 20);
+               for (i = 0; i < 8; ++i)
+                       loop6 (i);
+               break;
+
+       case 32:
+               E_KEY[4] = u32_in(in_key + 16);
+               E_KEY[5] = u32_in(in_key + 20);
+               E_KEY[6] = u32_in(in_key + 24);
+               t = E_KEY[7] = u32_in(in_key + 28);
+               for (i = 0; i < 7; ++i)
+                       loop8(i);
+               break;
+       }
+
+       D_KEY[0] = E_KEY[key_len + 24];
+       D_KEY[1] = E_KEY[key_len + 25];
+       D_KEY[2] = E_KEY[key_len + 26];
+       D_KEY[3] = E_KEY[key_len + 27];
+
+       for (i = 4; i < key_len + 24; ++i) {
+               j = key_len + 24 - (i & ~3) + (i & 3);
+               imix_col(D_KEY[j], E_KEY[i]);
+       }
+
+       return 0;
+}
+
+extern void aes_encrypt(void *ctx_arg, u8 *out, const u8 *in);
+extern void aes_decrypt(void *ctx_arg, u8 *out, const u8 *in);
+
+static struct crypto_alg aes_alg = {
+       .cra_name               =       "aes",
+       .cra_flags              =       CRYPTO_ALG_TYPE_CIPHER,
+       .cra_blocksize          =       AES_BLOCK_SIZE,
+       .cra_ctxsize            =       sizeof(struct aes_ctx),
+       .cra_module             =       THIS_MODULE,
+       .cra_list               =       LIST_HEAD_INIT(aes_alg.cra_list),
+       .cra_u                  =       {
+               .cipher = {
+                       .cia_min_keysize        =       AES_MIN_KEY_SIZE,
+                       .cia_max_keysize        =       AES_MAX_KEY_SIZE,
+                       .cia_setkey             =       aes_set_key,
+                       .cia_encrypt            =       aes_encrypt,
+                       .cia_decrypt            =       aes_decrypt
+               }
+       }
+};
+
+static int __init aes_init(void)
+{
+       gen_tabs();
+       return crypto_register_alg(&aes_alg);
+}
+
+static void __exit aes_fini(void)
+{
+       crypto_unregister_alg(&aes_alg);
+}
+
+module_init(aes_init);
+module_exit(aes_fini);
+
+MODULE_DESCRIPTION("Rijndael (AES) Cipher Algorithm");
+MODULE_LICENSE("GPL");
index 90d6089d60ed8c11e251da02e6f090bcc4129bb9..256c0b1fed10ddfb8e3f242651ccdefdd970cfa9 100644 (file)
@@ -146,7 +146,7 @@ config CRYPTO_SERPENT
 
 config CRYPTO_AES
        tristate "AES cipher algorithms"
-       depends on CRYPTO && !((X86 || UML_X86) && !64BIT)
+       depends on CRYPTO && !(X86 || UML_X86)
        help
          AES cipher algorithms (FIPS-197). AES uses the Rijndael 
          algorithm.
@@ -184,6 +184,26 @@ config CRYPTO_AES_586
 
          See <http://csrc.nist.gov/encryption/aes/> for more information.
 
+config CRYPTO_AES_X86_64
+       tristate "AES cipher algorithms (x86_64)"
+       depends on CRYPTO && ((X86 || UML_X86) && 64BIT)
+       help
+         AES cipher algorithms (FIPS-197). AES uses the Rijndael 
+         algorithm.
+
+         Rijndael appears to be consistently a very good performer in
+         both hardware and software across a wide range of computing 
+         environments regardless of its use in feedback or non-feedback 
+         modes. Its key setup time is excellent, and its key agility is 
+         good. Rijndael's very low memory requirements make it very well 
+         suited for restricted-space environments, in which it also 
+         demonstrates excellent performance. Rijndael's operations are 
+         among the easiest to defend against power and timing attacks. 
+
+         The AES specifies three key sizes: 128, 192 and 256 bits        
+
+         See <http://csrc.nist.gov/encryption/aes/> for more information.
+
 config CRYPTO_CAST5
        tristate "CAST5 (CAST-128) cipher algorithm"
        depends on CRYPTO
index 394169a8577d0643df6b9995abbfbb2049039228..b4728811ce3b1570e7ee2806644692d099c32cdf 100644 (file)
  * any later version.
  *
  */
+
+#include <linux/compiler.h>
 #include <linux/init.h>
 #include <linux/crypto.h>
 #include <linux/errno.h>
+#include <linux/kmod.h>
 #include <linux/rwsem.h>
 #include <linux/slab.h>
 #include "internal.h"
@@ -33,7 +36,7 @@ static inline void crypto_alg_put(struct crypto_alg *alg)
        module_put(alg->cra_module);
 }
 
-struct crypto_alg *crypto_alg_lookup(const char *name)
+static struct crypto_alg *crypto_alg_lookup(const char *name)
 {
        struct crypto_alg *q, *alg = NULL;
 
@@ -54,6 +57,13 @@ struct crypto_alg *crypto_alg_lookup(const char *name)
        return alg;
 }
 
+/* A far more intelligent version of this is planned.  For now, just
+ * try an exact match on the name of the algorithm. */
+static inline struct crypto_alg *crypto_alg_mod_lookup(const char *name)
+{
+       return try_then_request_module(crypto_alg_lookup(name), name);
+}
+
 static int crypto_init_flags(struct crypto_tfm *tfm, u32 flags)
 {
        tfm->crt_flags = 0;
@@ -117,20 +127,46 @@ static void crypto_exit_ops(struct crypto_tfm *tfm)
        }
 }
 
+static unsigned int crypto_ctxsize(struct crypto_alg *alg, int flags)
+{
+       unsigned int len;
+
+       switch (alg->cra_flags & CRYPTO_ALG_TYPE_MASK) {
+       default:
+               BUG();
+
+       case CRYPTO_ALG_TYPE_CIPHER:
+               len = crypto_cipher_ctxsize(alg, flags);
+               break;
+               
+       case CRYPTO_ALG_TYPE_DIGEST:
+               len = crypto_digest_ctxsize(alg, flags);
+               break;
+               
+       case CRYPTO_ALG_TYPE_COMPRESS:
+               len = crypto_compress_ctxsize(alg, flags);
+               break;
+       }
+
+       return len + alg->cra_alignmask;
+}
+
 struct crypto_tfm *crypto_alloc_tfm(const char *name, u32 flags)
 {
        struct crypto_tfm *tfm = NULL;
        struct crypto_alg *alg;
+       unsigned int tfm_size;
 
        alg = crypto_alg_mod_lookup(name);
        if (alg == NULL)
                goto out;
-       
-       tfm = kmalloc(sizeof(*tfm) + alg->cra_ctxsize, GFP_KERNEL);
+
+       tfm_size = sizeof(*tfm) + crypto_ctxsize(alg, flags);
+       tfm = kmalloc(tfm_size, GFP_KERNEL);
        if (tfm == NULL)
                goto out_put;
 
-       memset(tfm, 0, sizeof(*tfm) + alg->cra_ctxsize);
+       memset(tfm, 0, tfm_size);
        
        tfm->__crt_alg = alg;
        
@@ -155,8 +191,14 @@ out:
 
 void crypto_free_tfm(struct crypto_tfm *tfm)
 {
-       struct crypto_alg *alg = tfm->__crt_alg;
-       int size = sizeof(*tfm) + alg->cra_ctxsize;
+       struct crypto_alg *alg;
+       int size;
+
+       if (unlikely(!tfm))
+               return;
+
+       alg = tfm->__crt_alg;
+       size = sizeof(*tfm) + alg->cra_ctxsize;
 
        crypto_exit_ops(tfm);
        crypto_alg_put(alg);
@@ -168,6 +210,12 @@ int crypto_register_alg(struct crypto_alg *alg)
 {
        int ret = 0;
        struct crypto_alg *q;
+
+       if (alg->cra_alignmask & (alg->cra_alignmask + 1))
+               return -EINVAL;
+
+       if (alg->cra_alignmask > PAGE_SIZE)
+               return -EINVAL;
        
        down_write(&crypto_alg_sem);
        
index f434ce7c2d0b372aa75b3c4d8d2ac1b333e2f4e2..1c92c6bb138bd2c74d50fcf595e0402a98436bdc 100644 (file)
@@ -4,6 +4,7 @@
  * Cipher operations.
  *
  * Copyright (c) 2002 James Morris <jmorris@intercode.com.au>
+ * Copyright (c) 2005 Herbert Xu <herbert@gondor.apana.org.au>
  *
  * This program is free software; you can redistribute it and/or modify it
  * under the terms of the GNU General Public License as published by the Free
 #include "internal.h"
 #include "scatterwalk.h"
 
-typedef void (cryptfn_t)(void *, u8 *, const u8 *);
-typedef void (procfn_t)(struct crypto_tfm *, u8 *,
-                        u8*, cryptfn_t, void *);
-
 static inline void xor_64(u8 *a, const u8 *b)
 {
        ((u32 *)a)[0] ^= ((u32 *)b)[0];
@@ -39,63 +36,70 @@ static inline void xor_128(u8 *a, const u8 *b)
        ((u32 *)a)[2] ^= ((u32 *)b)[2];
        ((u32 *)a)[3] ^= ((u32 *)b)[3];
 }
-static inline void *prepare_src(struct scatter_walk *walk, int bsize,
-                               void *tmp, int in_place)
+
+static unsigned int crypt_slow(const struct cipher_desc *desc,
+                              struct scatter_walk *in,
+                              struct scatter_walk *out, unsigned int bsize)
 {
-       void *src = walk->data;
-       int n = bsize;
+       unsigned int alignmask = crypto_tfm_alg_alignmask(desc->tfm);
+       u8 buffer[bsize * 2 + alignmask];
+       u8 *src = (u8 *)ALIGN((unsigned long)buffer, alignmask + 1);
+       u8 *dst = src + bsize;
+       unsigned int n;
 
-       if (unlikely(scatterwalk_across_pages(walk, bsize))) {
-               src = tmp;
-               n = scatterwalk_copychunks(src, walk, bsize, 0);
-       }
-       scatterwalk_advance(walk, n);
-       return src;
+       n = scatterwalk_copychunks(src, in, bsize, 0);
+       scatterwalk_advance(in, n);
+
+       desc->prfn(desc, dst, src, bsize);
+
+       n = scatterwalk_copychunks(dst, out, bsize, 1);
+       scatterwalk_advance(out, n);
+
+       return bsize;
 }
 
-static inline void *prepare_dst(struct scatter_walk *walk, int bsize,
-                               void *tmp, int in_place)
+static inline unsigned int crypt_fast(const struct cipher_desc *desc,
+                                     struct scatter_walk *in,
+                                     struct scatter_walk *out,
+                                     unsigned int nbytes, u8 *tmp)
 {
-       void *dst = walk->data;
+       u8 *src, *dst;
 
-       if (unlikely(scatterwalk_across_pages(walk, bsize)) || in_place)
+       src = in->data;
+       dst = scatterwalk_samebuf(in, out) ? src : out->data;
+
+       if (tmp) {
+               memcpy(tmp, in->data, nbytes);
+               src = tmp;
                dst = tmp;
-       return dst;
-}
+       }
 
-static inline void complete_src(struct scatter_walk *walk, int bsize,
-                               void *src, int in_place)
-{
-}
+       nbytes = desc->prfn(desc, dst, src, nbytes);
 
-static inline void complete_dst(struct scatter_walk *walk, int bsize,
-                               void *dst, int in_place)
-{
-       int n = bsize;
+       if (tmp)
+               memcpy(out->data, tmp, nbytes);
+
+       scatterwalk_advance(in, nbytes);
+       scatterwalk_advance(out, nbytes);
 
-       if (unlikely(scatterwalk_across_pages(walk, bsize)))
-               n = scatterwalk_copychunks(dst, walk, bsize, 1);
-       else if (in_place)
-               memcpy(walk->data, dst, bsize);
-       scatterwalk_advance(walk, n);
+       return nbytes;
 }
 
 /* 
  * Generic encrypt/decrypt wrapper for ciphers, handles operations across
  * multiple page boundaries by using temporary blocks.  In user context,
- * the kernel is given a chance to schedule us once per block.
+ * the kernel is given a chance to schedule us once per page.
  */
-static int crypt(struct crypto_tfm *tfm,
+static int crypt(const struct cipher_desc *desc,
                 struct scatterlist *dst,
                 struct scatterlist *src,
-                 unsigned int nbytes, cryptfn_t crfn,
-                 procfn_t prfn, void *info)
+                unsigned int nbytes)
 {
        struct scatter_walk walk_in, walk_out;
+       struct crypto_tfm *tfm = desc->tfm;
        const unsigned int bsize = crypto_tfm_alg_blocksize(tfm);
-       u8 tmp_src[bsize];
-       u8 tmp_dst[bsize];
+       unsigned int alignmask = crypto_tfm_alg_alignmask(tfm);
+       unsigned long buffer = 0;
 
        if (!nbytes)
                return 0;
@@ -109,64 +113,144 @@ static int crypt(struct crypto_tfm *tfm,
        scatterwalk_start(&walk_out, dst);
 
        for(;;) {
-               u8 *src_p, *dst_p;
-               int in_place;
+               unsigned int n = nbytes;
+               u8 *tmp = NULL;
+
+               if (!scatterwalk_aligned(&walk_in, alignmask) ||
+                   !scatterwalk_aligned(&walk_out, alignmask)) {
+                       if (!buffer) {
+                               buffer = __get_free_page(GFP_ATOMIC);
+                               if (!buffer)
+                                       n = 0;
+                       }
+                       tmp = (u8 *)buffer;
+               }
 
                scatterwalk_map(&walk_in, 0);
                scatterwalk_map(&walk_out, 1);
 
-               in_place = scatterwalk_samebuf(&walk_in, &walk_out);
-
-               do {
-                       src_p = prepare_src(&walk_in, bsize, tmp_src,
-                                           in_place);
-                       dst_p = prepare_dst(&walk_out, bsize, tmp_dst,
-                                           in_place);
-
-                       prfn(tfm, dst_p, src_p, crfn, info);
+               n = scatterwalk_clamp(&walk_in, n);
+               n = scatterwalk_clamp(&walk_out, n);
 
-                       complete_src(&walk_in, bsize, src_p, in_place);
-                       complete_dst(&walk_out, bsize, dst_p, in_place);
+               if (likely(n >= bsize))
+                       n = crypt_fast(desc, &walk_in, &walk_out, n, tmp);
+               else
+                       n = crypt_slow(desc, &walk_in, &walk_out, bsize);
 
-                       nbytes -= bsize;
-               } while (nbytes &&
-                        !scatterwalk_across_pages(&walk_in, bsize) &&
-                        !scatterwalk_across_pages(&walk_out, bsize));
+               nbytes -= n;
 
                scatterwalk_done(&walk_in, 0, nbytes);
                scatterwalk_done(&walk_out, 1, nbytes);
 
                if (!nbytes)
-                       return 0;
+                       break;
 
                crypto_yield(tfm);
        }
+
+       if (buffer)
+               free_page(buffer);
+
+       return 0;
 }
 
-static void cbc_process_encrypt(struct crypto_tfm *tfm, u8 *dst, u8 *src,
-                               cryptfn_t fn, void *info)
+static int crypt_iv_unaligned(struct cipher_desc *desc,
+                             struct scatterlist *dst,
+                             struct scatterlist *src,
+                             unsigned int nbytes)
 {
-       u8 *iv = info;
+       struct crypto_tfm *tfm = desc->tfm;
+       unsigned int alignmask = crypto_tfm_alg_alignmask(tfm);
+       u8 *iv = desc->info;
 
-       tfm->crt_u.cipher.cit_xor_block(iv, src);
-       fn(crypto_tfm_ctx(tfm), dst, iv);
-       memcpy(iv, dst, crypto_tfm_alg_blocksize(tfm));
+       if (unlikely(((unsigned long)iv & alignmask))) {
+               unsigned int ivsize = tfm->crt_cipher.cit_ivsize;
+               u8 buffer[ivsize + alignmask];
+               u8 *tmp = (u8 *)ALIGN((unsigned long)buffer, alignmask + 1);
+               int err;
+
+               desc->info = memcpy(tmp, iv, ivsize);
+               err = crypt(desc, dst, src, nbytes);
+               memcpy(iv, tmp, ivsize);
+
+               return err;
+       }
+
+       return crypt(desc, dst, src, nbytes);
 }
 
-static void cbc_process_decrypt(struct crypto_tfm *tfm, u8 *dst, u8 *src,
-                               cryptfn_t fn, void *info)
+static unsigned int cbc_process_encrypt(const struct cipher_desc *desc,
+                                       u8 *dst, const u8 *src,
+                                       unsigned int nbytes)
 {
-       u8 *iv = info;
+       struct crypto_tfm *tfm = desc->tfm;
+       void (*xor)(u8 *, const u8 *) = tfm->crt_u.cipher.cit_xor_block;
+       int bsize = crypto_tfm_alg_blocksize(tfm);
+
+       void (*fn)(void *, u8 *, const u8 *) = desc->crfn;
+       u8 *iv = desc->info;
+       unsigned int done = 0;
+
+       do {
+               xor(iv, src);
+               fn(crypto_tfm_ctx(tfm), dst, iv);
+               memcpy(iv, dst, bsize);
 
-       fn(crypto_tfm_ctx(tfm), dst, src);
-       tfm->crt_u.cipher.cit_xor_block(dst, iv);
-       memcpy(iv, src, crypto_tfm_alg_blocksize(tfm));
+               src += bsize;
+               dst += bsize;
+       } while ((done += bsize) < nbytes);
+
+       return done;
 }
 
-static void ecb_process(struct crypto_tfm *tfm, u8 *dst, u8 *src,
-                       cryptfn_t fn, void *info)
+static unsigned int cbc_process_decrypt(const struct cipher_desc *desc,
+                                       u8 *dst, const u8 *src,
+                                       unsigned int nbytes)
 {
-       fn(crypto_tfm_ctx(tfm), dst, src);
+       struct crypto_tfm *tfm = desc->tfm;
+       void (*xor)(u8 *, const u8 *) = tfm->crt_u.cipher.cit_xor_block;
+       int bsize = crypto_tfm_alg_blocksize(tfm);
+
+       u8 stack[src == dst ? bsize : 0];
+       u8 *buf = stack;
+       u8 **dst_p = src == dst ? &buf : &dst;
+
+       void (*fn)(void *, u8 *, const u8 *) = desc->crfn;
+       u8 *iv = desc->info;
+       unsigned int done = 0;
+
+       do {
+               u8 *tmp_dst = *dst_p;
+
+               fn(crypto_tfm_ctx(tfm), tmp_dst, src);
+               xor(tmp_dst, iv);
+               memcpy(iv, src, bsize);
+               if (tmp_dst != dst)
+                       memcpy(dst, tmp_dst, bsize);
+
+               src += bsize;
+               dst += bsize;
+       } while ((done += bsize) < nbytes);
+
+       return done;
+}
+
+static unsigned int ecb_process(const struct cipher_desc *desc, u8 *dst,
+                               const u8 *src, unsigned int nbytes)
+{
+       struct crypto_tfm *tfm = desc->tfm;
+       int bsize = crypto_tfm_alg_blocksize(tfm);
+       void (*fn)(void *, u8 *, const u8 *) = desc->crfn;
+       unsigned int done = 0;
+
+       do {
+               fn(crypto_tfm_ctx(tfm), dst, src);
+
+               src += bsize;
+               dst += bsize;
+       } while ((done += bsize) < nbytes);
+
+       return done;
 }
 
 static int setkey(struct crypto_tfm *tfm, const u8 *key, unsigned int keylen)
@@ -185,9 +269,14 @@ static int ecb_encrypt(struct crypto_tfm *tfm,
                       struct scatterlist *dst,
                        struct scatterlist *src, unsigned int nbytes)
 {
-       return crypt(tfm, dst, src, nbytes,
-                    tfm->__crt_alg->cra_cipher.cia_encrypt,
-                    ecb_process, NULL);
+       struct cipher_desc desc;
+       struct cipher_alg *cipher = &tfm->__crt_alg->cra_cipher;
+
+       desc.tfm = tfm;
+       desc.crfn = cipher->cia_encrypt;
+       desc.prfn = cipher->cia_encrypt_ecb ?: ecb_process;
+
+       return crypt(&desc, dst, src, nbytes);
 }
 
 static int ecb_decrypt(struct crypto_tfm *tfm,
@@ -195,9 +284,14 @@ static int ecb_decrypt(struct crypto_tfm *tfm,
                        struct scatterlist *src,
                       unsigned int nbytes)
 {
-       return crypt(tfm, dst, src, nbytes,
-                    tfm->__crt_alg->cra_cipher.cia_decrypt,
-                    ecb_process, NULL);
+       struct cipher_desc desc;
+       struct cipher_alg *cipher = &tfm->__crt_alg->cra_cipher;
+
+       desc.tfm = tfm;
+       desc.crfn = cipher->cia_decrypt;
+       desc.prfn = cipher->cia_decrypt_ecb ?: ecb_process;
+
+       return crypt(&desc, dst, src, nbytes);
 }
 
 static int cbc_encrypt(struct crypto_tfm *tfm,
@@ -205,9 +299,15 @@ static int cbc_encrypt(struct crypto_tfm *tfm,
                        struct scatterlist *src,
                       unsigned int nbytes)
 {
-       return crypt(tfm, dst, src, nbytes,
-                    tfm->__crt_alg->cra_cipher.cia_encrypt,
-                    cbc_process_encrypt, tfm->crt_cipher.cit_iv);
+       struct cipher_desc desc;
+       struct cipher_alg *cipher = &tfm->__crt_alg->cra_cipher;
+
+       desc.tfm = tfm;
+       desc.crfn = cipher->cia_encrypt;
+       desc.prfn = cipher->cia_encrypt_cbc ?: cbc_process_encrypt;
+       desc.info = tfm->crt_cipher.cit_iv;
+
+       return crypt(&desc, dst, src, nbytes);
 }
 
 static int cbc_encrypt_iv(struct crypto_tfm *tfm,
@@ -215,9 +315,15 @@ static int cbc_encrypt_iv(struct crypto_tfm *tfm,
                           struct scatterlist *src,
                           unsigned int nbytes, u8 *iv)
 {
-       return crypt(tfm, dst, src, nbytes,
-                    tfm->__crt_alg->cra_cipher.cia_encrypt,
-                    cbc_process_encrypt, iv);
+       struct cipher_desc desc;
+       struct cipher_alg *cipher = &tfm->__crt_alg->cra_cipher;
+
+       desc.tfm = tfm;
+       desc.crfn = cipher->cia_encrypt;
+       desc.prfn = cipher->cia_encrypt_cbc ?: cbc_process_encrypt;
+       desc.info = iv;
+
+       return crypt_iv_unaligned(&desc, dst, src, nbytes);
 }
 
 static int cbc_decrypt(struct crypto_tfm *tfm,
@@ -225,9 +331,15 @@ static int cbc_decrypt(struct crypto_tfm *tfm,
                        struct scatterlist *src,
                       unsigned int nbytes)
 {
-       return crypt(tfm, dst, src, nbytes,
-                    tfm->__crt_alg->cra_cipher.cia_decrypt,
-                    cbc_process_decrypt, tfm->crt_cipher.cit_iv);
+       struct cipher_desc desc;
+       struct cipher_alg *cipher = &tfm->__crt_alg->cra_cipher;
+
+       desc.tfm = tfm;
+       desc.crfn = cipher->cia_decrypt;
+       desc.prfn = cipher->cia_decrypt_cbc ?: cbc_process_decrypt;
+       desc.info = tfm->crt_cipher.cit_iv;
+
+       return crypt(&desc, dst, src, nbytes);
 }
 
 static int cbc_decrypt_iv(struct crypto_tfm *tfm,
@@ -235,9 +347,15 @@ static int cbc_decrypt_iv(struct crypto_tfm *tfm,
                           struct scatterlist *src,
                           unsigned int nbytes, u8 *iv)
 {
-       return crypt(tfm, dst, src, nbytes,
-                    tfm->__crt_alg->cra_cipher.cia_decrypt,
-                    cbc_process_decrypt, iv);
+       struct cipher_desc desc;
+       struct cipher_alg *cipher = &tfm->__crt_alg->cra_cipher;
+
+       desc.tfm = tfm;
+       desc.crfn = cipher->cia_decrypt;
+       desc.prfn = cipher->cia_decrypt_cbc ?: cbc_process_decrypt;
+       desc.info = iv;
+
+       return crypt_iv_unaligned(&desc, dst, src, nbytes);
 }
 
 static int nocrypt(struct crypto_tfm *tfm,
@@ -306,6 +424,8 @@ int crypto_init_cipher_ops(struct crypto_tfm *tfm)
        }
        
        if (ops->cit_mode == CRYPTO_TFM_MODE_CBC) {
+               unsigned int align;
+               unsigned long addr;
                
                switch (crypto_tfm_alg_blocksize(tfm)) {
                case 8:
@@ -325,9 +445,11 @@ int crypto_init_cipher_ops(struct crypto_tfm *tfm)
                }
                
                ops->cit_ivsize = crypto_tfm_alg_blocksize(tfm);
-               ops->cit_iv = kmalloc(ops->cit_ivsize, GFP_KERNEL);
-               if (ops->cit_iv == NULL)
-                       ret = -ENOMEM;
+               align = crypto_tfm_alg_alignmask(tfm) + 1;
+               addr = (unsigned long)crypto_tfm_ctx(tfm);
+               addr = ALIGN(addr, align);
+               addr += ALIGN(tfm->__crt_alg->cra_ctxsize, align);
+               ops->cit_iv = (void *)addr;
        }
 
 out:   
@@ -336,6 +458,4 @@ out:
 
 void crypto_exit_cipher_ops(struct crypto_tfm *tfm)
 {
-       if (tfm->crt_cipher.cit_iv)
-               kfree(tfm->crt_cipher.cit_iv);
 }
index 1c7e6de9356cf3427b1e61bafc657ad3119a77e4..a3c863ddddedd381ba4ed96bffb3fc34e1e49fce 100644 (file)
@@ -1,18 +1,9 @@
-/* 
+/*
  * Cryptographic API.
  *
  * DES & Triple DES EDE Cipher Algorithms.
  *
- * Originally released as descore by Dana L. How <how@isl.stanford.edu>.
- * Modified by Raimar Falke <rf13@inf.tu-dresden.de> for the Linux-Kernel.
- * Derived from Cryptoapi and Nettle implementations, adapted for in-place
- * scatterlist interface.  Changed LGPL to GPL per section 3 of the LGPL.
- *
- * Copyright (c) 1992 Dana L. How.
- * Copyright (c) Raimar Falke <rf13@inf.tu-dresden.de> 
- * Copyright (c) Gisle Sælensminde <gisle@ii.uib.no>
- * Copyright (C) 2001 Niels Möller.
- * Copyright (c) 2002 James Morris <jmorris@intercode.com.au>
+ * Copyright (c) 2005 Dag Arne Osvik <da@osvik.no>
  *
  * This program is free software; you can redistribute it and/or modify
  * it under the terms of the GNU General Public License as published by
  * (at your option) any later version.
  *
  */
+
+#include <linux/bitops.h>
 #include <linux/init.h>
 #include <linux/module.h>
-#include <linux/mm.h>
 #include <linux/errno.h>
-#include <asm/scatterlist.h>
 #include <linux/crypto.h>
 
 #define DES_KEY_SIZE           8
 #define DES3_EDE_EXPKEY_WORDS  (3 * DES_EXPKEY_WORDS)
 #define DES3_EDE_BLOCK_SIZE    DES_BLOCK_SIZE
 
-#define ROR(d,c,o)     ((d) = (d) >> (c) | (d) << (o))
+#define ROL(x, r) ((x) = rol32((x), (r)))
+#define ROR(x, r) ((x) = ror32((x), (r)))
 
 struct des_ctx {
-       u8 iv[DES_BLOCK_SIZE];
        u32 expkey[DES_EXPKEY_WORDS];
 };
 
 struct des3_ede_ctx {
-       u8 iv[DES_BLOCK_SIZE];
        u32 expkey[DES3_EDE_EXPKEY_WORDS];
 };
 
-static const u32 des_keymap[] = {
-       0x02080008, 0x02082000, 0x00002008, 0x00000000,
-       0x02002000, 0x00080008, 0x02080000, 0x02082008,
-       0x00000008, 0x02000000, 0x00082000, 0x00002008,
-       0x00082008, 0x02002008, 0x02000008, 0x02080000,
-       0x00002000, 0x00082008, 0x00080008, 0x02002000,
-       0x02082008, 0x02000008, 0x00000000, 0x00082000,
-       0x02000000, 0x00080000, 0x02002008, 0x02080008,
-       0x00080000, 0x00002000, 0x02082000, 0x00000008,
-       0x00080000, 0x00002000, 0x02000008, 0x02082008,
-       0x00002008, 0x02000000, 0x00000000, 0x00082000,
-       0x02080008, 0x02002008, 0x02002000, 0x00080008,
-       0x02082000, 0x00000008, 0x00080008, 0x02002000,
-       0x02082008, 0x00080000, 0x02080000, 0x02000008,
-       0x00082000, 0x00002008, 0x02002008, 0x02080000,
-       0x00000008, 0x02082000, 0x00082008, 0x00000000,
-       0x02000000, 0x02080008, 0x00002000, 0x00082008,
-
-       0x08000004, 0x00020004, 0x00000000, 0x08020200,
-       0x00020004, 0x00000200, 0x08000204, 0x00020000,
-       0x00000204, 0x08020204, 0x00020200, 0x08000000,
-       0x08000200, 0x08000004, 0x08020000, 0x00020204,
-       0x00020000, 0x08000204, 0x08020004, 0x00000000,
-       0x00000200, 0x00000004, 0x08020200, 0x08020004,
-       0x08020204, 0x08020000, 0x08000000, 0x00000204,
-       0x00000004, 0x00020200, 0x00020204, 0x08000200,
-       0x00000204, 0x08000000, 0x08000200, 0x00020204,
-       0x08020200, 0x00020004, 0x00000000, 0x08000200,
-       0x08000000, 0x00000200, 0x08020004, 0x00020000,
-       0x00020004, 0x08020204, 0x00020200, 0x00000004,
-       0x08020204, 0x00020200, 0x00020000, 0x08000204,
-       0x08000004, 0x08020000, 0x00020204, 0x00000000,
-       0x00000200, 0x08000004, 0x08000204, 0x08020200,
-       0x08020000, 0x00000204, 0x00000004, 0x08020004,
-
-       0x80040100, 0x01000100, 0x80000000, 0x81040100,
-       0x00000000, 0x01040000, 0x81000100, 0x80040000,
-       0x01040100, 0x81000000, 0x01000000, 0x80000100,
-       0x81000000, 0x80040100, 0x00040000, 0x01000000,
-       0x81040000, 0x00040100, 0x00000100, 0x80000000,
-       0x00040100, 0x81000100, 0x01040000, 0x00000100,
-       0x80000100, 0x00000000, 0x80040000, 0x01040100,
-       0x01000100, 0x81040000, 0x81040100, 0x00040000,
-       0x81040000, 0x80000100, 0x00040000, 0x81000000,
-       0x00040100, 0x01000100, 0x80000000, 0x01040000,
-       0x81000100, 0x00000000, 0x00000100, 0x80040000,
-       0x00000000, 0x81040000, 0x01040100, 0x00000100,
-       0x01000000, 0x81040100, 0x80040100, 0x00040000,
-       0x81040100, 0x80000000, 0x01000100, 0x80040100,
-       0x80040000, 0x00040100, 0x01040000, 0x81000100,
-       0x80000100, 0x01000000, 0x81000000, 0x01040100,
-
-       0x04010801, 0x00000000, 0x00010800, 0x04010000,
-       0x04000001, 0x00000801, 0x04000800, 0x00010800,
-       0x00000800, 0x04010001, 0x00000001, 0x04000800,
-       0x00010001, 0x04010800, 0x04010000, 0x00000001,
-       0x00010000, 0x04000801, 0x04010001, 0x00000800,
-       0x00010801, 0x04000000, 0x00000000, 0x00010001,
-       0x04000801, 0x00010801, 0x04010800, 0x04000001,
-       0x04000000, 0x00010000, 0x00000801, 0x04010801,
-       0x00010001, 0x04010800, 0x04000800, 0x00010801,
-       0x04010801, 0x00010001, 0x04000001, 0x00000000,
-       0x04000000, 0x00000801, 0x00010000, 0x04010001,
-       0x00000800, 0x04000000, 0x00010801, 0x04000801,
-       0x04010800, 0x00000800, 0x00000000, 0x04000001,
-       0x00000001, 0x04010801, 0x00010800, 0x04010000,
-       0x04010001, 0x00010000, 0x00000801, 0x04000800,
-       0x04000801, 0x00000001, 0x04010000, 0x00010800,
-
-       0x00000400, 0x00000020, 0x00100020, 0x40100000,
-       0x40100420, 0x40000400, 0x00000420, 0x00000000,
-       0x00100000, 0x40100020, 0x40000020, 0x00100400,
-       0x40000000, 0x00100420, 0x00100400, 0x40000020,
-       0x40100020, 0x00000400, 0x40000400, 0x40100420,
-       0x00000000, 0x00100020, 0x40100000, 0x00000420,
-       0x40100400, 0x40000420, 0x00100420, 0x40000000,
-       0x40000420, 0x40100400, 0x00000020, 0x00100000,
-       0x40000420, 0x00100400, 0x40100400, 0x40000020,
-       0x00000400, 0x00000020, 0x00100000, 0x40100400,
-       0x40100020, 0x40000420, 0x00000420, 0x00000000,
-       0x00000020, 0x40100000, 0x40000000, 0x00100020,
-       0x00000000, 0x40100020, 0x00100020, 0x00000420,
-       0x40000020, 0x00000400, 0x40100420, 0x00100000,
-       0x00100420, 0x40000000, 0x40000400, 0x40100420,
-       0x40100000, 0x00100420, 0x00100400, 0x40000400,
-
-       0x00800000, 0x00001000, 0x00000040, 0x00801042,
-       0x00801002, 0x00800040, 0x00001042, 0x00801000,
-       0x00001000, 0x00000002, 0x00800002, 0x00001040,
-       0x00800042, 0x00801002, 0x00801040, 0x00000000,
-       0x00001040, 0x00800000, 0x00001002, 0x00000042,
-       0x00800040, 0x00001042, 0x00000000, 0x00800002,
-       0x00000002, 0x00800042, 0x00801042, 0x00001002,
-       0x00801000, 0x00000040, 0x00000042, 0x00801040,
-       0x00801040, 0x00800042, 0x00001002, 0x00801000,
-       0x00001000, 0x00000002, 0x00800002, 0x00800040,
-       0x00800000, 0x00001040, 0x00801042, 0x00000000,
-       0x00001042, 0x00800000, 0x00000040, 0x00001002,
-       0x00800042, 0x00000040, 0x00000000, 0x00801042,
-       0x00801002, 0x00801040, 0x00000042, 0x00001000,
-       0x00001040, 0x00801002, 0x00800040, 0x00000042,
-       0x00000002, 0x00001042, 0x00801000, 0x00800002,
-
-       0x10400000, 0x00404010, 0x00000010, 0x10400010,
-       0x10004000, 0x00400000, 0x10400010, 0x00004010,
-       0x00400010, 0x00004000, 0x00404000, 0x10000000,
-       0x10404010, 0x10000010, 0x10000000, 0x10404000,
-       0x00000000, 0x10004000, 0x00404010, 0x00000010,
-       0x10000010, 0x10404010, 0x00004000, 0x10400000,
-       0x10404000, 0x00400010, 0x10004010, 0x00404000,
-       0x00004010, 0x00000000, 0x00400000, 0x10004010,
-       0x00404010, 0x00000010, 0x10000000, 0x00004000,
-       0x10000010, 0x10004000, 0x00404000, 0x10400010,
-       0x00000000, 0x00404010, 0x00004010, 0x10404000,
-       0x10004000, 0x00400000, 0x10404010, 0x10000000,
-       0x10004010, 0x10400000, 0x00400000, 0x10404010,
-       0x00004000, 0x00400010, 0x10400010, 0x00004010,
-       0x00400010, 0x00000000, 0x10404000, 0x10000010,
-       0x10400000, 0x10004010, 0x00000010, 0x00404000,
-
-       0x00208080, 0x00008000, 0x20200000, 0x20208080,
-       0x00200000, 0x20008080, 0x20008000, 0x20200000,
-       0x20008080, 0x00208080, 0x00208000, 0x20000080,
-       0x20200080, 0x00200000, 0x00000000, 0x20008000,
-       0x00008000, 0x20000000, 0x00200080, 0x00008080,
-       0x20208080, 0x00208000, 0x20000080, 0x00200080,
-       0x20000000, 0x00000080, 0x00008080, 0x20208000,
-       0x00000080, 0x20200080, 0x20208000, 0x00000000,
-       0x00000000, 0x20208080, 0x00200080, 0x20008000,
-       0x00208080, 0x00008000, 0x20000080, 0x00200080,
-       0x20208000, 0x00000080, 0x00008080, 0x20200000,
-       0x20008080, 0x20000000, 0x20200000, 0x00208000,
-       0x20208080, 0x00008080, 0x00208000, 0x20200080,
-       0x00200000, 0x20000080, 0x20008000, 0x00000000,
-       0x00008000, 0x00200000, 0x20200080, 0x00208080,
-       0x20000000, 0x20208000, 0x00000080, 0x20008080,
+/* Lookup tables for key expansion */
+
+static const u8 pc1[256] = {
+       0x00, 0x00, 0x40, 0x04, 0x10, 0x10, 0x50, 0x14,
+       0x04, 0x40, 0x44, 0x44, 0x14, 0x50, 0x54, 0x54,
+       0x02, 0x02, 0x42, 0x06, 0x12, 0x12, 0x52, 0x16,
+       0x06, 0x42, 0x46, 0x46, 0x16, 0x52, 0x56, 0x56,
+       0x80, 0x08, 0xc0, 0x0c, 0x90, 0x18, 0xd0, 0x1c,
+       0x84, 0x48, 0xc4, 0x4c, 0x94, 0x58, 0xd4, 0x5c,
+       0x82, 0x0a, 0xc2, 0x0e, 0x92, 0x1a, 0xd2, 0x1e,
+       0x86, 0x4a, 0xc6, 0x4e, 0x96, 0x5a, 0xd6, 0x5e,
+       0x20, 0x20, 0x60, 0x24, 0x30, 0x30, 0x70, 0x34,
+       0x24, 0x60, 0x64, 0x64, 0x34, 0x70, 0x74, 0x74,
+       0x22, 0x22, 0x62, 0x26, 0x32, 0x32, 0x72, 0x36,
+       0x26, 0x62, 0x66, 0x66, 0x36, 0x72, 0x76, 0x76,
+       0xa0, 0x28, 0xe0, 0x2c, 0xb0, 0x38, 0xf0, 0x3c,
+       0xa4, 0x68, 0xe4, 0x6c, 0xb4, 0x78, 0xf4, 0x7c,
+       0xa2, 0x2a, 0xe2, 0x2e, 0xb2, 0x3a, 0xf2, 0x3e,
+       0xa6, 0x6a, 0xe6, 0x6e, 0xb6, 0x7a, 0xf6, 0x7e,
+       0x08, 0x80, 0x48, 0x84, 0x18, 0x90, 0x58, 0x94,
+       0x0c, 0xc0, 0x4c, 0xc4, 0x1c, 0xd0, 0x5c, 0xd4,
+       0x0a, 0x82, 0x4a, 0x86, 0x1a, 0x92, 0x5a, 0x96,
+       0x0e, 0xc2, 0x4e, 0xc6, 0x1e, 0xd2, 0x5e, 0xd6,
+       0x88, 0x88, 0xc8, 0x8c, 0x98, 0x98, 0xd8, 0x9c,
+       0x8c, 0xc8, 0xcc, 0xcc, 0x9c, 0xd8, 0xdc, 0xdc,
+       0x8a, 0x8a, 0xca, 0x8e, 0x9a, 0x9a, 0xda, 0x9e,
+       0x8e, 0xca, 0xce, 0xce, 0x9e, 0xda, 0xde, 0xde,
+       0x28, 0xa0, 0x68, 0xa4, 0x38, 0xb0, 0x78, 0xb4,
+       0x2c, 0xe0, 0x6c, 0xe4, 0x3c, 0xf0, 0x7c, 0xf4,
+       0x2a, 0xa2, 0x6a, 0xa6, 0x3a, 0xb2, 0x7a, 0xb6,
+       0x2e, 0xe2, 0x6e, 0xe6, 0x3e, 0xf2, 0x7e, 0xf6,
+       0xa8, 0xa8, 0xe8, 0xac, 0xb8, 0xb8, 0xf8, 0xbc,
+       0xac, 0xe8, 0xec, 0xec, 0xbc, 0xf8, 0xfc, 0xfc,
+       0xaa, 0xaa, 0xea, 0xae, 0xba, 0xba, 0xfa, 0xbe,
+       0xae, 0xea, 0xee, 0xee, 0xbe, 0xfa, 0xfe, 0xfe
 };
 
-static const u8 rotors[] = {
-       34, 13,  5, 46, 47, 18, 32, 41, 11, 53, 33, 20,
-       14, 36, 30, 24, 49,  2, 15, 37, 42, 50,  0, 21,
-       38, 48,  6, 26, 39,  4, 52, 25, 12, 27, 31, 40,
-       1, 17, 28, 29, 23, 51, 35,  7,  3, 22,  9, 43,
-
-       41, 20, 12, 53, 54, 25, 39, 48, 18, 31, 40, 27,
-       21, 43, 37,  0,  1,  9, 22, 44, 49,  2,  7, 28,
-       45, 55, 13, 33, 46, 11,  6, 32, 19, 34, 38, 47,
-       8, 24, 35, 36, 30,  3, 42, 14, 10, 29, 16, 50,
-
-       55, 34, 26, 38, 11, 39, 53,  5, 32, 45, 54, 41,
-       35,  2, 51, 14, 15, 23, 36,  3,  8, 16, 21, 42,
-       6, 12, 27, 47, 31, 25, 20, 46, 33, 48, 52,  4,
-       22,  7, 49, 50, 44, 17,  1, 28, 24, 43, 30,  9,
-
-       12, 48, 40, 52, 25, 53, 38, 19, 46,  6, 11, 55,
-       49, 16, 10, 28, 29, 37, 50, 17, 22, 30, 35,  1,
-       20, 26, 41,  4, 45, 39, 34, 31, 47,  5, 13, 18,
-       36, 21,  8,  9,  3,  0, 15, 42,  7,  2, 44, 23,
-
-       26,  5, 54, 13, 39, 38, 52, 33, 31, 20, 25, 12,
-       8, 30, 24, 42, 43, 51,  9,  0, 36, 44, 49, 15,
-       34, 40, 55, 18,  6, 53, 48, 45,  4, 19, 27, 32,
-       50, 35, 22, 23, 17, 14, 29,  1, 21, 16,  3, 37,
-
-       40, 19, 11, 27, 53, 52, 13, 47, 45, 34, 39, 26,
-       22, 44,  7,  1,  2, 10, 23, 14, 50,  3,  8, 29,
-       48, 54, 12, 32, 20, 38,  5,  6, 18, 33, 41, 46,
-       9, 49, 36, 37,  0, 28, 43, 15, 35, 30, 17, 51,
-
-       54, 33, 25, 41, 38, 13, 27,  4,  6, 48, 53, 40,
-       36,  3, 21, 15, 16, 24, 37, 28,  9, 17, 22, 43,
-       5, 11, 26, 46, 34, 52, 19, 20, 32, 47, 55, 31,
-       23,  8, 50, 51, 14, 42,  2, 29, 49, 44,  0, 10,
-
-       11, 47, 39, 55, 52, 27, 41, 18, 20,  5, 38, 54,
-       50, 17, 35, 29, 30,  7, 51, 42, 23,  0, 36,  2,
-       19, 25, 40, 31, 48, 13, 33, 34, 46,  4, 12, 45,
-       37, 22,  9, 10, 28,  1, 16, 43,  8,  3, 14, 24,
-
-       18, 54, 46,  5,  6, 34, 48, 25, 27, 12, 45,  4,
-       2, 24, 42, 36, 37, 14,  3, 49, 30,  7, 43,  9,
-       26, 32, 47, 38, 55, 20, 40, 41, 53, 11, 19, 52,
-       44, 29, 16, 17, 35,  8, 23, 50, 15, 10, 21,  0,
-
-       32, 11, 31, 19, 20, 48,  5, 39, 41, 26,  6, 18,
-       16,  7,  1, 50, 51, 28, 17,  8, 44, 21,  2, 23,
-       40, 46,  4, 52, 12, 34, 54, 55, 38, 25, 33, 13,
-       3, 43, 30,  0, 49, 22, 37,  9, 29, 24, 35, 14,
-
-       46, 25, 45, 33, 34,  5, 19, 53, 55, 40, 20, 32,
-       30, 21, 15,  9, 10, 42,  0, 22,  3, 35, 16, 37,
-       54, 31, 18, 13, 26, 48, 11, 12, 52, 39, 47, 27,
-       17,  2, 44, 14,  8, 36, 51, 23, 43,  7, 49, 28,
-
-       31, 39,  6, 47, 48, 19, 33, 38, 12, 54, 34, 46,
-       44, 35, 29, 23, 24,  1, 14, 36, 17, 49, 30, 51,
-       11, 45, 32, 27, 40,  5, 25, 26, 13, 53,  4, 41,
-       0, 16,  3, 28, 22, 50, 10, 37,  2, 21,  8, 42,
-
-       45, 53, 20,  4,  5, 33, 47, 52, 26, 11, 48, 31,
-       3, 49, 43, 37,  7, 15, 28, 50,  0,  8, 44, 10,
-       25,  6, 46, 41, 54, 19, 39, 40, 27, 38, 18, 55,
-       14, 30, 17, 42, 36,  9, 24, 51, 16, 35, 22,  1,
-
-       6, 38, 34, 18, 19, 47,  4, 13, 40, 25,  5, 45,
-       17,  8,  2, 51, 21, 29, 42,  9, 14, 22,  3, 24,
-       39, 20, 31, 55, 11, 33, 53, 54, 41, 52, 32, 12,
-       28, 44,  0,  1, 50, 23,  7, 10, 30, 49, 36, 15,
-
-       20, 52, 48, 32, 33,  4, 18, 27, 54, 39, 19,  6,
-       0, 22, 16, 10, 35, 43,  1, 23, 28, 36, 17,  7,
-       53, 34, 45, 12, 25, 47, 38, 11, 55, 13, 46, 26,
-       42,  3, 14, 15,  9, 37, 21, 24, 44,  8, 50, 29,
-
-       27,  6, 55, 39, 40, 11, 25, 34,  4, 46, 26, 13,
-       7, 29, 23, 17, 42, 50,  8, 30, 35, 43, 24, 14,
-       31, 41, 52, 19, 32, 54, 45, 18,  5, 20, 53, 33,
-       49, 10, 21, 22, 16, 44, 28,  0, 51, 15,  2, 36,
+static const u8 rs[256] = {
+       0x00, 0x00, 0x80, 0x80, 0x02, 0x02, 0x82, 0x82,
+       0x04, 0x04, 0x84, 0x84, 0x06, 0x06, 0x86, 0x86,
+       0x08, 0x08, 0x88, 0x88, 0x0a, 0x0a, 0x8a, 0x8a,
+       0x0c, 0x0c, 0x8c, 0x8c, 0x0e, 0x0e, 0x8e, 0x8e,
+       0x10, 0x10, 0x90, 0x90, 0x12, 0x12, 0x92, 0x92,
+       0x14, 0x14, 0x94, 0x94, 0x16, 0x16, 0x96, 0x96,
+       0x18, 0x18, 0x98, 0x98, 0x1a, 0x1a, 0x9a, 0x9a,
+       0x1c, 0x1c, 0x9c, 0x9c, 0x1e, 0x1e, 0x9e, 0x9e,
+       0x20, 0x20, 0xa0, 0xa0, 0x22, 0x22, 0xa2, 0xa2,
+       0x24, 0x24, 0xa4, 0xa4, 0x26, 0x26, 0xa6, 0xa6,
+       0x28, 0x28, 0xa8, 0xa8, 0x2a, 0x2a, 0xaa, 0xaa,
+       0x2c, 0x2c, 0xac, 0xac, 0x2e, 0x2e, 0xae, 0xae,
+       0x30, 0x30, 0xb0, 0xb0, 0x32, 0x32, 0xb2, 0xb2,
+       0x34, 0x34, 0xb4, 0xb4, 0x36, 0x36, 0xb6, 0xb6,
+       0x38, 0x38, 0xb8, 0xb8, 0x3a, 0x3a, 0xba, 0xba,
+       0x3c, 0x3c, 0xbc, 0xbc, 0x3e, 0x3e, 0xbe, 0xbe,
+       0x40, 0x40, 0xc0, 0xc0, 0x42, 0x42, 0xc2, 0xc2,
+       0x44, 0x44, 0xc4, 0xc4, 0x46, 0x46, 0xc6, 0xc6,
+       0x48, 0x48, 0xc8, 0xc8, 0x4a, 0x4a, 0xca, 0xca,
+       0x4c, 0x4c, 0xcc, 0xcc, 0x4e, 0x4e, 0xce, 0xce,
+       0x50, 0x50, 0xd0, 0xd0, 0x52, 0x52, 0xd2, 0xd2,
+       0x54, 0x54, 0xd4, 0xd4, 0x56, 0x56, 0xd6, 0xd6,
+       0x58, 0x58, 0xd8, 0xd8, 0x5a, 0x5a, 0xda, 0xda,
+       0x5c, 0x5c, 0xdc, 0xdc, 0x5e, 0x5e, 0xde, 0xde,
+       0x60, 0x60, 0xe0, 0xe0, 0x62, 0x62, 0xe2, 0xe2,
+       0x64, 0x64, 0xe4, 0xe4, 0x66, 0x66, 0xe6, 0xe6,
+       0x68, 0x68, 0xe8, 0xe8, 0x6a, 0x6a, 0xea, 0xea,
+       0x6c, 0x6c, 0xec, 0xec, 0x6e, 0x6e, 0xee, 0xee,
+       0x70, 0x70, 0xf0, 0xf0, 0x72, 0x72, 0xf2, 0xf2,
+       0x74, 0x74, 0xf4, 0xf4, 0x76, 0x76, 0xf6, 0xf6,
+       0x78, 0x78, 0xf8, 0xf8, 0x7a, 0x7a, 0xfa, 0xfa,
+       0x7c, 0x7c, 0xfc, 0xfc, 0x7e, 0x7e, 0xfe, 0xfe
 };
 
-static const u8 parity[] = {
-       8,1,0,8,0,8,8,0,0,8,8,0,8,0,2,8,0,8,8,0,8,0,0,8,8,0,0,8,0,8,8,3,
-       0,8,8,0,8,0,0,8,8,0,0,8,0,8,8,0,8,0,0,8,0,8,8,0,0,8,8,0,8,0,0,8,
-       0,8,8,0,8,0,0,8,8,0,0,8,0,8,8,0,8,0,0,8,0,8,8,0,0,8,8,0,8,0,0,8,
-       8,0,0,8,0,8,8,0,0,8,8,0,8,0,0,8,0,8,8,0,8,0,0,8,8,0,0,8,0,8,8,0,
-       0,8,8,0,8,0,0,8,8,0,0,8,0,8,8,0,8,0,0,8,0,8,8,0,0,8,8,0,8,0,0,8,
-       8,0,0,8,0,8,8,0,0,8,8,0,8,0,0,8,0,8,8,0,8,0,0,8,8,0,0,8,0,8,8,0,
-       8,0,0,8,0,8,8,0,0,8,8,0,8,0,0,8,0,8,8,0,8,0,0,8,8,0,0,8,0,8,8,0,
-       4,8,8,0,8,0,0,8,8,0,0,8,0,8,8,0,8,5,0,8,0,8,8,0,0,8,8,0,8,0,6,8,
+static const u32 pc2[1024] = {
+       0x00000000, 0x00000000, 0x00000000, 0x00000000,
+       0x00040000, 0x00000000, 0x04000000, 0x00100000,
+       0x00400000, 0x00000008, 0x00000800, 0x40000000,
+       0x00440000, 0x00000008, 0x04000800, 0x40100000,
+       0x00000400, 0x00000020, 0x08000000, 0x00000100,
+       0x00040400, 0x00000020, 0x0c000000, 0x00100100,
+       0x00400400, 0x00000028, 0x08000800, 0x40000100,
+       0x00440400, 0x00000028, 0x0c000800, 0x40100100,
+       0x80000000, 0x00000010, 0x00000000, 0x00800000,
+       0x80040000, 0x00000010, 0x04000000, 0x00900000,
+       0x80400000, 0x00000018, 0x00000800, 0x40800000,
+       0x80440000, 0x00000018, 0x04000800, 0x40900000,
+       0x80000400, 0x00000030, 0x08000000, 0x00800100,
+       0x80040400, 0x00000030, 0x0c000000, 0x00900100,
+       0x80400400, 0x00000038, 0x08000800, 0x40800100,
+       0x80440400, 0x00000038, 0x0c000800, 0x40900100,
+       0x10000000, 0x00000000, 0x00200000, 0x00001000,
+       0x10040000, 0x00000000, 0x04200000, 0x00101000,
+       0x10400000, 0x00000008, 0x00200800, 0x40001000,
+       0x10440000, 0x00000008, 0x04200800, 0x40101000,
+       0x10000400, 0x00000020, 0x08200000, 0x00001100,
+       0x10040400, 0x00000020, 0x0c200000, 0x00101100,
+       0x10400400, 0x00000028, 0x08200800, 0x40001100,
+       0x10440400, 0x00000028, 0x0c200800, 0x40101100,
+       0x90000000, 0x00000010, 0x00200000, 0x00801000,
+       0x90040000, 0x00000010, 0x04200000, 0x00901000,
+       0x90400000, 0x00000018, 0x00200800, 0x40801000,
+       0x90440000, 0x00000018, 0x04200800, 0x40901000,
+       0x90000400, 0x00000030, 0x08200000, 0x00801100,
+       0x90040400, 0x00000030, 0x0c200000, 0x00901100,
+       0x90400400, 0x00000038, 0x08200800, 0x40801100,
+       0x90440400, 0x00000038, 0x0c200800, 0x40901100,
+       0x00000200, 0x00080000, 0x00000000, 0x00000004,
+       0x00040200, 0x00080000, 0x04000000, 0x00100004,
+       0x00400200, 0x00080008, 0x00000800, 0x40000004,
+       0x00440200, 0x00080008, 0x04000800, 0x40100004,
+       0x00000600, 0x00080020, 0x08000000, 0x00000104,
+       0x00040600, 0x00080020, 0x0c000000, 0x00100104,
+       0x00400600, 0x00080028, 0x08000800, 0x40000104,
+       0x00440600, 0x00080028, 0x0c000800, 0x40100104,
+       0x80000200, 0x00080010, 0x00000000, 0x00800004,
+       0x80040200, 0x00080010, 0x04000000, 0x00900004,
+       0x80400200, 0x00080018, 0x00000800, 0x40800004,
+       0x80440200, 0x00080018, 0x04000800, 0x40900004,
+       0x80000600, 0x00080030, 0x08000000, 0x00800104,
+       0x80040600, 0x00080030, 0x0c000000, 0x00900104,
+       0x80400600, 0x00080038, 0x08000800, 0x40800104,
+       0x80440600, 0x00080038, 0x0c000800, 0x40900104,
+       0x10000200, 0x00080000, 0x00200000, 0x00001004,
+       0x10040200, 0x00080000, 0x04200000, 0x00101004,
+       0x10400200, 0x00080008, 0x00200800, 0x40001004,
+       0x10440200, 0x00080008, 0x04200800, 0x40101004,
+       0x10000600, 0x00080020, 0x08200000, 0x00001104,
+       0x10040600, 0x00080020, 0x0c200000, 0x00101104,
+       0x10400600, 0x00080028, 0x08200800, 0x40001104,
+       0x10440600, 0x00080028, 0x0c200800, 0x40101104,
+       0x90000200, 0x00080010, 0x00200000, 0x00801004,
+       0x90040200, 0x00080010, 0x04200000, 0x00901004,
+       0x90400200, 0x00080018, 0x00200800, 0x40801004,
+       0x90440200, 0x00080018, 0x04200800, 0x40901004,
+       0x90000600, 0x00080030, 0x08200000, 0x00801104,
+       0x90040600, 0x00080030, 0x0c200000, 0x00901104,
+       0x90400600, 0x00080038, 0x08200800, 0x40801104,
+       0x90440600, 0x00080038, 0x0c200800, 0x40901104,
+       0x00000002, 0x00002000, 0x20000000, 0x00000001,
+       0x00040002, 0x00002000, 0x24000000, 0x00100001,
+       0x00400002, 0x00002008, 0x20000800, 0x40000001,
+       0x00440002, 0x00002008, 0x24000800, 0x40100001,
+       0x00000402, 0x00002020, 0x28000000, 0x00000101,
+       0x00040402, 0x00002020, 0x2c000000, 0x00100101,
+       0x00400402, 0x00002028, 0x28000800, 0x40000101,
+       0x00440402, 0x00002028, 0x2c000800, 0x40100101,
+       0x80000002, 0x00002010, 0x20000000, 0x00800001,
+       0x80040002, 0x00002010, 0x24000000, 0x00900001,
+       0x80400002, 0x00002018, 0x20000800, 0x40800001,
+       0x80440002, 0x00002018, 0x24000800, 0x40900001,
+       0x80000402, 0x00002030, 0x28000000, 0x00800101,
+       0x80040402, 0x00002030, 0x2c000000, 0x00900101,
+       0x80400402, 0x00002038, 0x28000800, 0x40800101,
+       0x80440402, 0x00002038, 0x2c000800, 0x40900101,
+       0x10000002, 0x00002000, 0x20200000, 0x00001001,
+       0x10040002, 0x00002000, 0x24200000, 0x00101001,
+       0x10400002, 0x00002008, 0x20200800, 0x40001001,
+       0x10440002, 0x00002008, 0x24200800, 0x40101001,
+       0x10000402, 0x00002020, 0x28200000, 0x00001101,
+       0x10040402, 0x00002020, 0x2c200000, 0x00101101,
+       0x10400402, 0x00002028, 0x28200800, 0x40001101,
+       0x10440402, 0x00002028, 0x2c200800, 0x40101101,
+       0x90000002, 0x00002010, 0x20200000, 0x00801001,
+       0x90040002, 0x00002010, 0x24200000, 0x00901001,
+       0x90400002, 0x00002018, 0x20200800, 0x40801001,
+       0x90440002, 0x00002018, 0x24200800, 0x40901001,
+       0x90000402, 0x00002030, 0x28200000, 0x00801101,
+       0x90040402, 0x00002030, 0x2c200000, 0x00901101,
+       0x90400402, 0x00002038, 0x28200800, 0x40801101,
+       0x90440402, 0x00002038, 0x2c200800, 0x40901101,
+       0x00000202, 0x00082000, 0x20000000, 0x00000005,
+       0x00040202, 0x00082000, 0x24000000, 0x00100005,
+       0x00400202, 0x00082008, 0x20000800, 0x40000005,
+       0x00440202, 0x00082008, 0x24000800, 0x40100005,
+       0x00000602, 0x00082020, 0x28000000, 0x00000105,
+       0x00040602, 0x00082020, 0x2c000000, 0x00100105,
+       0x00400602, 0x00082028, 0x28000800, 0x40000105,
+       0x00440602, 0x00082028, 0x2c000800, 0x40100105,
+       0x80000202, 0x00082010, 0x20000000, 0x00800005,
+       0x80040202, 0x00082010, 0x24000000, 0x00900005,
+       0x80400202, 0x00082018, 0x20000800, 0x40800005,
+       0x80440202, 0x00082018, 0x24000800, 0x40900005,
+       0x80000602, 0x00082030, 0x28000000, 0x00800105,
+       0x80040602, 0x00082030, 0x2c000000, 0x00900105,
+       0x80400602, 0x00082038, 0x28000800, 0x40800105,
+       0x80440602, 0x00082038, 0x2c000800, 0x40900105,
+       0x10000202, 0x00082000, 0x20200000, 0x00001005,
+       0x10040202, 0x00082000, 0x24200000, 0x00101005,
+       0x10400202, 0x00082008, 0x20200800, 0x40001005,
+       0x10440202, 0x00082008, 0x24200800, 0x40101005,
+       0x10000602, 0x00082020, 0x28200000, 0x00001105,
+       0x10040602, 0x00082020, 0x2c200000, 0x00101105,
+       0x10400602, 0x00082028, 0x28200800, 0x40001105,
+       0x10440602, 0x00082028, 0x2c200800, 0x40101105,
+       0x90000202, 0x00082010, 0x20200000, 0x00801005,
+       0x90040202, 0x00082010, 0x24200000, 0x00901005,
+       0x90400202, 0x00082018, 0x20200800, 0x40801005,
+       0x90440202, 0x00082018, 0x24200800, 0x40901005,
+       0x90000602, 0x00082030, 0x28200000, 0x00801105,
+       0x90040602, 0x00082030, 0x2c200000, 0x00901105,
+       0x90400602, 0x00082038, 0x28200800, 0x40801105,
+       0x90440602, 0x00082038, 0x2c200800, 0x40901105,
+
+       0x00000000, 0x00000000, 0x00000000, 0x00000000,
+       0x00000000, 0x00000008, 0x00080000, 0x10000000,
+       0x02000000, 0x00000000, 0x00000080, 0x00001000,
+       0x02000000, 0x00000008, 0x00080080, 0x10001000,
+       0x00004000, 0x00000000, 0x00000040, 0x00040000,
+       0x00004000, 0x00000008, 0x00080040, 0x10040000,
+       0x02004000, 0x00000000, 0x000000c0, 0x00041000,
+       0x02004000, 0x00000008, 0x000800c0, 0x10041000,
+       0x00020000, 0x00008000, 0x08000000, 0x00200000,
+       0x00020000, 0x00008008, 0x08080000, 0x10200000,
+       0x02020000, 0x00008000, 0x08000080, 0x00201000,
+       0x02020000, 0x00008008, 0x08080080, 0x10201000,
+       0x00024000, 0x00008000, 0x08000040, 0x00240000,
+       0x00024000, 0x00008008, 0x08080040, 0x10240000,
+       0x02024000, 0x00008000, 0x080000c0, 0x00241000,
+       0x02024000, 0x00008008, 0x080800c0, 0x10241000,
+       0x00000000, 0x01000000, 0x00002000, 0x00000020,
+       0x00000000, 0x01000008, 0x00082000, 0x10000020,
+       0x02000000, 0x01000000, 0x00002080, 0x00001020,
+       0x02000000, 0x01000008, 0x00082080, 0x10001020,
+       0x00004000, 0x01000000, 0x00002040, 0x00040020,
+       0x00004000, 0x01000008, 0x00082040, 0x10040020,
+       0x02004000, 0x01000000, 0x000020c0, 0x00041020,
+       0x02004000, 0x01000008, 0x000820c0, 0x10041020,
+       0x00020000, 0x01008000, 0x08002000, 0x00200020,
+       0x00020000, 0x01008008, 0x08082000, 0x10200020,
+       0x02020000, 0x01008000, 0x08002080, 0x00201020,
+       0x02020000, 0x01008008, 0x08082080, 0x10201020,
+       0x00024000, 0x01008000, 0x08002040, 0x00240020,
+       0x00024000, 0x01008008, 0x08082040, 0x10240020,
+       0x02024000, 0x01008000, 0x080020c0, 0x00241020,
+       0x02024000, 0x01008008, 0x080820c0, 0x10241020,
+       0x00000400, 0x04000000, 0x00100000, 0x00000004,
+       0x00000400, 0x04000008, 0x00180000, 0x10000004,
+       0x02000400, 0x04000000, 0x00100080, 0x00001004,
+       0x02000400, 0x04000008, 0x00180080, 0x10001004,
+       0x00004400, 0x04000000, 0x00100040, 0x00040004,
+       0x00004400, 0x04000008, 0x00180040, 0x10040004,
+       0x02004400, 0x04000000, 0x001000c0, 0x00041004,
+       0x02004400, 0x04000008, 0x001800c0, 0x10041004,
+       0x00020400, 0x04008000, 0x08100000, 0x00200004,
+       0x00020400, 0x04008008, 0x08180000, 0x10200004,
+       0x02020400, 0x04008000, 0x08100080, 0x00201004,
+       0x02020400, 0x04008008, 0x08180080, 0x10201004,
+       0x00024400, 0x04008000, 0x08100040, 0x00240004,
+       0x00024400, 0x04008008, 0x08180040, 0x10240004,
+       0x02024400, 0x04008000, 0x081000c0, 0x00241004,
+       0x02024400, 0x04008008, 0x081800c0, 0x10241004,
+       0x00000400, 0x05000000, 0x00102000, 0x00000024,
+       0x00000400, 0x05000008, 0x00182000, 0x10000024,
+       0x02000400, 0x05000000, 0x00102080, 0x00001024,
+       0x02000400, 0x05000008, 0x00182080, 0x10001024,
+       0x00004400, 0x05000000, 0x00102040, 0x00040024,
+       0x00004400, 0x05000008, 0x00182040, 0x10040024,
+       0x02004400, 0x05000000, 0x001020c0, 0x00041024,
+       0x02004400, 0x05000008, 0x001820c0, 0x10041024,
+       0x00020400, 0x05008000, 0x08102000, 0x00200024,
+       0x00020400, 0x05008008, 0x08182000, 0x10200024,
+       0x02020400, 0x05008000, 0x08102080, 0x00201024,
+       0x02020400, 0x05008008, 0x08182080, 0x10201024,
+       0x00024400, 0x05008000, 0x08102040, 0x00240024,
+       0x00024400, 0x05008008, 0x08182040, 0x10240024,
+       0x02024400, 0x05008000, 0x081020c0, 0x00241024,
+       0x02024400, 0x05008008, 0x081820c0, 0x10241024,
+       0x00000800, 0x00010000, 0x20000000, 0x00000010,
+       0x00000800, 0x00010008, 0x20080000, 0x10000010,
+       0x02000800, 0x00010000, 0x20000080, 0x00001010,
+       0x02000800, 0x00010008, 0x20080080, 0x10001010,
+       0x00004800, 0x00010000, 0x20000040, 0x00040010,
+       0x00004800, 0x00010008, 0x20080040, 0x10040010,
+       0x02004800, 0x00010000, 0x200000c0, 0x00041010,
+       0x02004800, 0x00010008, 0x200800c0, 0x10041010,
+       0x00020800, 0x00018000, 0x28000000, 0x00200010,
+       0x00020800, 0x00018008, 0x28080000, 0x10200010,
+       0x02020800, 0x00018000, 0x28000080, 0x00201010,
+       0x02020800, 0x00018008, 0x28080080, 0x10201010,
+       0x00024800, 0x00018000, 0x28000040, 0x00240010,
+       0x00024800, 0x00018008, 0x28080040, 0x10240010,
+       0x02024800, 0x00018000, 0x280000c0, 0x00241010,
+       0x02024800, 0x00018008, 0x280800c0, 0x10241010,
+       0x00000800, 0x01010000, 0x20002000, 0x00000030,
+       0x00000800, 0x01010008, 0x20082000, 0x10000030,
+       0x02000800, 0x01010000, 0x20002080, 0x00001030,
+       0x02000800, 0x01010008, 0x20082080, 0x10001030,
+       0x00004800, 0x01010000, 0x20002040, 0x00040030,
+       0x00004800, 0x01010008, 0x20082040, 0x10040030,
+       0x02004800, 0x01010000, 0x200020c0, 0x00041030,
+       0x02004800, 0x01010008, 0x200820c0, 0x10041030,
+       0x00020800, 0x01018000, 0x28002000, 0x00200030,
+       0x00020800, 0x01018008, 0x28082000, 0x10200030,
+       0x02020800, 0x01018000, 0x28002080, 0x00201030,
+       0x02020800, 0x01018008, 0x28082080, 0x10201030,
+       0x00024800, 0x01018000, 0x28002040, 0x00240030,
+       0x00024800, 0x01018008, 0x28082040, 0x10240030,
+       0x02024800, 0x01018000, 0x280020c0, 0x00241030,
+       0x02024800, 0x01018008, 0x280820c0, 0x10241030,
+       0x00000c00, 0x04010000, 0x20100000, 0x00000014,
+       0x00000c00, 0x04010008, 0x20180000, 0x10000014,
+       0x02000c00, 0x04010000, 0x20100080, 0x00001014,
+       0x02000c00, 0x04010008, 0x20180080, 0x10001014,
+       0x00004c00, 0x04010000, 0x20100040, 0x00040014,
+       0x00004c00, 0x04010008, 0x20180040, 0x10040014,
+       0x02004c00, 0x04010000, 0x201000c0, 0x00041014,
+       0x02004c00, 0x04010008, 0x201800c0, 0x10041014,
+       0x00020c00, 0x04018000, 0x28100000, 0x00200014,
+       0x00020c00, 0x04018008, 0x28180000, 0x10200014,
+       0x02020c00, 0x04018000, 0x28100080, 0x00201014,
+       0x02020c00, 0x04018008, 0x28180080, 0x10201014,
+       0x00024c00, 0x04018000, 0x28100040, 0x00240014,
+       0x00024c00, 0x04018008, 0x28180040, 0x10240014,
+       0x02024c00, 0x04018000, 0x281000c0, 0x00241014,
+       0x02024c00, 0x04018008, 0x281800c0, 0x10241014,
+       0x00000c00, 0x05010000, 0x20102000, 0x00000034,
+       0x00000c00, 0x05010008, 0x20182000, 0x10000034,
+       0x02000c00, 0x05010000, 0x20102080, 0x00001034,
+       0x02000c00, 0x05010008, 0x20182080, 0x10001034,
+       0x00004c00, 0x05010000, 0x20102040, 0x00040034,
+       0x00004c00, 0x05010008, 0x20182040, 0x10040034,
+       0x02004c00, 0x05010000, 0x201020c0, 0x00041034,
+       0x02004c00, 0x05010008, 0x201820c0, 0x10041034,
+       0x00020c00, 0x05018000, 0x28102000, 0x00200034,
+       0x00020c00, 0x05018008, 0x28182000, 0x10200034,
+       0x02020c00, 0x05018000, 0x28102080, 0x00201034,
+       0x02020c00, 0x05018008, 0x28182080, 0x10201034,
+       0x00024c00, 0x05018000, 0x28102040, 0x00240034,
+       0x00024c00, 0x05018008, 0x28182040, 0x10240034,
+       0x02024c00, 0x05018000, 0x281020c0, 0x00241034,
+       0x02024c00, 0x05018008, 0x281820c0, 0x10241034
 };
 
+/* S-box lookup tables */
+
+static const u32 S1[64] = {
+       0x01010400, 0x00000000, 0x00010000, 0x01010404,
+       0x01010004, 0x00010404, 0x00000004, 0x00010000,
+       0x00000400, 0x01010400, 0x01010404, 0x00000400,
+       0x01000404, 0x01010004, 0x01000000, 0x00000004,
+       0x00000404, 0x01000400, 0x01000400, 0x00010400,
+       0x00010400, 0x01010000, 0x01010000, 0x01000404,
+       0x00010004, 0x01000004, 0x01000004, 0x00010004,
+       0x00000000, 0x00000404, 0x00010404, 0x01000000,
+       0x00010000, 0x01010404, 0x00000004, 0x01010000,
+       0x01010400, 0x01000000, 0x01000000, 0x00000400,
+       0x01010004, 0x00010000, 0x00010400, 0x01000004,
+       0x00000400, 0x00000004, 0x01000404, 0x00010404,
+       0x01010404, 0x00010004, 0x01010000, 0x01000404,
+       0x01000004, 0x00000404, 0x00010404, 0x01010400,
+       0x00000404, 0x01000400, 0x01000400, 0x00000000,
+       0x00010004, 0x00010400, 0x00000000, 0x01010004
+};
 
-static void des_small_fips_encrypt(u32 *expkey, u8 *dst, const u8 *src)
-{
-       u32 x, y, z;
-       
-       x  = src[7];
-       x <<= 8;
-       x |= src[6];
-       x <<= 8;
-       x |= src[5];
-       x <<= 8;
-       x |= src[4];
-       y  = src[3];
-       y <<= 8;
-       y |= src[2];
-       y <<= 8;
-       y |= src[1];
-       y <<= 8;
-       y |= src[0];
-       z  = ((x >> 004) ^ y) & 0x0F0F0F0FL;
-       x ^= z << 004;
-       y ^= z;
-       z  = ((y >> 020) ^ x) & 0x0000FFFFL;
-       y ^= z << 020;
-       x ^= z;
-       z  = ((x >> 002) ^ y) & 0x33333333L;
-       x ^= z << 002;
-       y ^= z;
-       z  = ((y >> 010) ^ x) & 0x00FF00FFL;
-       y ^= z << 010;
-       x ^= z;
-       x  = x >> 1 | x << 31;
-       z  = (x ^ y) & 0x55555555L;
-       y ^= z;
-       x ^= z;
-       y  = y >> 1 | y << 31;
-       z  = expkey[0];
-       z ^= y;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[1];
-       z ^= y;
-       z  = z << 4 | z >> 28;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[2];
-       z ^= x;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[3];
-       z ^= x;
-       z  = z << 4 | z >> 28;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[4];
-       z ^= y;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[5];
-       z ^= y;
-       z  = z << 4 | z >> 28;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[6];
-       z ^= x;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[7];
-       z ^= x;
-       z  = z << 4 | z >> 28;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[8];
-       z ^= y;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[9];
-       z ^= y;
-       z  = z << 4 | z >> 28;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[10];
-       z ^= x;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[11];
-       z ^= x;
-       z  = z << 4 | z >> 28;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[12];
-       z ^= y;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[13];
-       z ^= y;
-       z  = z << 4 | z >> 28;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[14];
-       z ^= x;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[15];
-       z ^= x;
-       z  = z << 4 | z >> 28;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[16];
-       z ^= y;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[17];
-       z ^= y;
-       z  = z << 4 | z >> 28;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[18];
-       z ^= x;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[19];
-       z ^= x;
-       z  = z << 4 | z >> 28;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[20];
-       z ^= y;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[21];
-       z ^= y;
-       z  = z << 4 | z >> 28;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[22];
-       z ^= x;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[23];
-       z ^= x;
-       z  = z << 4 | z >> 28;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[24];
-       z ^= y;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[25];
-       z ^= y;
-       z  = z << 4 | z >> 28;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[26];
-       z ^= x;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[27];
-       z ^= x;
-       z  = z << 4 | z >> 28;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[28];
-       z ^= y;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[29];
-       z ^= y;
-       z  = z << 4 | z >> 28;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[30];
-       z ^= x;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[31];
-       z ^= x;
-       z  = z << 4 | z >> 28;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       x  = x << 1 | x >> 31;
-       z  = (x ^ y) & 0x55555555L;
-       y ^= z;
-       x ^= z;
-       y  = y << 1 | y >> 31;
-       z  = ((x >> 010) ^ y) & 0x00FF00FFL;
-       x ^= z << 010;
-       y ^= z;
-       z  = ((y >> 002) ^ x) & 0x33333333L;
-       y ^= z << 002;
-       x ^= z;
-       z  = ((x >> 020) ^ y) & 0x0000FFFFL;
-       x ^= z << 020;
-       y ^= z;
-       z  = ((y >> 004) ^ x) & 0x0F0F0F0FL;
-       y ^= z << 004;
-       x ^= z;
-       dst[0] = x;
-       x >>= 8;
-       dst[1] = x;
-       x >>= 8;
-       dst[2] = x;
-       x >>= 8;
-       dst[3] = x;
-       dst[4] = y;
-       y >>= 8;
-       dst[5] = y;
-       y >>= 8;
-       dst[6] = y;
-       y >>= 8;
-       dst[7] = y;
-}
+static const u32 S2[64] = {
+       0x80108020, 0x80008000, 0x00008000, 0x00108020,
+       0x00100000, 0x00000020, 0x80100020, 0x80008020,
+       0x80000020, 0x80108020, 0x80108000, 0x80000000,
+       0x80008000, 0x00100000, 0x00000020, 0x80100020,
+       0x00108000, 0x00100020, 0x80008020, 0x00000000,
+       0x80000000, 0x00008000, 0x00108020, 0x80100000,
+       0x00100020, 0x80000020, 0x00000000, 0x00108000,
+       0x00008020, 0x80108000, 0x80100000, 0x00008020,
+       0x00000000, 0x00108020, 0x80100020, 0x00100000,
+       0x80008020, 0x80100000, 0x80108000, 0x00008000,
+       0x80100000, 0x80008000, 0x00000020, 0x80108020,
+       0x00108020, 0x00000020, 0x00008000, 0x80000000,
+       0x00008020, 0x80108000, 0x00100000, 0x80000020,
+       0x00100020, 0x80008020, 0x80000020, 0x00100020,
+       0x00108000, 0x00000000, 0x80008000, 0x00008020,
+       0x80000000, 0x80100020, 0x80108020, 0x00108000
+};
 
-static void des_small_fips_decrypt(u32 *expkey, u8 *dst, const u8 *src)
-{
-       u32 x, y, z;
-       
-       x  = src[7];
-       x <<= 8;
-       x |= src[6];
-       x <<= 8;
-       x |= src[5];
-       x <<= 8;
-       x |= src[4];
-       y  = src[3];
-       y <<= 8;
-       y |= src[2];
-       y <<= 8;
-       y |= src[1];
-       y <<= 8;
-       y |= src[0];
-       z  = ((x >> 004) ^ y) & 0x0F0F0F0FL;
-       x ^= z << 004;
-       y ^= z;
-       z  = ((y >> 020) ^ x) & 0x0000FFFFL;
-       y ^= z << 020;
-       x ^= z;
-       z  = ((x >> 002) ^ y) & 0x33333333L;
-       x ^= z << 002;
-       y ^= z;
-       z  = ((y >> 010) ^ x) & 0x00FF00FFL;
-       y ^= z << 010;
-       x ^= z;
-       x  = x >> 1 | x << 31;
-       z  = (x ^ y) & 0x55555555L;
-       y ^= z;
-       x ^= z;
-       y  = y >> 1 | y << 31;
-       z  = expkey[31];
-       z ^= y;
-       z  = z << 4 | z >> 28;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[30];
-       z ^= y;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[29];
-       z ^= x;
-       z  = z << 4 | z >> 28;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[28];
-       z ^= x;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[27];
-       z ^= y;
-       z  = z << 4 | z >> 28;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[26];
-       z ^= y;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[25];
-       z ^= x;
-       z  = z << 4 | z >> 28;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[24];
-       z ^= x;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[23];
-       z ^= y;
-       z  = z << 4 | z >> 28;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[22];
-       z ^= y;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[21];
-       z ^= x;
-       z  = z << 4 | z >> 28;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[20];
-       z ^= x;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[19];
-       z ^= y;
-       z  = z << 4 | z >> 28;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[18];
-       z ^= y;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[17];
-       z ^= x;
-       z  = z << 4 | z >> 28;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[16];
-       z ^= x;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[15];
-       z ^= y;
-       z  = z << 4 | z >> 28;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[14];
-       z ^= y;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[13];
-       z ^= x;
-       z  = z << 4 | z >> 28;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[12];
-       z ^= x;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[11];
-       z ^= y;
-       z  = z << 4 | z >> 28;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[10];
-       z ^= y;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[9];
-       z ^= x;
-       z  = z << 4 | z >> 28;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[8];
-       z ^= x;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[7];
-       z ^= y;
-       z  = z << 4 | z >> 28;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[6];
-       z ^= y;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[5];
-       z ^= x;
-       z  = z << 4 | z >> 28;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[4];
-       z ^= x;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[3];
-       z ^= y;
-       z  = z << 4 | z >> 28;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[2];
-       z ^= y;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       x ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       z  = expkey[1];
-       z ^= x;
-       z  = z << 4 | z >> 28;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 448) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 384) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 320) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 256) + (0xFC & z));
-       z  = expkey[0];
-       z ^= x;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 192) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 128) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) (des_keymap + 64) + (0xFC & z));
-       z >>= 8;
-       y ^= * (u32 *) ((u8 *) des_keymap + (0xFC & z));
-       x  = x << 1 | x >> 31;
-       z  = (x ^ y) & 0x55555555L;
-       y ^= z;
-       x ^= z;
-       y  = y << 1 | y >> 31;
-       z  = ((x >> 010) ^ y) & 0x00FF00FFL;
-       x ^= z << 010;
-       y ^= z;
-       z  = ((y >> 002) ^ x) & 0x33333333L;
-       y ^= z << 002;
-       x ^= z;
-       z  = ((x >> 020) ^ y) & 0x0000FFFFL;
-       x ^= z << 020;
-       y ^= z;
-       z  = ((y >> 004) ^ x) & 0x0F0F0F0FL;
-       y ^= z << 004;
-       x ^= z;
-       dst[0] = x;
-       x >>= 8;
-       dst[1] = x;
-       x >>= 8;
-       dst[2] = x;
-       x >>= 8;
-       dst[3] = x;
-       dst[4] = y;
-       y >>= 8;
-       dst[5] = y;
-       y >>= 8;
-       dst[6] = y;
-       y >>= 8;
-       dst[7] = y;
-}
+static const u32 S3[64] = {
+       0x00000208, 0x08020200, 0x00000000, 0x08020008,
+       0x08000200, 0x00000000, 0x00020208, 0x08000200,
+       0x00020008, 0x08000008, 0x08000008, 0x00020000,
+       0x08020208, 0x00020008, 0x08020000, 0x00000208,
+       0x08000000, 0x00000008, 0x08020200, 0x00000200,
+       0x00020200, 0x08020000, 0x08020008, 0x00020208,
+       0x08000208, 0x00020200, 0x00020000, 0x08000208,
+       0x00000008, 0x08020208, 0x00000200, 0x08000000,
+       0x08020200, 0x08000000, 0x00020008, 0x00000208,
+       0x00020000, 0x08020200, 0x08000200, 0x00000000,
+       0x00000200, 0x00020008, 0x08020208, 0x08000200,
+       0x08000008, 0x00000200, 0x00000000, 0x08020008,
+       0x08000208, 0x00020000, 0x08000000, 0x08020208,
+       0x00000008, 0x00020208, 0x00020200, 0x08000008,
+       0x08020000, 0x08000208, 0x00000208, 0x08020000,
+       0x00020208, 0x00000008, 0x08020008, 0x00020200
+};
+
+static const u32 S4[64] = {
+       0x00802001, 0x00002081, 0x00002081, 0x00000080,
+       0x00802080, 0x00800081, 0x00800001, 0x00002001,
+       0x00000000, 0x00802000, 0x00802000, 0x00802081,
+       0x00000081, 0x00000000, 0x00800080, 0x00800001,
+       0x00000001, 0x00002000, 0x00800000, 0x00802001,
+       0x00000080, 0x00800000, 0x00002001, 0x00002080,
+       0x00800081, 0x00000001, 0x00002080, 0x00800080,
+       0x00002000, 0x00802080, 0x00802081, 0x00000081,
+       0x00800080, 0x00800001, 0x00802000, 0x00802081,
+       0x00000081, 0x00000000, 0x00000000, 0x00802000,
+       0x00002080, 0x00800080, 0x00800081, 0x00000001,
+       0x00802001, 0x00002081, 0x00002081, 0x00000080,
+       0x00802081, 0x00000081, 0x00000001, 0x00002000,
+       0x00800001, 0x00002001, 0x00802080, 0x00800081,
+       0x00002001, 0x00002080, 0x00800000, 0x00802001,
+       0x00000080, 0x00800000, 0x00002000, 0x00802080
+};
+
+static const u32 S5[64] = {
+       0x00000100, 0x02080100, 0x02080000, 0x42000100,
+       0x00080000, 0x00000100, 0x40000000, 0x02080000,
+       0x40080100, 0x00080000, 0x02000100, 0x40080100,
+       0x42000100, 0x42080000, 0x00080100, 0x40000000,
+       0x02000000, 0x40080000, 0x40080000, 0x00000000,
+       0x40000100, 0x42080100, 0x42080100, 0x02000100,
+       0x42080000, 0x40000100, 0x00000000, 0x42000000,
+       0x02080100, 0x02000000, 0x42000000, 0x00080100,
+       0x00080000, 0x42000100, 0x00000100, 0x02000000,
+       0x40000000, 0x02080000, 0x42000100, 0x40080100,
+       0x02000100, 0x40000000, 0x42080000, 0x02080100,
+       0x40080100, 0x00000100, 0x02000000, 0x42080000,
+       0x42080100, 0x00080100, 0x42000000, 0x42080100,
+       0x02080000, 0x00000000, 0x40080000, 0x42000000,
+       0x00080100, 0x02000100, 0x40000100, 0x00080000,
+       0x00000000, 0x40080000, 0x02080100, 0x40000100
+};
+
+static const u32 S6[64] = {
+       0x20000010, 0x20400000, 0x00004000, 0x20404010,
+       0x20400000, 0x00000010, 0x20404010, 0x00400000,
+       0x20004000, 0x00404010, 0x00400000, 0x20000010,
+       0x00400010, 0x20004000, 0x20000000, 0x00004010,
+       0x00000000, 0x00400010, 0x20004010, 0x00004000,
+       0x00404000, 0x20004010, 0x00000010, 0x20400010,
+       0x20400010, 0x00000000, 0x00404010, 0x20404000,
+       0x00004010, 0x00404000, 0x20404000, 0x20000000,
+       0x20004000, 0x00000010, 0x20400010, 0x00404000,
+       0x20404010, 0x00400000, 0x00004010, 0x20000010,
+       0x00400000, 0x20004000, 0x20000000, 0x00004010,
+       0x20000010, 0x20404010, 0x00404000, 0x20400000,
+       0x00404010, 0x20404000, 0x00000000, 0x20400010,
+       0x00000010, 0x00004000, 0x20400000, 0x00404010,
+       0x00004000, 0x00400010, 0x20004010, 0x00000000,
+       0x20404000, 0x20000000, 0x00400010, 0x20004010
+};
+
+static const u32 S7[64] = {
+       0x00200000, 0x04200002, 0x04000802, 0x00000000,
+       0x00000800, 0x04000802, 0x00200802, 0x04200800,
+       0x04200802, 0x00200000, 0x00000000, 0x04000002,
+       0x00000002, 0x04000000, 0x04200002, 0x00000802,
+       0x04000800, 0x00200802, 0x00200002, 0x04000800,
+       0x04000002, 0x04200000, 0x04200800, 0x00200002,
+       0x04200000, 0x00000800, 0x00000802, 0x04200802,
+       0x00200800, 0x00000002, 0x04000000, 0x00200800,
+       0x04000000, 0x00200800, 0x00200000, 0x04000802,
+       0x04000802, 0x04200002, 0x04200002, 0x00000002,
+       0x00200002, 0x04000000, 0x04000800, 0x00200000,
+       0x04200800, 0x00000802, 0x00200802, 0x04200800,
+       0x00000802, 0x04000002, 0x04200802, 0x04200000,
+       0x00200800, 0x00000000, 0x00000002, 0x04200802,
+       0x00000000, 0x00200802, 0x04200000, 0x00000800,
+       0x04000002, 0x04000800, 0x00000800, 0x00200002
+};
+
+static const u32 S8[64] = {
+       0x10001040, 0x00001000, 0x00040000, 0x10041040,
+       0x10000000, 0x10001040, 0x00000040, 0x10000000,
+       0x00040040, 0x10040000, 0x10041040, 0x00041000,
+       0x10041000, 0x00041040, 0x00001000, 0x00000040,
+       0x10040000, 0x10000040, 0x10001000, 0x00001040,
+       0x00041000, 0x00040040, 0x10040040, 0x10041000,
+       0x00001040, 0x00000000, 0x00000000, 0x10040040,
+       0x10000040, 0x10001000, 0x00041040, 0x00040000,
+       0x00041040, 0x00040000, 0x10041000, 0x00001000,
+       0x00000040, 0x10040040, 0x00001000, 0x00041040,
+       0x10001000, 0x00000040, 0x10000040, 0x10040000,
+       0x10040040, 0x10000000, 0x00040000, 0x10001040,
+       0x00000000, 0x10041040, 0x00040040, 0x10000040,
+       0x10040000, 0x10001000, 0x10001040, 0x00000000,
+       0x10041040, 0x00041000, 0x00041000, 0x00001040,
+       0x00001040, 0x00040040, 0x10000000, 0x10041000
+};
+
+/* Encryption components: IP, FP, and round function */
+
+#define IP(L, R, T)            \
+       ROL(R, 4);              \
+       T  = L;                 \
+       L ^= R;                 \
+       L &= 0xf0f0f0f0;        \
+       R ^= L;                 \
+       L ^= T;                 \
+       ROL(R, 12);             \
+       T  = L;                 \
+       L ^= R;                 \
+       L &= 0xffff0000;        \
+       R ^= L;                 \
+       L ^= T;                 \
+       ROR(R, 14);             \
+       T  = L;                 \
+       L ^= R;                 \
+       L &= 0xcccccccc;        \
+       R ^= L;                 \
+       L ^= T;                 \
+       ROL(R, 6);              \
+       T  = L;                 \
+       L ^= R;                 \
+       L &= 0xff00ff00;        \
+       R ^= L;                 \
+       L ^= T;                 \
+       ROR(R, 7);              \
+       T  = L;                 \
+       L ^= R;                 \
+       L &= 0xaaaaaaaa;        \
+       R ^= L;                 \
+       L ^= T;                 \
+       ROL(L, 1);
+
+#define FP(L, R, T)            \
+       ROR(L, 1);              \
+       T  = L;                 \
+       L ^= R;                 \
+       L &= 0xaaaaaaaa;        \
+       R ^= L;                 \
+       L ^= T;                 \
+       ROL(R, 7);              \
+       T  = L;                 \
+       L ^= R;                 \
+       L &= 0xff00ff00;        \
+       R ^= L;                 \
+       L ^= T;                 \
+       ROR(R, 6);              \
+       T  = L;                 \
+       L ^= R;                 \
+       L &= 0xcccccccc;        \
+       R ^= L;                 \
+       L ^= T;                 \
+       ROL(R, 14);             \
+       T  = L;                 \
+       L ^= R;                 \
+       L &= 0xffff0000;        \
+       R ^= L;                 \
+       L ^= T;                 \
+       ROR(R, 12);             \
+       T  = L;                 \
+       L ^= R;                 \
+       L &= 0xf0f0f0f0;        \
+       R ^= L;                 \
+       L ^= T;                 \
+       ROR(R, 4);
+
+#define ROUND(L, R, A, B, K, d)                                        \
+       B = K[0];                       A = K[1];       K += d; \
+       B ^= R;                         A ^= R;                 \
+       B &= 0x3f3f3f3f;                ROR(A, 4);              \
+       L ^= S8[0xff & B];              A &= 0x3f3f3f3f;        \
+       L ^= S6[0xff & (B >> 8)];       B >>= 16;               \
+       L ^= S7[0xff & A];                                      \
+       L ^= S5[0xff & (A >> 8)];       A >>= 16;               \
+       L ^= S4[0xff & B];                                      \
+       L ^= S2[0xff & (B >> 8)];                               \
+       L ^= S3[0xff & A];                                      \
+       L ^= S1[0xff & (A >> 8)];
+
+/*
+ * PC2 lookup tables are organized as 2 consecutive sets of 4 interleaved
+ * tables of 128 elements.  One set is for C_i and the other for D_i, while
+ * the 4 interleaved tables correspond to four 7-bit subsets of C_i or D_i.
+ *
+ * After PC1 each of the variables a,b,c,d contains a 7 bit subset of C_i
+ * or D_i in bits 7-1 (bit 0 being the least significant).
+ */
+
+#define T1(x) pt[2 * (x) + 0]
+#define T2(x) pt[2 * (x) + 1]
+#define T3(x) pt[2 * (x) + 2]
+#define T4(x) pt[2 * (x) + 3]
+
+#define PC2(a, b, c, d) (T4(d) | T3(c) | T2(b) | T1(a))
 
 /*
+ * Encryption key expansion
+ *
  * RFC2451: Weak key checks SHOULD be performed.
+ *
+ * FIPS 74:
+ *
+ *   Keys having duals are keys which produce all zeros, all ones, or
+ *   alternating zero-one patterns in the C and D registers after Permuted
+ *   Choice 1 has operated on the key.
+ *
  */
-static int setkey(u32 *expkey, const u8 *key, unsigned int keylen, u32 *flags)
+static unsigned long ekey(u32 *pe, const u8 *k)
 {
-       const u8 *k;
-       u8 *b0, *b1;
-       u32 n, w;
-       u8 bits0[56], bits1[56];
-
-       n  = parity[key[0]]; n <<= 4;
-       n |= parity[key[1]]; n <<= 4;
-       n |= parity[key[2]]; n <<= 4;
-       n |= parity[key[3]]; n <<= 4;
-       n |= parity[key[4]]; n <<= 4;
-       n |= parity[key[5]]; n <<= 4;
-       n |= parity[key[6]]; n <<= 4;
-       n |= parity[key[7]];
-       w = 0x88888888L;
-       
-       if ((*flags & CRYPTO_TFM_REQ_WEAK_KEY)
-           && !((n - (w >> 3)) & w)) {  /* 1 in 10^10 keys passes this test */
-               if (n < 0x41415151) {
-                       if (n < 0x31312121) {
-                               if (n < 0x14141515) {
-                                       /* 01 01 01 01 01 01 01 01 */
-                                       if (n == 0x11111111) goto weak;
-                                       /* 01 1F 01 1F 01 0E 01 0E */
-                                       if (n == 0x13131212) goto weak;
-                               } else {
-                                       /* 01 E0 01 E0 01 F1 01 F1 */
-                                       if (n == 0x14141515) goto weak;
-                                       /* 01 FE 01 FE 01 FE 01 FE */
-                                       if (n == 0x16161616) goto weak;
-                               }
-                       } else {
-                               if (n < 0x34342525) {
-                                       /* 1F 01 1F 01 0E 01 0E 01 */
-                                       if (n == 0x31312121) goto weak;
-                                       /* 1F 1F 1F 1F 0E 0E 0E 0E (?) */
-                                       if (n == 0x33332222) goto weak;
-                               } else {
-                                       /* 1F E0 1F E0 0E F1 0E F1 */
-                                       if (n == 0x34342525) goto weak;
-                                       /* 1F FE 1F FE 0E FE 0E FE */
-                                       if (n == 0x36362626) goto weak;
-                               }
-                       }
-               } else {
-                       if (n < 0x61616161) {
-                               if (n < 0x44445555) {
-                                       /* E0 01 E0 01 F1 01 F1 01 */
-                                       if (n == 0x41415151) goto weak;
-                                       /* E0 1F E0 1F F1 0E F1 0E */
-                                       if (n == 0x43435252) goto weak;
-                               } else {
-                                       /* E0 E0 E0 E0 F1 F1 F1 F1 (?) */
-                                       if (n == 0x44445555) goto weak;
-                                       /* E0 FE E0 FE F1 FE F1 FE */
-                                       if (n == 0x46465656) goto weak;
-                               }
-                       } else {
-                               if (n < 0x64646565) {
-                                       /* FE 01 FE 01 FE 01 FE 01 */
-                                       if (n == 0x61616161) goto weak;
-                                       /* FE 1F FE 1F FE 0E FE 0E */
-                                       if (n == 0x63636262) goto weak;
-                               } else {
-                                       /* FE E0 FE E0 FE F1 FE F1 */
-                                       if (n == 0x64646565) goto weak;
-                                       /* FE FE FE FE FE FE FE FE */
-                                       if (n == 0x66666666) goto weak;
-                               }
-                       }
-               }
-       
-               goto not_weak;
-weak:
-               *flags |= CRYPTO_TFM_RES_WEAK_KEY;
-               return -EINVAL;
+       /* K&R: long is at least 32 bits */
+       unsigned long a, b, c, d, w;
+       const u32 *pt = pc2;
+
+       d = k[4]; d &= 0x0e; d <<= 4; d |= k[0] & 0x1e; d = pc1[d];
+       c = k[5]; c &= 0x0e; c <<= 4; c |= k[1] & 0x1e; c = pc1[c];
+       b = k[6]; b &= 0x0e; b <<= 4; b |= k[2] & 0x1e; b = pc1[b];
+       a = k[7]; a &= 0x0e; a <<= 4; a |= k[3] & 0x1e; a = pc1[a];
+
+       pe[15 * 2 + 0] = PC2(a, b, c, d); d = rs[d];
+       pe[14 * 2 + 0] = PC2(d, a, b, c); c = rs[c]; b = rs[b];
+       pe[13 * 2 + 0] = PC2(b, c, d, a); a = rs[a]; d = rs[d];
+       pe[12 * 2 + 0] = PC2(d, a, b, c); c = rs[c]; b = rs[b];
+       pe[11 * 2 + 0] = PC2(b, c, d, a); a = rs[a]; d = rs[d];
+       pe[10 * 2 + 0] = PC2(d, a, b, c); c = rs[c]; b = rs[b];
+       pe[ 9 * 2 + 0] = PC2(b, c, d, a); a = rs[a]; d = rs[d];
+       pe[ 8 * 2 + 0] = PC2(d, a, b, c); c = rs[c];
+       pe[ 7 * 2 + 0] = PC2(c, d, a, b); b = rs[b]; a = rs[a];
+       pe[ 6 * 2 + 0] = PC2(a, b, c, d); d = rs[d]; c = rs[c];
+       pe[ 5 * 2 + 0] = PC2(c, d, a, b); b = rs[b]; a = rs[a];
+       pe[ 4 * 2 + 0] = PC2(a, b, c, d); d = rs[d]; c = rs[c];
+       pe[ 3 * 2 + 0] = PC2(c, d, a, b); b = rs[b]; a = rs[a];
+       pe[ 2 * 2 + 0] = PC2(a, b, c, d); d = rs[d]; c = rs[c];
+       pe[ 1 * 2 + 0] = PC2(c, d, a, b); b = rs[b];
+       pe[ 0 * 2 + 0] = PC2(b, c, d, a);
+
+       /* Check if first half is weak */
+       w  = (a ^ c) | (b ^ d) | (rs[a] ^ c) | (b ^ rs[d]);
+
+       /* Skip to next table set */
+       pt += 512;
+
+       d = k[0]; d &= 0xe0; d >>= 4; d |= k[4] & 0xf0; d = pc1[d + 1];
+       c = k[1]; c &= 0xe0; c >>= 4; c |= k[5] & 0xf0; c = pc1[c + 1];
+       b = k[2]; b &= 0xe0; b >>= 4; b |= k[6] & 0xf0; b = pc1[b + 1];
+       a = k[3]; a &= 0xe0; a >>= 4; a |= k[7] & 0xf0; a = pc1[a + 1];
+
+       /* Check if second half is weak */
+       w |= (a ^ c) | (b ^ d) | (rs[a] ^ c) | (b ^ rs[d]);
+
+       pe[15 * 2 + 1] = PC2(a, b, c, d); d = rs[d];
+       pe[14 * 2 + 1] = PC2(d, a, b, c); c = rs[c]; b = rs[b];
+       pe[13 * 2 + 1] = PC2(b, c, d, a); a = rs[a]; d = rs[d];
+       pe[12 * 2 + 1] = PC2(d, a, b, c); c = rs[c]; b = rs[b];
+       pe[11 * 2 + 1] = PC2(b, c, d, a); a = rs[a]; d = rs[d];
+       pe[10 * 2 + 1] = PC2(d, a, b, c); c = rs[c]; b = rs[b];
+       pe[ 9 * 2 + 1] = PC2(b, c, d, a); a = rs[a]; d = rs[d];
+       pe[ 8 * 2 + 1] = PC2(d, a, b, c); c = rs[c];
+       pe[ 7 * 2 + 1] = PC2(c, d, a, b); b = rs[b]; a = rs[a];
+       pe[ 6 * 2 + 1] = PC2(a, b, c, d); d = rs[d]; c = rs[c];
+       pe[ 5 * 2 + 1] = PC2(c, d, a, b); b = rs[b]; a = rs[a];
+       pe[ 4 * 2 + 1] = PC2(a, b, c, d); d = rs[d]; c = rs[c];
+       pe[ 3 * 2 + 1] = PC2(c, d, a, b); b = rs[b]; a = rs[a];
+       pe[ 2 * 2 + 1] = PC2(a, b, c, d); d = rs[d]; c = rs[c];
+       pe[ 1 * 2 + 1] = PC2(c, d, a, b); b = rs[b];
+       pe[ 0 * 2 + 1] = PC2(b, c, d, a);
+
+       /* Fixup: 2413 5768 -> 1357 2468 */
+       for (d = 0; d < 16; ++d) {
+               a = pe[2 * d];
+               b = pe[2 * d + 1];
+               c = a ^ b;
+               c &= 0xffff0000;
+               a ^= c;
+               b ^= c;
+               ROL(b, 18);
+               pe[2 * d] = a;
+               pe[2 * d + 1] = b;
        }
 
-not_weak:
-
-       /* explode the bits */
-       n = 56;
-       b0 = bits0;
-       b1 = bits1;
-       
-       do {
-               w = (256 | *key++) << 2;
-               do {
-                       --n;
-                       b1[n] = 8 & w;
-                       w >>= 1;
-                       b0[n] = 4 & w;
-               } while ( w >= 16 );
-       } while ( n );
-       
-       /* put the bits in the correct places */
-       n = 16;
-       k = rotors;
-       
-       do {
-               w   = (b1[k[ 0   ]] | b0[k[ 1   ]]) << 4;
-               w  |= (b1[k[ 2   ]] | b0[k[ 3   ]]) << 2;
-               w  |=  b1[k[ 4   ]] | b0[k[ 5   ]];
-               w <<= 8;
-               w  |= (b1[k[ 6   ]] | b0[k[ 7   ]]) << 4;
-               w  |= (b1[k[ 8   ]] | b0[k[ 9   ]]) << 2;
-               w  |=  b1[k[10   ]] | b0[k[11   ]];
-               w <<= 8;
-               w  |= (b1[k[12   ]] | b0[k[13   ]]) << 4;
-               w  |= (b1[k[14   ]] | b0[k[15   ]]) << 2;
-               w  |=  b1[k[16   ]] | b0[k[17   ]];
-               w <<= 8;
-               w  |= (b1[k[18   ]] | b0[k[19   ]]) << 4;
-               w  |= (b1[k[20   ]] | b0[k[21   ]]) << 2;
-               w  |=  b1[k[22   ]] | b0[k[23   ]];
-               expkey[0] = w;
-               
-               w   = (b1[k[ 0+24]] | b0[k[ 1+24]]) << 4;
-               w  |= (b1[k[ 2+24]] | b0[k[ 3+24]]) << 2;
-               w  |=  b1[k[ 4+24]] | b0[k[ 5+24]];
-               w <<= 8;
-               w  |= (b1[k[ 6+24]] | b0[k[ 7+24]]) << 4;
-               w  |= (b1[k[ 8+24]] | b0[k[ 9+24]]) << 2;
-               w  |=  b1[k[10+24]] | b0[k[11+24]];
-               w <<= 8;
-               w  |= (b1[k[12+24]] | b0[k[13+24]]) << 4;
-               w  |= (b1[k[14+24]] | b0[k[15+24]]) << 2;
-               w  |=  b1[k[16+24]] | b0[k[17+24]];
-               w <<= 8;
-               w  |= (b1[k[18+24]] | b0[k[19+24]]) << 4;
-               w  |= (b1[k[20+24]] | b0[k[21+24]]) << 2;
-               w  |=  b1[k[22+24]] | b0[k[23+24]];
-               
-               ROR(w, 4, 28);      /* could be eliminated */
-               expkey[1] = w;
-
-               k += 48;
-               expkey += 2;
-       } while (--n);
+       /* Zero if weak key */
+       return w;
+}
 
-       return 0;
+/*
+ * Decryption key expansion
+ *
+ * No weak key checking is performed, as this is only used by triple DES
+ *
+ */
+static void dkey(u32 *pe, const u8 *k)
+{
+       /* K&R: long is at least 32 bits */
+       unsigned long a, b, c, d;
+       const u32 *pt = pc2;
+
+       d = k[4]; d &= 0x0e; d <<= 4; d |= k[0] & 0x1e; d = pc1[d];
+       c = k[5]; c &= 0x0e; c <<= 4; c |= k[1] & 0x1e; c = pc1[c];
+       b = k[6]; b &= 0x0e; b <<= 4; b |= k[2] & 0x1e; b = pc1[b];
+       a = k[7]; a &= 0x0e; a <<= 4; a |= k[3] & 0x1e; a = pc1[a];
+
+       pe[ 0 * 2] = PC2(a, b, c, d); d = rs[d];
+       pe[ 1 * 2] = PC2(d, a, b, c); c = rs[c]; b = rs[b];
+       pe[ 2 * 2] = PC2(b, c, d, a); a = rs[a]; d = rs[d];
+       pe[ 3 * 2] = PC2(d, a, b, c); c = rs[c]; b = rs[b];
+       pe[ 4 * 2] = PC2(b, c, d, a); a = rs[a]; d = rs[d];
+       pe[ 5 * 2] = PC2(d, a, b, c); c = rs[c]; b = rs[b];
+       pe[ 6 * 2] = PC2(b, c, d, a); a = rs[a]; d = rs[d];
+       pe[ 7 * 2] = PC2(d, a, b, c); c = rs[c];
+       pe[ 8 * 2] = PC2(c, d, a, b); b = rs[b]; a = rs[a];
+       pe[ 9 * 2] = PC2(a, b, c, d); d = rs[d]; c = rs[c];
+       pe[10 * 2] = PC2(c, d, a, b); b = rs[b]; a = rs[a];
+       pe[11 * 2] = PC2(a, b, c, d); d = rs[d]; c = rs[c];
+       pe[12 * 2] = PC2(c, d, a, b); b = rs[b]; a = rs[a];
+       pe[13 * 2] = PC2(a, b, c, d); d = rs[d]; c = rs[c];
+       pe[14 * 2] = PC2(c, d, a, b); b = rs[b];
+       pe[15 * 2] = PC2(b, c, d, a);
+
+       /* Skip to next table set */
+       pt += 512;
+
+       d = k[0]; d &= 0xe0; d >>= 4; d |= k[4] & 0xf0; d = pc1[d + 1];
+       c = k[1]; c &= 0xe0; c >>= 4; c |= k[5] & 0xf0; c = pc1[c + 1];
+       b = k[2]; b &= 0xe0; b >>= 4; b |= k[6] & 0xf0; b = pc1[b + 1];
+       a = k[3]; a &= 0xe0; a >>= 4; a |= k[7] & 0xf0; a = pc1[a + 1];
+
+       pe[ 0 * 2 + 1] = PC2(a, b, c, d); d = rs[d];
+       pe[ 1 * 2 + 1] = PC2(d, a, b, c); c = rs[c]; b = rs[b];
+       pe[ 2 * 2 + 1] = PC2(b, c, d, a); a = rs[a]; d = rs[d];
+       pe[ 3 * 2 + 1] = PC2(d, a, b, c); c = rs[c]; b = rs[b];
+       pe[ 4 * 2 + 1] = PC2(b, c, d, a); a = rs[a]; d = rs[d];
+       pe[ 5 * 2 + 1] = PC2(d, a, b, c); c = rs[c]; b = rs[b];
+       pe[ 6 * 2 + 1] = PC2(b, c, d, a); a = rs[a]; d = rs[d];
+       pe[ 7 * 2 + 1] = PC2(d, a, b, c); c = rs[c];
+       pe[ 8 * 2 + 1] = PC2(c, d, a, b); b = rs[b]; a = rs[a];
+       pe[ 9 * 2 + 1] = PC2(a, b, c, d); d = rs[d]; c = rs[c];
+       pe[10 * 2 + 1] = PC2(c, d, a, b); b = rs[b]; a = rs[a];
+       pe[11 * 2 + 1] = PC2(a, b, c, d); d = rs[d]; c = rs[c];
+       pe[12 * 2 + 1] = PC2(c, d, a, b); b = rs[b]; a = rs[a];
+       pe[13 * 2 + 1] = PC2(a, b, c, d); d = rs[d]; c = rs[c];
+       pe[14 * 2 + 1] = PC2(c, d, a, b); b = rs[b];
+       pe[15 * 2 + 1] = PC2(b, c, d, a);
+
+       /* Fixup: 2413 5768 -> 1357 2468 */
+       for (d = 0; d < 16; ++d) {
+               a = pe[2 * d];
+               b = pe[2 * d + 1];
+               c = a ^ b;
+               c &= 0xffff0000;
+               a ^= c;
+               b ^= c;
+               ROL(b, 18);
+               pe[2 * d] = a;
+               pe[2 * d + 1] = b;
+       }
 }
 
 static int des_setkey(void *ctx, const u8 *key, unsigned int keylen, u32 *flags)
 {
-       return setkey(((struct des_ctx *)ctx)->expkey, key, keylen, flags);
+       struct des_ctx *dctx = ctx;
+       u32 tmp[DES_EXPKEY_WORDS];
+       int ret;
+
+       /* Expand to tmp */
+       ret = ekey(tmp, key);
+
+       if (unlikely(ret == 0) && (*flags & CRYPTO_TFM_REQ_WEAK_KEY)) {
+               *flags |= CRYPTO_TFM_RES_WEAK_KEY;
+               return -EINVAL;
+       }
+
+       /* Copy to output */
+       memcpy(dctx->expkey, tmp, sizeof(dctx->expkey));
+
+       return 0;
 }
 
 static void des_encrypt(void *ctx, u8 *dst, const u8 *src)
 {
-       des_small_fips_encrypt(((struct des_ctx *)ctx)->expkey, dst, src);
+       const u32 *K = ((struct des_ctx *)ctx)->expkey;
+       const __le32 *s = (const __le32 *)src;
+       __le32 *d = (__le32 *)dst;
+       u32 L, R, A, B;
+       int i;
+
+       L = le32_to_cpu(s[0]);
+       R = le32_to_cpu(s[1]);
+
+       IP(L, R, A);
+       for (i = 0; i < 8; i++) {
+               ROUND(L, R, A, B, K, 2);
+               ROUND(R, L, A, B, K, 2);
+       }
+       FP(R, L, A);
+
+       d[0] = cpu_to_le32(R);
+       d[1] = cpu_to_le32(L);
 }
 
 static void des_decrypt(void *ctx, u8 *dst, const u8 *src)
 {
-       des_small_fips_decrypt(((struct des_ctx *)ctx)->expkey, dst, src);
+       const u32 *K = ((struct des_ctx *)ctx)->expkey + DES_EXPKEY_WORDS - 2;
+       const __le32 *s = (const __le32 *)src;
+       __le32 *d = (__le32 *)dst;
+       u32 L, R, A, B;
+       int i;
+
+       L = le32_to_cpu(s[0]);
+       R = le32_to_cpu(s[1]);
+
+       IP(L, R, A);
+       for (i = 0; i < 8; i++) {
+               ROUND(L, R, A, B, K, -2);
+               ROUND(R, L, A, B, K, -2);
+       }
+       FP(R, L, A);
+
+       d[0] = cpu_to_le32(R);
+       d[1] = cpu_to_le32(L);
 }
 
-/* 
+/*
  * RFC2451:
  *
  *   For DES-EDE3, there is no known need to reject weak or
@@ -1199,44 +859,86 @@ static void des_decrypt(void *ctx, u8 *dst, const u8 *src)
  *
  */
 static int des3_ede_setkey(void *ctx, const u8 *key,
-                           unsigned int keylen, u32 *flags)
+                          unsigned int keylen, u32 *flags)
 {
-       unsigned int i, off;
+       const u32 *K = (const u32 *)key;
        struct des3_ede_ctx *dctx = ctx;
+       u32 *expkey = dctx->expkey;
 
-       if (!(memcmp(key, &key[DES_KEY_SIZE], DES_KEY_SIZE) && 
-           memcmp(&key[DES_KEY_SIZE], &key[DES_KEY_SIZE * 2],
-                                               DES_KEY_SIZE))) {
-
+       if (unlikely(!((K[0] ^ K[2]) | (K[1] ^ K[3])) ||
+                    !((K[2] ^ K[4]) | (K[3] ^ K[5]))))
+       {
                *flags |= CRYPTO_TFM_RES_BAD_KEY_SCHED;
                return -EINVAL;
        }
-       
-       for (i = 0, off = 0; i < 3; i++, off += DES_EXPKEY_WORDS,
-                                                       key += DES_KEY_SIZE) {
-               int ret = setkey(&dctx->expkey[off], key, DES_KEY_SIZE, flags);
-               if (ret < 0)
-                       return ret;
-       }       
+
+       ekey(expkey, key); expkey += DES_EXPKEY_WORDS; key += DES_KEY_SIZE;
+       dkey(expkey, key); expkey += DES_EXPKEY_WORDS; key += DES_KEY_SIZE;
+       ekey(expkey, key);
+
        return 0;
 }
 
 static void des3_ede_encrypt(void *ctx, u8 *dst, const u8 *src)
 {
        struct des3_ede_ctx *dctx = ctx;
-       
-       des_small_fips_encrypt(dctx->expkey, dst, src);
-       des_small_fips_decrypt(&dctx->expkey[DES_EXPKEY_WORDS], dst, dst);
-       des_small_fips_encrypt(&dctx->expkey[DES_EXPKEY_WORDS * 2], dst, dst);
+       const u32 *K = dctx->expkey;
+       const __le32 *s = (const __le32 *)src;
+       __le32 *d = (__le32 *)dst;
+       u32 L, R, A, B;
+       int i;
+
+       L = le32_to_cpu(s[0]);
+       R = le32_to_cpu(s[1]);
+
+       IP(L, R, A);
+       for (i = 0; i < 8; i++) {
+               ROUND(L, R, A, B, K, 2);
+               ROUND(R, L, A, B, K, 2);
+       }
+       for (i = 0; i < 8; i++) {
+               ROUND(R, L, A, B, K, 2);
+               ROUND(L, R, A, B, K, 2);
+       }
+       for (i = 0; i < 8; i++) {
+               ROUND(L, R, A, B, K, 2);
+               ROUND(R, L, A, B, K, 2);
+       }
+       FP(R, L, A);
+
+       d[0] = cpu_to_le32(R);
+       d[1] = cpu_to_le32(L);
 }
 
 static void des3_ede_decrypt(void *ctx, u8 *dst, const u8 *src)
 {
        struct des3_ede_ctx *dctx = ctx;
+       const u32 *K = dctx->expkey + DES3_EDE_EXPKEY_WORDS - 2;
+       const __le32 *s = (const __le32 *)src;
+       __le32 *d = (__le32 *)dst;
+       u32 L, R, A, B;
+       int i;
+
+       L = le32_to_cpu(s[0]);
+       R = le32_to_cpu(s[1]);
+
+       IP(L, R, A);
+       for (i = 0; i < 8; i++) {
+               ROUND(L, R, A, B, K, -2);
+               ROUND(R, L, A, B, K, -2);
+       }
+       for (i = 0; i < 8; i++) {
+               ROUND(R, L, A, B, K, -2);
+               ROUND(L, R, A, B, K, -2);
+       }
+       for (i = 0; i < 8; i++) {
+               ROUND(L, R, A, B, K, -2);
+               ROUND(R, L, A, B, K, -2);
+       }
+       FP(R, L, A);
 
-       des_small_fips_decrypt(&dctx->expkey[DES_EXPKEY_WORDS * 2], dst, src);
-       des_small_fips_encrypt(&dctx->expkey[DES_EXPKEY_WORDS], dst, dst);
-       des_small_fips_decrypt(dctx->expkey, dst, dst);
+       d[0] = cpu_to_le32(R);
+       d[1] = cpu_to_le32(L);
 }
 
 static struct crypto_alg des_alg = {
@@ -1249,7 +951,7 @@ static struct crypto_alg des_alg = {
        .cra_u                  =       { .cipher = {
        .cia_min_keysize        =       DES_KEY_SIZE,
        .cia_max_keysize        =       DES_KEY_SIZE,
-       .cia_setkey             =       des_setkey,
+       .cia_setkey             =       des_setkey,
        .cia_encrypt            =       des_encrypt,
        .cia_decrypt            =       des_decrypt } }
 };
@@ -1264,9 +966,9 @@ static struct crypto_alg des3_ede_alg = {
        .cra_u                  =       { .cipher = {
        .cia_min_keysize        =       DES3_EDE_KEY_SIZE,
        .cia_max_keysize        =       DES3_EDE_KEY_SIZE,
-       .cia_setkey             =       des3_ede_setkey,
-       .cia_encrypt            =       des3_ede_encrypt,
-       .cia_decrypt            =       des3_ede_decrypt } }
+       .cia_setkey             =       des3_ede_setkey,
+       .cia_encrypt            =       des3_ede_encrypt,
+       .cia_decrypt            =       des3_ede_decrypt } }
 };
 
 MODULE_ALIAS("des3_ede");
@@ -1274,7 +976,7 @@ MODULE_ALIAS("des3_ede");
 static int __init init(void)
 {
        int ret = 0;
-       
+
        ret = crypto_register_alg(&des_alg);
        if (ret < 0)
                goto out;
@@ -1282,7 +984,7 @@ static int __init init(void)
        ret = crypto_register_alg(&des3_ede_alg);
        if (ret < 0)
                crypto_unregister_alg(&des_alg);
-out:   
+out:
        return ret;
 }
 
@@ -1297,3 +999,4 @@ module_exit(fini);
 
 MODULE_LICENSE("GPL");
 MODULE_DESCRIPTION("DES & Triple DES EDE Cipher Algorithms");
+MODULE_AUTHOR("Dag Arne Osvik <da@osvik.no>");
index 847df9263e163fe08ae3dfec3115203dbe1884e3..da0456b37109513b472f29241a26addd69bdedbb 100644 (file)
@@ -49,8 +49,7 @@ int crypto_alloc_hmac_block(struct crypto_tfm *tfm)
 
 void crypto_free_hmac_block(struct crypto_tfm *tfm)
 {
-       if (tfm->crt_digest.dit_hmac_block)
-               kfree(tfm->crt_digest.dit_hmac_block);
+       kfree(tfm->crt_digest.dit_hmac_block);
 }
 
 void crypto_hmac_init(struct crypto_tfm *tfm, u8 *key, unsigned int *keylen)
index 964b9a60ca24413f07b1fe8410f7ac3198642135..68612874b5fde627e571b67ce1533084055e6104 100644 (file)
@@ -16,7 +16,7 @@
 #include <linux/highmem.h>
 #include <linux/interrupt.h>
 #include <linux/init.h>
-#include <linux/kmod.h>
+#include <linux/kernel.h>
 #include <asm/kmap_types.h>
 
 extern enum km_type crypto_km_types[];
@@ -42,20 +42,6 @@ static inline void crypto_yield(struct crypto_tfm *tfm)
                cond_resched();
 }
 
-static inline void *crypto_tfm_ctx(struct crypto_tfm *tfm)
-{
-       return (void *)&tfm[1];
-}
-
-struct crypto_alg *crypto_alg_lookup(const char *name);
-
-/* A far more intelligent version of this is planned.  For now, just
- * try an exact match on the name of the algorithm. */
-static inline struct crypto_alg *crypto_alg_mod_lookup(const char *name)
-{
-       return try_then_request_module(crypto_alg_lookup(name), name);
-}
-
 #ifdef CONFIG_CRYPTO_HMAC
 int crypto_alloc_hmac_block(struct crypto_tfm *tfm);
 void crypto_free_hmac_block(struct crypto_tfm *tfm);
@@ -76,6 +62,33 @@ static inline void crypto_init_proc(void)
 { }
 #endif
 
+static inline unsigned int crypto_digest_ctxsize(struct crypto_alg *alg,
+                                                int flags)
+{
+       return alg->cra_ctxsize;
+}
+
+static inline unsigned int crypto_cipher_ctxsize(struct crypto_alg *alg,
+                                                int flags)
+{
+       unsigned int len = alg->cra_ctxsize;
+       
+       switch (flags & CRYPTO_TFM_MODE_MASK) {
+       case CRYPTO_TFM_MODE_CBC:
+               len = ALIGN(len, alg->cra_alignmask + 1);
+               len += alg->cra_blocksize;
+               break;
+       }
+
+       return len;
+}
+
+static inline unsigned int crypto_compress_ctxsize(struct crypto_alg *alg,
+                                                  int flags)
+{
+       return alg->cra_ctxsize;
+}
+
 int crypto_init_digest_flags(struct crypto_tfm *tfm, u32 flags);
 int crypto_init_cipher_flags(struct crypto_tfm *tfm, u32 flags);
 int crypto_init_compress_flags(struct crypto_tfm *tfm, u32 flags);
index 50c9461e8cc6afc03e5497c065ce92bc7653d5c3..47ac90e615f49f1ffd490662a9006d7171e38079 100644 (file)
@@ -100,7 +100,7 @@ void scatterwalk_done(struct scatter_walk *walk, int out, int more)
 int scatterwalk_copychunks(void *buf, struct scatter_walk *walk,
                           size_t nbytes, int out)
 {
-       do {
+       while (nbytes > walk->len_this_page) {
                memcpy_dir(buf, walk->data, walk->len_this_page, out);
                buf += walk->len_this_page;
                nbytes -= walk->len_this_page;
@@ -108,7 +108,7 @@ int scatterwalk_copychunks(void *buf, struct scatter_walk *walk,
                scatterwalk_unmap(walk, out);
                scatterwalk_pagedone(walk, out, 1);
                scatterwalk_map(walk, out);
-       } while (nbytes > walk->len_this_page);
+       }
 
        memcpy_dir(buf, walk->data, nbytes, out);
        return nbytes;
index 02aa56c649b484bbe1ce523fce9bad5ba8693664..e79925c474a3a2eb6de0fe120d1e0151acd45530 100644 (file)
@@ -40,10 +40,10 @@ static inline int scatterwalk_samebuf(struct scatter_walk *walk_in,
               walk_in->offset == walk_out->offset;
 }
 
-static inline int scatterwalk_across_pages(struct scatter_walk *walk,
-                                          unsigned int nbytes)
+static inline unsigned int scatterwalk_clamp(struct scatter_walk *walk,
+                                            unsigned int nbytes)
 {
-       return nbytes > walk->len_this_page;
+       return nbytes > walk->len_this_page ? walk->len_this_page : nbytes;
 }
 
 static inline void scatterwalk_advance(struct scatter_walk *walk,
@@ -55,6 +55,12 @@ static inline void scatterwalk_advance(struct scatter_walk *walk,
        walk->len_this_segment -= nbytes;
 }
 
+static inline unsigned int scatterwalk_aligned(struct scatter_walk *walk,
+                                              unsigned int alignmask)
+{
+       return !(walk->offset & alignmask);
+}
+
 void scatterwalk_start(struct scatter_walk *walk, struct scatterlist *sg);
 int scatterwalk_copychunks(void *buf, struct scatter_walk *walk, size_t nbytes, int out);
 void scatterwalk_map(struct scatter_walk *walk, int out);
index 7d152e89016fa8f142c44e015298ea20c1b6c612..3cf2c5067eea821a24bc60638feee720c68e2c8d 100644 (file)
        x4 ^= x2;
 
 struct serpent_ctx {
-       u8 iv[SERPENT_BLOCK_SIZE];
        u32 expkey[SERPENT_EXPKEY_WORDS];
 };
 
index ed708b4427b0836a2dc836023a683665a2415872..71407c578afe034faf2ce4ae4f36dfa5dbd46c85 100644 (file)
@@ -49,6 +49,7 @@
 #include <linux/errno.h>
 #include <linux/crypto.h>
 #include <linux/interrupt.h>
+#include <linux/kernel.h>
 #include <asm/byteorder.h>
 #include "padlock.h"
 
 #define AES_EXTENDED_KEY_SIZE_B        (AES_EXTENDED_KEY_SIZE * sizeof(uint32_t))
 
 struct aes_ctx {
-       uint32_t e_data[AES_EXTENDED_KEY_SIZE+4];
-       uint32_t d_data[AES_EXTENDED_KEY_SIZE+4];
+       uint32_t e_data[AES_EXTENDED_KEY_SIZE];
+       uint32_t d_data[AES_EXTENDED_KEY_SIZE];
+       struct {
+               struct cword encrypt;
+               struct cword decrypt;
+       } cword;
        uint32_t *E;
        uint32_t *D;
        int key_length;
@@ -280,10 +285,15 @@ aes_hw_extkey_available(uint8_t key_len)
        return 0;
 }
 
+static inline struct aes_ctx *aes_ctx(void *ctx)
+{
+       return (struct aes_ctx *)ALIGN((unsigned long)ctx, PADLOCK_ALIGNMENT);
+}
+
 static int
 aes_set_key(void *ctx_arg, const uint8_t *in_key, unsigned int key_len, uint32_t *flags)
 {
-       struct aes_ctx *ctx = ctx_arg;
+       struct aes_ctx *ctx = aes_ctx(ctx_arg);
        uint32_t i, t, u, v, w;
        uint32_t P[AES_EXTENDED_KEY_SIZE];
        uint32_t rounds;
@@ -295,25 +305,36 @@ aes_set_key(void *ctx_arg, const uint8_t *in_key, unsigned int key_len, uint32_t
 
        ctx->key_length = key_len;
 
+       /*
+        * If the hardware is capable of generating the extended key
+        * itself we must supply the plain key for both encryption
+        * and decryption.
+        */
        ctx->E = ctx->e_data;
-       ctx->D = ctx->d_data;
-
-       /* Ensure 16-Bytes alignmentation of keys for VIA PadLock. */
-       if ((int)(ctx->e_data) & 0x0F)
-               ctx->E += 4 - (((int)(ctx->e_data) & 0x0F) / sizeof (ctx->e_data[0]));
-
-       if ((int)(ctx->d_data) & 0x0F)
-               ctx->D += 4 - (((int)(ctx->d_data) & 0x0F) / sizeof (ctx->d_data[0]));
+       ctx->D = ctx->e_data;
 
        E_KEY[0] = uint32_t_in (in_key);
        E_KEY[1] = uint32_t_in (in_key + 4);
        E_KEY[2] = uint32_t_in (in_key + 8);
        E_KEY[3] = uint32_t_in (in_key + 12);
 
+       /* Prepare control words. */
+       memset(&ctx->cword, 0, sizeof(ctx->cword));
+
+       ctx->cword.decrypt.encdec = 1;
+       ctx->cword.encrypt.rounds = 10 + (key_len - 16) / 4;
+       ctx->cword.decrypt.rounds = ctx->cword.encrypt.rounds;
+       ctx->cword.encrypt.ksize = (key_len - 16) / 8;
+       ctx->cword.decrypt.ksize = ctx->cword.encrypt.ksize;
+
        /* Don't generate extended keys if the hardware can do it. */
        if (aes_hw_extkey_available(key_len))
                return 0;
 
+       ctx->D = ctx->d_data;
+       ctx->cword.encrypt.keygen = 1;
+       ctx->cword.decrypt.keygen = 1;
+
        switch (key_len) {
        case 16:
                t = E_KEY[3];
@@ -369,10 +390,9 @@ aes_set_key(void *ctx_arg, const uint8_t *in_key, unsigned int key_len, uint32_t
 
 /* ====== Encryption/decryption routines ====== */
 
-/* This is the real call to PadLock. */
-static inline void
-padlock_xcrypt_ecb(uint8_t *input, uint8_t *output, uint8_t *key,
-                  void *control_word, uint32_t count)
+/* These are the real call to PadLock. */
+static inline void padlock_xcrypt_ecb(const u8 *input, u8 *output, void *key,
+                                     void *control_word, u32 count)
 {
        asm volatile ("pushfl; popfl");         /* enforce key reload. */
        asm volatile (".byte 0xf3,0x0f,0xa7,0xc8"       /* rep xcryptecb */
@@ -380,60 +400,70 @@ padlock_xcrypt_ecb(uint8_t *input, uint8_t *output, uint8_t *key,
                      : "d"(control_word), "b"(key), "c"(count));
 }
 
-static void
-aes_padlock(void *ctx_arg, uint8_t *out_arg, const uint8_t *in_arg, int encdec)
+static inline u8 *padlock_xcrypt_cbc(const u8 *input, u8 *output, void *key,
+                                    u8 *iv, void *control_word, u32 count)
 {
-       /* Don't blindly modify this structure - the items must 
-          fit on 16-Bytes boundaries! */
-       struct padlock_xcrypt_data {
-               uint8_t buf[AES_BLOCK_SIZE];
-               union cword cword;
-       };
-
-       struct aes_ctx *ctx = ctx_arg;
-       char bigbuf[sizeof(struct padlock_xcrypt_data) + 16];
-       struct padlock_xcrypt_data *data;
-       void *key;
-
-       /* Place 'data' at the first 16-Bytes aligned address in 'bigbuf'. */
-       if (((long)bigbuf) & 0x0F)
-               data = (void*)(bigbuf + 16 - ((long)bigbuf & 0x0F));
-       else
-               data = (void*)bigbuf;
-
-       /* Prepare Control word. */
-       memset (data, 0, sizeof(struct padlock_xcrypt_data));
-       data->cword.b.encdec = !encdec; /* in the rest of cryptoapi ENC=1/DEC=0 */
-       data->cword.b.rounds = 10 + (ctx->key_length - 16) / 4;
-       data->cword.b.ksize = (ctx->key_length - 16) / 8;
-
-       /* Is the hardware capable to generate the extended key? */
-       if (!aes_hw_extkey_available(ctx->key_length))
-               data->cword.b.keygen = 1;
-
-       /* ctx->E starts with a plain key - if the hardware is capable
-          to generate the extended key itself we must supply
-          the plain key for both Encryption and Decryption. */
-       if (encdec == CRYPTO_DIR_ENCRYPT || data->cword.b.keygen == 0)
-               key = ctx->E;
-       else
-               key = ctx->D;
-       
-       memcpy(data->buf, in_arg, AES_BLOCK_SIZE);
-       padlock_xcrypt_ecb(data->buf, data->buf, key, &data->cword, 1);
-       memcpy(out_arg, data->buf, AES_BLOCK_SIZE);
+       /* Enforce key reload. */
+       asm volatile ("pushfl; popfl");
+       /* rep xcryptcbc */
+       asm volatile (".byte 0xf3,0x0f,0xa7,0xd0"
+                     : "+S" (input), "+D" (output), "+a" (iv)
+                     : "d" (control_word), "b" (key), "c" (count));
+       return iv;
 }
 
 static void
 aes_encrypt(void *ctx_arg, uint8_t *out, const uint8_t *in)
 {
-       aes_padlock(ctx_arg, out, in, CRYPTO_DIR_ENCRYPT);
+       struct aes_ctx *ctx = aes_ctx(ctx_arg);
+       padlock_xcrypt_ecb(in, out, ctx->E, &ctx->cword.encrypt, 1);
 }
 
 static void
 aes_decrypt(void *ctx_arg, uint8_t *out, const uint8_t *in)
 {
-       aes_padlock(ctx_arg, out, in, CRYPTO_DIR_DECRYPT);
+       struct aes_ctx *ctx = aes_ctx(ctx_arg);
+       padlock_xcrypt_ecb(in, out, ctx->D, &ctx->cword.decrypt, 1);
+}
+
+static unsigned int aes_encrypt_ecb(const struct cipher_desc *desc, u8 *out,
+                                   const u8 *in, unsigned int nbytes)
+{
+       struct aes_ctx *ctx = aes_ctx(crypto_tfm_ctx(desc->tfm));
+       padlock_xcrypt_ecb(in, out, ctx->E, &ctx->cword.encrypt,
+                          nbytes / AES_BLOCK_SIZE);
+       return nbytes & ~(AES_BLOCK_SIZE - 1);
+}
+
+static unsigned int aes_decrypt_ecb(const struct cipher_desc *desc, u8 *out,
+                                   const u8 *in, unsigned int nbytes)
+{
+       struct aes_ctx *ctx = aes_ctx(crypto_tfm_ctx(desc->tfm));
+       padlock_xcrypt_ecb(in, out, ctx->D, &ctx->cword.decrypt,
+                          nbytes / AES_BLOCK_SIZE);
+       return nbytes & ~(AES_BLOCK_SIZE - 1);
+}
+
+static unsigned int aes_encrypt_cbc(const struct cipher_desc *desc, u8 *out,
+                                   const u8 *in, unsigned int nbytes)
+{
+       struct aes_ctx *ctx = aes_ctx(crypto_tfm_ctx(desc->tfm));
+       u8 *iv;
+
+       iv = padlock_xcrypt_cbc(in, out, ctx->E, desc->info,
+                               &ctx->cword.encrypt, nbytes / AES_BLOCK_SIZE);
+       memcpy(desc->info, iv, AES_BLOCK_SIZE);
+
+       return nbytes & ~(AES_BLOCK_SIZE - 1);
+}
+
+static unsigned int aes_decrypt_cbc(const struct cipher_desc *desc, u8 *out,
+                                   const u8 *in, unsigned int nbytes)
+{
+       struct aes_ctx *ctx = aes_ctx(crypto_tfm_ctx(desc->tfm));
+       padlock_xcrypt_cbc(in, out, ctx->D, desc->info, &ctx->cword.decrypt,
+                          nbytes / AES_BLOCK_SIZE);
+       return nbytes & ~(AES_BLOCK_SIZE - 1);
 }
 
 static struct crypto_alg aes_alg = {
@@ -441,6 +471,7 @@ static struct crypto_alg aes_alg = {
        .cra_flags              =       CRYPTO_ALG_TYPE_CIPHER,
        .cra_blocksize          =       AES_BLOCK_SIZE,
        .cra_ctxsize            =       sizeof(struct aes_ctx),
+       .cra_alignmask          =       PADLOCK_ALIGNMENT - 1,
        .cra_module             =       THIS_MODULE,
        .cra_list               =       LIST_HEAD_INIT(aes_alg.cra_list),
        .cra_u                  =       {
@@ -449,7 +480,11 @@ static struct crypto_alg aes_alg = {
                        .cia_max_keysize        =       AES_MAX_KEY_SIZE,
                        .cia_setkey             =       aes_set_key,
                        .cia_encrypt            =       aes_encrypt,
-                       .cia_decrypt            =       aes_decrypt
+                       .cia_decrypt            =       aes_decrypt,
+                       .cia_encrypt_ecb        =       aes_encrypt_ecb,
+                       .cia_decrypt_ecb        =       aes_decrypt_ecb,
+                       .cia_encrypt_cbc        =       aes_encrypt_cbc,
+                       .cia_decrypt_cbc        =       aes_decrypt_cbc,
                }
        }
 };
index 7a500605e449a151c57b2f916b6f24b23eecdba1..3cf2b7a123487ce014fa074a22651bb77ea498ba 100644 (file)
 #ifndef _CRYPTO_PADLOCK_H
 #define _CRYPTO_PADLOCK_H
 
+#define PADLOCK_ALIGNMENT 16
+
 /* Control word. */
-union cword {
-       uint32_t cword[4];
-       struct {
-               int rounds:4;
-               int algo:3;
-               int keygen:1;
-               int interm:1;
-               int encdec:1;
-               int ksize:2;
-       } b;
-};
+struct cword {
+       int __attribute__ ((__packed__))
+               rounds:4,
+               algo:3,
+               keygen:1,
+               interm:1,
+               encdec:1,
+               ksize:2;
+} __attribute__ ((__aligned__(PADLOCK_ALIGNMENT)));
 
 #define PFX    "padlock: "
 
index 363e545fc01f137adc85f0eb38c3d8cc900a8432..94ae808314f75905bf3dfb00d8ac075fce1c08f9 100644 (file)
@@ -698,7 +698,7 @@ dispose_iface(struct device *dev)
 }
 
 static int
-create_iface_macio(struct macio_dev* dev, const struct of_match *match)
+create_iface_macio(struct macio_dev* dev, const struct of_device_id *match)
 {
        return create_iface(dev->ofdev.node, &dev->ofdev.dev);
 }
@@ -710,7 +710,7 @@ dispose_iface_macio(struct macio_dev* dev)
 }
 
 static int
-create_iface_of_platform(struct of_device* dev, const struct of_match *match)
+create_iface_of_platform(struct of_device* dev, const struct of_device_id *match)
 {
        return create_iface(dev->node, &dev->dev);
 }
@@ -721,10 +721,9 @@ dispose_iface_of_platform(struct of_device* dev)
        return dispose_iface(&dev->dev);
 }
 
-static struct of_match i2c_keywest_match[] = 
+static struct of_device_id i2c_keywest_match[] = 
 {
        {
-       .name           = OF_ANY_MATCH,
        .type           = "i2c",
        .compatible     = "keywest"
        },
index 818380b5fd277e402b2da9a51c419ce0c601c3d6..be0fcc8f4b155be497ffed8c1f767ac923bc100f 100644 (file)
@@ -1419,7 +1419,7 @@ pmac_ide_setup_device(pmac_ide_hwif_t *pmif, ide_hwif_t *hwif)
  * Attach to a macio probed interface
  */
 static int __devinit
-pmac_ide_macio_attach(struct macio_dev *mdev, const struct of_match *match)
+pmac_ide_macio_attach(struct macio_dev *mdev, const struct of_device_id *match)
 {
        void __iomem *base;
        unsigned long regbase;
@@ -1637,27 +1637,19 @@ pmac_ide_pci_resume(struct pci_dev *pdev)
        return rc;
 }
 
-static struct of_match pmac_ide_macio_match[] = 
+static struct of_device_id pmac_ide_macio_match[] = 
 {
        {
        .name           = "IDE",
-       .type           = OF_ANY_MATCH,
-       .compatible     = OF_ANY_MATCH
        },
        {
        .name           = "ATA",
-       .type           = OF_ANY_MATCH,
-       .compatible     = OF_ANY_MATCH
        },
        {
-       .name           = OF_ANY_MATCH,
        .type           = "ide",
-       .compatible     = OF_ANY_MATCH
        },
        {
-       .name           = OF_ANY_MATCH,
        .type           = "ata",
-       .compatible     = OF_ANY_MATCH
        },
        {},
 };
index 73bd8efd2b6c94081400539c0cf5508f409e42d0..0b31429d0a683cdae682f26017178ac7669a34e9 100644 (file)
@@ -38,8 +38,8 @@ struct hpsb_packet {
 
         /* These are core internal. */
         signed char tlabel;
-        char ack_code;
-        char tcode;
+       signed char ack_code;
+       unsigned char tcode;
 
         unsigned expect_response:1;
         unsigned no_waiter:1;
index f5ae171dbfef3b537ce98139dd7fe3e78ddad249..236291bd48a4117fe4e7eb12ae8075a9142a2ebd 100644 (file)
@@ -4,7 +4,7 @@
 
 # Each configuration option enables a list of files.
 
-obj-$(CONFIG_PPC_PMAC)         += macio_asic.o
+obj-$(CONFIG_PPC_PMAC)         += macio_asic.o macio_sysfs.o
 
 obj-$(CONFIG_PMAC_MEDIABAY)    += mediabay.o
 obj-$(CONFIG_MAC_EMUMOUSEBTN)  += mac_hid.o
index d0bda7e3e6aa4a8a96c4954d4f76e3ded883f340..1ee003346923d7ca6a74a1fd0e6ba4ab7c773083 100644 (file)
@@ -33,7 +33,7 @@ static int macio_bus_match(struct device *dev, struct device_driver *drv)
 {
        struct macio_dev * macio_dev = to_macio_device(dev);
        struct macio_driver * macio_drv = to_macio_driver(drv);
-       const struct of_match * matches = macio_drv->match_table;
+       const struct of_device_id * matches = macio_drv->match_table;
 
        if (!matches) 
                return 0;
@@ -66,7 +66,7 @@ static int macio_device_probe(struct device *dev)
        int error = -ENODEV;
        struct macio_driver *drv;
        struct macio_dev *macio_dev;
-       const struct of_match *match;
+       const struct of_device_id *match;
 
        drv = to_macio_driver(dev->driver);
        macio_dev = to_macio_device(dev);
@@ -126,11 +126,85 @@ static int macio_device_resume(struct device * dev)
        return 0;
 }
 
+static int macio_hotplug (struct device *dev, char **envp, int num_envp,
+                          char *buffer, int buffer_size)
+{
+       struct macio_dev * macio_dev;
+       struct of_device * of;
+       char *scratch, *compat;
+       int i = 0;
+       int length = 0;
+       int cplen, seen = 0;
+
+       if (!dev)
+               return -ENODEV;
+
+       macio_dev = to_macio_device(dev);
+       if (!macio_dev)
+               return -ENODEV;
+
+       of = &macio_dev->ofdev;
+       scratch = buffer;
+
+       /* stuff we want to pass to /sbin/hotplug */
+       envp[i++] = scratch;
+       length += scnprintf (scratch, buffer_size - length, "OF_NAME=%s",
+                            of->node->name);
+       if ((buffer_size - length <= 0) || (i >= num_envp))
+               return -ENOMEM;
+       ++length;
+       scratch += length;
+
+       envp[i++] = scratch;
+       length += scnprintf (scratch, buffer_size - length, "OF_TYPE=%s",
+                            of->node->type);
+       if ((buffer_size - length <= 0) || (i >= num_envp))
+               return -ENOMEM;
+       ++length;
+       scratch += length;
+
+        /* Since the compatible field can contain pretty much anything
+         * it's not really legal to split it out with commas. We split it
+         * up using a number of environment variables instead. */
+
+       compat = (char *) get_property(of->node, "compatible", &cplen);
+       while (compat && cplen > 0) {
+               int l;
+                envp[i++] = scratch;
+               length += scnprintf (scratch, buffer_size - length,
+                                    "OF_COMPATIBLE_%d=%s", seen, compat);
+               if ((buffer_size - length <= 0) || (i >= num_envp))
+                       return -ENOMEM;
+               length++;
+               scratch += length;
+               l = strlen (compat) + 1;
+               compat += l;
+               cplen -= l;
+               seen++;
+       }
+
+       envp[i++] = scratch;
+       length += scnprintf (scratch, buffer_size - length,
+                            "OF_COMPATIBLE_N=%d", seen);
+       if ((buffer_size - length <= 0) || (i >= num_envp))
+               return -ENOMEM;
+       ++length;
+       scratch += length;
+
+       envp[i] = NULL;
+
+       return 0;
+}
+
+extern struct device_attribute macio_dev_attrs[];
+
 struct bus_type macio_bus_type = {
        .name   = "macio",
        .match  = macio_bus_match,
+       .hotplug = macio_hotplug,
        .suspend        = macio_device_suspend,
        .resume = macio_device_resume,
+       .dev_attrs = macio_dev_attrs,
 };
 
 static int __init macio_bus_driver_init(void)
diff --git a/drivers/macintosh/macio_sysfs.c b/drivers/macintosh/macio_sysfs.c
new file mode 100644 (file)
index 0000000..97d22bb
--- /dev/null
@@ -0,0 +1,50 @@
+#include <linux/config.h>
+#include <linux/kernel.h>
+#include <linux/stat.h>
+#include <asm/macio.h>
+
+
+#define macio_config_of_attr(field, format_string)                     \
+static ssize_t                                                         \
+field##_show (struct device *dev, struct device_attribute *attr,       \
+              char *buf)                                               \
+{                                                                      \
+       struct macio_dev *mdev = to_macio_device (dev);                 \
+       return sprintf (buf, format_string, mdev->ofdev.node->field);   \
+}
+
+static ssize_t
+compatible_show (struct device *dev, struct device_attribute *attr, char *buf)
+{
+       struct of_device *of;
+       char *compat;
+       int cplen;
+       int length = 0;
+
+       of = &to_macio_device (dev)->ofdev;
+       compat = (char *) get_property(of->node, "compatible", &cplen);
+       if (!compat) {
+               *buf = '\0';
+               return 0;
+       }
+       while (cplen > 0) {
+               int l;
+               length += sprintf (buf, "%s\n", compat);
+               buf += length;
+               l = strlen (compat) + 1;
+               compat += l;
+               cplen -= l;
+       }
+
+       return length;
+}
+
+macio_config_of_attr (name, "%s\n");
+macio_config_of_attr (type, "%s\n");
+
+struct device_attribute macio_dev_attrs[] = {
+       __ATTR_RO(name),
+       __ATTR_RO(type),
+       __ATTR_RO(compatible),
+       __ATTR_NULL
+};
index 4be709e13eecf4c4dd2a2f6c706eeda08b975047..7c16c25fc5d471068945bf04d9bc00c63b4e037f 100644 (file)
@@ -642,7 +642,7 @@ static int __pmac media_bay_task(void *x)
        }
 }
 
-static int __devinit media_bay_attach(struct macio_dev *mdev, const struct of_match *match)
+static int __devinit media_bay_attach(struct macio_dev *mdev, const struct of_device_id *match)
 {
        struct media_bay_info* bay;
        u32 __iomem *regbase;
@@ -797,23 +797,20 @@ static struct mb_ops keylargo_mb_ops __pmacdata = {
  * Therefore we do it all by polling the media bay once each tick.
  */
 
-static struct of_match media_bay_match[] =
+static struct of_device_id media_bay_match[] =
 {
        {
        .name           = "media-bay",
-       .type           = OF_ANY_MATCH,
        .compatible     = "keylargo-media-bay",
        .data           = &keylargo_mb_ops,
        },
        {
        .name           = "media-bay",
-       .type           = OF_ANY_MATCH,
        .compatible     = "heathrow-media-bay",
        .data           = &heathrow_mb_ops,
        },
        {
        .name           = "media-bay",
-       .type           = OF_ANY_MATCH,
        .compatible     = "ohare-media-bay",
        .data           = &ohare_mb_ops,
        },
index feb4e2413858ca2d2b9d5bd595c26fd1a51110dd..703e3197331471dada2210e3c2ff9ddd471e2278 100644 (file)
 #include <asm/system.h>
 #include <asm/sections.h>
 #include <asm/of_device.h>
+#include <asm/macio.h>
 
 #include "therm_pm72.h"
 
@@ -1986,7 +1987,7 @@ static void fcu_lookup_fans(struct device_node *fcu_node)
        }
 }
 
-static int fcu_of_probe(struct of_device* dev, const struct of_match *match)
+static int fcu_of_probe(struct of_device* dev, const struct of_device_id *match)
 {
        int rc;
 
@@ -2009,12 +2010,10 @@ static int fcu_of_remove(struct of_device* dev)
        return 0;
 }
 
-static struct of_match fcu_of_match[] = 
+static struct of_device_id fcu_match[] = 
 {
        {
-       .name           = OF_ANY_MATCH,
        .type           = "fcu",
-       .compatible     = OF_ANY_MATCH
        },
        {},
 };
@@ -2022,7 +2021,7 @@ static struct of_match fcu_of_match[] =
 static struct of_platform_driver fcu_of_platform_driver = 
 {
        .name           = "temperature",
-       .match_table    = fcu_of_match,
+       .match_table    = fcu_match,
        .probe          = fcu_of_probe,
        .remove         = fcu_of_remove
 };
index 61400f04015e3cf98ace62a085e55f996b885f90..cbb72eb0426d493c9691f1deadb66915037df54b 100644 (file)
@@ -43,6 +43,7 @@
 #include <asm/system.h>
 #include <asm/sections.h>
 #include <asm/of_device.h>
+#include <asm/macio.h>
 
 #define LOG_TEMP               0                       /* continously log temperature */
 
@@ -450,7 +451,7 @@ do_probe( struct i2c_adapter *adapter, int addr, int kind )
 /************************************************************************/
 
 static int
-therm_of_probe( struct of_device *dev, const struct of_match *match )
+therm_of_probe( struct of_device *dev, const struct of_device_id *match )
 {
        return i2c_add_driver( &g4fan_driver );
 }
@@ -461,9 +462,8 @@ therm_of_remove( struct of_device *dev )
        return i2c_del_driver( &g4fan_driver );
 }
 
-static struct of_match therm_of_match[] = {{
+static struct of_device_id therm_of_match[] = {{
        .name           = "fan",
-       .type           = OF_ANY_MATCH,
        .compatible     = "adm1030"
     }, {}
 };
index 00e5257b176f835a2842d7dd0ff854eeabc9c5b5..8dc657fc8afb37f18623efb160e58b216a615520 100644 (file)
@@ -1261,7 +1261,7 @@ static void bmac_reset_and_enable(struct net_device *dev)
        spin_unlock_irqrestore(&bp->lock, flags);
 }
 
-static int __devinit bmac_probe(struct macio_dev *mdev, const struct of_match *match)
+static int __devinit bmac_probe(struct macio_dev *mdev, const struct of_device_id *match)
 {
        int j, rev, ret;
        struct bmac_data *bp;
@@ -1645,16 +1645,13 @@ static int __devexit bmac_remove(struct macio_dev *mdev)
        return 0;
 }
 
-static struct of_match bmac_match[] = 
+static struct of_device_id bmac_match[] = 
 {
        {
        .name           = "bmac",
-       .type           = OF_ANY_MATCH,
-       .compatible     = OF_ANY_MATCH,
        .data           = (void *)0,
        },
        {
-       .name           = OF_ANY_MATCH,
        .type           = "network",
        .compatible     = "bmac+",
        .data           = (void *)1,
index 6ed2d7dbd44c9026cf1808dcbfc1f55f1bb61319..81d0a26e4f41c00662f5984469b3fad209b96d67 100644 (file)
@@ -109,7 +109,7 @@ bitrev(int b)
 }
 
 
-static int __devinit mace_probe(struct macio_dev *mdev, const struct of_match *match)
+static int __devinit mace_probe(struct macio_dev *mdev, const struct of_device_id *match)
 {
        struct device_node *mace = macio_get_of_node(mdev);
        struct net_device *dev;
@@ -1009,12 +1009,10 @@ static irqreturn_t mace_rxdma_intr(int irq, void *dev_id, struct pt_regs *regs)
     return IRQ_HANDLED;
 }
 
-static struct of_match mace_match[] = 
+static struct of_device_id mace_match[] = 
 {
        {
        .name           = "mace",
-       .type           = OF_ANY_MATCH,
-       .compatible     = OF_ANY_MATCH
        },
        {},
 };
index b4f4bd7956a24f18e1873c129b942391af158b9c..9d496703c4650dec63a23689bfc44e814436ec50 100644 (file)
@@ -184,7 +184,7 @@ static int airport_hard_reset(struct orinoco_private *priv)
 }
 
 static int
-airport_attach(struct macio_dev *mdev, const struct of_match *match)
+airport_attach(struct macio_dev *mdev, const struct of_device_id *match)
 {
        struct orinoco_private *priv;
        struct net_device *dev;
@@ -266,16 +266,16 @@ MODULE_AUTHOR("Benjamin Herrenschmidt <benh@kernel.crashing.org>");
 MODULE_DESCRIPTION("Driver for the Apple Airport wireless card.");
 MODULE_LICENSE("Dual MPL/GPL");
 
-static struct of_match airport_match[] = 
+static struct of_device_id airport_match[] = 
 {
        {
        .name           = "radio",
-       .type           = OF_ANY_MATCH,
-       .compatible     = OF_ANY_MATCH
        },
        {},
 };
 
+MODULE_DEVICE_TABLE (of, airport_match);
+
 static struct macio_driver airport_driver = 
 {
        .name           = DRIVER_NAME,
index c1bdfb424658ab03bf6e62bd088fe2ed637b80ab..9fe48f712be9572183e9fe7bd415e0ea87fcb6f6 100644 (file)
@@ -74,6 +74,7 @@ pbus_assign_resources_sorted(struct pci_bus *bus)
                idx = res - &list->dev->resource[0];
                if (pci_assign_resource(list->dev, idx)) {
                        res->start = 0;
+                       res->end = 0;
                        res->flags = 0;
                }
                tmp = list;
index edd47d1f0b17567047ee6d76029d9268380e4717..932dcf0366ebf9a215e38defed99d05a089ae8d0 100644 (file)
@@ -424,7 +424,7 @@ static struct scsi_host_template mac53c94_template = {
        .use_clustering = DISABLE_CLUSTERING,
 };
 
-static int mac53c94_probe(struct macio_dev *mdev, const struct of_match *match)
+static int mac53c94_probe(struct macio_dev *mdev, const struct of_device_id *match)
 {
        struct device_node *node = macio_get_of_node(mdev);
        struct pci_dev *pdev = macio_get_pci_dev(mdev);
@@ -544,15 +544,14 @@ static int mac53c94_remove(struct macio_dev *mdev)
 }
 
 
-static struct of_match mac53c94_match[] = 
+static struct of_device_id mac53c94_match[] = 
 {
        {
        .name           = "53c94",
-       .type           = OF_ANY_MATCH,
-       .compatible     = OF_ANY_MATCH
        },
        {},
 };
+MODULE_DEVICE_TABLE (of, mac53c94_match);
 
 static struct macio_driver mac53c94_driver = 
 {
index b05737ae5eff8f4c368d109f528ec1b684839ef3..ff1933298da682c5f1b0704cbee9c4b81f6d083a 100644 (file)
@@ -1847,7 +1847,7 @@ static struct scsi_host_template mesh_template = {
        .use_clustering                 = DISABLE_CLUSTERING,
 };
 
-static int mesh_probe(struct macio_dev *mdev, const struct of_match *match)
+static int mesh_probe(struct macio_dev *mdev, const struct of_device_id *match)
 {
        struct device_node *mesh = macio_get_of_node(mdev);
        struct pci_dev* pdev = macio_get_pci_dev(mdev);
@@ -2012,20 +2012,18 @@ static int mesh_remove(struct macio_dev *mdev)
 }
 
 
-static struct of_match mesh_match[] = 
+static struct of_device_id mesh_match[] = 
 {
        {
        .name           = "mesh",
-       .type           = OF_ANY_MATCH,
-       .compatible     = OF_ANY_MATCH
        },
        {
-       .name           = OF_ANY_MATCH,
        .type           = "scsi",
        .compatible     = "chrp,mesh0"
        },
        {},
 };
+MODULE_DEVICE_TABLE (of, mesh_match);
 
 static struct macio_driver mesh_driver = 
 {
index 1c9f71617123ad4ecf80674f9a737e22feddabf1..7db2f37532cf368e7d1ce1d1a11d7af34f31b445 100644 (file)
@@ -1545,7 +1545,7 @@ static void pmz_dispose_port(struct uart_pmac_port *uap)
 /*
  * Called upon match with an escc node in the devive-tree.
  */
-static int pmz_attach(struct macio_dev *mdev, const struct of_match *match)
+static int pmz_attach(struct macio_dev *mdev, const struct of_device_id *match)
 {
        int i;
        
@@ -1850,20 +1850,17 @@ err_out:
        return rc;
 }
 
-static struct of_match pmz_match[] = 
+static struct of_device_id pmz_match[] = 
 {
        {
        .name           = "ch-a",
-       .type           = OF_ANY_MATCH,
-       .compatible     = OF_ANY_MATCH
        },
        {
        .name           = "ch-b",
-       .type           = OF_ANY_MATCH,
-       .compatible     = OF_ANY_MATCH
        },
        {},
 };
+MODULE_DEVICE_TABLE (of, pmz_match);
 
 static struct macio_driver pmz_driver = 
 {
index 3dd1de1539d200ee5427671a21a7cdba980b6289..b00887e9851cf938da8fa6dca5994366ef0982ed 100644 (file)
@@ -523,7 +523,7 @@ int __init platinumfb_setup(char *options)
 #define invalidate_cache(addr)
 #endif
 
-static int __devinit platinumfb_probe(struct of_device* odev, const struct of_match *match)
+static int __devinit platinumfb_probe(struct of_device* odev, const struct of_device_id *match)
 {
        struct device_node      *dp = odev->node;
        struct fb_info          *info;
@@ -647,12 +647,10 @@ static int __devexit platinumfb_remove(struct of_device* odev)
        return 0;
 }
 
-static struct of_match platinumfb_match[] = 
+static struct of_device_id platinumfb_match[] = 
 {
        {
        .name           = "platinum",
-       .type           = OF_ANY_MATCH,
-       .compatible     = OF_ANY_MATCH,
        },
        {},
 };
index c27b9d3079a702a3fb8bd1b1f85ae857cf42c2e1..7495026e2c18bd5c8fd9daa5c237f39e046c2867 100644 (file)
@@ -3,7 +3,7 @@
  *
  * Author: Deepak Saxena <dsaxena@plexity.net>
  *
- * Copyright (C) 2002-2004  MontaVista Software, Inc.
+ * Copyright (C) 2002-2005  MontaVista Software, Inc.
  *
  * This program is free software; you can redistribute it and/or modify
  * it under the terms of the GNU General Public License version 2 as
@@ -383,6 +383,180 @@ __ixp4xx_insl(u32 io_addr, u32 *vaddr, u32 count)
                *vaddr++ = inl(io_addr);
 }
 
+#define        __is_io_address(p)      (((unsigned long)p >= 0x0) && \
+                                       ((unsigned long)p <= 0x0000ffff))
+static inline unsigned int
+__ixp4xx_ioread8(void __iomem *port)
+{
+       if (__is_io_address(port))
+               return  (unsigned int)__ixp4xx_inb((unsigned int)port);
+       else
+#ifndef CONFIG_IXP4XX_INDIRECT_PCI
+               return (unsigned int)__raw_readb((u32)port);
+#else
+               return (unsigned int)__ixp4xx_readb((u32)port);
+#endif
+}
+
+static inline void
+__ixp4xx_ioread8_rep(u32 port, u8 *vaddr, u32 count)
+{
+       if (__is_io_address(port))
+               __ixp4xx_insb(port, vaddr, count);
+       else
+#ifndef        CONFIG_IXP4XX_INDIRECT_PCI
+               __raw_readsb((void __iomem *)port, vaddr, count);
+#else
+               __ixp4xx_readsb(port, vaddr, count);
+#endif
+}
+
+static inline unsigned int
+__ixp4xx_ioread16(void __iomem *port)
+{
+       if (__is_io_address(port))
+               return  (unsigned int)__ixp4xx_inw((unsigned int)port);
+       else
+#ifndef CONFIG_IXP4XX_INDIRECT_PCI
+               return le16_to_cpu(__raw_readw((u32)port));
+#else
+               return (unsigned int)__ixp4xx_readw((u32)port);
+#endif
+}
+
+static inline void
+__ixp4xx_ioread16_rep(u32 port, u16 *vaddr, u32 count)
+{
+       if (__is_io_address(port))
+               __ixp4xx_insw(port, vaddr, count);
+       else
+#ifndef        CONFIG_IXP4XX_INDIRECT_PCI
+               __raw_readsw((void __iomem *)port, vaddr, count);
+#else
+               __ixp4xx_readsw(port, vaddr, count);
+#endif
+}
+
+static inline unsigned int
+__ixp4xx_ioread32(void __iomem *port)
+{
+       if (__is_io_address(port))
+               return  (unsigned int)__ixp4xx_inl((unsigned int)port);
+       else {
+#ifndef CONFIG_IXP4XX_INDIRECT_PCI
+               return le32_to_cpu(__raw_readl((u32)port));
+#else
+               return (unsigned int)__ixp4xx_readl((u32)port);
+#endif
+       }
+}
+
+static inline void
+__ixp4xx_ioread32_rep(u32 port, u32 *vaddr, u32 count)
+{
+       if (__is_io_address(port))
+               __ixp4xx_insl(port, vaddr, count);
+       else
+#ifndef        CONFIG_IXP4XX_INDIRECT_PCI
+               __raw_readsl((void __iomem *)port, vaddr, count);
+#else
+               __ixp4xx_readsl(port, vaddr, count);
+#endif
+}
+
+static inline void
+__ixp4xx_iowrite8(u8 value, void __iomem *port)
+{
+       if (__is_io_address(port))
+               __ixp4xx_outb(value, (unsigned int)port);
+       else
+#ifndef CONFIG_IXP4XX_INDIRECT_PCI
+               __raw_writeb(value, (u32)port);
+#else
+               __ixp4xx_writeb(value, (u32)port);
+#endif
+}
+
+static inline void
+__ixp4xx_iowrite8_rep(u32 port, u8 *vaddr, u32 count)
+{
+       if (__is_io_address(port))
+               __ixp4xx_outsb(port, vaddr, count);
+#ifndef CONFIG_IXP4XX_INDIRECT_PCI
+               __raw_writesb((void __iomem *)port, vaddr, count);
+#else
+               __ixp4xx_writesb(port, vaddr, count);
+#endif
+}
+
+static inline void
+__ixp4xx_iowrite16(u16 value, void __iomem *port)
+{
+       if (__is_io_address(port))
+               __ixp4xx_outw(value, (unsigned int)port);
+       else
+#ifndef CONFIG_IXP4XX_INDIRECT_PCI
+               __raw_writew(cpu_to_le16(value), (u32)port);
+#else
+               __ixp4xx_writew(value, (u32)port);
+#endif
+}
+
+static inline void
+__ixp4xx_iowrite16_rep(u32 port, u16 *vaddr, u32 count)
+{
+       if (__is_io_address(port))
+               __ixp4xx_outsw(port, vaddr, count);
+#ifndef CONFIG_IXP4XX_INDIRECT_PCI
+               __raw_readsw((void __iomem *)port, vaddr, count);
+#else
+               __ixp4xx_writesw(port, vaddr, count);
+#endif
+}
+
+static inline void
+__ixp4xx_iowrite32(u32 value, void __iomem *port)
+{
+       if (__is_io_address(port))
+               __ixp4xx_outl(value, (unsigned int)port);
+       else
+#ifndef CONFIG_IXP4XX_INDIRECT_PCI
+               __raw_writel(cpu_to_le32(value), (u32)port);
+#else
+               __ixp4xx_writel(value, (u32)port);
+#endif
+}
+
+static inline void
+__ixp4xx_iowrite32_rep(u32 port, u32 *vaddr, u32 count)
+{
+       if (__is_io_address(port))
+               __ixp4xx_outsl(port, vaddr, count);
+#ifndef CONFIG_IXP4XX_INDIRECT_PCI
+               __raw_readsl((void __iomem *)port, vaddr, count);
+#else
+               __ixp4xx_outsl(port, vaddr, count);
+#endif
+}
+
+#define        ioread8(p)                      __ixp4xx_ioread8(p)
+#define        ioread16(p)                     __ixp4xx_ioread16(p)
+#define        ioread32(p)                     __ixp4xx_ioread32(p)
+
+#define        ioread8_rep(p, v, c)            __ixp4xx_ioread8_rep(p, v, c)
+#define        ioread16_rep(p, v, c)           __ixp4xx_ioread16_rep(p, v, c)
+#define        ioread32_rep(p, v, c)           __ixp4xx_ioread32_rep(p, v, c)
+
+#define        iowrite8(v,p)                   __ixp4xx_iowrite8(v,p)
+#define        iowrite16(v,p)                  __ixp4xx_iowrite16(v,p)
+#define        iowrite32(v,p)                  __ixp4xx_iowrite32(v,p)
+
+#define        iowrite8_rep(p, v, c)           __ixp4xx_iowrite8_rep(p, v, c)
+#define        iowrite16_rep(p, v, c)          __ixp4xx_iowrite16_rep(p, v, c)
+#define        iowrite32_rep(p, v, c)          __ixp4xx_iowrite32_rep(p, v, c)
+
+#define        ioport_map(port, nr)            ((void __iomem*)port)
+#define        ioport_unmap(addr)
 
 #endif //  __ASM_ARM_ARCH_IO_H
 
index 2cafc9978607978116ed38849931c6e863f1ab4d..a481b772d1548259235bfd27a79061d94f3864c8 100644 (file)
@@ -1,6 +1,7 @@
 #ifndef __MACIO_ASIC_H__
 #define __MACIO_ASIC_H__
 
+#include <linux/mod_devicetable.h>
 #include <asm/of_device.h>
 
 extern struct bus_type macio_bus_type;
@@ -120,10 +121,10 @@ static inline struct pci_dev *macio_get_pci_dev(struct macio_dev *mdev)
 struct macio_driver
 {
        char                    *name;
-       struct of_match         *match_table;
+       struct of_device_id     *match_table;
        struct module           *owner;
 
-       int     (*probe)(struct macio_dev* dev, const struct of_match *match);
+       int     (*probe)(struct macio_dev* dev, const struct of_device_id *match);
        int     (*remove)(struct macio_dev* dev);
 
        int     (*suspend)(struct macio_dev* dev, pm_message_t state);
index 7229735a7c1871c28c4950cc3279373cf74dca2d..4b264cfd39987cb368843ae346199c6cf2822e97 100644 (file)
@@ -24,20 +24,8 @@ struct of_device
 };
 #define        to_of_device(d) container_of(d, struct of_device, dev)
 
-/*
- * Struct used for matching a device
- */
-struct of_match
-{
-       char    *name;
-       char    *type;
-       char    *compatible;
-       void    *data;
-};
-#define OF_ANY_MATCH           ((char *)-1L)
-
-extern const struct of_match *of_match_device(
-       const struct of_match *matches, const struct of_device *dev);
+extern const struct of_device_id *of_match_device(
+       const struct of_device_id *matches, const struct of_device *dev);
 
 extern struct of_device *of_dev_get(struct of_device *dev);
 extern void of_dev_put(struct of_device *dev);
@@ -49,10 +37,10 @@ extern void of_dev_put(struct of_device *dev);
 struct of_platform_driver
 {
        char                    *name;
-       struct of_match         *match_table;
+       struct of_device_id     *match_table;
        struct module           *owner;
 
-       int     (*probe)(struct of_device* dev, const struct of_match *match);
+       int     (*probe)(struct of_device* dev, const struct of_device_id *match);
        int     (*remove)(struct of_device* dev);
 
        int     (*suspend)(struct of_device* dev, pm_message_t state);
index 387da6a3e58c605e90c55751801d79a05480cbd7..5e2bcc636a02fd4d7a383e661b7661d6ac916169 100644 (file)
 #define CRYPTO_DIR_DECRYPT             0
 
 struct scatterlist;
+struct crypto_tfm;
+
+struct cipher_desc {
+       struct crypto_tfm *tfm;
+       void (*crfn)(void *ctx, u8 *dst, const u8 *src);
+       unsigned int (*prfn)(const struct cipher_desc *desc, u8 *dst,
+                            const u8 *src, unsigned int nbytes);
+       void *info;
+};
 
 /*
  * Algorithms: modular crypto algorithm implementations, managed
@@ -73,6 +82,19 @@ struct cipher_alg {
                          unsigned int keylen, u32 *flags);
        void (*cia_encrypt)(void *ctx, u8 *dst, const u8 *src);
        void (*cia_decrypt)(void *ctx, u8 *dst, const u8 *src);
+
+       unsigned int (*cia_encrypt_ecb)(const struct cipher_desc *desc,
+                                       u8 *dst, const u8 *src,
+                                       unsigned int nbytes);
+       unsigned int (*cia_decrypt_ecb)(const struct cipher_desc *desc,
+                                       u8 *dst, const u8 *src,
+                                       unsigned int nbytes);
+       unsigned int (*cia_encrypt_cbc)(const struct cipher_desc *desc,
+                                       u8 *dst, const u8 *src,
+                                       unsigned int nbytes);
+       unsigned int (*cia_decrypt_cbc)(const struct cipher_desc *desc,
+                                       u8 *dst, const u8 *src,
+                                       unsigned int nbytes);
 };
 
 struct digest_alg {
@@ -102,6 +124,7 @@ struct crypto_alg {
        u32 cra_flags;
        unsigned int cra_blocksize;
        unsigned int cra_ctxsize;
+       unsigned int cra_alignmask;
        const char cra_name[CRYPTO_MAX_ALG_NAME];
 
        union {
@@ -136,7 +159,6 @@ static inline int crypto_alg_available(const char *name, u32 flags)
  * and core processing logic.  Managed via crypto_alloc_tfm() and
  * crypto_free_tfm(), as well as the various helpers below.
  */
-struct crypto_tfm;
 
 struct cipher_tfm {
        void *cit_iv;
@@ -266,6 +288,16 @@ static inline unsigned int crypto_tfm_alg_digestsize(struct crypto_tfm *tfm)
        return tfm->__crt_alg->cra_digest.dia_digestsize;
 }
 
+static inline unsigned int crypto_tfm_alg_alignmask(struct crypto_tfm *tfm)
+{
+       return tfm->__crt_alg->cra_alignmask;
+}
+
+static inline void *crypto_tfm_ctx(struct crypto_tfm *tfm)
+{
+       return (void *)&tfm[1];
+}
+
 /*
  * API wrappers.
  */
index 9b6d05172ed45ba62618a10a6b2e635105f5b3a5..dce53ac1625d8cea5c78b1940aedc6441dc52d63 100644 (file)
@@ -174,6 +174,17 @@ struct serio_device_id {
        __u8 proto;
 };
 
+/*
+ * Struct used for matching a device
+ */
+struct of_device_id
+{
+       char    name[32];
+       char    type[32];
+       char    compatible[128];
+       void    *data;
+};
+
 
 /* PCMCIA */
 
index 908bff6d1eefda049420abac6f8857660f88b3e9..5180405c1a844efa5a42ed8032c0059c506f5768 100644 (file)
@@ -25,6 +25,8 @@ typedef Elf64_Addr    kernel_ulong_t;
 #include <stdint.h>
 #endif
 
+#include <ctype.h>
+
 typedef uint32_t       __u32;
 typedef uint16_t       __u16;
 typedef unsigned char  __u8;
@@ -323,6 +325,22 @@ static int do_pcmcia_entry(const char *filename,
 
 
 
+static int do_of_entry (const char *filename, struct of_device_id *of, char *alias)
+{
+    char *tmp;
+    sprintf (alias, "of:N%sT%sC%s",
+                    of->name[0] ? of->name : "*",
+                    of->type[0] ? of->type : "*",
+                    of->compatible[0] ? of->compatible : "*");
+
+    /* Replace all whitespace with underscores */
+    for (tmp = alias; tmp && *tmp; tmp++)
+        if (isspace (*tmp))
+            *tmp = '_';
+
+    return 1;
+}
+
 /* Ignore any prefix, eg. v850 prepends _ */
 static inline int sym_is(const char *symbol, const char *name)
 {
@@ -401,6 +419,10 @@ void handle_moddevtable(struct module *mod, struct elf_info *info,
        else if (sym_is(symname, "__mod_pcmcia_device_table"))
                do_table(symval, sym->st_size, sizeof(struct pcmcia_device_id),
                         do_pcmcia_entry, mod);
+        else if (sym_is(symname, "__mod_of_device_table"))
+               do_table(symval, sym->st_size, sizeof(struct of_device_id),
+                        do_of_entry, mod);
+
 }
 
 /* Now add out buffered information to the generated C source */