Blackfin: fix data cache flushing when doing icache flushing
[linux-2.6.git] / arch / blackfin / mach-common / cache.S
1 /*
2  * Blackfin cache control code
3  *
4  * Copyright 2004-2008 Analog Devices Inc.
5  *
6  * Enter bugs at http://blackfin.uclinux.org/
7  *
8  * Licensed under the GPL-2 or later.
9  */
10
11 #include <linux/linkage.h>
12 #include <asm/blackfin.h>
13 #include <asm/cache.h>
14 #include <asm/page.h>
15
16 .text
17
18 /* Since all L1 caches work the same way, we use the same method for flushing
19  * them.  Only the actual flush instruction differs.  We write this in asm as
20  * GCC can be hard to coax into writing nice hardware loops.
21  *
22  * Also, we assume the following register setup:
23  * R0 = start address
24  * R1 = end address
25  */
26 .macro do_flush flushins:req optflushins optnopins label
27
28         R2 = -L1_CACHE_BYTES;
29
30         /* start = (start & -L1_CACHE_BYTES) */
31         R0 = R0 & R2;
32
33         /* end = ((end - 1) & -L1_CACHE_BYTES) + L1_CACHE_BYTES; */
34         R1 += -1;
35         R1 = R1 & R2;
36         R1 += L1_CACHE_BYTES;
37
38         /* count = (end - start) >> L1_CACHE_SHIFT */
39         R2 = R1 - R0;
40         R2 >>= L1_CACHE_SHIFT;
41         P1 = R2;
42
43 .ifnb \label
44 \label :
45 .endif
46         P0 = R0;
47         LSETUP (1f, 2f) LC1 = P1;
48 1:
49 .ifnb \optflushins
50         \optflushins [P0];
51 .endif
52 #if ANOMALY_05000443
53 .ifb \optnopins
54 2:
55 .endif
56         \flushins [P0++];
57 .ifnb \optnopins
58 2:      \optnopins;
59 .endif
60 #else
61 2:      \flushins [P0++];
62 #endif
63
64         RTS;
65 .endm
66
67 /* Invalidate all instruction cache lines assocoiated with this memory area */
68 ENTRY(_blackfin_icache_flush_range)
69 /*
70  * Walkaround to avoid loading wrong instruction after invalidating icache
71  * and following sequence is met.
72  *
73  * 1) One instruction address is cached in the instruction cache.
74  * 2) This instruction in SDRAM is changed.
75  * 3) IFLASH[P0] is executed only once in blackfin_icache_flush_range().
76  * 4) This instruction is executed again, but the old one is loaded.
77  */
78         P0 = R0;
79         IFLUSH[P0];
80         do_flush IFLUSH, , nop
81 ENDPROC(_blackfin_icache_flush_range)
82
83 /* Throw away all D-cached data in specified region without any obligation to
84  * write them back.  Since the Blackfin ISA does not have an "invalidate"
85  * instruction, we use flush/invalidate.  Perhaps as a speed optimization we
86  * could bang on the DTEST MMRs ...
87  */
88 ENTRY(_blackfin_dcache_invalidate_range)
89         do_flush FLUSHINV
90 ENDPROC(_blackfin_dcache_invalidate_range)
91
92 /* Flush all data cache lines assocoiated with this memory area */
93 ENTRY(_blackfin_dcache_flush_range)
94         do_flush FLUSH, , , .Ldfr
95 ENDPROC(_blackfin_dcache_flush_range)
96
97 /* Our headers convert the page structure to an address, so just need to flush
98  * its contents like normal.  We know the start address is page aligned (which
99  * greater than our cache alignment), as is the end address.  So just jump into
100  * the middle of the dcache flush function.
101  */
102 ENTRY(_blackfin_dflush_page)
103         P1 = 1 << (PAGE_SHIFT - L1_CACHE_SHIFT);
104         jump .Ldfr;
105 ENDPROC(_blackfin_dflush_page)