x86: add alloc_coherent dma_ops callback to NOMMU driver
[linux-2.6.git] / arch / x86 / kernel / pci-nommu.c
1 /* Fallback functions when the main IOMMU code is not compiled in. This
2    code is roughly equivalent to i386. */
3 #include <linux/mm.h>
4 #include <linux/init.h>
5 #include <linux/pci.h>
6 #include <linux/string.h>
7 #include <linux/dma-mapping.h>
8 #include <linux/scatterlist.h>
9
10 #include <asm/iommu.h>
11 #include <asm/processor.h>
12 #include <asm/dma.h>
13
14 static int
15 check_addr(char *name, struct device *hwdev, dma_addr_t bus, size_t size)
16 {
17         if (hwdev && bus + size > *hwdev->dma_mask) {
18                 if (*hwdev->dma_mask >= DMA_32BIT_MASK)
19                         printk(KERN_ERR
20                             "nommu_%s: overflow %Lx+%zu of device mask %Lx\n",
21                                 name, (long long)bus, size,
22                                 (long long)*hwdev->dma_mask);
23                 return 0;
24         }
25         return 1;
26 }
27
28 static dma_addr_t
29 nommu_map_single(struct device *hwdev, phys_addr_t paddr, size_t size,
30                int direction)
31 {
32         dma_addr_t bus = paddr;
33         WARN_ON(size == 0);
34         if (!check_addr("map_single", hwdev, bus, size))
35                                 return bad_dma_address;
36         flush_write_buffers();
37         return bus;
38 }
39
40
41 /* Map a set of buffers described by scatterlist in streaming
42  * mode for DMA.  This is the scatter-gather version of the
43  * above pci_map_single interface.  Here the scatter gather list
44  * elements are each tagged with the appropriate dma address
45  * and length.  They are obtained via sg_dma_{address,length}(SG).
46  *
47  * NOTE: An implementation may be able to use a smaller number of
48  *       DMA address/length pairs than there are SG table elements.
49  *       (for example via virtual mapping capabilities)
50  *       The routine returns the number of addr/length pairs actually
51  *       used, at most nents.
52  *
53  * Device ownership issues as mentioned above for pci_map_single are
54  * the same here.
55  */
56 static int nommu_map_sg(struct device *hwdev, struct scatterlist *sg,
57                int nents, int direction)
58 {
59         struct scatterlist *s;
60         int i;
61
62         WARN_ON(nents == 0 || sg[0].length == 0);
63
64         for_each_sg(sg, s, nents, i) {
65                 BUG_ON(!sg_page(s));
66                 s->dma_address = sg_phys(s);
67                 if (!check_addr("map_sg", hwdev, s->dma_address, s->length))
68                         return 0;
69                 s->dma_length = s->length;
70         }
71         flush_write_buffers();
72         return nents;
73 }
74
75 static void *
76 nommu_alloc_coherent(struct device *hwdev, size_t size,
77                      dma_addr_t *dma_addr, gfp_t gfp)
78 {
79         unsigned long dma_mask;
80         int node;
81         struct page *page;
82
83         if (hwdev->dma_mask == NULL)
84                 return NULL;
85
86         gfp &= ~(__GFP_DMA | __GFP_HIGHMEM | __GFP_DMA32);
87         gfp |= __GFP_ZERO;
88
89         dma_mask = hwdev->coherent_dma_mask;
90         if (!dma_mask)
91                 dma_mask = *(hwdev->dma_mask);
92
93         if (dma_mask < DMA_24BIT_MASK)
94                 return NULL;
95
96         node = dev_to_node(hwdev);
97
98 #ifdef CONFIG_X86_64
99         if (dma_mask <= DMA_32BIT_MASK)
100                 gfp |= GFP_DMA32;
101 #endif
102
103         /* No alloc-free penalty for ISA devices */
104         if (dma_mask == DMA_24BIT_MASK)
105                 gfp |= GFP_DMA;
106
107 again:
108         page = alloc_pages_node(node, gfp, get_order(size));
109         if (!page)
110                 return NULL;
111
112         if ((page_to_phys(page) + size > dma_mask) && !(gfp & GFP_DMA)) {
113                 free_pages((unsigned long)page_address(page), get_order(size));
114                 gfp |= GFP_DMA;
115                 goto again;
116         }
117
118         *dma_addr = page_to_phys(page);
119         if (check_addr("alloc_coherent", hwdev, *dma_addr, size)) {
120                 flush_write_buffers();
121                 return page_address(page);
122         }
123
124         free_pages((unsigned long)page_address(page), get_order(size));
125
126         return NULL;
127 }
128
129 struct dma_mapping_ops nommu_dma_ops = {
130         .alloc_coherent = nommu_alloc_coherent,
131         .map_single = nommu_map_single,
132         .map_sg = nommu_map_sg,
133         .is_phys = 1,
134 };
135
136 void __init no_iommu_init(void)
137 {
138         if (dma_ops)
139                 return;
140
141         force_iommu = 0; /* no HW IOMMU */
142         dma_ops = &nommu_dma_ops;
143 }