PCI: fix 64-vbit prefetchable memory resource BARs
[linux-2.6.git] / drivers / pci / probe.c
1 /*
2  * probe.c - PCI detection and setup code
3  */
4
5 #include <linux/kernel.h>
6 #include <linux/delay.h>
7 #include <linux/init.h>
8 #include <linux/pci.h>
9 #include <linux/slab.h>
10 #include <linux/module.h>
11 #include <linux/cpumask.h>
12 #include <linux/pci-aspm.h>
13 #include "pci.h"
14
15 #define CARDBUS_LATENCY_TIMER   176     /* secondary latency timer */
16 #define CARDBUS_RESERVE_BUSNR   3
17
18 /* Ugh.  Need to stop exporting this to modules. */
19 LIST_HEAD(pci_root_buses);
20 EXPORT_SYMBOL(pci_root_buses);
21
22
23 static int find_anything(struct device *dev, void *data)
24 {
25         return 1;
26 }
27
28 /*
29  * Some device drivers need know if pci is initiated.
30  * Basically, we think pci is not initiated when there
31  * is no device to be found on the pci_bus_type.
32  */
33 int no_pci_devices(void)
34 {
35         struct device *dev;
36         int no_devices;
37
38         dev = bus_find_device(&pci_bus_type, NULL, NULL, find_anything);
39         no_devices = (dev == NULL);
40         put_device(dev);
41         return no_devices;
42 }
43 EXPORT_SYMBOL(no_pci_devices);
44
45 #ifdef HAVE_PCI_LEGACY
46 /**
47  * pci_create_legacy_files - create legacy I/O port and memory files
48  * @b: bus to create files under
49  *
50  * Some platforms allow access to legacy I/O port and ISA memory space on
51  * a per-bus basis.  This routine creates the files and ties them into
52  * their associated read, write and mmap files from pci-sysfs.c
53  *
54  * On error unwind, but don't propogate the error to the caller
55  * as it is ok to set up the PCI bus without these files.
56  */
57 static void pci_create_legacy_files(struct pci_bus *b)
58 {
59         int error;
60
61         b->legacy_io = kzalloc(sizeof(struct bin_attribute) * 2,
62                                GFP_ATOMIC);
63         if (!b->legacy_io)
64                 goto kzalloc_err;
65
66         b->legacy_io->attr.name = "legacy_io";
67         b->legacy_io->size = 0xffff;
68         b->legacy_io->attr.mode = S_IRUSR | S_IWUSR;
69         b->legacy_io->read = pci_read_legacy_io;
70         b->legacy_io->write = pci_write_legacy_io;
71         error = device_create_bin_file(&b->dev, b->legacy_io);
72         if (error)
73                 goto legacy_io_err;
74
75         /* Allocated above after the legacy_io struct */
76         b->legacy_mem = b->legacy_io + 1;
77         b->legacy_mem->attr.name = "legacy_mem";
78         b->legacy_mem->size = 1024*1024;
79         b->legacy_mem->attr.mode = S_IRUSR | S_IWUSR;
80         b->legacy_mem->mmap = pci_mmap_legacy_mem;
81         error = device_create_bin_file(&b->dev, b->legacy_mem);
82         if (error)
83                 goto legacy_mem_err;
84
85         return;
86
87 legacy_mem_err:
88         device_remove_bin_file(&b->dev, b->legacy_io);
89 legacy_io_err:
90         kfree(b->legacy_io);
91         b->legacy_io = NULL;
92 kzalloc_err:
93         printk(KERN_WARNING "pci: warning: could not create legacy I/O port "
94                "and ISA memory resources to sysfs\n");
95         return;
96 }
97
98 void pci_remove_legacy_files(struct pci_bus *b)
99 {
100         if (b->legacy_io) {
101                 device_remove_bin_file(&b->dev, b->legacy_io);
102                 device_remove_bin_file(&b->dev, b->legacy_mem);
103                 kfree(b->legacy_io); /* both are allocated here */
104         }
105 }
106 #else /* !HAVE_PCI_LEGACY */
107 static inline void pci_create_legacy_files(struct pci_bus *bus) { return; }
108 void pci_remove_legacy_files(struct pci_bus *bus) { return; }
109 #endif /* HAVE_PCI_LEGACY */
110
111 /*
112  * PCI Bus Class Devices
113  */
114 static ssize_t pci_bus_show_cpuaffinity(struct device *dev,
115                                         int type,
116                                         struct device_attribute *attr,
117                                         char *buf)
118 {
119         int ret;
120         cpumask_t cpumask;
121
122         cpumask = pcibus_to_cpumask(to_pci_bus(dev));
123         ret = type?
124                 cpulist_scnprintf(buf, PAGE_SIZE-2, cpumask):
125                 cpumask_scnprintf(buf, PAGE_SIZE-2, cpumask);
126         buf[ret++] = '\n';
127         buf[ret] = '\0';
128         return ret;
129 }
130
131 static ssize_t inline pci_bus_show_cpumaskaffinity(struct device *dev,
132                                         struct device_attribute *attr,
133                                         char *buf)
134 {
135         return pci_bus_show_cpuaffinity(dev, 0, attr, buf);
136 }
137
138 static ssize_t inline pci_bus_show_cpulistaffinity(struct device *dev,
139                                         struct device_attribute *attr,
140                                         char *buf)
141 {
142         return pci_bus_show_cpuaffinity(dev, 1, attr, buf);
143 }
144
145 DEVICE_ATTR(cpuaffinity,     S_IRUGO, pci_bus_show_cpumaskaffinity, NULL);
146 DEVICE_ATTR(cpulistaffinity, S_IRUGO, pci_bus_show_cpulistaffinity, NULL);
147
148 /*
149  * PCI Bus Class
150  */
151 static void release_pcibus_dev(struct device *dev)
152 {
153         struct pci_bus *pci_bus = to_pci_bus(dev);
154
155         if (pci_bus->bridge)
156                 put_device(pci_bus->bridge);
157         kfree(pci_bus);
158 }
159
160 static struct class pcibus_class = {
161         .name           = "pci_bus",
162         .dev_release    = &release_pcibus_dev,
163 };
164
165 static int __init pcibus_class_init(void)
166 {
167         return class_register(&pcibus_class);
168 }
169 postcore_initcall(pcibus_class_init);
170
171 /*
172  * Translate the low bits of the PCI base
173  * to the resource type
174  */
175 static inline unsigned int pci_calc_resource_flags(unsigned int flags)
176 {
177         if (flags & PCI_BASE_ADDRESS_SPACE_IO)
178                 return IORESOURCE_IO;
179
180         if (flags & PCI_BASE_ADDRESS_MEM_PREFETCH)
181                 return IORESOURCE_MEM | IORESOURCE_PREFETCH;
182
183         return IORESOURCE_MEM;
184 }
185
186 static u64 pci_size(u64 base, u64 maxbase, u64 mask)
187 {
188         u64 size = mask & maxbase;      /* Find the significant bits */
189         if (!size)
190                 return 0;
191
192         /* Get the lowest of them to find the decode size, and
193            from that the extent.  */
194         size = (size & ~(size-1)) - 1;
195
196         /* base == maxbase can be valid only if the BAR has
197            already been programmed with all 1s.  */
198         if (base == maxbase && ((base | size) & mask) != mask)
199                 return 0;
200
201         return size;
202 }
203
204 enum pci_bar_type {
205         pci_bar_unknown,        /* Standard PCI BAR probe */
206         pci_bar_io,             /* An io port BAR */
207         pci_bar_mem32,          /* A 32-bit memory BAR */
208         pci_bar_mem64,          /* A 64-bit memory BAR */
209 };
210
211 static inline enum pci_bar_type decode_bar(struct resource *res, u32 bar)
212 {
213         if ((bar & PCI_BASE_ADDRESS_SPACE) == PCI_BASE_ADDRESS_SPACE_IO) {
214                 res->flags = bar & ~PCI_BASE_ADDRESS_IO_MASK;
215                 return pci_bar_io;
216         }
217
218         res->flags = bar & ~PCI_BASE_ADDRESS_MEM_MASK;
219
220         if (res->flags & PCI_BASE_ADDRESS_MEM_TYPE_64)
221                 return pci_bar_mem64;
222         return pci_bar_mem32;
223 }
224
225 /*
226  * If the type is not unknown, we assume that the lowest bit is 'enable'.
227  * Returns 1 if the BAR was 64-bit and 0 if it was 32-bit.
228  */
229 static int __pci_read_base(struct pci_dev *dev, enum pci_bar_type type,
230                         struct resource *res, unsigned int pos)
231 {
232         u32 l, sz, mask;
233
234         mask = type ? ~PCI_ROM_ADDRESS_ENABLE : ~0;
235
236         res->name = pci_name(dev);
237
238         pci_read_config_dword(dev, pos, &l);
239         pci_write_config_dword(dev, pos, mask);
240         pci_read_config_dword(dev, pos, &sz);
241         pci_write_config_dword(dev, pos, l);
242
243         /*
244          * All bits set in sz means the device isn't working properly.
245          * If the BAR isn't implemented, all bits must be 0.  If it's a
246          * memory BAR or a ROM, bit 0 must be clear; if it's an io BAR, bit
247          * 1 must be clear.
248          */
249         if (!sz || sz == 0xffffffff)
250                 goto fail;
251
252         /*
253          * I don't know how l can have all bits set.  Copied from old code.
254          * Maybe it fixes a bug on some ancient platform.
255          */
256         if (l == 0xffffffff)
257                 l = 0;
258
259         if (type == pci_bar_unknown) {
260                 type = decode_bar(res, l);
261                 res->flags |= pci_calc_resource_flags(l) | IORESOURCE_SIZEALIGN;
262                 if (type == pci_bar_io) {
263                         l &= PCI_BASE_ADDRESS_IO_MASK;
264                         mask = PCI_BASE_ADDRESS_IO_MASK & 0xffff;
265                 } else {
266                         l &= PCI_BASE_ADDRESS_MEM_MASK;
267                         mask = (u32)PCI_BASE_ADDRESS_MEM_MASK;
268                 }
269         } else {
270                 res->flags |= (l & IORESOURCE_ROM_ENABLE);
271                 l &= PCI_ROM_ADDRESS_MASK;
272                 mask = (u32)PCI_ROM_ADDRESS_MASK;
273         }
274
275         if (type == pci_bar_mem64) {
276                 u64 l64 = l;
277                 u64 sz64 = sz;
278                 u64 mask64 = mask | (u64)~0 << 32;
279
280                 pci_read_config_dword(dev, pos + 4, &l);
281                 pci_write_config_dword(dev, pos + 4, ~0);
282                 pci_read_config_dword(dev, pos + 4, &sz);
283                 pci_write_config_dword(dev, pos + 4, l);
284
285                 l64 |= ((u64)l << 32);
286                 sz64 |= ((u64)sz << 32);
287
288                 sz64 = pci_size(l64, sz64, mask64);
289
290                 if (!sz64)
291                         goto fail;
292
293                 if ((sizeof(resource_size_t) < 8) && (sz64 > 0x100000000ULL)) {
294                         dev_err(&dev->dev, "can't handle 64-bit BAR\n");
295                         goto fail;
296                 } else if ((sizeof(resource_size_t) < 8) && l) {
297                         /* Address above 32-bit boundary; disable the BAR */
298                         pci_write_config_dword(dev, pos, 0);
299                         pci_write_config_dword(dev, pos + 4, 0);
300                         res->start = 0;
301                         res->end = sz64;
302                 } else {
303                         res->start = l64;
304                         res->end = l64 + sz64;
305                         printk(KERN_DEBUG "PCI: %s reg %x 64bit mmio: %pR\n",
306                                 pci_name(dev), pos, res);
307                 }
308         } else {
309                 sz = pci_size(l, sz, mask);
310
311                 if (!sz)
312                         goto fail;
313
314                 res->start = l;
315                 res->end = l + sz;
316                 printk(KERN_DEBUG "PCI: %s reg %x %s: %pR\n",
317                        pci_name(dev), pos,
318                        (res->flags & IORESOURCE_IO) ? "io port":"32bit mmio",
319                        res);
320         }
321
322  out:
323         return (type == pci_bar_mem64) ? 1 : 0;
324  fail:
325         res->flags = 0;
326         goto out;
327 }
328
329 static void pci_read_bases(struct pci_dev *dev, unsigned int howmany, int rom)
330 {
331         unsigned int pos, reg;
332
333         for (pos = 0; pos < howmany; pos++) {
334                 struct resource *res = &dev->resource[pos];
335                 reg = PCI_BASE_ADDRESS_0 + (pos << 2);
336                 pos += __pci_read_base(dev, pci_bar_unknown, res, reg);
337         }
338
339         if (rom) {
340                 struct resource *res = &dev->resource[PCI_ROM_RESOURCE];
341                 dev->rom_base_reg = rom;
342                 res->flags = IORESOURCE_MEM | IORESOURCE_PREFETCH |
343                                 IORESOURCE_READONLY | IORESOURCE_CACHEABLE |
344                                 IORESOURCE_SIZEALIGN;
345                 __pci_read_base(dev, pci_bar_mem32, res, rom);
346         }
347 }
348
349 void __devinit pci_read_bridge_bases(struct pci_bus *child)
350 {
351         struct pci_dev *dev = child->self;
352         u8 io_base_lo, io_limit_lo;
353         u16 mem_base_lo, mem_limit_lo;
354         unsigned long base, limit;
355         struct resource *res;
356         int i;
357
358         if (!dev)               /* It's a host bus, nothing to read */
359                 return;
360
361         if (dev->transparent) {
362                 dev_info(&dev->dev, "transparent bridge\n");
363                 for(i = 3; i < PCI_BUS_NUM_RESOURCES; i++)
364                         child->resource[i] = child->parent->resource[i - 3];
365         }
366
367         for(i=0; i<3; i++)
368                 child->resource[i] = &dev->resource[PCI_BRIDGE_RESOURCES+i];
369
370         res = child->resource[0];
371         pci_read_config_byte(dev, PCI_IO_BASE, &io_base_lo);
372         pci_read_config_byte(dev, PCI_IO_LIMIT, &io_limit_lo);
373         base = (io_base_lo & PCI_IO_RANGE_MASK) << 8;
374         limit = (io_limit_lo & PCI_IO_RANGE_MASK) << 8;
375
376         if ((io_base_lo & PCI_IO_RANGE_TYPE_MASK) == PCI_IO_RANGE_TYPE_32) {
377                 u16 io_base_hi, io_limit_hi;
378                 pci_read_config_word(dev, PCI_IO_BASE_UPPER16, &io_base_hi);
379                 pci_read_config_word(dev, PCI_IO_LIMIT_UPPER16, &io_limit_hi);
380                 base |= (io_base_hi << 16);
381                 limit |= (io_limit_hi << 16);
382         }
383
384         if (base <= limit) {
385                 res->flags = (io_base_lo & PCI_IO_RANGE_TYPE_MASK) | IORESOURCE_IO;
386                 if (!res->start)
387                         res->start = base;
388                 if (!res->end)
389                         res->end = limit + 0xfff;
390                 printk(KERN_DEBUG "PCI: bridge %s io port: %pR\n",
391                        pci_name(dev), res);
392         }
393
394         res = child->resource[1];
395         pci_read_config_word(dev, PCI_MEMORY_BASE, &mem_base_lo);
396         pci_read_config_word(dev, PCI_MEMORY_LIMIT, &mem_limit_lo);
397         base = (mem_base_lo & PCI_MEMORY_RANGE_MASK) << 16;
398         limit = (mem_limit_lo & PCI_MEMORY_RANGE_MASK) << 16;
399         if (base <= limit) {
400                 res->flags = (mem_base_lo & PCI_MEMORY_RANGE_TYPE_MASK) | IORESOURCE_MEM;
401                 res->start = base;
402                 res->end = limit + 0xfffff;
403                 printk(KERN_DEBUG "PCI: bridge %s 32bit mmio: %pR\n",
404                        pci_name(dev), res);
405         }
406
407         res = child->resource[2];
408         pci_read_config_word(dev, PCI_PREF_MEMORY_BASE, &mem_base_lo);
409         pci_read_config_word(dev, PCI_PREF_MEMORY_LIMIT, &mem_limit_lo);
410         base = (mem_base_lo & PCI_PREF_RANGE_MASK) << 16;
411         limit = (mem_limit_lo & PCI_PREF_RANGE_MASK) << 16;
412
413         if ((mem_base_lo & PCI_PREF_RANGE_TYPE_MASK) == PCI_PREF_RANGE_TYPE_64) {
414                 u32 mem_base_hi, mem_limit_hi;
415                 pci_read_config_dword(dev, PCI_PREF_BASE_UPPER32, &mem_base_hi);
416                 pci_read_config_dword(dev, PCI_PREF_LIMIT_UPPER32, &mem_limit_hi);
417
418                 /*
419                  * Some bridges set the base > limit by default, and some
420                  * (broken) BIOSes do not initialize them.  If we find
421                  * this, just assume they are not being used.
422                  */
423                 if (mem_base_hi <= mem_limit_hi) {
424 #if BITS_PER_LONG == 64
425                         base |= ((long) mem_base_hi) << 32;
426                         limit |= ((long) mem_limit_hi) << 32;
427 #else
428                         if (mem_base_hi || mem_limit_hi) {
429                                 dev_err(&dev->dev, "can't handle 64-bit "
430                                         "address space for bridge\n");
431                                 return;
432                         }
433 #endif
434                 }
435         }
436         if (base <= limit) {
437                 res->flags = (mem_base_lo & PCI_MEMORY_RANGE_TYPE_MASK) | IORESOURCE_MEM | IORESOURCE_PREFETCH;
438                 res->start = base;
439                 res->end = limit + 0xfffff;
440                 printk(KERN_DEBUG "PCI: bridge %s %sbit mmio pref: %pR\n",
441                        pci_name(dev),
442                        (res->flags & PCI_PREF_RANGE_TYPE_64) ? "64":"32", res);
443         }
444 }
445
446 static struct pci_bus * pci_alloc_bus(void)
447 {
448         struct pci_bus *b;
449
450         b = kzalloc(sizeof(*b), GFP_KERNEL);
451         if (b) {
452                 INIT_LIST_HEAD(&b->node);
453                 INIT_LIST_HEAD(&b->children);
454                 INIT_LIST_HEAD(&b->devices);
455                 INIT_LIST_HEAD(&b->slots);
456         }
457         return b;
458 }
459
460 static struct pci_bus *pci_alloc_child_bus(struct pci_bus *parent,
461                                            struct pci_dev *bridge, int busnr)
462 {
463         struct pci_bus *child;
464         int i;
465
466         /*
467          * Allocate a new bus, and inherit stuff from the parent..
468          */
469         child = pci_alloc_bus();
470         if (!child)
471                 return NULL;
472
473         child->self = bridge;
474         child->parent = parent;
475         child->ops = parent->ops;
476         child->sysdata = parent->sysdata;
477         child->bus_flags = parent->bus_flags;
478         child->bridge = get_device(&bridge->dev);
479
480         /* initialize some portions of the bus device, but don't register it
481          * now as the parent is not properly set up yet.  This device will get
482          * registered later in pci_bus_add_devices()
483          */
484         child->dev.class = &pcibus_class;
485         sprintf(child->dev.bus_id, "%04x:%02x", pci_domain_nr(child), busnr);
486
487         /*
488          * Set up the primary, secondary and subordinate
489          * bus numbers.
490          */
491         child->number = child->secondary = busnr;
492         child->primary = parent->secondary;
493         child->subordinate = 0xff;
494
495         /* Set up default resource pointers and names.. */
496         for (i = 0; i < 4; i++) {
497                 child->resource[i] = &bridge->resource[PCI_BRIDGE_RESOURCES+i];
498                 child->resource[i]->name = child->name;
499         }
500         bridge->subordinate = child;
501
502         return child;
503 }
504
505 struct pci_bus *__ref pci_add_new_bus(struct pci_bus *parent, struct pci_dev *dev, int busnr)
506 {
507         struct pci_bus *child;
508
509         child = pci_alloc_child_bus(parent, dev, busnr);
510         if (child) {
511                 down_write(&pci_bus_sem);
512                 list_add_tail(&child->node, &parent->children);
513                 up_write(&pci_bus_sem);
514         }
515         return child;
516 }
517
518 static void pci_fixup_parent_subordinate_busnr(struct pci_bus *child, int max)
519 {
520         struct pci_bus *parent = child->parent;
521
522         /* Attempts to fix that up are really dangerous unless
523            we're going to re-assign all bus numbers. */
524         if (!pcibios_assign_all_busses())
525                 return;
526
527         while (parent->parent && parent->subordinate < max) {
528                 parent->subordinate = max;
529                 pci_write_config_byte(parent->self, PCI_SUBORDINATE_BUS, max);
530                 parent = parent->parent;
531         }
532 }
533
534 /*
535  * If it's a bridge, configure it and scan the bus behind it.
536  * For CardBus bridges, we don't scan behind as the devices will
537  * be handled by the bridge driver itself.
538  *
539  * We need to process bridges in two passes -- first we scan those
540  * already configured by the BIOS and after we are done with all of
541  * them, we proceed to assigning numbers to the remaining buses in
542  * order to avoid overlaps between old and new bus numbers.
543  */
544 int __devinit pci_scan_bridge(struct pci_bus *bus, struct pci_dev *dev, int max, int pass)
545 {
546         struct pci_bus *child;
547         int is_cardbus = (dev->hdr_type == PCI_HEADER_TYPE_CARDBUS);
548         u32 buses, i, j = 0;
549         u16 bctl;
550
551         pci_read_config_dword(dev, PCI_PRIMARY_BUS, &buses);
552
553         dev_dbg(&dev->dev, "scanning behind bridge, config %06x, pass %d\n",
554                 buses & 0xffffff, pass);
555
556         /* Disable MasterAbortMode during probing to avoid reporting
557            of bus errors (in some architectures) */ 
558         pci_read_config_word(dev, PCI_BRIDGE_CONTROL, &bctl);
559         pci_write_config_word(dev, PCI_BRIDGE_CONTROL,
560                               bctl & ~PCI_BRIDGE_CTL_MASTER_ABORT);
561
562         if ((buses & 0xffff00) && !pcibios_assign_all_busses() && !is_cardbus) {
563                 unsigned int cmax, busnr;
564                 /*
565                  * Bus already configured by firmware, process it in the first
566                  * pass and just note the configuration.
567                  */
568                 if (pass)
569                         goto out;
570                 busnr = (buses >> 8) & 0xFF;
571
572                 /*
573                  * If we already got to this bus through a different bridge,
574                  * ignore it.  This can happen with the i450NX chipset.
575                  */
576                 if (pci_find_bus(pci_domain_nr(bus), busnr)) {
577                         dev_info(&dev->dev, "bus %04x:%02x already known\n",
578                                  pci_domain_nr(bus), busnr);
579                         goto out;
580                 }
581
582                 child = pci_add_new_bus(bus, dev, busnr);
583                 if (!child)
584                         goto out;
585                 child->primary = buses & 0xFF;
586                 child->subordinate = (buses >> 16) & 0xFF;
587                 child->bridge_ctl = bctl;
588
589                 cmax = pci_scan_child_bus(child);
590                 if (cmax > max)
591                         max = cmax;
592                 if (child->subordinate > max)
593                         max = child->subordinate;
594         } else {
595                 /*
596                  * We need to assign a number to this bus which we always
597                  * do in the second pass.
598                  */
599                 if (!pass) {
600                         if (pcibios_assign_all_busses())
601                                 /* Temporarily disable forwarding of the
602                                    configuration cycles on all bridges in
603                                    this bus segment to avoid possible
604                                    conflicts in the second pass between two
605                                    bridges programmed with overlapping
606                                    bus ranges. */
607                                 pci_write_config_dword(dev, PCI_PRIMARY_BUS,
608                                                        buses & ~0xffffff);
609                         goto out;
610                 }
611
612                 /* Clear errors */
613                 pci_write_config_word(dev, PCI_STATUS, 0xffff);
614
615                 /* Prevent assigning a bus number that already exists.
616                  * This can happen when a bridge is hot-plugged */
617                 if (pci_find_bus(pci_domain_nr(bus), max+1))
618                         goto out;
619                 child = pci_add_new_bus(bus, dev, ++max);
620                 buses = (buses & 0xff000000)
621                       | ((unsigned int)(child->primary)     <<  0)
622                       | ((unsigned int)(child->secondary)   <<  8)
623                       | ((unsigned int)(child->subordinate) << 16);
624
625                 /*
626                  * yenta.c forces a secondary latency timer of 176.
627                  * Copy that behaviour here.
628                  */
629                 if (is_cardbus) {
630                         buses &= ~0xff000000;
631                         buses |= CARDBUS_LATENCY_TIMER << 24;
632                 }
633                         
634                 /*
635                  * We need to blast all three values with a single write.
636                  */
637                 pci_write_config_dword(dev, PCI_PRIMARY_BUS, buses);
638
639                 if (!is_cardbus) {
640                         child->bridge_ctl = bctl;
641                         /*
642                          * Adjust subordinate busnr in parent buses.
643                          * We do this before scanning for children because
644                          * some devices may not be detected if the bios
645                          * was lazy.
646                          */
647                         pci_fixup_parent_subordinate_busnr(child, max);
648                         /* Now we can scan all subordinate buses... */
649                         max = pci_scan_child_bus(child);
650                         /*
651                          * now fix it up again since we have found
652                          * the real value of max.
653                          */
654                         pci_fixup_parent_subordinate_busnr(child, max);
655                 } else {
656                         /*
657                          * For CardBus bridges, we leave 4 bus numbers
658                          * as cards with a PCI-to-PCI bridge can be
659                          * inserted later.
660                          */
661                         for (i=0; i<CARDBUS_RESERVE_BUSNR; i++) {
662                                 struct pci_bus *parent = bus;
663                                 if (pci_find_bus(pci_domain_nr(bus),
664                                                         max+i+1))
665                                         break;
666                                 while (parent->parent) {
667                                         if ((!pcibios_assign_all_busses()) &&
668                                             (parent->subordinate > max) &&
669                                             (parent->subordinate <= max+i)) {
670                                                 j = 1;
671                                         }
672                                         parent = parent->parent;
673                                 }
674                                 if (j) {
675                                         /*
676                                          * Often, there are two cardbus bridges
677                                          * -- try to leave one valid bus number
678                                          * for each one.
679                                          */
680                                         i /= 2;
681                                         break;
682                                 }
683                         }
684                         max += i;
685                         pci_fixup_parent_subordinate_busnr(child, max);
686                 }
687                 /*
688                  * Set the subordinate bus number to its real value.
689                  */
690                 child->subordinate = max;
691                 pci_write_config_byte(dev, PCI_SUBORDINATE_BUS, max);
692         }
693
694         sprintf(child->name,
695                 (is_cardbus ? "PCI CardBus %04x:%02x" : "PCI Bus %04x:%02x"),
696                 pci_domain_nr(bus), child->number);
697
698         /* Has only triggered on CardBus, fixup is in yenta_socket */
699         while (bus->parent) {
700                 if ((child->subordinate > bus->subordinate) ||
701                     (child->number > bus->subordinate) ||
702                     (child->number < bus->number) ||
703                     (child->subordinate < bus->number)) {
704                         pr_debug("PCI: Bus #%02x (-#%02x) is %s "
705                                 "hidden behind%s bridge #%02x (-#%02x)\n",
706                                 child->number, child->subordinate,
707                                 (bus->number > child->subordinate &&
708                                  bus->subordinate < child->number) ?
709                                         "wholly" : "partially",
710                                 bus->self->transparent ? " transparent" : "",
711                                 bus->number, bus->subordinate);
712                 }
713                 bus = bus->parent;
714         }
715
716 out:
717         pci_write_config_word(dev, PCI_BRIDGE_CONTROL, bctl);
718
719         return max;
720 }
721
722 /*
723  * Read interrupt line and base address registers.
724  * The architecture-dependent code can tweak these, of course.
725  */
726 static void pci_read_irq(struct pci_dev *dev)
727 {
728         unsigned char irq;
729
730         pci_read_config_byte(dev, PCI_INTERRUPT_PIN, &irq);
731         dev->pin = irq;
732         if (irq)
733                 pci_read_config_byte(dev, PCI_INTERRUPT_LINE, &irq);
734         dev->irq = irq;
735 }
736
737 #define LEGACY_IO_RESOURCE      (IORESOURCE_IO | IORESOURCE_PCI_FIXED)
738
739 /**
740  * pci_setup_device - fill in class and map information of a device
741  * @dev: the device structure to fill
742  *
743  * Initialize the device structure with information about the device's 
744  * vendor,class,memory and IO-space addresses,IRQ lines etc.
745  * Called at initialisation of the PCI subsystem and by CardBus services.
746  * Returns 0 on success and -1 if unknown type of device (not normal, bridge
747  * or CardBus).
748  */
749 static int pci_setup_device(struct pci_dev * dev)
750 {
751         u32 class;
752
753         dev_set_name(&dev->dev, "%04x:%02x:%02x.%d", pci_domain_nr(dev->bus),
754                      dev->bus->number, PCI_SLOT(dev->devfn),
755                      PCI_FUNC(dev->devfn));
756
757         pci_read_config_dword(dev, PCI_CLASS_REVISION, &class);
758         dev->revision = class & 0xff;
759         class >>= 8;                                /* upper 3 bytes */
760         dev->class = class;
761         class >>= 8;
762
763         dev_dbg(&dev->dev, "found [%04x:%04x] class %06x header type %02x\n",
764                  dev->vendor, dev->device, class, dev->hdr_type);
765
766         /* "Unknown power state" */
767         dev->current_state = PCI_UNKNOWN;
768
769         /* Early fixups, before probing the BARs */
770         pci_fixup_device(pci_fixup_early, dev);
771         class = dev->class >> 8;
772
773         switch (dev->hdr_type) {                    /* header type */
774         case PCI_HEADER_TYPE_NORMAL:                /* standard header */
775                 if (class == PCI_CLASS_BRIDGE_PCI)
776                         goto bad;
777                 pci_read_irq(dev);
778                 pci_read_bases(dev, 6, PCI_ROM_ADDRESS);
779                 pci_read_config_word(dev, PCI_SUBSYSTEM_VENDOR_ID, &dev->subsystem_vendor);
780                 pci_read_config_word(dev, PCI_SUBSYSTEM_ID, &dev->subsystem_device);
781
782                 /*
783                  *      Do the ugly legacy mode stuff here rather than broken chip
784                  *      quirk code. Legacy mode ATA controllers have fixed
785                  *      addresses. These are not always echoed in BAR0-3, and
786                  *      BAR0-3 in a few cases contain junk!
787                  */
788                 if (class == PCI_CLASS_STORAGE_IDE) {
789                         u8 progif;
790                         pci_read_config_byte(dev, PCI_CLASS_PROG, &progif);
791                         if ((progif & 1) == 0) {
792                                 dev->resource[0].start = 0x1F0;
793                                 dev->resource[0].end = 0x1F7;
794                                 dev->resource[0].flags = LEGACY_IO_RESOURCE;
795                                 dev->resource[1].start = 0x3F6;
796                                 dev->resource[1].end = 0x3F6;
797                                 dev->resource[1].flags = LEGACY_IO_RESOURCE;
798                         }
799                         if ((progif & 4) == 0) {
800                                 dev->resource[2].start = 0x170;
801                                 dev->resource[2].end = 0x177;
802                                 dev->resource[2].flags = LEGACY_IO_RESOURCE;
803                                 dev->resource[3].start = 0x376;
804                                 dev->resource[3].end = 0x376;
805                                 dev->resource[3].flags = LEGACY_IO_RESOURCE;
806                         }
807                 }
808                 break;
809
810         case PCI_HEADER_TYPE_BRIDGE:                /* bridge header */
811                 if (class != PCI_CLASS_BRIDGE_PCI)
812                         goto bad;
813                 /* The PCI-to-PCI bridge spec requires that subtractive
814                    decoding (i.e. transparent) bridge must have programming
815                    interface code of 0x01. */ 
816                 pci_read_irq(dev);
817                 dev->transparent = ((dev->class & 0xff) == 1);
818                 pci_read_bases(dev, 2, PCI_ROM_ADDRESS1);
819                 break;
820
821         case PCI_HEADER_TYPE_CARDBUS:               /* CardBus bridge header */
822                 if (class != PCI_CLASS_BRIDGE_CARDBUS)
823                         goto bad;
824                 pci_read_irq(dev);
825                 pci_read_bases(dev, 1, 0);
826                 pci_read_config_word(dev, PCI_CB_SUBSYSTEM_VENDOR_ID, &dev->subsystem_vendor);
827                 pci_read_config_word(dev, PCI_CB_SUBSYSTEM_ID, &dev->subsystem_device);
828                 break;
829
830         default:                                    /* unknown header */
831                 dev_err(&dev->dev, "unknown header type %02x, "
832                         "ignoring device\n", dev->hdr_type);
833                 return -1;
834
835         bad:
836                 dev_err(&dev->dev, "ignoring class %02x (doesn't match header "
837                         "type %02x)\n", class, dev->hdr_type);
838                 dev->class = PCI_CLASS_NOT_DEFINED;
839         }
840
841         /* We found a fine healthy device, go go go... */
842         return 0;
843 }
844
845 /**
846  * pci_release_dev - free a pci device structure when all users of it are finished.
847  * @dev: device that's been disconnected
848  *
849  * Will be called only by the device core when all users of this pci device are
850  * done.
851  */
852 static void pci_release_dev(struct device *dev)
853 {
854         struct pci_dev *pci_dev;
855
856         pci_dev = to_pci_dev(dev);
857         pci_vpd_release(pci_dev);
858         kfree(pci_dev);
859 }
860
861 static void set_pcie_port_type(struct pci_dev *pdev)
862 {
863         int pos;
864         u16 reg16;
865
866         pos = pci_find_capability(pdev, PCI_CAP_ID_EXP);
867         if (!pos)
868                 return;
869         pdev->is_pcie = 1;
870         pci_read_config_word(pdev, pos + PCI_EXP_FLAGS, &reg16);
871         pdev->pcie_type = (reg16 & PCI_EXP_FLAGS_TYPE) >> 4;
872 }
873
874 /**
875  * pci_cfg_space_size - get the configuration space size of the PCI device.
876  * @dev: PCI device
877  *
878  * Regular PCI devices have 256 bytes, but PCI-X 2 and PCI Express devices
879  * have 4096 bytes.  Even if the device is capable, that doesn't mean we can
880  * access it.  Maybe we don't have a way to generate extended config space
881  * accesses, or the device is behind a reverse Express bridge.  So we try
882  * reading the dword at 0x100 which must either be 0 or a valid extended
883  * capability header.
884  */
885 int pci_cfg_space_size_ext(struct pci_dev *dev)
886 {
887         u32 status;
888         int pos = PCI_CFG_SPACE_SIZE;
889
890         if (pci_read_config_dword(dev, pos, &status) != PCIBIOS_SUCCESSFUL)
891                 goto fail;
892         if (status == 0xffffffff)
893                 goto fail;
894
895         return PCI_CFG_SPACE_EXP_SIZE;
896
897  fail:
898         return PCI_CFG_SPACE_SIZE;
899 }
900
901 int pci_cfg_space_size(struct pci_dev *dev)
902 {
903         int pos;
904         u32 status;
905
906         pos = pci_find_capability(dev, PCI_CAP_ID_EXP);
907         if (!pos) {
908                 pos = pci_find_capability(dev, PCI_CAP_ID_PCIX);
909                 if (!pos)
910                         goto fail;
911
912                 pci_read_config_dword(dev, pos + PCI_X_STATUS, &status);
913                 if (!(status & (PCI_X_STATUS_266MHZ | PCI_X_STATUS_533MHZ)))
914                         goto fail;
915         }
916
917         return pci_cfg_space_size_ext(dev);
918
919  fail:
920         return PCI_CFG_SPACE_SIZE;
921 }
922
923 static void pci_release_bus_bridge_dev(struct device *dev)
924 {
925         kfree(dev);
926 }
927
928 struct pci_dev *alloc_pci_dev(void)
929 {
930         struct pci_dev *dev;
931
932         dev = kzalloc(sizeof(struct pci_dev), GFP_KERNEL);
933         if (!dev)
934                 return NULL;
935
936         INIT_LIST_HEAD(&dev->bus_list);
937
938         pci_msi_init_pci_dev(dev);
939
940         return dev;
941 }
942 EXPORT_SYMBOL(alloc_pci_dev);
943
944 /*
945  * Read the config data for a PCI device, sanity-check it
946  * and fill in the dev structure...
947  */
948 static struct pci_dev *pci_scan_device(struct pci_bus *bus, int devfn)
949 {
950         struct pci_dev *dev;
951         struct pci_slot *slot;
952         u32 l;
953         u8 hdr_type;
954         int delay = 1;
955
956         if (pci_bus_read_config_dword(bus, devfn, PCI_VENDOR_ID, &l))
957                 return NULL;
958
959         /* some broken boards return 0 or ~0 if a slot is empty: */
960         if (l == 0xffffffff || l == 0x00000000 ||
961             l == 0x0000ffff || l == 0xffff0000)
962                 return NULL;
963
964         /* Configuration request Retry Status */
965         while (l == 0xffff0001) {
966                 msleep(delay);
967                 delay *= 2;
968                 if (pci_bus_read_config_dword(bus, devfn, PCI_VENDOR_ID, &l))
969                         return NULL;
970                 /* Card hasn't responded in 60 seconds?  Must be stuck. */
971                 if (delay > 60 * 1000) {
972                         printk(KERN_WARNING "pci %04x:%02x:%02x.%d: not "
973                                         "responding\n", pci_domain_nr(bus),
974                                         bus->number, PCI_SLOT(devfn),
975                                         PCI_FUNC(devfn));
976                         return NULL;
977                 }
978         }
979
980         if (pci_bus_read_config_byte(bus, devfn, PCI_HEADER_TYPE, &hdr_type))
981                 return NULL;
982
983         dev = alloc_pci_dev();
984         if (!dev)
985                 return NULL;
986
987         dev->bus = bus;
988         dev->sysdata = bus->sysdata;
989         dev->dev.parent = bus->bridge;
990         dev->dev.bus = &pci_bus_type;
991         dev->devfn = devfn;
992         dev->hdr_type = hdr_type & 0x7f;
993         dev->multifunction = !!(hdr_type & 0x80);
994         dev->vendor = l & 0xffff;
995         dev->device = (l >> 16) & 0xffff;
996         dev->cfg_size = pci_cfg_space_size(dev);
997         dev->error_state = pci_channel_io_normal;
998         set_pcie_port_type(dev);
999
1000         list_for_each_entry(slot, &bus->slots, list)
1001                 if (PCI_SLOT(devfn) == slot->number)
1002                         dev->slot = slot;
1003
1004         /* Assume 32-bit PCI; let 64-bit PCI cards (which are far rarer)
1005            set this higher, assuming the system even supports it.  */
1006         dev->dma_mask = 0xffffffff;
1007         if (pci_setup_device(dev) < 0) {
1008                 kfree(dev);
1009                 return NULL;
1010         }
1011
1012         pci_vpd_pci22_init(dev);
1013
1014         return dev;
1015 }
1016
1017 void pci_device_add(struct pci_dev *dev, struct pci_bus *bus)
1018 {
1019         device_initialize(&dev->dev);
1020         dev->dev.release = pci_release_dev;
1021         pci_dev_get(dev);
1022
1023         dev->dev.dma_mask = &dev->dma_mask;
1024         dev->dev.dma_parms = &dev->dma_parms;
1025         dev->dev.coherent_dma_mask = 0xffffffffull;
1026
1027         pci_set_dma_max_seg_size(dev, 65536);
1028         pci_set_dma_seg_boundary(dev, 0xffffffff);
1029
1030         /* Fix up broken headers */
1031         pci_fixup_device(pci_fixup_header, dev);
1032
1033         /* Initialize power management of the device */
1034         pci_pm_init(dev);
1035
1036         /*
1037          * Add the device to our list of discovered devices
1038          * and the bus list for fixup functions, etc.
1039          */
1040         down_write(&pci_bus_sem);
1041         list_add_tail(&dev->bus_list, &bus->devices);
1042         up_write(&pci_bus_sem);
1043 }
1044
1045 struct pci_dev *__ref pci_scan_single_device(struct pci_bus *bus, int devfn)
1046 {
1047         struct pci_dev *dev;
1048
1049         dev = pci_scan_device(bus, devfn);
1050         if (!dev)
1051                 return NULL;
1052
1053         pci_device_add(dev, bus);
1054
1055         return dev;
1056 }
1057 EXPORT_SYMBOL(pci_scan_single_device);
1058
1059 /**
1060  * pci_scan_slot - scan a PCI slot on a bus for devices.
1061  * @bus: PCI bus to scan
1062  * @devfn: slot number to scan (must have zero function.)
1063  *
1064  * Scan a PCI slot on the specified PCI bus for devices, adding
1065  * discovered devices to the @bus->devices list.  New devices
1066  * will not have is_added set.
1067  */
1068 int pci_scan_slot(struct pci_bus *bus, int devfn)
1069 {
1070         int func, nr = 0;
1071         int scan_all_fns;
1072
1073         scan_all_fns = pcibios_scan_all_fns(bus, devfn);
1074
1075         for (func = 0; func < 8; func++, devfn++) {
1076                 struct pci_dev *dev;
1077
1078                 dev = pci_scan_single_device(bus, devfn);
1079                 if (dev) {
1080                         nr++;
1081
1082                         /*
1083                          * If this is a single function device,
1084                          * don't scan past the first function.
1085                          */
1086                         if (!dev->multifunction) {
1087                                 if (func > 0) {
1088                                         dev->multifunction = 1;
1089                                 } else {
1090                                         break;
1091                                 }
1092                         }
1093                 } else {
1094                         if (func == 0 && !scan_all_fns)
1095                                 break;
1096                 }
1097         }
1098
1099         /* only one slot has pcie device */
1100         if (bus->self && nr)
1101                 pcie_aspm_init_link_state(bus->self);
1102
1103         return nr;
1104 }
1105
1106 unsigned int __devinit pci_scan_child_bus(struct pci_bus *bus)
1107 {
1108         unsigned int devfn, pass, max = bus->secondary;
1109         struct pci_dev *dev;
1110
1111         pr_debug("PCI: Scanning bus %04x:%02x\n", pci_domain_nr(bus), bus->number);
1112
1113         /* Go find them, Rover! */
1114         for (devfn = 0; devfn < 0x100; devfn += 8)
1115                 pci_scan_slot(bus, devfn);
1116
1117         /*
1118          * After performing arch-dependent fixup of the bus, look behind
1119          * all PCI-to-PCI bridges on this bus.
1120          */
1121         pr_debug("PCI: Fixups for bus %04x:%02x\n", pci_domain_nr(bus), bus->number);
1122         pcibios_fixup_bus(bus);
1123         for (pass=0; pass < 2; pass++)
1124                 list_for_each_entry(dev, &bus->devices, bus_list) {
1125                         if (dev->hdr_type == PCI_HEADER_TYPE_BRIDGE ||
1126                             dev->hdr_type == PCI_HEADER_TYPE_CARDBUS)
1127                                 max = pci_scan_bridge(bus, dev, max, pass);
1128                 }
1129
1130         /*
1131          * We've scanned the bus and so we know all about what's on
1132          * the other side of any bridges that may be on this bus plus
1133          * any devices.
1134          *
1135          * Return how far we've got finding sub-buses.
1136          */
1137         pr_debug("PCI: Bus scan for %04x:%02x returning with max=%02x\n",
1138                 pci_domain_nr(bus), bus->number, max);
1139         return max;
1140 }
1141
1142 void __attribute__((weak)) set_pci_bus_resources_arch_default(struct pci_bus *b)
1143 {
1144 }
1145
1146 struct pci_bus * pci_create_bus(struct device *parent,
1147                 int bus, struct pci_ops *ops, void *sysdata)
1148 {
1149         int error;
1150         struct pci_bus *b;
1151         struct device *dev;
1152
1153         b = pci_alloc_bus();
1154         if (!b)
1155                 return NULL;
1156
1157         dev = kmalloc(sizeof(*dev), GFP_KERNEL);
1158         if (!dev){
1159                 kfree(b);
1160                 return NULL;
1161         }
1162
1163         b->sysdata = sysdata;
1164         b->ops = ops;
1165
1166         if (pci_find_bus(pci_domain_nr(b), bus)) {
1167                 /* If we already got to this bus through a different bridge, ignore it */
1168                 pr_debug("PCI: Bus %04x:%02x already known\n", pci_domain_nr(b), bus);
1169                 goto err_out;
1170         }
1171
1172         down_write(&pci_bus_sem);
1173         list_add_tail(&b->node, &pci_root_buses);
1174         up_write(&pci_bus_sem);
1175
1176         memset(dev, 0, sizeof(*dev));
1177         dev->parent = parent;
1178         dev->release = pci_release_bus_bridge_dev;
1179         sprintf(dev->bus_id, "pci%04x:%02x", pci_domain_nr(b), bus);
1180         error = device_register(dev);
1181         if (error)
1182                 goto dev_reg_err;
1183         b->bridge = get_device(dev);
1184
1185         if (!parent)
1186                 set_dev_node(b->bridge, pcibus_to_node(b));
1187
1188         b->dev.class = &pcibus_class;
1189         b->dev.parent = b->bridge;
1190         sprintf(b->dev.bus_id, "%04x:%02x", pci_domain_nr(b), bus);
1191         error = device_register(&b->dev);
1192         if (error)
1193                 goto class_dev_reg_err;
1194         error = device_create_file(&b->dev, &dev_attr_cpuaffinity);
1195         if (error)
1196                 goto dev_create_file_err;
1197
1198         /* Create legacy_io and legacy_mem files for this bus */
1199         pci_create_legacy_files(b);
1200
1201         b->number = b->secondary = bus;
1202         b->resource[0] = &ioport_resource;
1203         b->resource[1] = &iomem_resource;
1204
1205         set_pci_bus_resources_arch_default(b);
1206
1207         return b;
1208
1209 dev_create_file_err:
1210         device_unregister(&b->dev);
1211 class_dev_reg_err:
1212         device_unregister(dev);
1213 dev_reg_err:
1214         down_write(&pci_bus_sem);
1215         list_del(&b->node);
1216         up_write(&pci_bus_sem);
1217 err_out:
1218         kfree(dev);
1219         kfree(b);
1220         return NULL;
1221 }
1222
1223 struct pci_bus * __devinit pci_scan_bus_parented(struct device *parent,
1224                 int bus, struct pci_ops *ops, void *sysdata)
1225 {
1226         struct pci_bus *b;
1227
1228         b = pci_create_bus(parent, bus, ops, sysdata);
1229         if (b)
1230                 b->subordinate = pci_scan_child_bus(b);
1231         return b;
1232 }
1233 EXPORT_SYMBOL(pci_scan_bus_parented);
1234
1235 #ifdef CONFIG_HOTPLUG
1236 EXPORT_SYMBOL(pci_add_new_bus);
1237 EXPORT_SYMBOL(pci_scan_slot);
1238 EXPORT_SYMBOL(pci_scan_bridge);
1239 EXPORT_SYMBOL_GPL(pci_scan_child_bus);
1240 #endif
1241
1242 static int __init pci_sort_bf_cmp(const struct device *d_a, const struct device *d_b)
1243 {
1244         const struct pci_dev *a = to_pci_dev(d_a);
1245         const struct pci_dev *b = to_pci_dev(d_b);
1246
1247         if      (pci_domain_nr(a->bus) < pci_domain_nr(b->bus)) return -1;
1248         else if (pci_domain_nr(a->bus) > pci_domain_nr(b->bus)) return  1;
1249
1250         if      (a->bus->number < b->bus->number) return -1;
1251         else if (a->bus->number > b->bus->number) return  1;
1252
1253         if      (a->devfn < b->devfn) return -1;
1254         else if (a->devfn > b->devfn) return  1;
1255
1256         return 0;
1257 }
1258
1259 void __init pci_sort_breadthfirst(void)
1260 {
1261         bus_sort_breadthfirst(&pci_bus_type, &pci_sort_bf_cmp);
1262 }