Merge git://git.kernel.org/pub/scm/linux/kernel/git/rusty/linux-2.6-module-and-param
[linux-2.6.git] / drivers / pci / pci-driver.c
1 /*
2  * drivers/pci/pci-driver.c
3  *
4  * (C) Copyright 2002-2004, 2007 Greg Kroah-Hartman <greg@kroah.com>
5  * (C) Copyright 2007 Novell Inc.
6  *
7  * Released under the GPL v2 only.
8  *
9  */
10
11 #include <linux/pci.h>
12 #include <linux/module.h>
13 #include <linux/init.h>
14 #include <linux/device.h>
15 #include <linux/mempolicy.h>
16 #include <linux/string.h>
17 #include <linux/slab.h>
18 #include <linux/sched.h>
19 #include <linux/cpu.h>
20 #include "pci.h"
21
22 /*
23  * Dynamic device IDs are disabled for !CONFIG_HOTPLUG
24  */
25
26 struct pci_dynid {
27         struct list_head node;
28         struct pci_device_id id;
29 };
30
31 #ifdef CONFIG_HOTPLUG
32
33 /**
34  * store_new_id - add a new PCI device ID to this driver and re-probe devices
35  * @driver: target device driver
36  * @buf: buffer for scanning device ID data
37  * @count: input size
38  *
39  * Adds a new dynamic pci device ID to this driver,
40  * and causes the driver to probe for all devices again.
41  */
42 static ssize_t
43 store_new_id(struct device_driver *driver, const char *buf, size_t count)
44 {
45         struct pci_dynid *dynid;
46         struct pci_driver *pdrv = to_pci_driver(driver);
47         const struct pci_device_id *ids = pdrv->id_table;
48         __u32 vendor, device, subvendor=PCI_ANY_ID,
49                 subdevice=PCI_ANY_ID, class=0, class_mask=0;
50         unsigned long driver_data=0;
51         int fields=0;
52         int retval=0;
53
54         fields = sscanf(buf, "%x %x %x %x %x %x %lx",
55                         &vendor, &device, &subvendor, &subdevice,
56                         &class, &class_mask, &driver_data);
57         if (fields < 2)
58                 return -EINVAL;
59
60         /* Only accept driver_data values that match an existing id_table
61            entry */
62         if (ids) {
63                 retval = -EINVAL;
64                 while (ids->vendor || ids->subvendor || ids->class_mask) {
65                         if (driver_data == ids->driver_data) {
66                                 retval = 0;
67                                 break;
68                         }
69                         ids++;
70                 }
71                 if (retval)     /* No match */
72                         return retval;
73         }
74
75         dynid = kzalloc(sizeof(*dynid), GFP_KERNEL);
76         if (!dynid)
77                 return -ENOMEM;
78
79         dynid->id.vendor = vendor;
80         dynid->id.device = device;
81         dynid->id.subvendor = subvendor;
82         dynid->id.subdevice = subdevice;
83         dynid->id.class = class;
84         dynid->id.class_mask = class_mask;
85         dynid->id.driver_data = driver_data;
86
87         spin_lock(&pdrv->dynids.lock);
88         list_add_tail(&dynid->node, &pdrv->dynids.list);
89         spin_unlock(&pdrv->dynids.lock);
90
91         if (get_driver(&pdrv->driver)) {
92                 retval = driver_attach(&pdrv->driver);
93                 put_driver(&pdrv->driver);
94         }
95
96         if (retval)
97                 return retval;
98         return count;
99 }
100 static DRIVER_ATTR(new_id, S_IWUSR, NULL, store_new_id);
101
102 /**
103  * store_remove_id - remove a PCI device ID from this driver
104  * @driver: target device driver
105  * @buf: buffer for scanning device ID data
106  * @count: input size
107  *
108  * Removes a dynamic pci device ID to this driver.
109  */
110 static ssize_t
111 store_remove_id(struct device_driver *driver, const char *buf, size_t count)
112 {
113         struct pci_dynid *dynid, *n;
114         struct pci_driver *pdrv = to_pci_driver(driver);
115         __u32 vendor, device, subvendor = PCI_ANY_ID,
116                 subdevice = PCI_ANY_ID, class = 0, class_mask = 0;
117         int fields = 0;
118         int retval = -ENODEV;
119
120         fields = sscanf(buf, "%x %x %x %x %x %x",
121                         &vendor, &device, &subvendor, &subdevice,
122                         &class, &class_mask);
123         if (fields < 2)
124                 return -EINVAL;
125
126         spin_lock(&pdrv->dynids.lock);
127         list_for_each_entry_safe(dynid, n, &pdrv->dynids.list, node) {
128                 struct pci_device_id *id = &dynid->id;
129                 if ((id->vendor == vendor) &&
130                     (id->device == device) &&
131                     (subvendor == PCI_ANY_ID || id->subvendor == subvendor) &&
132                     (subdevice == PCI_ANY_ID || id->subdevice == subdevice) &&
133                     !((id->class ^ class) & class_mask)) {
134                         list_del(&dynid->node);
135                         kfree(dynid);
136                         retval = 0;
137                         break;
138                 }
139         }
140         spin_unlock(&pdrv->dynids.lock);
141
142         if (retval)
143                 return retval;
144         return count;
145 }
146 static DRIVER_ATTR(remove_id, S_IWUSR, NULL, store_remove_id);
147
148 static void
149 pci_free_dynids(struct pci_driver *drv)
150 {
151         struct pci_dynid *dynid, *n;
152
153         spin_lock(&drv->dynids.lock);
154         list_for_each_entry_safe(dynid, n, &drv->dynids.list, node) {
155                 list_del(&dynid->node);
156                 kfree(dynid);
157         }
158         spin_unlock(&drv->dynids.lock);
159 }
160
161 static int
162 pci_create_newid_file(struct pci_driver *drv)
163 {
164         int error = 0;
165         if (drv->probe != NULL)
166                 error = driver_create_file(&drv->driver, &driver_attr_new_id);
167         return error;
168 }
169
170 static void pci_remove_newid_file(struct pci_driver *drv)
171 {
172         driver_remove_file(&drv->driver, &driver_attr_new_id);
173 }
174
175 static int
176 pci_create_removeid_file(struct pci_driver *drv)
177 {
178         int error = 0;
179         if (drv->probe != NULL)
180                 error = driver_create_file(&drv->driver,&driver_attr_remove_id);
181         return error;
182 }
183
184 static void pci_remove_removeid_file(struct pci_driver *drv)
185 {
186         driver_remove_file(&drv->driver, &driver_attr_remove_id);
187 }
188 #else /* !CONFIG_HOTPLUG */
189 static inline void pci_free_dynids(struct pci_driver *drv) {}
190 static inline int pci_create_newid_file(struct pci_driver *drv)
191 {
192         return 0;
193 }
194 static inline void pci_remove_newid_file(struct pci_driver *drv) {}
195 static inline int pci_create_removeid_file(struct pci_driver *drv)
196 {
197         return 0;
198 }
199 static inline void pci_remove_removeid_file(struct pci_driver *drv) {}
200 #endif
201
202 /**
203  * pci_match_id - See if a pci device matches a given pci_id table
204  * @ids: array of PCI device id structures to search in
205  * @dev: the PCI device structure to match against.
206  *
207  * Used by a driver to check whether a PCI device present in the
208  * system is in its list of supported devices.  Returns the matching
209  * pci_device_id structure or %NULL if there is no match.
210  *
211  * Deprecated, don't use this as it will not catch any dynamic ids
212  * that a driver might want to check for.
213  */
214 const struct pci_device_id *pci_match_id(const struct pci_device_id *ids,
215                                          struct pci_dev *dev)
216 {
217         if (ids) {
218                 while (ids->vendor || ids->subvendor || ids->class_mask) {
219                         if (pci_match_one_device(ids, dev))
220                                 return ids;
221                         ids++;
222                 }
223         }
224         return NULL;
225 }
226
227 /**
228  * pci_match_device - Tell if a PCI device structure has a matching PCI device id structure
229  * @drv: the PCI driver to match against
230  * @dev: the PCI device structure to match against
231  *
232  * Used by a driver to check whether a PCI device present in the
233  * system is in its list of supported devices.  Returns the matching
234  * pci_device_id structure or %NULL if there is no match.
235  */
236 static const struct pci_device_id *pci_match_device(struct pci_driver *drv,
237                                                     struct pci_dev *dev)
238 {
239         struct pci_dynid *dynid;
240
241         /* Look at the dynamic ids first, before the static ones */
242         spin_lock(&drv->dynids.lock);
243         list_for_each_entry(dynid, &drv->dynids.list, node) {
244                 if (pci_match_one_device(&dynid->id, dev)) {
245                         spin_unlock(&drv->dynids.lock);
246                         return &dynid->id;
247                 }
248         }
249         spin_unlock(&drv->dynids.lock);
250
251         return pci_match_id(drv->id_table, dev);
252 }
253
254 struct drv_dev_and_id {
255         struct pci_driver *drv;
256         struct pci_dev *dev;
257         const struct pci_device_id *id;
258 };
259
260 static long local_pci_probe(void *_ddi)
261 {
262         struct drv_dev_and_id *ddi = _ddi;
263
264         return ddi->drv->probe(ddi->dev, ddi->id);
265 }
266
267 static int pci_call_probe(struct pci_driver *drv, struct pci_dev *dev,
268                           const struct pci_device_id *id)
269 {
270         int error, node;
271         struct drv_dev_and_id ddi = { drv, dev, id };
272
273         /* Execute driver initialization on node where the device's
274            bus is attached to.  This way the driver likely allocates
275            its local memory on the right node without any need to
276            change it. */
277         node = dev_to_node(&dev->dev);
278         if (node >= 0) {
279                 int cpu;
280                 node_to_cpumask_ptr(nodecpumask, node);
281
282                 get_online_cpus();
283                 cpu = cpumask_any_and(nodecpumask, cpu_online_mask);
284                 if (cpu < nr_cpu_ids)
285                         error = work_on_cpu(cpu, local_pci_probe, &ddi);
286                 else
287                         error = local_pci_probe(&ddi);
288                 put_online_cpus();
289         } else
290                 error = local_pci_probe(&ddi);
291         return error;
292 }
293
294 /**
295  * __pci_device_probe()
296  * @drv: driver to call to check if it wants the PCI device
297  * @pci_dev: PCI device being probed
298  * 
299  * returns 0 on success, else error.
300  * side-effect: pci_dev->driver is set to drv when drv claims pci_dev.
301  */
302 static int
303 __pci_device_probe(struct pci_driver *drv, struct pci_dev *pci_dev)
304 {
305         const struct pci_device_id *id;
306         int error = 0;
307
308         if (!pci_dev->driver && drv->probe) {
309                 error = -ENODEV;
310
311                 id = pci_match_device(drv, pci_dev);
312                 if (id)
313                         error = pci_call_probe(drv, pci_dev, id);
314                 if (error >= 0) {
315                         pci_dev->driver = drv;
316                         error = 0;
317                 }
318         }
319         return error;
320 }
321
322 static int pci_device_probe(struct device * dev)
323 {
324         int error = 0;
325         struct pci_driver *drv;
326         struct pci_dev *pci_dev;
327
328         drv = to_pci_driver(dev->driver);
329         pci_dev = to_pci_dev(dev);
330         pci_dev_get(pci_dev);
331         error = __pci_device_probe(drv, pci_dev);
332         if (error)
333                 pci_dev_put(pci_dev);
334
335         return error;
336 }
337
338 static int pci_device_remove(struct device * dev)
339 {
340         struct pci_dev * pci_dev = to_pci_dev(dev);
341         struct pci_driver * drv = pci_dev->driver;
342
343         if (drv) {
344                 if (drv->remove)
345                         drv->remove(pci_dev);
346                 pci_dev->driver = NULL;
347         }
348
349         /*
350          * If the device is still on, set the power state as "unknown",
351          * since it might change by the next time we load the driver.
352          */
353         if (pci_dev->current_state == PCI_D0)
354                 pci_dev->current_state = PCI_UNKNOWN;
355
356         /*
357          * We would love to complain here if pci_dev->is_enabled is set, that
358          * the driver should have called pci_disable_device(), but the
359          * unfortunate fact is there are too many odd BIOS and bridge setups
360          * that don't like drivers doing that all of the time.  
361          * Oh well, we can dream of sane hardware when we sleep, no matter how
362          * horrible the crap we have to deal with is when we are awake...
363          */
364
365         pci_dev_put(pci_dev);
366         return 0;
367 }
368
369 static void pci_device_shutdown(struct device *dev)
370 {
371         struct pci_dev *pci_dev = to_pci_dev(dev);
372         struct pci_driver *drv = pci_dev->driver;
373
374         if (drv && drv->shutdown)
375                 drv->shutdown(pci_dev);
376         pci_msi_shutdown(pci_dev);
377         pci_msix_shutdown(pci_dev);
378 }
379
380 #ifdef CONFIG_PM_SLEEP
381
382 /*
383  * Default "suspend" method for devices that have no driver provided suspend,
384  * or not even a driver at all (second part).
385  */
386 static void pci_pm_set_unknown_state(struct pci_dev *pci_dev)
387 {
388         /*
389          * mark its power state as "unknown", since we don't know if
390          * e.g. the BIOS will change its device state when we suspend.
391          */
392         if (pci_dev->current_state == PCI_D0)
393                 pci_dev->current_state = PCI_UNKNOWN;
394 }
395
396 /*
397  * Default "resume" method for devices that have no driver provided resume,
398  * or not even a driver at all (second part).
399  */
400 static int pci_pm_reenable_device(struct pci_dev *pci_dev)
401 {
402         int retval;
403
404         /* if the device was enabled before suspend, reenable */
405         retval = pci_reenable_device(pci_dev);
406         /*
407          * if the device was busmaster before the suspend, make it busmaster
408          * again
409          */
410         if (pci_dev->is_busmaster)
411                 pci_set_master(pci_dev);
412
413         return retval;
414 }
415
416 static int pci_legacy_suspend(struct device *dev, pm_message_t state)
417 {
418         struct pci_dev * pci_dev = to_pci_dev(dev);
419         struct pci_driver * drv = pci_dev->driver;
420
421         pci_dev->state_saved = false;
422
423         if (drv && drv->suspend) {
424                 pci_power_t prev = pci_dev->current_state;
425                 int error;
426
427                 error = drv->suspend(pci_dev, state);
428                 suspend_report_result(drv->suspend, error);
429                 if (error)
430                         return error;
431
432                 if (!pci_dev->state_saved && pci_dev->current_state != PCI_D0
433                     && pci_dev->current_state != PCI_UNKNOWN) {
434                         WARN_ONCE(pci_dev->current_state != prev,
435                                 "PCI PM: Device state not saved by %pF\n",
436                                 drv->suspend);
437                 }
438         }
439
440         pci_fixup_device(pci_fixup_suspend, pci_dev);
441
442         return 0;
443 }
444
445 static int pci_legacy_suspend_late(struct device *dev, pm_message_t state)
446 {
447         struct pci_dev * pci_dev = to_pci_dev(dev);
448         struct pci_driver * drv = pci_dev->driver;
449
450         if (drv && drv->suspend_late) {
451                 pci_power_t prev = pci_dev->current_state;
452                 int error;
453
454                 error = drv->suspend_late(pci_dev, state);
455                 suspend_report_result(drv->suspend_late, error);
456                 if (error)
457                         return error;
458
459                 if (!pci_dev->state_saved && pci_dev->current_state != PCI_D0
460                     && pci_dev->current_state != PCI_UNKNOWN) {
461                         WARN_ONCE(pci_dev->current_state != prev,
462                                 "PCI PM: Device state not saved by %pF\n",
463                                 drv->suspend_late);
464                         return 0;
465                 }
466         }
467
468         if (!pci_dev->state_saved)
469                 pci_save_state(pci_dev);
470
471         pci_pm_set_unknown_state(pci_dev);
472
473         return 0;
474 }
475
476 static int pci_legacy_resume_early(struct device *dev)
477 {
478         struct pci_dev * pci_dev = to_pci_dev(dev);
479         struct pci_driver * drv = pci_dev->driver;
480
481         return drv && drv->resume_early ?
482                         drv->resume_early(pci_dev) : 0;
483 }
484
485 static int pci_legacy_resume(struct device *dev)
486 {
487         struct pci_dev * pci_dev = to_pci_dev(dev);
488         struct pci_driver * drv = pci_dev->driver;
489
490         pci_fixup_device(pci_fixup_resume, pci_dev);
491
492         return drv && drv->resume ?
493                         drv->resume(pci_dev) : pci_pm_reenable_device(pci_dev);
494 }
495
496 /* Auxiliary functions used by the new power management framework */
497
498 /**
499  * pci_restore_standard_config - restore standard config registers of PCI device
500  * @pci_dev: PCI device to handle
501  */
502 static int pci_restore_standard_config(struct pci_dev *pci_dev)
503 {
504         pci_update_current_state(pci_dev, PCI_UNKNOWN);
505
506         if (pci_dev->current_state != PCI_D0) {
507                 int error = pci_set_power_state(pci_dev, PCI_D0);
508                 if (error)
509                         return error;
510         }
511
512         return pci_dev->state_saved ? pci_restore_state(pci_dev) : 0;
513 }
514
515 static void pci_pm_default_resume_noirq(struct pci_dev *pci_dev)
516 {
517         pci_restore_standard_config(pci_dev);
518         pci_dev->state_saved = false;
519         pci_fixup_device(pci_fixup_resume_early, pci_dev);
520 }
521
522 static void pci_pm_default_resume(struct pci_dev *pci_dev)
523 {
524         pci_fixup_device(pci_fixup_resume, pci_dev);
525
526         if (!pci_is_bridge(pci_dev))
527                 pci_enable_wake(pci_dev, PCI_D0, false);
528 }
529
530 static void pci_pm_default_suspend(struct pci_dev *pci_dev)
531 {
532         /* Disable non-bridge devices without PM support */
533         if (!pci_is_bridge(pci_dev))
534                 pci_disable_enabled_device(pci_dev);
535 }
536
537 static bool pci_has_legacy_pm_support(struct pci_dev *pci_dev)
538 {
539         struct pci_driver *drv = pci_dev->driver;
540         bool ret = drv && (drv->suspend || drv->suspend_late || drv->resume
541                 || drv->resume_early);
542
543         /*
544          * Legacy PM support is used by default, so warn if the new framework is
545          * supported as well.  Drivers are supposed to support either the
546          * former, or the latter, but not both at the same time.
547          */
548         WARN_ON(ret && drv->driver.pm);
549
550         return ret;
551 }
552
553 /* New power management framework */
554
555 static int pci_pm_prepare(struct device *dev)
556 {
557         struct device_driver *drv = dev->driver;
558         int error = 0;
559
560         if (drv && drv->pm && drv->pm->prepare)
561                 error = drv->pm->prepare(dev);
562
563         return error;
564 }
565
566 static void pci_pm_complete(struct device *dev)
567 {
568         struct device_driver *drv = dev->driver;
569
570         if (drv && drv->pm && drv->pm->complete)
571                 drv->pm->complete(dev);
572 }
573
574 #ifdef CONFIG_SUSPEND
575
576 static int pci_pm_suspend(struct device *dev)
577 {
578         struct pci_dev *pci_dev = to_pci_dev(dev);
579         struct dev_pm_ops *pm = dev->driver ? dev->driver->pm : NULL;
580
581         if (pci_has_legacy_pm_support(pci_dev))
582                 return pci_legacy_suspend(dev, PMSG_SUSPEND);
583
584         pci_dev->state_saved = false;
585
586         if (!pm) {
587                 pci_pm_default_suspend(pci_dev);
588                 goto Fixup;
589         }
590
591         if (pm->suspend) {
592                 pci_power_t prev = pci_dev->current_state;
593                 int error;
594
595                 error = pm->suspend(dev);
596                 suspend_report_result(pm->suspend, error);
597                 if (error)
598                         return error;
599
600                 if (!pci_dev->state_saved && pci_dev->current_state != PCI_D0
601                     && pci_dev->current_state != PCI_UNKNOWN) {
602                         WARN_ONCE(pci_dev->current_state != prev,
603                                 "PCI PM: State of device not saved by %pF\n",
604                                 pm->suspend);
605                 }
606         }
607
608  Fixup:
609         pci_fixup_device(pci_fixup_suspend, pci_dev);
610
611         return 0;
612 }
613
614 static int pci_pm_suspend_noirq(struct device *dev)
615 {
616         struct pci_dev *pci_dev = to_pci_dev(dev);
617         struct dev_pm_ops *pm = dev->driver ? dev->driver->pm : NULL;
618
619         if (pci_has_legacy_pm_support(pci_dev))
620                 return pci_legacy_suspend_late(dev, PMSG_SUSPEND);
621
622         if (!pm) {
623                 pci_save_state(pci_dev);
624                 return 0;
625         }
626
627         if (pm->suspend_noirq) {
628                 pci_power_t prev = pci_dev->current_state;
629                 int error;
630
631                 error = pm->suspend_noirq(dev);
632                 suspend_report_result(pm->suspend_noirq, error);
633                 if (error)
634                         return error;
635
636                 if (!pci_dev->state_saved && pci_dev->current_state != PCI_D0
637                     && pci_dev->current_state != PCI_UNKNOWN) {
638                         WARN_ONCE(pci_dev->current_state != prev,
639                                 "PCI PM: State of device not saved by %pF\n",
640                                 pm->suspend_noirq);
641                         return 0;
642                 }
643         }
644
645         if (!pci_dev->state_saved) {
646                 pci_save_state(pci_dev);
647                 if (!pci_is_bridge(pci_dev))
648                         pci_prepare_to_sleep(pci_dev);
649         }
650
651         pci_pm_set_unknown_state(pci_dev);
652
653         return 0;
654 }
655
656 static int pci_pm_resume_noirq(struct device *dev)
657 {
658         struct pci_dev *pci_dev = to_pci_dev(dev);
659         struct device_driver *drv = dev->driver;
660         int error = 0;
661
662         pci_pm_default_resume_noirq(pci_dev);
663
664         if (pci_has_legacy_pm_support(pci_dev))
665                 return pci_legacy_resume_early(dev);
666
667         if (drv && drv->pm && drv->pm->resume_noirq)
668                 error = drv->pm->resume_noirq(dev);
669
670         return error;
671 }
672
673 static int pci_pm_resume(struct device *dev)
674 {
675         struct pci_dev *pci_dev = to_pci_dev(dev);
676         struct dev_pm_ops *pm = dev->driver ? dev->driver->pm : NULL;
677         int error = 0;
678
679         /*
680          * This is necessary for the suspend error path in which resume is
681          * called without restoring the standard config registers of the device.
682          */
683         if (pci_dev->state_saved)
684                 pci_restore_standard_config(pci_dev);
685
686         if (pci_has_legacy_pm_support(pci_dev))
687                 return pci_legacy_resume(dev);
688
689         pci_pm_default_resume(pci_dev);
690
691         if (pm) {
692                 if (pm->resume)
693                         error = pm->resume(dev);
694         } else {
695                 pci_pm_reenable_device(pci_dev);
696         }
697
698         return 0;
699 }
700
701 #else /* !CONFIG_SUSPEND */
702
703 #define pci_pm_suspend          NULL
704 #define pci_pm_suspend_noirq    NULL
705 #define pci_pm_resume           NULL
706 #define pci_pm_resume_noirq     NULL
707
708 #endif /* !CONFIG_SUSPEND */
709
710 #ifdef CONFIG_HIBERNATION
711
712 static int pci_pm_freeze(struct device *dev)
713 {
714         struct pci_dev *pci_dev = to_pci_dev(dev);
715         struct dev_pm_ops *pm = dev->driver ? dev->driver->pm : NULL;
716
717         if (pci_has_legacy_pm_support(pci_dev))
718                 return pci_legacy_suspend(dev, PMSG_FREEZE);
719
720         pci_dev->state_saved = false;
721
722         if (!pm) {
723                 pci_pm_default_suspend(pci_dev);
724                 return 0;
725         }
726
727         if (pm->freeze) {
728                 int error;
729
730                 error = pm->freeze(dev);
731                 suspend_report_result(pm->freeze, error);
732                 if (error)
733                         return error;
734         }
735
736         return 0;
737 }
738
739 static int pci_pm_freeze_noirq(struct device *dev)
740 {
741         struct pci_dev *pci_dev = to_pci_dev(dev);
742         struct device_driver *drv = dev->driver;
743
744         if (pci_has_legacy_pm_support(pci_dev))
745                 return pci_legacy_suspend_late(dev, PMSG_FREEZE);
746
747         if (drv && drv->pm && drv->pm->freeze_noirq) {
748                 int error;
749
750                 error = drv->pm->freeze_noirq(dev);
751                 suspend_report_result(drv->pm->freeze_noirq, error);
752                 if (error)
753                         return error;
754         }
755
756         if (!pci_dev->state_saved)
757                 pci_save_state(pci_dev);
758
759         pci_pm_set_unknown_state(pci_dev);
760
761         return 0;
762 }
763
764 static int pci_pm_thaw_noirq(struct device *dev)
765 {
766         struct pci_dev *pci_dev = to_pci_dev(dev);
767         struct device_driver *drv = dev->driver;
768         int error = 0;
769
770         if (pci_has_legacy_pm_support(pci_dev))
771                 return pci_legacy_resume_early(dev);
772
773         pci_update_current_state(pci_dev, PCI_D0);
774
775         if (drv && drv->pm && drv->pm->thaw_noirq)
776                 error = drv->pm->thaw_noirq(dev);
777
778         return error;
779 }
780
781 static int pci_pm_thaw(struct device *dev)
782 {
783         struct pci_dev *pci_dev = to_pci_dev(dev);
784         struct dev_pm_ops *pm = dev->driver ? dev->driver->pm : NULL;
785         int error = 0;
786
787         if (pci_has_legacy_pm_support(pci_dev))
788                 return pci_legacy_resume(dev);
789
790         if (pm) {
791                 if (pm->thaw)
792                         error = pm->thaw(dev);
793         } else {
794                 pci_pm_reenable_device(pci_dev);
795         }
796
797         return error;
798 }
799
800 static int pci_pm_poweroff(struct device *dev)
801 {
802         struct pci_dev *pci_dev = to_pci_dev(dev);
803         struct dev_pm_ops *pm = dev->driver ? dev->driver->pm : NULL;
804
805         if (pci_has_legacy_pm_support(pci_dev))
806                 return pci_legacy_suspend(dev, PMSG_HIBERNATE);
807
808         pci_dev->state_saved = false;
809
810         if (!pm) {
811                 pci_pm_default_suspend(pci_dev);
812                 goto Fixup;
813         }
814
815         if (pm->poweroff) {
816                 int error;
817
818                 error = pm->poweroff(dev);
819                 suspend_report_result(pm->poweroff, error);
820                 if (error)
821                         return error;
822         }
823
824  Fixup:
825         pci_fixup_device(pci_fixup_suspend, pci_dev);
826
827         return 0;
828 }
829
830 static int pci_pm_poweroff_noirq(struct device *dev)
831 {
832         struct pci_dev *pci_dev = to_pci_dev(dev);
833         struct device_driver *drv = dev->driver;
834
835         if (pci_has_legacy_pm_support(to_pci_dev(dev)))
836                 return pci_legacy_suspend_late(dev, PMSG_HIBERNATE);
837
838         if (!drv || !drv->pm)
839                 return 0;
840
841         if (drv->pm->poweroff_noirq) {
842                 int error;
843
844                 error = drv->pm->poweroff_noirq(dev);
845                 suspend_report_result(drv->pm->poweroff_noirq, error);
846                 if (error)
847                         return error;
848         }
849
850         if (!pci_dev->state_saved && !pci_is_bridge(pci_dev))
851                 pci_prepare_to_sleep(pci_dev);
852
853         return 0;
854 }
855
856 static int pci_pm_restore_noirq(struct device *dev)
857 {
858         struct pci_dev *pci_dev = to_pci_dev(dev);
859         struct device_driver *drv = dev->driver;
860         int error = 0;
861
862         pci_pm_default_resume_noirq(pci_dev);
863
864         if (pci_has_legacy_pm_support(pci_dev))
865                 return pci_legacy_resume_early(dev);
866
867         if (drv && drv->pm && drv->pm->restore_noirq)
868                 error = drv->pm->restore_noirq(dev);
869
870         return error;
871 }
872
873 static int pci_pm_restore(struct device *dev)
874 {
875         struct pci_dev *pci_dev = to_pci_dev(dev);
876         struct dev_pm_ops *pm = dev->driver ? dev->driver->pm : NULL;
877         int error = 0;
878
879         /*
880          * This is necessary for the hibernation error path in which restore is
881          * called without restoring the standard config registers of the device.
882          */
883         if (pci_dev->state_saved)
884                 pci_restore_standard_config(pci_dev);
885
886         if (pci_has_legacy_pm_support(pci_dev))
887                 return pci_legacy_resume(dev);
888
889         pci_pm_default_resume(pci_dev);
890
891         if (pm) {
892                 if (pm->restore)
893                         error = pm->restore(dev);
894         } else {
895                 pci_pm_reenable_device(pci_dev);
896         }
897
898         return error;
899 }
900
901 #else /* !CONFIG_HIBERNATION */
902
903 #define pci_pm_freeze           NULL
904 #define pci_pm_freeze_noirq     NULL
905 #define pci_pm_thaw             NULL
906 #define pci_pm_thaw_noirq       NULL
907 #define pci_pm_poweroff         NULL
908 #define pci_pm_poweroff_noirq   NULL
909 #define pci_pm_restore          NULL
910 #define pci_pm_restore_noirq    NULL
911
912 #endif /* !CONFIG_HIBERNATION */
913
914 struct dev_pm_ops pci_dev_pm_ops = {
915         .prepare = pci_pm_prepare,
916         .complete = pci_pm_complete,
917         .suspend = pci_pm_suspend,
918         .resume = pci_pm_resume,
919         .freeze = pci_pm_freeze,
920         .thaw = pci_pm_thaw,
921         .poweroff = pci_pm_poweroff,
922         .restore = pci_pm_restore,
923         .suspend_noirq = pci_pm_suspend_noirq,
924         .resume_noirq = pci_pm_resume_noirq,
925         .freeze_noirq = pci_pm_freeze_noirq,
926         .thaw_noirq = pci_pm_thaw_noirq,
927         .poweroff_noirq = pci_pm_poweroff_noirq,
928         .restore_noirq = pci_pm_restore_noirq,
929 };
930
931 #define PCI_PM_OPS_PTR  (&pci_dev_pm_ops)
932
933 #else /* !CONFIG_PM_SLEEP */
934
935 #define PCI_PM_OPS_PTR  NULL
936
937 #endif /* !CONFIG_PM_SLEEP */
938
939 /**
940  * __pci_register_driver - register a new pci driver
941  * @drv: the driver structure to register
942  * @owner: owner module of drv
943  * @mod_name: module name string
944  * 
945  * Adds the driver structure to the list of registered drivers.
946  * Returns a negative value on error, otherwise 0. 
947  * If no error occurred, the driver remains registered even if 
948  * no device was claimed during registration.
949  */
950 int __pci_register_driver(struct pci_driver *drv, struct module *owner,
951                           const char *mod_name)
952 {
953         int error;
954
955         /* initialize common driver fields */
956         drv->driver.name = drv->name;
957         drv->driver.bus = &pci_bus_type;
958         drv->driver.owner = owner;
959         drv->driver.mod_name = mod_name;
960
961         spin_lock_init(&drv->dynids.lock);
962         INIT_LIST_HEAD(&drv->dynids.list);
963
964         /* register with core */
965         error = driver_register(&drv->driver);
966         if (error)
967                 goto out;
968
969         error = pci_create_newid_file(drv);
970         if (error)
971                 goto out_newid;
972
973         error = pci_create_removeid_file(drv);
974         if (error)
975                 goto out_removeid;
976 out:
977         return error;
978
979 out_removeid:
980         pci_remove_newid_file(drv);
981 out_newid:
982         driver_unregister(&drv->driver);
983         goto out;
984 }
985
986 /**
987  * pci_unregister_driver - unregister a pci driver
988  * @drv: the driver structure to unregister
989  * 
990  * Deletes the driver structure from the list of registered PCI drivers,
991  * gives it a chance to clean up by calling its remove() function for
992  * each device it was responsible for, and marks those devices as
993  * driverless.
994  */
995
996 void
997 pci_unregister_driver(struct pci_driver *drv)
998 {
999         pci_remove_removeid_file(drv);
1000         pci_remove_newid_file(drv);
1001         driver_unregister(&drv->driver);
1002         pci_free_dynids(drv);
1003 }
1004
1005 static struct pci_driver pci_compat_driver = {
1006         .name = "compat"
1007 };
1008
1009 /**
1010  * pci_dev_driver - get the pci_driver of a device
1011  * @dev: the device to query
1012  *
1013  * Returns the appropriate pci_driver structure or %NULL if there is no 
1014  * registered driver for the device.
1015  */
1016 struct pci_driver *
1017 pci_dev_driver(const struct pci_dev *dev)
1018 {
1019         if (dev->driver)
1020                 return dev->driver;
1021         else {
1022                 int i;
1023                 for(i=0; i<=PCI_ROM_RESOURCE; i++)
1024                         if (dev->resource[i].flags & IORESOURCE_BUSY)
1025                                 return &pci_compat_driver;
1026         }
1027         return NULL;
1028 }
1029
1030 /**
1031  * pci_bus_match - Tell if a PCI device structure has a matching PCI device id structure
1032  * @dev: the PCI device structure to match against
1033  * @drv: the device driver to search for matching PCI device id structures
1034  * 
1035  * Used by a driver to check whether a PCI device present in the
1036  * system is in its list of supported devices. Returns the matching
1037  * pci_device_id structure or %NULL if there is no match.
1038  */
1039 static int pci_bus_match(struct device *dev, struct device_driver *drv)
1040 {
1041         struct pci_dev *pci_dev = to_pci_dev(dev);
1042         struct pci_driver *pci_drv = to_pci_driver(drv);
1043         const struct pci_device_id *found_id;
1044
1045         found_id = pci_match_device(pci_drv, pci_dev);
1046         if (found_id)
1047                 return 1;
1048
1049         return 0;
1050 }
1051
1052 /**
1053  * pci_dev_get - increments the reference count of the pci device structure
1054  * @dev: the device being referenced
1055  *
1056  * Each live reference to a device should be refcounted.
1057  *
1058  * Drivers for PCI devices should normally record such references in
1059  * their probe() methods, when they bind to a device, and release
1060  * them by calling pci_dev_put(), in their disconnect() methods.
1061  *
1062  * A pointer to the device with the incremented reference counter is returned.
1063  */
1064 struct pci_dev *pci_dev_get(struct pci_dev *dev)
1065 {
1066         if (dev)
1067                 get_device(&dev->dev);
1068         return dev;
1069 }
1070
1071 /**
1072  * pci_dev_put - release a use of the pci device structure
1073  * @dev: device that's been disconnected
1074  *
1075  * Must be called when a user of a device is finished with it.  When the last
1076  * user of the device calls this function, the memory of the device is freed.
1077  */
1078 void pci_dev_put(struct pci_dev *dev)
1079 {
1080         if (dev)
1081                 put_device(&dev->dev);
1082 }
1083
1084 #ifndef CONFIG_HOTPLUG
1085 int pci_uevent(struct device *dev, struct kobj_uevent_env *env)
1086 {
1087         return -ENODEV;
1088 }
1089 #endif
1090
1091 struct bus_type pci_bus_type = {
1092         .name           = "pci",
1093         .match          = pci_bus_match,
1094         .uevent         = pci_uevent,
1095         .probe          = pci_device_probe,
1096         .remove         = pci_device_remove,
1097         .shutdown       = pci_device_shutdown,
1098         .dev_attrs      = pci_dev_attrs,
1099         .bus_attrs      = pci_bus_attrs,
1100         .pm             = PCI_PM_OPS_PTR,
1101 };
1102
1103 static int __init pci_driver_init(void)
1104 {
1105         return bus_register(&pci_bus_type);
1106 }
1107
1108 postcore_initcall(pci_driver_init);
1109
1110 EXPORT_SYMBOL(pci_match_id);
1111 EXPORT_SYMBOL(__pci_register_driver);
1112 EXPORT_SYMBOL(pci_unregister_driver);
1113 EXPORT_SYMBOL(pci_dev_driver);
1114 EXPORT_SYMBOL(pci_bus_type);
1115 EXPORT_SYMBOL(pci_dev_get);
1116 EXPORT_SYMBOL(pci_dev_put);