[PATCH] Add SA_PERCPU_IRQ flag support
[linux-2.6.git] / kernel / irq / manage.c
1 /*
2  * linux/kernel/irq/manage.c
3  *
4  * Copyright (C) 1992, 1998-2004 Linus Torvalds, Ingo Molnar
5  *
6  * This file contains driver APIs to the irq subsystem.
7  */
8
9 #include <linux/config.h>
10 #include <linux/irq.h>
11 #include <linux/module.h>
12 #include <linux/random.h>
13 #include <linux/interrupt.h>
14
15 #include "internals.h"
16
17 #ifdef CONFIG_SMP
18
19 cpumask_t irq_affinity[NR_IRQS] = { [0 ... NR_IRQS-1] = CPU_MASK_ALL };
20
21 #if defined (CONFIG_GENERIC_PENDING_IRQ) || defined (CONFIG_IRQBALANCE)
22 cpumask_t __cacheline_aligned pending_irq_cpumask[NR_IRQS];
23 #endif
24
25 /**
26  *      synchronize_irq - wait for pending IRQ handlers (on other CPUs)
27  *      @irq: interrupt number to wait for
28  *
29  *      This function waits for any pending IRQ handlers for this interrupt
30  *      to complete before returning. If you use this function while
31  *      holding a resource the IRQ handler may need you will deadlock.
32  *
33  *      This function may be called - with care - from IRQ context.
34  */
35 void synchronize_irq(unsigned int irq)
36 {
37         struct irq_desc *desc = irq_desc + irq;
38
39         if (irq >= NR_IRQS)
40                 return;
41
42         while (desc->status & IRQ_INPROGRESS)
43                 cpu_relax();
44 }
45
46 EXPORT_SYMBOL(synchronize_irq);
47
48 #endif
49
50 /**
51  *      disable_irq_nosync - disable an irq without waiting
52  *      @irq: Interrupt to disable
53  *
54  *      Disable the selected interrupt line.  Disables and Enables are
55  *      nested.
56  *      Unlike disable_irq(), this function does not ensure existing
57  *      instances of the IRQ handler have completed before returning.
58  *
59  *      This function may be called from IRQ context.
60  */
61 void disable_irq_nosync(unsigned int irq)
62 {
63         irq_desc_t *desc = irq_desc + irq;
64         unsigned long flags;
65
66         if (irq >= NR_IRQS)
67                 return;
68
69         spin_lock_irqsave(&desc->lock, flags);
70         if (!desc->depth++) {
71                 desc->status |= IRQ_DISABLED;
72                 desc->handler->disable(irq);
73         }
74         spin_unlock_irqrestore(&desc->lock, flags);
75 }
76
77 EXPORT_SYMBOL(disable_irq_nosync);
78
79 /**
80  *      disable_irq - disable an irq and wait for completion
81  *      @irq: Interrupt to disable
82  *
83  *      Disable the selected interrupt line.  Enables and Disables are
84  *      nested.
85  *      This function waits for any pending IRQ handlers for this interrupt
86  *      to complete before returning. If you use this function while
87  *      holding a resource the IRQ handler may need you will deadlock.
88  *
89  *      This function may be called - with care - from IRQ context.
90  */
91 void disable_irq(unsigned int irq)
92 {
93         irq_desc_t *desc = irq_desc + irq;
94
95         if (irq >= NR_IRQS)
96                 return;
97
98         disable_irq_nosync(irq);
99         if (desc->action)
100                 synchronize_irq(irq);
101 }
102
103 EXPORT_SYMBOL(disable_irq);
104
105 /**
106  *      enable_irq - enable handling of an irq
107  *      @irq: Interrupt to enable
108  *
109  *      Undoes the effect of one call to disable_irq().  If this
110  *      matches the last disable, processing of interrupts on this
111  *      IRQ line is re-enabled.
112  *
113  *      This function may be called from IRQ context.
114  */
115 void enable_irq(unsigned int irq)
116 {
117         irq_desc_t *desc = irq_desc + irq;
118         unsigned long flags;
119
120         if (irq >= NR_IRQS)
121                 return;
122
123         spin_lock_irqsave(&desc->lock, flags);
124         switch (desc->depth) {
125         case 0:
126                 WARN_ON(1);
127                 break;
128         case 1: {
129                 unsigned int status = desc->status & ~IRQ_DISABLED;
130
131                 desc->status = status;
132                 if ((status & (IRQ_PENDING | IRQ_REPLAY)) == IRQ_PENDING) {
133                         desc->status = status | IRQ_REPLAY;
134                         hw_resend_irq(desc->handler,irq);
135                 }
136                 desc->handler->enable(irq);
137                 /* fall-through */
138         }
139         default:
140                 desc->depth--;
141         }
142         spin_unlock_irqrestore(&desc->lock, flags);
143 }
144
145 EXPORT_SYMBOL(enable_irq);
146
147 /*
148  * Internal function that tells the architecture code whether a
149  * particular irq has been exclusively allocated or is available
150  * for driver use.
151  */
152 int can_request_irq(unsigned int irq, unsigned long irqflags)
153 {
154         struct irqaction *action;
155
156         if (irq >= NR_IRQS)
157                 return 0;
158
159         action = irq_desc[irq].action;
160         if (action)
161                 if (irqflags & action->flags & SA_SHIRQ)
162                         action = NULL;
163
164         return !action;
165 }
166
167 /*
168  * Internal function to register an irqaction - typically used to
169  * allocate special interrupts that are part of the architecture.
170  */
171 int setup_irq(unsigned int irq, struct irqaction * new)
172 {
173         struct irq_desc *desc = irq_desc + irq;
174         struct irqaction *old, **p;
175         unsigned long flags;
176         int shared = 0;
177
178         if (irq >= NR_IRQS)
179                 return -EINVAL;
180
181         if (desc->handler == &no_irq_type)
182                 return -ENOSYS;
183         /*
184          * Some drivers like serial.c use request_irq() heavily,
185          * so we have to be careful not to interfere with a
186          * running system.
187          */
188         if (new->flags & SA_SAMPLE_RANDOM) {
189                 /*
190                  * This function might sleep, we want to call it first,
191                  * outside of the atomic block.
192                  * Yes, this might clear the entropy pool if the wrong
193                  * driver is attempted to be loaded, without actually
194                  * installing a new handler, but is this really a problem,
195                  * only the sysadmin is able to do this.
196                  */
197                 rand_initialize_irq(irq);
198         }
199
200         /*
201          * The following block of code has to be executed atomically
202          */
203         spin_lock_irqsave(&desc->lock,flags);
204         p = &desc->action;
205         if ((old = *p) != NULL) {
206                 /* Can't share interrupts unless both agree to */
207                 if (!(old->flags & new->flags & SA_SHIRQ))
208                         goto mismatch;
209
210 #if defined(ARCH_HAS_IRQ_PER_CPU) && defined(SA_PERCPU_IRQ)
211                 /* All handlers must agree on per-cpuness */
212                 if ((old->flags & IRQ_PER_CPU) != (new->flags & IRQ_PER_CPU))
213                         goto mismatch;
214 #endif
215
216                 /* add new interrupt at end of irq queue */
217                 do {
218                         p = &old->next;
219                         old = *p;
220                 } while (old);
221                 shared = 1;
222         }
223
224         *p = new;
225 #if defined(ARCH_HAS_IRQ_PER_CPU) && defined(SA_PERCPU_IRQ)
226         if (new->flags & SA_PERCPU_IRQ)
227                 desc->status |= IRQ_PER_CPU;
228 #endif
229         if (!shared) {
230                 desc->depth = 0;
231                 desc->status &= ~(IRQ_DISABLED | IRQ_AUTODETECT |
232                                   IRQ_WAITING | IRQ_INPROGRESS);
233                 if (desc->handler->startup)
234                         desc->handler->startup(irq);
235                 else
236                         desc->handler->enable(irq);
237         }
238         spin_unlock_irqrestore(&desc->lock,flags);
239
240         new->irq = irq;
241         register_irq_proc(irq);
242         new->dir = NULL;
243         register_handler_proc(irq, new);
244
245         return 0;
246
247 mismatch:
248         spin_unlock_irqrestore(&desc->lock, flags);
249         printk(KERN_ERR "%s: irq handler mismatch\n", __FUNCTION__);
250         dump_stack();
251         return -EBUSY;
252 }
253
254 /**
255  *      free_irq - free an interrupt
256  *      @irq: Interrupt line to free
257  *      @dev_id: Device identity to free
258  *
259  *      Remove an interrupt handler. The handler is removed and if the
260  *      interrupt line is no longer in use by any driver it is disabled.
261  *      On a shared IRQ the caller must ensure the interrupt is disabled
262  *      on the card it drives before calling this function. The function
263  *      does not return until any executing interrupts for this IRQ
264  *      have completed.
265  *
266  *      This function must not be called from interrupt context.
267  */
268 void free_irq(unsigned int irq, void *dev_id)
269 {
270         struct irq_desc *desc;
271         struct irqaction **p;
272         unsigned long flags;
273
274         if (irq >= NR_IRQS)
275                 return;
276
277         desc = irq_desc + irq;
278         spin_lock_irqsave(&desc->lock,flags);
279         p = &desc->action;
280         for (;;) {
281                 struct irqaction * action = *p;
282
283                 if (action) {
284                         struct irqaction **pp = p;
285
286                         p = &action->next;
287                         if (action->dev_id != dev_id)
288                                 continue;
289
290                         /* Found it - now remove it from the list of entries */
291                         *pp = action->next;
292
293                         /* Currently used only by UML, might disappear one day.*/
294 #ifdef CONFIG_IRQ_RELEASE_METHOD
295                         if (desc->handler->release)
296                                 desc->handler->release(irq, dev_id);
297 #endif
298
299                         if (!desc->action) {
300                                 desc->status |= IRQ_DISABLED;
301                                 if (desc->handler->shutdown)
302                                         desc->handler->shutdown(irq);
303                                 else
304                                         desc->handler->disable(irq);
305                         }
306                         spin_unlock_irqrestore(&desc->lock,flags);
307                         unregister_handler_proc(irq, action);
308
309                         /* Make sure it's not being used on another CPU */
310                         synchronize_irq(irq);
311                         kfree(action);
312                         return;
313                 }
314                 printk(KERN_ERR "Trying to free free IRQ%d\n",irq);
315                 spin_unlock_irqrestore(&desc->lock,flags);
316                 return;
317         }
318 }
319
320 EXPORT_SYMBOL(free_irq);
321
322 /**
323  *      request_irq - allocate an interrupt line
324  *      @irq: Interrupt line to allocate
325  *      @handler: Function to be called when the IRQ occurs
326  *      @irqflags: Interrupt type flags
327  *      @devname: An ascii name for the claiming device
328  *      @dev_id: A cookie passed back to the handler function
329  *
330  *      This call allocates interrupt resources and enables the
331  *      interrupt line and IRQ handling. From the point this
332  *      call is made your handler function may be invoked. Since
333  *      your handler function must clear any interrupt the board
334  *      raises, you must take care both to initialise your hardware
335  *      and to set up the interrupt handler in the right order.
336  *
337  *      Dev_id must be globally unique. Normally the address of the
338  *      device data structure is used as the cookie. Since the handler
339  *      receives this value it makes sense to use it.
340  *
341  *      If your interrupt is shared you must pass a non NULL dev_id
342  *      as this is required when freeing the interrupt.
343  *
344  *      Flags:
345  *
346  *      SA_SHIRQ                Interrupt is shared
347  *      SA_INTERRUPT            Disable local interrupts while processing
348  *      SA_SAMPLE_RANDOM        The interrupt can be used for entropy
349  *
350  */
351 int request_irq(unsigned int irq,
352                 irqreturn_t (*handler)(int, void *, struct pt_regs *),
353                 unsigned long irqflags, const char * devname, void *dev_id)
354 {
355         struct irqaction * action;
356         int retval;
357
358         /*
359          * Sanity-check: shared interrupts must pass in a real dev-ID,
360          * otherwise we'll have trouble later trying to figure out
361          * which interrupt is which (messes up the interrupt freeing
362          * logic etc).
363          */
364         if ((irqflags & SA_SHIRQ) && !dev_id)
365                 return -EINVAL;
366         if (irq >= NR_IRQS)
367                 return -EINVAL;
368         if (!handler)
369                 return -EINVAL;
370
371         action = kmalloc(sizeof(struct irqaction), GFP_ATOMIC);
372         if (!action)
373                 return -ENOMEM;
374
375         action->handler = handler;
376         action->flags = irqflags;
377         cpus_clear(action->mask);
378         action->name = devname;
379         action->next = NULL;
380         action->dev_id = dev_id;
381
382         select_smp_affinity(irq);
383
384         retval = setup_irq(irq, action);
385         if (retval)
386                 kfree(action);
387
388         return retval;
389 }
390
391 EXPORT_SYMBOL(request_irq);
392