mutex: implement adaptive spinning
[linux-2.6.git] / kernel / mutex-debug.c
1 /*
2  * kernel/mutex-debug.c
3  *
4  * Debugging code for mutexes
5  *
6  * Started by Ingo Molnar:
7  *
8  *  Copyright (C) 2004, 2005, 2006 Red Hat, Inc., Ingo Molnar <mingo@redhat.com>
9  *
10  * lock debugging, locking tree, deadlock detection started by:
11  *
12  *  Copyright (C) 2004, LynuxWorks, Inc., Igor Manyilov, Bill Huey
13  *  Released under the General Public License (GPL).
14  */
15 #include <linux/mutex.h>
16 #include <linux/delay.h>
17 #include <linux/module.h>
18 #include <linux/poison.h>
19 #include <linux/spinlock.h>
20 #include <linux/kallsyms.h>
21 #include <linux/interrupt.h>
22 #include <linux/debug_locks.h>
23
24 #include "mutex-debug.h"
25
26 /*
27  * Must be called with lock->wait_lock held.
28  */
29 void debug_mutex_lock_common(struct mutex *lock, struct mutex_waiter *waiter)
30 {
31         memset(waiter, MUTEX_DEBUG_INIT, sizeof(*waiter));
32         waiter->magic = waiter;
33         INIT_LIST_HEAD(&waiter->list);
34 }
35
36 void debug_mutex_wake_waiter(struct mutex *lock, struct mutex_waiter *waiter)
37 {
38         SMP_DEBUG_LOCKS_WARN_ON(!spin_is_locked(&lock->wait_lock));
39         DEBUG_LOCKS_WARN_ON(list_empty(&lock->wait_list));
40         DEBUG_LOCKS_WARN_ON(waiter->magic != waiter);
41         DEBUG_LOCKS_WARN_ON(list_empty(&waiter->list));
42 }
43
44 void debug_mutex_free_waiter(struct mutex_waiter *waiter)
45 {
46         DEBUG_LOCKS_WARN_ON(!list_empty(&waiter->list));
47         memset(waiter, MUTEX_DEBUG_FREE, sizeof(*waiter));
48 }
49
50 void debug_mutex_add_waiter(struct mutex *lock, struct mutex_waiter *waiter,
51                             struct thread_info *ti)
52 {
53         SMP_DEBUG_LOCKS_WARN_ON(!spin_is_locked(&lock->wait_lock));
54
55         /* Mark the current thread as blocked on the lock: */
56         ti->task->blocked_on = waiter;
57 }
58
59 void mutex_remove_waiter(struct mutex *lock, struct mutex_waiter *waiter,
60                          struct thread_info *ti)
61 {
62         DEBUG_LOCKS_WARN_ON(list_empty(&waiter->list));
63         DEBUG_LOCKS_WARN_ON(waiter->task != ti->task);
64         DEBUG_LOCKS_WARN_ON(ti->task->blocked_on != waiter);
65         ti->task->blocked_on = NULL;
66
67         list_del_init(&waiter->list);
68         waiter->task = NULL;
69 }
70
71 void debug_mutex_unlock(struct mutex *lock)
72 {
73         if (unlikely(!debug_locks))
74                 return;
75
76         DEBUG_LOCKS_WARN_ON(lock->magic != lock);
77         DEBUG_LOCKS_WARN_ON(lock->owner != current_thread_info());
78         DEBUG_LOCKS_WARN_ON(!lock->wait_list.prev && !lock->wait_list.next);
79         mutex_clear_owner(lock);
80 }
81
82 void debug_mutex_init(struct mutex *lock, const char *name,
83                       struct lock_class_key *key)
84 {
85 #ifdef CONFIG_DEBUG_LOCK_ALLOC
86         /*
87          * Make sure we are not reinitializing a held lock:
88          */
89         debug_check_no_locks_freed((void *)lock, sizeof(*lock));
90         lockdep_init_map(&lock->dep_map, name, key, 0);
91 #endif
92         lock->magic = lock;
93 }
94
95 /***
96  * mutex_destroy - mark a mutex unusable
97  * @lock: the mutex to be destroyed
98  *
99  * This function marks the mutex uninitialized, and any subsequent
100  * use of the mutex is forbidden. The mutex must not be locked when
101  * this function is called.
102  */
103 void mutex_destroy(struct mutex *lock)
104 {
105         DEBUG_LOCKS_WARN_ON(mutex_is_locked(lock));
106         lock->magic = NULL;
107 }
108
109 EXPORT_SYMBOL_GPL(mutex_destroy);