kthread: Don't looking for a task in create_kthread() #2
[linux-2.6.git] / kernel / kthread.c
1 /* Kernel thread helper functions.
2  *   Copyright (C) 2004 IBM Corporation, Rusty Russell.
3  *
4  * Creation is done via kthreadd, so that we get a clean environment
5  * even if we're invoked from userspace (think modprobe, hotplug cpu,
6  * etc.).
7  */
8 #include <linux/sched.h>
9 #include <linux/kthread.h>
10 #include <linux/completion.h>
11 #include <linux/err.h>
12 #include <linux/unistd.h>
13 #include <linux/file.h>
14 #include <linux/module.h>
15 #include <linux/mutex.h>
16 #include <trace/sched.h>
17
18 #define KTHREAD_NICE_LEVEL (-5)
19
20 static DEFINE_SPINLOCK(kthread_create_lock);
21 static LIST_HEAD(kthread_create_list);
22 struct task_struct *kthreadd_task;
23
24 DEFINE_TRACE(sched_kthread_stop);
25 DEFINE_TRACE(sched_kthread_stop_ret);
26
27 struct kthread_create_info
28 {
29         /* Information passed to kthread() from kthreadd. */
30         int (*threadfn)(void *data);
31         void *data;
32         struct completion started;
33
34         /* Result passed back to kthread_create() from kthreadd. */
35         struct task_struct *result;
36         struct completion done;
37
38         struct list_head list;
39 };
40
41 struct kthread_stop_info
42 {
43         struct task_struct *k;
44         int err;
45         struct completion done;
46 };
47
48 /* Thread stopping is done by setthing this var: lock serializes
49  * multiple kthread_stop calls. */
50 static DEFINE_MUTEX(kthread_stop_lock);
51 static struct kthread_stop_info kthread_stop_info;
52
53 /**
54  * kthread_should_stop - should this kthread return now?
55  *
56  * When someone calls kthread_stop() on your kthread, it will be woken
57  * and this will return true.  You should then return, and your return
58  * value will be passed through to kthread_stop().
59  */
60 int kthread_should_stop(void)
61 {
62         return (kthread_stop_info.k == current);
63 }
64 EXPORT_SYMBOL(kthread_should_stop);
65
66 static int kthread(void *_create)
67 {
68         struct kthread_create_info *create = _create;
69         int (*threadfn)(void *data);
70         void *data;
71         int ret = -EINTR;
72
73         /* Copy data: it's on kthread's stack */
74         threadfn = create->threadfn;
75         data = create->data;
76
77         /* OK, tell user we're spawned, wait for stop or wakeup */
78         __set_current_state(TASK_UNINTERRUPTIBLE);
79         create->result = current;
80         complete(&create->started);
81         schedule();
82
83         if (!kthread_should_stop())
84                 ret = threadfn(data);
85
86         /* It might have exited on its own, w/o kthread_stop.  Check. */
87         if (kthread_should_stop()) {
88                 kthread_stop_info.err = ret;
89                 complete(&kthread_stop_info.done);
90         }
91         return 0;
92 }
93
94 static void create_kthread(struct kthread_create_info *create)
95 {
96         int pid;
97
98         /* We want our own signal handler (we take no signals by default). */
99         pid = kernel_thread(kthread, create, CLONE_FS | CLONE_FILES | SIGCHLD);
100         if (pid < 0) {
101                 create->result = ERR_PTR(pid);
102         } else {
103                 struct sched_param param = { .sched_priority = 0 };
104                 wait_for_completion(&create->started);
105                 /*
106                  * root may have changed our (kthreadd's) priority or CPU mask.
107                  * The kernel thread should not inherit these properties.
108                  */
109                 sched_setscheduler(create->result, SCHED_NORMAL, &param);
110                 set_user_nice(create->result, KTHREAD_NICE_LEVEL);
111                 set_cpus_allowed_ptr(create->result, cpu_all_mask);
112         }
113         complete(&create->done);
114 }
115
116 /**
117  * kthread_create - create a kthread.
118  * @threadfn: the function to run until signal_pending(current).
119  * @data: data ptr for @threadfn.
120  * @namefmt: printf-style name for the thread.
121  *
122  * Description: This helper function creates and names a kernel
123  * thread.  The thread will be stopped: use wake_up_process() to start
124  * it.  See also kthread_run(), kthread_create_on_cpu().
125  *
126  * When woken, the thread will run @threadfn() with @data as its
127  * argument. @threadfn() can either call do_exit() directly if it is a
128  * standalone thread for which noone will call kthread_stop(), or
129  * return when 'kthread_should_stop()' is true (which means
130  * kthread_stop() has been called).  The return value should be zero
131  * or a negative error number; it will be passed to kthread_stop().
132  *
133  * Returns a task_struct or ERR_PTR(-ENOMEM).
134  */
135 struct task_struct *kthread_create(int (*threadfn)(void *data),
136                                    void *data,
137                                    const char namefmt[],
138                                    ...)
139 {
140         struct kthread_create_info create;
141
142         create.threadfn = threadfn;
143         create.data = data;
144         init_completion(&create.started);
145         init_completion(&create.done);
146
147         spin_lock(&kthread_create_lock);
148         list_add_tail(&create.list, &kthread_create_list);
149         spin_unlock(&kthread_create_lock);
150
151         wake_up_process(kthreadd_task);
152         wait_for_completion(&create.done);
153
154         if (!IS_ERR(create.result)) {
155                 va_list args;
156                 va_start(args, namefmt);
157                 vsnprintf(create.result->comm, sizeof(create.result->comm),
158                           namefmt, args);
159                 va_end(args);
160         }
161         return create.result;
162 }
163 EXPORT_SYMBOL(kthread_create);
164
165 /**
166  * kthread_bind - bind a just-created kthread to a cpu.
167  * @k: thread created by kthread_create().
168  * @cpu: cpu (might not be online, must be possible) for @k to run on.
169  *
170  * Description: This function is equivalent to set_cpus_allowed(),
171  * except that @cpu doesn't need to be online, and the thread must be
172  * stopped (i.e., just returned from kthread_create()).
173  */
174 void kthread_bind(struct task_struct *k, unsigned int cpu)
175 {
176         /* Must have done schedule() in kthread() before we set_task_cpu */
177         if (!wait_task_inactive(k, TASK_UNINTERRUPTIBLE)) {
178                 WARN_ON(1);
179                 return;
180         }
181         set_task_cpu(k, cpu);
182         k->cpus_allowed = cpumask_of_cpu(cpu);
183         k->rt.nr_cpus_allowed = 1;
184         k->flags |= PF_THREAD_BOUND;
185 }
186 EXPORT_SYMBOL(kthread_bind);
187
188 /**
189  * kthread_stop - stop a thread created by kthread_create().
190  * @k: thread created by kthread_create().
191  *
192  * Sets kthread_should_stop() for @k to return true, wakes it, and
193  * waits for it to exit.  Your threadfn() must not call do_exit()
194  * itself if you use this function!  This can also be called after
195  * kthread_create() instead of calling wake_up_process(): the thread
196  * will exit without calling threadfn().
197  *
198  * Returns the result of threadfn(), or %-EINTR if wake_up_process()
199  * was never called.
200  */
201 int kthread_stop(struct task_struct *k)
202 {
203         int ret;
204
205         mutex_lock(&kthread_stop_lock);
206
207         /* It could exit after stop_info.k set, but before wake_up_process. */
208         get_task_struct(k);
209
210         trace_sched_kthread_stop(k);
211
212         /* Must init completion *before* thread sees kthread_stop_info.k */
213         init_completion(&kthread_stop_info.done);
214         smp_wmb();
215
216         /* Now set kthread_should_stop() to true, and wake it up. */
217         kthread_stop_info.k = k;
218         wake_up_process(k);
219         put_task_struct(k);
220
221         /* Once it dies, reset stop ptr, gather result and we're done. */
222         wait_for_completion(&kthread_stop_info.done);
223         kthread_stop_info.k = NULL;
224         ret = kthread_stop_info.err;
225         mutex_unlock(&kthread_stop_lock);
226
227         trace_sched_kthread_stop_ret(ret);
228
229         return ret;
230 }
231 EXPORT_SYMBOL(kthread_stop);
232
233 int kthreadd(void *unused)
234 {
235         struct task_struct *tsk = current;
236
237         /* Setup a clean context for our children to inherit. */
238         set_task_comm(tsk, "kthreadd");
239         ignore_signals(tsk);
240         set_user_nice(tsk, KTHREAD_NICE_LEVEL);
241         set_cpus_allowed_ptr(tsk, cpu_all_mask);
242
243         current->flags |= PF_NOFREEZE | PF_FREEZER_NOSIG;
244
245         for (;;) {
246                 set_current_state(TASK_INTERRUPTIBLE);
247                 if (list_empty(&kthread_create_list))
248                         schedule();
249                 __set_current_state(TASK_RUNNING);
250
251                 spin_lock(&kthread_create_lock);
252                 while (!list_empty(&kthread_create_list)) {
253                         struct kthread_create_info *create;
254
255                         create = list_entry(kthread_create_list.next,
256                                             struct kthread_create_info, list);
257                         list_del_init(&create->list);
258                         spin_unlock(&kthread_create_lock);
259
260                         create_kthread(create);
261
262                         spin_lock(&kthread_create_lock);
263                 }
264                 spin_unlock(&kthread_create_lock);
265         }
266
267         return 0;
268 }