rcupdate: fix bug of rcu_barrier*()
authorLai Jiangshan <laijs@cn.fujitsu.com>
Fri, 17 Oct 2008 06:40:30 +0000 (14:40 +0800)
committerIngo Molnar <mingo@elte.hu>
Tue, 21 Oct 2008 13:59:53 +0000 (15:59 +0200)
commit5f86515158ca86182c1dbecd546f1848121ba135
tree056f064fd80d3393f2d94dbdc790a798dbbab9cc
parent8cf7d362c0dc2cfda2146d184eedc32a530c8020
rcupdate: fix bug of rcu_barrier*()

current rcu_barrier_bh() is like this:

void rcu_barrier_bh(void)
{
BUG_ON(in_interrupt());
/* Take cpucontrol mutex to protect against CPU hotplug */
mutex_lock(&rcu_barrier_mutex);
init_completion(&rcu_barrier_completion);
atomic_set(&rcu_barrier_cpu_count, 0);
/*
 * The queueing of callbacks in all CPUs must be atomic with
 * respect to RCU, otherwise one CPU may queue a callback,
 * wait for a grace period, decrement barrier count and call
 * complete(), while other CPUs have not yet queued anything.
 * So, we need to make sure that grace periods cannot complete
 * until all the callbacks are queued.
 */
rcu_read_lock();
on_each_cpu(rcu_barrier_func, (void *)RCU_BARRIER_BH, 1);
rcu_read_unlock();
wait_for_completion(&rcu_barrier_completion);
mutex_unlock(&rcu_barrier_mutex);
}

The inconsistency of the code and the comments show a bug here.
rcu_read_lock() cannot make sure that "grace periods for RCU_BH
cannot complete until all the callbacks are queued".
it only make sure that race periods for RCU cannot complete
until all the callbacks are queued.

so we must use rcu_read_lock_bh() for rcu_barrier_bh().
like this:

void rcu_barrier_bh(void)
{
......
rcu_read_lock_bh();
on_each_cpu(rcu_barrier_func, (void *)RCU_BARRIER_BH, 1);
rcu_read_unlock_bh();
......
}

and also rcu_barrier() rcu_barrier_sched() are implemented like this.
it will bring a lot of duplicate code. My patch uses another way to
fix this bug, please see the comment of my patch.
Thank Paul E. McKenney for he rewrote the comment.

Signed-off-by: Lai Jiangshan <laijs@cn.fujitsu.com>
Reviewed-by: Paul E. McKenney <paulmck@linux.vnet.ibm.com>
Signed-off-by: Ingo Molnar <mingo@elte.hu>
kernel/rcupdate.c