mm: slub: optimise the SLUB fast path to avoid pfmemalloc checks
authorChristoph Lameter <>
Tue, 31 Jul 2012 23:44:00 +0000 (16:44 -0700)
committerLinus Torvalds <>
Wed, 1 Aug 2012 01:42:45 +0000 (18:42 -0700)
mm: slub: optimise the SLUB fast path to avoid pfmemalloc checks

This patch removes the check for pfmemalloc from the alloc hotpath and
puts the logic after the election of a new per cpu slab.  For a pfmemalloc
page we do not use the fast path but force the use of the slow path which
is also used for the debug case.

This has the side-effect of weakening pfmemalloc processing in the
following way;

1. A process that is allocating for network swap calls __slab_alloc.
   pfmemalloc_match is true so the freelist is loaded and c->freelist is
   now pointing to a pfmemalloc page.

2. A process that is attempting normal allocations calls slab_alloc,
   finds the pfmemalloc page on the freelist and uses it because it did
   not check pfmemalloc_match()

The patch allows non-pfmemalloc allocations to use pfmemalloc pages with
the kmalloc slabs being the most vunerable caches on the grounds they
are most likely to have a mix of pfmemalloc and !pfmemalloc requests. A
later patch will still protect the system as processes will get throttled
if the pfmemalloc reserves get depleted but performance will not degrade
as smoothly.

[ Expanded changelog]
Signed-off-by: Christoph Lameter <>
Signed-off-by: Mel Gorman <>
Cc: David Miller <>
Cc: Neil Brown <>
Cc: Peter Zijlstra <>
Cc: Mike Christie <>
Cc: Eric B Munson <>
Cc: Eric Dumazet <>
Cc: Sebastian Andrzej Siewior <>
Cc: Mel Gorman <>
Signed-off-by: Andrew Morton <>
Signed-off-by: Linus Torvalds <>