rmap: add exclusively owned pages to the newest anon_vma
authorRik van Riel <riel@redhat.com>
Wed, 14 Apr 2010 21:59:28 +0000 (17:59 -0400)
committerLinus Torvalds <torvalds@linux-foundation.org>
Mon, 19 Apr 2010 23:28:20 +0000 (16:28 -0700)
commite8a03feb54ca7f1768bbdc2b491f9ef654e6d01d
tree1ce113d18057e0870e0816f272e21b6716ef321f
parent9b030e2006546366c832911ca5eb9e785408795b
rmap: add exclusively owned pages to the newest anon_vma

The recent anon_vma fixes cause many anonymous pages to end up
in the parent process anon_vma, even when the page is exclusively
owned by the current process.

Adding exclusively owned anonymous pages to the top anon_vma
reduces rmap scanning overhead, especially in workloads with
forking servers.

This patch adds a parameter to __page_set_anon_rmap that can
be used to indicate whether or not the added page is exclusively
owned by the current process.

Pages added through page_add_new_anon_rmap are exclusively
owned by the current process, and can be added to the top
anon_vma.

Pages added through page_add_anon_rmap can be either shared
or exclusively owned, so we do the conservative thing and
add it to the oldest anon_vma.

A next step would be to add the exclusive parameter to
page_add_anon_rmap, to be used from functions where we do
know for sure whether a page is exclusively owned.

Signed-off-by: Rik van Riel <riel@redhat.com>
Reviewed-by: Johannes Weiner <hannes@cmpxchg.org>
Lightly-tested-by: Borislav Petkov <bp@alien8.de>
Reviewed-by: Minchan Kim <minchan.kim@gmail.com>
[ Edited to look nicer  - Linus ]
Signed-off-by: Linus Torvalds <torvalds@linux-foundation.org>
mm/rmap.c