x86, amd: Avoid cache aliasing penalties on AMD family 15h
authorBorislav Petkov <borislav.petkov@amd.com>
Fri, 5 Aug 2011 13:15:08 +0000 (15:15 +0200)
committerH. Peter Anvin <hpa@linux.intel.com>
Fri, 5 Aug 2011 19:26:44 +0000 (12:26 -0700)
commitdfb09f9b7ab03fd367740e541a5caf830ed56726
tree8bd8fdbbf3fb67f7d0aed73a1e8e1c7034ed2d54
parent13f9a3737c903ace57d8aaebe81a3bbaeb0aa0a2
x86, amd: Avoid cache aliasing penalties on AMD family 15h

This patch provides performance tuning for the "Bulldozer" CPU. With its
shared instruction cache there is a chance of generating an excessive
number of cache cross-invalidates when running specific workloads on the
cores of a compute module.

This excessive amount of cross-invalidations can be observed if cache
lines backed by shared physical memory alias in bits [14:12] of their
virtual addresses, as those bits are used for the index generation.

This patch addresses the issue by clearing all the bits in the [14:12]
slice of the file mapping's virtual address at generation time, thus
forcing those bits the same for all mappings of a single shared library
across processes and, in doing so, avoids instruction cache aliases.

It also adds the command line option "align_va_addr=(32|64|on|off)" with
which virtual address alignment can be enabled for 32-bit or 64-bit x86
individually, or both, or be completely disabled.

This change leaves virtual region address allocation on other families
and/or vendors unaffected.

Signed-off-by: Borislav Petkov <borislav.petkov@amd.com>
Link: http://lkml.kernel.org/r/1312550110-24160-2-git-send-email-bp@amd64.org
Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>
Documentation/kernel-parameters.txt
arch/x86/include/asm/elf.h
arch/x86/kernel/cpu/amd.c
arch/x86/kernel/sys_x86_64.c
arch/x86/mm/mmap.c
arch/x86/vdso/vma.c