Merge git://git.infradead.org/~dwmw2/khdrs-2.6
[linux-2.6.git] / Documentation / kbuild / modules.txt
1
2 In this document you will find information about:
3 - how to build external modules
4 - how to make your module use the kbuild infrastructure
5 - how kbuild will install a kernel
6 - how to install modules in a non-standard location
7
8 === Table of Contents
9
10         === 1 Introduction
11         === 2 How to build external modules
12            --- 2.1 Building external modules
13            --- 2.2 Available targets
14            --- 2.3 Available options
15            --- 2.4 Preparing the kernel tree for module build
16            --- 2.5 Building separate files for a module
17         === 3. Example commands
18         === 4. Creating a kbuild file for an external module
19         === 5. Include files
20            --- 5.1 How to include files from the kernel include dir
21            --- 5.2 External modules using an include/ dir
22            --- 5.3 External modules using several directories
23         === 6. Module installation
24            --- 6.1 INSTALL_MOD_PATH
25            --- 6.2 INSTALL_MOD_DIR
26         === 7. Module versioning & Module.symvers
27            --- 7.1 Symbols from the kernel (vmlinux + modules)
28            --- 7.2 Symbols and external modules
29            --- 7.3 Symbols from another external module
30         === 8. Tips & Tricks
31            --- 8.1 Testing for CONFIG_FOO_BAR
32
33
34
35 === 1. Introduction
36
37 kbuild includes functionality for building modules both
38 within the kernel source tree and outside the kernel source tree.
39 The latter is usually referred to as external or "out-of-tree"
40 modules and is used both during development and for modules that
41 are not planned to be included in the kernel tree.
42
43 What is covered within this file is mainly information to authors
44 of modules. The author of an external module should supply
45 a makefile that hides most of the complexity, so one only has to type
46 'make' to build the module. A complete example will be present in
47 chapter 4, "Creating a kbuild file for an external module".
48
49
50 === 2. How to build external modules
51
52 kbuild offers functionality to build external modules, with the
53 prerequisite that there is a pre-built kernel available with full source.
54 A subset of the targets available when building the kernel is available
55 when building an external module.
56
57 --- 2.1 Building external modules
58
59         Use the following command to build an external module:
60
61                 make -C <path-to-kernel> M=`pwd`
62
63         For the running kernel use:
64                 make -C /lib/modules/`uname -r`/build M=`pwd`
65
66         For the above command to succeed, the kernel must have been
67         built with modules enabled.
68
69         To install the modules that were just built:
70
71                 make -C <path-to-kernel> M=`pwd` modules_install
72
73         More complex examples will be shown later, the above should
74         be enough to get you started.
75
76 --- 2.2 Available targets
77
78         $KDIR refers to the path to the kernel source top-level directory
79
80         make -C $KDIR M=`pwd`
81                 Will build the module(s) located in current directory.
82                 All output files will be located in the same directory
83                 as the module source.
84                 No attempts are made to update the kernel source, and it is
85                 a precondition that a successful make has been executed
86                 for the kernel.
87
88         make -C $KDIR M=`pwd` modules
89                 The modules target is implied when no target is given.
90                 Same functionality as if no target was specified.
91                 See description above.
92
93         make -C $KDIR M=`pwd` modules_install
94                 Install the external module(s).
95                 Installation default is in /lib/modules/<kernel-version>/extra,
96                 but may be prefixed with INSTALL_MOD_PATH - see separate
97                 chapter.
98
99         make -C $KDIR M=`pwd` clean
100                 Remove all generated files for the module - the kernel
101                 source directory is not modified.
102
103         make -C $KDIR M=`pwd` help
104                 help will list the available target when building external
105                 modules.
106
107 --- 2.3 Available options:
108
109         $KDIR refers to the path to the kernel source top-level directory
110
111         make -C $KDIR
112                 Used to specify where to find the kernel source.
113                 '$KDIR' represent the directory where the kernel source is.
114                 Make will actually change directory to the specified directory
115                 when executed but change back when finished.
116
117         make -C $KDIR M=`pwd`
118                 M= is used to tell kbuild that an external module is
119                 being built.
120                 The option given to M= is the directory where the external
121                 module (kbuild file) is located.
122                 When an external module is being built only a subset of the
123                 usual targets are available.
124
125         make -C $KDIR SUBDIRS=`pwd`
126                 Same as M=. The SUBDIRS= syntax is kept for backwards
127                 compatibility.
128
129 --- 2.4 Preparing the kernel tree for module build
130
131         To make sure the kernel contains the information required to
132         build external modules the target 'modules_prepare' must be used.
133         'module_prepare' exists solely as a simple way to prepare
134         a kernel source tree for building external modules.
135         Note: modules_prepare will not build Module.symvers even if
136         CONFIG_MODULEVERSIONING is set. Therefore a full kernel build
137         needs to be executed to make module versioning work.
138
139 --- 2.5 Building separate files for a module
140         It is possible to build single files which are part of a module.
141         This works equally well for the kernel, a module and even for
142         external modules.
143         Examples (module foo.ko, consist of bar.o, baz.o):
144                 make -C $KDIR M=`pwd` bar.lst
145                 make -C $KDIR M=`pwd` bar.o
146                 make -C $KDIR M=`pwd` foo.ko
147                 make -C $KDIR M=`pwd` /
148
149
150 === 3. Example commands
151
152 This example shows the actual commands to be executed when building
153 an external module for the currently running kernel.
154 In the example below, the distribution is supposed to use the
155 facility to locate output files for a kernel compile in a different
156 directory than the kernel source - but the examples will also work
157 when the source and the output files are mixed in the same directory.
158
159 # Kernel source
160 /lib/modules/<kernel-version>/source -> /usr/src/linux-<version>
161
162 # Output from kernel compile
163 /lib/modules/<kernel-version>/build -> /usr/src/linux-<version>-up
164
165 Change to the directory where the kbuild file is located and execute
166 the following commands to build the module:
167
168         cd /home/user/src/module
169         make -C /usr/src/`uname -r`/source            \
170                 O=/lib/modules/`uname-r`/build        \
171                 M=`pwd`
172
173 Then, to install the module use the following command:
174
175         make -C /usr/src/`uname -r`/source            \
176                 O=/lib/modules/`uname-r`/build        \
177                 M=`pwd`                               \
178                 modules_install
179
180 If you look closely you will see that this is the same command as
181 listed before - with the directories spelled out.
182
183 The above are rather long commands, and the following chapter
184 lists a few tricks to make it all easier.
185
186
187 === 4. Creating a kbuild file for an external module
188
189 kbuild is the build system for the kernel, and external modules
190 must use kbuild to stay compatible with changes in the build system
191 and to pick up the right flags to gcc etc.
192
193 The kbuild file used as input shall follow the syntax described
194 in Documentation/kbuild/makefiles.txt. This chapter will introduce a few
195 more tricks to be used when dealing with external modules.
196
197 In the following a Makefile will be created for a module with the
198 following files:
199         8123_if.c
200         8123_if.h
201         8123_pci.c
202         8123_bin.o_shipped      <= Binary blob
203
204 --- 4.1 Shared Makefile for module and kernel
205
206         An external module always includes a wrapper Makefile supporting
207         building the module using 'make' with no arguments.
208         The Makefile provided will most likely include additional
209         functionality such as test targets etc. and this part shall
210         be filtered away from kbuild since it may impact kbuild if
211         name clashes occurs.
212
213         Example 1:
214                 --> filename: Makefile
215                 ifneq ($(KERNELRELEASE),)
216                 # kbuild part of makefile
217                 obj-m  := 8123.o
218                 8123-y := 8123_if.o 8123_pci.o 8123_bin.o
219
220                 else
221                 # Normal Makefile
222
223                 KERNELDIR := /lib/modules/`uname -r`/build
224                 all::
225                         $(MAKE) -C $(KERNELDIR) M=`pwd` $@
226
227                 # Module specific targets
228                 genbin:
229                         echo "X" > 8123_bin.o_shipped
230
231                 endif
232
233         In example 1, the check for KERNELRELEASE is used to separate
234         the two parts of the Makefile. kbuild will only see the two
235         assignments whereas make will see everything except the two
236         kbuild assignments.
237
238         In recent versions of the kernel, kbuild will look for a file named
239         Kbuild and as second option look for a file named Makefile.
240         Utilising the Kbuild file makes us split up the Makefile in example 1
241         into two files as shown in example 2:
242
243         Example 2:
244                 --> filename: Kbuild
245                 obj-m  := 8123.o
246                 8123-y := 8123_if.o 8123_pci.o 8123_bin.o
247
248                 --> filename: Makefile
249                 KERNELDIR := /lib/modules/`uname -r`/build
250                 all::
251                         $(MAKE) -C $KERNELDIR M=`pwd` $@
252
253                 # Module specific targets
254                 genbin:
255                         echo "X" > 8123_bin_shipped
256
257
258         In example 2, we are down to two fairly simple files and for simple
259         files as used in this example the split is questionable. But some
260         external modules use Makefiles of several hundred lines and here it
261         really pays off to separate the kbuild part from the rest.
262         Example 3 shows a backward compatible version.
263
264         Example 3:
265                 --> filename: Kbuild
266                 obj-m  := 8123.o
267                 8123-y := 8123_if.o 8123_pci.o 8123_bin.o
268
269                 --> filename: Makefile
270                 ifneq ($(KERNELRELEASE),)
271                 include Kbuild
272                 else
273                 # Normal Makefile
274
275                 KERNELDIR := /lib/modules/`uname -r`/build
276                 all::
277                         $(MAKE) -C $KERNELDIR M=`pwd` $@
278
279                 # Module specific targets
280                 genbin:
281                         echo "X" > 8123_bin_shipped
282
283                 endif
284
285         The trick here is to include the Kbuild file from Makefile, so
286         if an older version of kbuild picks up the Makefile, the Kbuild
287         file will be included.
288
289 --- 4.2 Binary blobs included in a module
290
291         Some external modules needs to include a .o as a blob. kbuild
292         has support for this, but requires the blob file to be named
293         <filename>_shipped. In our example the blob is named
294         8123_bin.o_shipped and when the kbuild rules kick in the file
295         8123_bin.o is created as a simple copy off the 8213_bin.o_shipped file
296         with the _shipped part stripped of the filename.
297         This allows the 8123_bin.o filename to be used in the assignment to
298         the module.
299
300         Example 4:
301                 obj-m  := 8123.o
302                 8123-y := 8123_if.o 8123_pci.o 8123_bin.o
303
304         In example 4, there is no distinction between the ordinary .c/.h files
305         and the binary file. But kbuild will pick up different rules to create
306         the .o file.
307
308
309 === 5. Include files
310
311 Include files are a necessity when a .c file uses something from other .c
312 files (not strictly in the sense of C, but if good programming practice is
313 used). Any module that consists of more than one .c file will have a .h file
314 for one of the .c files.
315
316 - If the .h file only describes a module internal interface, then the .h file
317   shall be placed in the same directory as the .c files.
318 - If the .h files describe an interface used by other parts of the kernel
319   located in different directories, the .h files shall be located in
320   include/linux/ or other include/ directories as appropriate.
321
322 One exception for this rule is larger subsystems that have their own directory
323 under include/ such as include/scsi. Another exception is arch-specific
324 .h files which are located under include/asm-$(ARCH)/*.
325
326 External modules have a tendency to locate include files in a separate include/
327 directory and therefore need to deal with this in their kbuild file.
328
329 --- 5.1 How to include files from the kernel include dir
330
331         When a module needs to include a file from include/linux/, then one
332         just uses:
333
334                 #include <linux/modules.h>
335
336         kbuild will make sure to add options to gcc so the relevant
337         directories are searched.
338         Likewise for .h files placed in the same directory as the .c file.
339
340                 #include "8123_if.h"
341
342         will do the job.
343
344 --- 5.2 External modules using an include/ dir
345
346         External modules often locate their .h files in a separate include/
347         directory although this is not usual kernel style. When an external
348         module uses an include/ dir then kbuild needs to be told so.
349         The trick here is to use either EXTRA_CFLAGS (take effect for all .c
350         files) or CFLAGS_$F.o (take effect only for a single file).
351
352         In our example, if we move 8123_if.h to a subdirectory named include/
353         the resulting Kbuild file would look like:
354
355                 --> filename: Kbuild
356                 obj-m  := 8123.o
357
358                 EXTRA_CFLAGS := -Iinclude
359                 8123-y := 8123_if.o 8123_pci.o 8123_bin.o
360
361         Note that in the assignment there is no space between -I and the path.
362         This is a kbuild limitation:  there must be no space present.
363
364 --- 5.3 External modules using several directories
365
366         If an external module does not follow the usual kernel style, but
367         decides to spread files over several directories, then kbuild can
368         handle this too.
369
370         Consider the following example:
371
372         |
373         +- src/complex_main.c
374         |   +- hal/hardwareif.c
375         |   +- hal/include/hardwareif.h
376         +- include/complex.h
377
378         To build a single module named complex.ko, we then need the following
379         kbuild file:
380
381         Kbuild:
382                 obj-m := complex.o
383                 complex-y := src/complex_main.o
384                 complex-y += src/hal/hardwareif.o
385
386                 EXTRA_CFLAGS := -I$(src)/include
387                 EXTRA_CFLAGS += -I$(src)src/hal/include
388
389
390         kbuild knows how to handle .o files located in another directory -
391         although this is NOT recommended practice. The syntax is to specify
392         the directory relative to the directory where the Kbuild file is
393         located.
394
395         To find the .h files, we have to explicitly tell kbuild where to look
396         for the .h files. When kbuild executes, the current directory is always
397         the root of the kernel tree (argument to -C) and therefore we have to
398         tell kbuild how to find the .h files using absolute paths.
399         $(src) will specify the absolute path to the directory where the
400         Kbuild file are located when being build as an external module.
401         Therefore -I$(src)/ is used to point out the directory of the Kbuild
402         file and any additional path are just appended.
403
404 === 6. Module installation
405
406 Modules which are included in the kernel are installed in the directory:
407
408         /lib/modules/$(KERNELRELEASE)/kernel
409
410 External modules are installed in the directory:
411
412         /lib/modules/$(KERNELRELEASE)/extra
413
414 --- 6.1 INSTALL_MOD_PATH
415
416         Above are the default directories, but as always, some level of
417         customization is possible. One can prefix the path using the variable
418         INSTALL_MOD_PATH:
419
420                 $ make INSTALL_MOD_PATH=/frodo modules_install
421                 => Install dir: /frodo/lib/modules/$(KERNELRELEASE)/kernel
422
423         INSTALL_MOD_PATH may be set as an ordinary shell variable or as in the
424         example above, can be specified on the command line when calling make.
425         INSTALL_MOD_PATH has effect both when installing modules included in
426         the kernel as well as when installing external modules.
427
428 --- 6.2 INSTALL_MOD_DIR
429
430         When installing external modules they are by default installed to a
431         directory under /lib/modules/$(KERNELRELEASE)/extra, but one may wish
432         to locate modules for a specific functionality in a separate
433         directory. For this purpose, one can use INSTALL_MOD_DIR to specify an
434         alternative name to 'extra'.
435
436                 $ make INSTALL_MOD_DIR=gandalf -C KERNELDIR \
437                         M=`pwd` modules_install
438                 => Install dir: /lib/modules/$(KERNELRELEASE)/gandalf
439
440
441 === 7. Module versioning & Module.symvers
442
443 Module versioning is enabled by the CONFIG_MODVERSIONS tag.
444
445 Module versioning is used as a simple ABI consistency check. The Module
446 versioning creates a CRC value of the full prototype for an exported symbol and
447 when a module is loaded/used then the CRC values contained in the kernel are
448 compared with similar values in the module. If they are not equal, then the
449 kernel refuses to load the module.
450
451 Module.symvers contains a list of all exported symbols from a kernel build.
452
453 --- 7.1 Symbols fron the kernel (vmlinux + modules)
454
455         During a kernel build, a file named Module.symvers will be generated.
456         Module.symvers contains all exported symbols from the kernel and
457         compiled modules. For each symbols, the corresponding CRC value
458         is stored too.
459
460         The syntax of the Module.symvers file is:
461                 <CRC>       <Symbol>           <module>
462         Sample:
463                 0x2d036834  scsi_remove_host   drivers/scsi/scsi_mod
464
465         For a kernel build without CONFIG_MODVERSIONS enabled, the crc
466         would read: 0x00000000
467
468         Module.symvers serves two purposes:
469         1) It lists all exported symbols both from vmlinux and all modules
470         2) It lists the CRC if CONFIG_MODVERSIONS is enabled
471
472 --- 7.2 Symbols and external modules
473
474         When building an external module, the build system needs access to
475         the symbols from the kernel to check if all external symbols are
476         defined. This is done in the MODPOST step and to obtain all
477         symbols, modpost reads Module.symvers from the kernel.
478         If a Module.symvers file is present in the directory where
479         the external module is being built, this file will be read too.
480         During the MODPOST step, a new Module.symvers file will be written
481         containing all exported symbols that were not defined in the kernel.
482
483 --- 7.3 Symbols from another external module
484
485         Sometimes, an external module uses exported symbols from another
486         external module. Kbuild needs to have full knowledge on all symbols
487         to avoid spitting out warnings about undefined symbols.
488         Two solutions exist to let kbuild know all symbols of more than
489         one external module.
490         The method with a top-level kbuild file is recommended but may be
491         impractical in certain situations.
492
493         Use a top-level Kbuild file
494                 If you have two modules: 'foo' and 'bar', and 'foo' needs
495                 symbols from 'bar', then one can use a common top-level kbuild
496                 file so both modules are compiled in same build.
497
498                 Consider following directory layout:
499                 ./foo/ <= contains the foo module
500                 ./bar/ <= contains the bar module
501                 The top-level Kbuild file would then look like:
502
503                 #./Kbuild: (this file may also be named Makefile)
504                         obj-y := foo/ bar/
505
506                 Executing:
507                         make -C $KDIR M=`pwd`
508
509                 will then do the expected and compile both modules with full
510                 knowledge on symbols from both modules.
511
512         Use an extra Module.symvers file
513                 When an external module is built, a Module.symvers file is
514                 generated containing all exported symbols which are not
515                 defined in the kernel.
516                 To get access to symbols from module 'bar', one can copy the
517                 Module.symvers file from the compilation of the 'bar' module
518                 to the directory where the 'foo' module is built.
519                 During the module build, kbuild will read the Module.symvers
520                 file in the directory of the external module and when the
521                 build is finished, a new Module.symvers file is created
522                 containing the sum of all symbols defined and not part of the
523                 kernel.
524
525 === 8. Tips & Tricks
526
527 --- 8.1 Testing for CONFIG_FOO_BAR
528
529         Modules often need to check for certain CONFIG_ options to decide if
530         a specific feature shall be included in the module. When kbuild is used
531         this is done by referencing the CONFIG_ variable directly.
532
533                 #fs/ext2/Makefile
534                 obj-$(CONFIG_EXT2_FS) += ext2.o
535
536                 ext2-y := balloc.o bitmap.o dir.o
537                 ext2-$(CONFIG_EXT2_FS_XATTR) += xattr.o
538
539         External modules have traditionally used grep to check for specific
540         CONFIG_ settings directly in .config. This usage is broken.
541         As introduced before, external modules shall use kbuild when building
542         and therefore can use the same methods as in-kernel modules when
543         testing for CONFIG_ definitions.
544