81eb9f45883c4b2111b549f600fd720f6e5a0511
[linux-2.6.git] / include / drm / ttm / ttm_bo_api.h
1 /**************************************************************************
2  *
3  * Copyright (c) 2006-2009 VMware, Inc., Palo Alto, CA., USA
4  * All Rights Reserved.
5  *
6  * Permission is hereby granted, free of charge, to any person obtaining a
7  * copy of this software and associated documentation files (the
8  * "Software"), to deal in the Software without restriction, including
9  * without limitation the rights to use, copy, modify, merge, publish,
10  * distribute, sub license, and/or sell copies of the Software, and to
11  * permit persons to whom the Software is furnished to do so, subject to
12  * the following conditions:
13  *
14  * The above copyright notice and this permission notice (including the
15  * next paragraph) shall be included in all copies or substantial portions
16  * of the Software.
17  *
18  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
19  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
20  * FITNESS FOR A PARTICULAR PURPOSE AND NON-INFRINGEMENT. IN NO EVENT SHALL
21  * THE COPYRIGHT HOLDERS, AUTHORS AND/OR ITS SUPPLIERS BE LIABLE FOR ANY CLAIM,
22  * DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR
23  * OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE
24  * USE OR OTHER DEALINGS IN THE SOFTWARE.
25  *
26  **************************************************************************/
27 /*
28  * Authors: Thomas Hellstrom <thellstrom-at-vmware-dot-com>
29  */
30
31 #ifndef _TTM_BO_API_H_
32 #define _TTM_BO_API_H_
33
34 #include "drm_hashtab.h"
35 #include <linux/kref.h>
36 #include <linux/list.h>
37 #include <linux/wait.h>
38 #include <linux/mutex.h>
39 #include <linux/mm.h>
40 #include <linux/rbtree.h>
41 #include <linux/bitmap.h>
42
43 struct ttm_bo_device;
44
45 struct drm_mm_node;
46
47
48 /**
49  * struct ttm_placement
50  *
51  * @fpfn:               first valid page frame number to put the object
52  * @lpfn:               last valid page frame number to put the object
53  * @num_placement:      number of prefered placements
54  * @placement:          prefered placements
55  * @num_busy_placement: number of prefered placements when need to evict buffer
56  * @busy_placement:     prefered placements when need to evict buffer
57  *
58  * Structure indicating the placement you request for an object.
59  */
60 struct ttm_placement {
61         unsigned        fpfn;
62         unsigned        lpfn;
63         unsigned        num_placement;
64         const uint32_t  *placement;
65         unsigned        num_busy_placement;
66         const uint32_t  *busy_placement;
67 };
68
69
70 /**
71  * struct ttm_mem_reg
72  *
73  * @mm_node: Memory manager node.
74  * @size: Requested size of memory region.
75  * @num_pages: Actual size of memory region in pages.
76  * @page_alignment: Page alignment.
77  * @placement: Placement flags.
78  *
79  * Structure indicating the placement and space resources used by a
80  * buffer object.
81  */
82
83 struct ttm_mem_reg {
84         struct drm_mm_node *mm_node;
85         unsigned long size;
86         unsigned long num_pages;
87         uint32_t page_alignment;
88         uint32_t mem_type;
89         uint32_t placement;
90 };
91
92 /**
93  * enum ttm_bo_type
94  *
95  * @ttm_bo_type_device: These are 'normal' buffers that can
96  * be mmapped by user space. Each of these bos occupy a slot in the
97  * device address space, that can be used for normal vm operations.
98  *
99  * @ttm_bo_type_user: These are user-space memory areas that are made
100  * available to the GPU by mapping the buffer pages into the GPU aperture
101  * space. These buffers cannot be mmaped from the device address space.
102  *
103  * @ttm_bo_type_kernel: These buffers are like ttm_bo_type_device buffers,
104  * but they cannot be accessed from user-space. For kernel-only use.
105  */
106
107 enum ttm_bo_type {
108         ttm_bo_type_device,
109         ttm_bo_type_user,
110         ttm_bo_type_kernel
111 };
112
113 struct ttm_tt;
114
115 /**
116  * struct ttm_buffer_object
117  *
118  * @bdev: Pointer to the buffer object device structure.
119  * @buffer_start: The virtual user-space start address of ttm_bo_type_user
120  * buffers.
121  * @type: The bo type.
122  * @destroy: Destruction function. If NULL, kfree is used.
123  * @num_pages: Actual number of pages.
124  * @addr_space_offset: Address space offset.
125  * @acc_size: Accounted size for this object.
126  * @kref: Reference count of this buffer object. When this refcount reaches
127  * zero, the object is put on the delayed delete list.
128  * @list_kref: List reference count of this buffer object. This member is
129  * used to avoid destruction while the buffer object is still on a list.
130  * Lru lists may keep one refcount, the delayed delete list, and kref != 0
131  * keeps one refcount. When this refcount reaches zero,
132  * the object is destroyed.
133  * @event_queue: Queue for processes waiting on buffer object status change.
134  * @lock: spinlock protecting mostly synchronization members.
135  * @mem: structure describing current placement.
136  * @persistant_swap_storage: Usually the swap storage is deleted for buffers
137  * pinned in physical memory. If this behaviour is not desired, this member
138  * holds a pointer to a persistant shmem object.
139  * @ttm: TTM structure holding system pages.
140  * @evicted: Whether the object was evicted without user-space knowing.
141  * @cpu_writes: For synchronization. Number of cpu writers.
142  * @lru: List head for the lru list.
143  * @ddestroy: List head for the delayed destroy list.
144  * @swap: List head for swap LRU list.
145  * @val_seq: Sequence of the validation holding the @reserved lock.
146  * Used to avoid starvation when many processes compete to validate the
147  * buffer. This member is protected by the bo_device::lru_lock.
148  * @seq_valid: The value of @val_seq is valid. This value is protected by
149  * the bo_device::lru_lock.
150  * @reserved: Deadlock-free lock used for synchronization state transitions.
151  * @sync_obj_arg: Opaque argument to synchronization object function.
152  * @sync_obj: Pointer to a synchronization object.
153  * @priv_flags: Flags describing buffer object internal state.
154  * @vm_rb: Rb node for the vm rb tree.
155  * @vm_node: Address space manager node.
156  * @offset: The current GPU offset, which can have different meanings
157  * depending on the memory type. For SYSTEM type memory, it should be 0.
158  * @cur_placement: Hint of current placement.
159  *
160  * Base class for TTM buffer object, that deals with data placement and CPU
161  * mappings. GPU mappings are really up to the driver, but for simpler GPUs
162  * the driver can usually use the placement offset @offset directly as the
163  * GPU virtual address. For drivers implementing multiple
164  * GPU memory manager contexts, the driver should manage the address space
165  * in these contexts separately and use these objects to get the correct
166  * placement and caching for these GPU maps. This makes it possible to use
167  * these objects for even quite elaborate memory management schemes.
168  * The destroy member, the API visibility of this object makes it possible
169  * to derive driver specific types.
170  */
171
172 struct ttm_buffer_object {
173         /**
174          * Members constant at init.
175          */
176
177         struct ttm_bo_global *glob;
178         struct ttm_bo_device *bdev;
179         unsigned long buffer_start;
180         enum ttm_bo_type type;
181         void (*destroy) (struct ttm_buffer_object *);
182         unsigned long num_pages;
183         uint64_t addr_space_offset;
184         size_t acc_size;
185
186         /**
187         * Members not needing protection.
188         */
189
190         struct kref kref;
191         struct kref list_kref;
192         wait_queue_head_t event_queue;
193         spinlock_t lock;
194
195         /**
196          * Members protected by the bo::reserved lock.
197          */
198
199         struct ttm_mem_reg mem;
200         struct file *persistant_swap_storage;
201         struct ttm_tt *ttm;
202         bool evicted;
203
204         /**
205          * Members protected by the bo::reserved lock only when written to.
206          */
207
208         atomic_t cpu_writers;
209
210         /**
211          * Members protected by the bdev::lru_lock.
212          */
213
214         struct list_head lru;
215         struct list_head ddestroy;
216         struct list_head swap;
217         uint32_t val_seq;
218         bool seq_valid;
219
220         /**
221          * Members protected by the bdev::lru_lock
222          * only when written to.
223          */
224
225         atomic_t reserved;
226
227
228         /**
229          * Members protected by the bo::lock
230          */
231
232         void *sync_obj_arg;
233         void *sync_obj;
234         unsigned long priv_flags;
235
236         /**
237          * Members protected by the bdev::vm_lock
238          */
239
240         struct rb_node vm_rb;
241         struct drm_mm_node *vm_node;
242
243
244         /**
245          * Special members that are protected by the reserve lock
246          * and the bo::lock when written to. Can be read with
247          * either of these locks held.
248          */
249
250         unsigned long offset;
251         uint32_t cur_placement;
252 };
253
254 /**
255  * struct ttm_bo_kmap_obj
256  *
257  * @virtual: The current kernel virtual address.
258  * @page: The page when kmap'ing a single page.
259  * @bo_kmap_type: Type of bo_kmap.
260  *
261  * Object describing a kernel mapping. Since a TTM bo may be located
262  * in various memory types with various caching policies, the
263  * mapping can either be an ioremap, a vmap, a kmap or part of a
264  * premapped region.
265  */
266
267 #define TTM_BO_MAP_IOMEM_MASK 0x80
268 struct ttm_bo_kmap_obj {
269         void *virtual;
270         struct page *page;
271         enum {
272                 ttm_bo_map_iomap        = 1 | TTM_BO_MAP_IOMEM_MASK,
273                 ttm_bo_map_vmap         = 2,
274                 ttm_bo_map_kmap         = 3,
275                 ttm_bo_map_premapped    = 4 | TTM_BO_MAP_IOMEM_MASK,
276         } bo_kmap_type;
277 };
278
279 /**
280  * ttm_bo_reference - reference a struct ttm_buffer_object
281  *
282  * @bo: The buffer object.
283  *
284  * Returns a refcounted pointer to a buffer object.
285  */
286
287 static inline struct ttm_buffer_object *
288 ttm_bo_reference(struct ttm_buffer_object *bo)
289 {
290         kref_get(&bo->kref);
291         return bo;
292 }
293
294 /**
295  * ttm_bo_wait - wait for buffer idle.
296  *
297  * @bo:  The buffer object.
298  * @interruptible:  Use interruptible wait.
299  * @no_wait:  Return immediately if buffer is busy.
300  *
301  * This function must be called with the bo::mutex held, and makes
302  * sure any previous rendering to the buffer is completed.
303  * Note: It might be necessary to block validations before the
304  * wait by reserving the buffer.
305  * Returns -EBUSY if no_wait is true and the buffer is busy.
306  * Returns -ERESTARTSYS if interrupted by a signal.
307  */
308 extern int ttm_bo_wait(struct ttm_buffer_object *bo, bool lazy,
309                        bool interruptible, bool no_wait);
310 /**
311  * ttm_bo_validate
312  *
313  * @bo: The buffer object.
314  * @placement: Proposed placement for the buffer object.
315  * @interruptible: Sleep interruptible if sleeping.
316  * @no_wait: Return immediately if the buffer is busy.
317  *
318  * Changes placement and caching policy of the buffer object
319  * according proposed placement.
320  * Returns
321  * -EINVAL on invalid proposed placement.
322  * -ENOMEM on out-of-memory condition.
323  * -EBUSY if no_wait is true and buffer busy.
324  * -ERESTARTSYS if interrupted by a signal.
325  */
326 extern int ttm_bo_validate(struct ttm_buffer_object *bo,
327                                 struct ttm_placement *placement,
328                                 bool interruptible, bool no_wait);
329
330 /**
331  * ttm_bo_unref
332  *
333  * @bo: The buffer object.
334  *
335  * Unreference and clear a pointer to a buffer object.
336  */
337 extern void ttm_bo_unref(struct ttm_buffer_object **bo);
338
339 /**
340  * ttm_bo_synccpu_write_grab
341  *
342  * @bo: The buffer object:
343  * @no_wait: Return immediately if buffer is busy.
344  *
345  * Synchronizes a buffer object for CPU RW access. This means
346  * blocking command submission that affects the buffer and
347  * waiting for buffer idle. This lock is recursive.
348  * Returns
349  * -EBUSY if the buffer is busy and no_wait is true.
350  * -ERESTARTSYS if interrupted by a signal.
351  */
352
353 extern int
354 ttm_bo_synccpu_write_grab(struct ttm_buffer_object *bo, bool no_wait);
355 /**
356  * ttm_bo_synccpu_write_release:
357  *
358  * @bo : The buffer object.
359  *
360  * Releases a synccpu lock.
361  */
362 extern void ttm_bo_synccpu_write_release(struct ttm_buffer_object *bo);
363
364 /**
365  * ttm_bo_init
366  *
367  * @bdev: Pointer to a ttm_bo_device struct.
368  * @bo: Pointer to a ttm_buffer_object to be initialized.
369  * @size: Requested size of buffer object.
370  * @type: Requested type of buffer object.
371  * @flags: Initial placement flags.
372  * @page_alignment: Data alignment in pages.
373  * @buffer_start: Virtual address of user space data backing a
374  * user buffer object.
375  * @interruptible: If needing to sleep to wait for GPU resources,
376  * sleep interruptible.
377  * @persistant_swap_storage: Usually the swap storage is deleted for buffers
378  * pinned in physical memory. If this behaviour is not desired, this member
379  * holds a pointer to a persistant shmem object. Typically, this would
380  * point to the shmem object backing a GEM object if TTM is used to back a
381  * GEM user interface.
382  * @acc_size: Accounted size for this object.
383  * @destroy: Destroy function. Use NULL for kfree().
384  *
385  * This function initializes a pre-allocated struct ttm_buffer_object.
386  * As this object may be part of a larger structure, this function,
387  * together with the @destroy function,
388  * enables driver-specific objects derived from a ttm_buffer_object.
389  * On successful return, the object kref and list_kref are set to 1.
390  * Returns
391  * -ENOMEM: Out of memory.
392  * -EINVAL: Invalid placement flags.
393  * -ERESTARTSYS: Interrupted by signal while sleeping waiting for resources.
394  */
395
396 extern int ttm_bo_init(struct ttm_bo_device *bdev,
397                         struct ttm_buffer_object *bo,
398                         unsigned long size,
399                         enum ttm_bo_type type,
400                         struct ttm_placement *placement,
401                         uint32_t page_alignment,
402                         unsigned long buffer_start,
403                         bool interrubtible,
404                         struct file *persistant_swap_storage,
405                         size_t acc_size,
406                         void (*destroy) (struct ttm_buffer_object *));
407 /**
408  * ttm_bo_synccpu_object_init
409  *
410  * @bdev: Pointer to a ttm_bo_device struct.
411  * @bo: Pointer to a ttm_buffer_object to be initialized.
412  * @size: Requested size of buffer object.
413  * @type: Requested type of buffer object.
414  * @flags: Initial placement flags.
415  * @page_alignment: Data alignment in pages.
416  * @buffer_start: Virtual address of user space data backing a
417  * user buffer object.
418  * @interruptible: If needing to sleep while waiting for GPU resources,
419  * sleep interruptible.
420  * @persistant_swap_storage: Usually the swap storage is deleted for buffers
421  * pinned in physical memory. If this behaviour is not desired, this member
422  * holds a pointer to a persistant shmem object. Typically, this would
423  * point to the shmem object backing a GEM object if TTM is used to back a
424  * GEM user interface.
425  * @p_bo: On successful completion *p_bo points to the created object.
426  *
427  * This function allocates a ttm_buffer_object, and then calls ttm_bo_init
428  * on that object. The destroy function is set to kfree().
429  * Returns
430  * -ENOMEM: Out of memory.
431  * -EINVAL: Invalid placement flags.
432  * -ERESTARTSYS: Interrupted by signal while waiting for resources.
433  */
434
435 extern int ttm_bo_create(struct ttm_bo_device *bdev,
436                                 unsigned long size,
437                                 enum ttm_bo_type type,
438                                 struct ttm_placement *placement,
439                                 uint32_t page_alignment,
440                                 unsigned long buffer_start,
441                                 bool interruptible,
442                                 struct file *persistant_swap_storage,
443                                 struct ttm_buffer_object **p_bo);
444
445 /**
446  * ttm_bo_check_placement
447  *
448  * @bo:         the buffer object.
449  * @placement:  placements
450  *
451  * Performs minimal validity checking on an intended change of
452  * placement flags.
453  * Returns
454  * -EINVAL: Intended change is invalid or not allowed.
455  */
456 extern int ttm_bo_check_placement(struct ttm_buffer_object *bo,
457                                         struct ttm_placement *placement);
458
459 /**
460  * ttm_bo_init_mm
461  *
462  * @bdev: Pointer to a ttm_bo_device struct.
463  * @mem_type: The memory type.
464  * @p_size: size managed area in pages.
465  *
466  * Initialize a manager for a given memory type.
467  * Note: if part of driver firstopen, it must be protected from a
468  * potentially racing lastclose.
469  * Returns:
470  * -EINVAL: invalid size or memory type.
471  * -ENOMEM: Not enough memory.
472  * May also return driver-specified errors.
473  */
474
475 extern int ttm_bo_init_mm(struct ttm_bo_device *bdev, unsigned type,
476                                 unsigned long p_size);
477 /**
478  * ttm_bo_clean_mm
479  *
480  * @bdev: Pointer to a ttm_bo_device struct.
481  * @mem_type: The memory type.
482  *
483  * Take down a manager for a given memory type after first walking
484  * the LRU list to evict any buffers left alive.
485  *
486  * Normally, this function is part of lastclose() or unload(), and at that
487  * point there shouldn't be any buffers left created by user-space, since
488  * there should've been removed by the file descriptor release() method.
489  * However, before this function is run, make sure to signal all sync objects,
490  * and verify that the delayed delete queue is empty. The driver must also
491  * make sure that there are no NO_EVICT buffers present in this memory type
492  * when the call is made.
493  *
494  * If this function is part of a VT switch, the caller must make sure that
495  * there are no appications currently validating buffers before this
496  * function is called. The caller can do that by first taking the
497  * struct ttm_bo_device::ttm_lock in write mode.
498  *
499  * Returns:
500  * -EINVAL: invalid or uninitialized memory type.
501  * -EBUSY: There are still buffers left in this memory type.
502  */
503
504 extern int ttm_bo_clean_mm(struct ttm_bo_device *bdev, unsigned mem_type);
505
506 /**
507  * ttm_bo_evict_mm
508  *
509  * @bdev: Pointer to a ttm_bo_device struct.
510  * @mem_type: The memory type.
511  *
512  * Evicts all buffers on the lru list of the memory type.
513  * This is normally part of a VT switch or an
514  * out-of-memory-space-due-to-fragmentation handler.
515  * The caller must make sure that there are no other processes
516  * currently validating buffers, and can do that by taking the
517  * struct ttm_bo_device::ttm_lock in write mode.
518  *
519  * Returns:
520  * -EINVAL: Invalid or uninitialized memory type.
521  * -ERESTARTSYS: The call was interrupted by a signal while waiting to
522  * evict a buffer.
523  */
524
525 extern int ttm_bo_evict_mm(struct ttm_bo_device *bdev, unsigned mem_type);
526
527 /**
528  * ttm_kmap_obj_virtual
529  *
530  * @map: A struct ttm_bo_kmap_obj returned from ttm_bo_kmap.
531  * @is_iomem: Pointer to an integer that on return indicates 1 if the
532  * virtual map is io memory, 0 if normal memory.
533  *
534  * Returns the virtual address of a buffer object area mapped by ttm_bo_kmap.
535  * If *is_iomem is 1 on return, the virtual address points to an io memory area,
536  * that should strictly be accessed by the iowriteXX() and similar functions.
537  */
538
539 static inline void *ttm_kmap_obj_virtual(struct ttm_bo_kmap_obj *map,
540                                          bool *is_iomem)
541 {
542         *is_iomem = !!(map->bo_kmap_type & TTM_BO_MAP_IOMEM_MASK);
543         return map->virtual;
544 }
545
546 /**
547  * ttm_bo_kmap
548  *
549  * @bo: The buffer object.
550  * @start_page: The first page to map.
551  * @num_pages: Number of pages to map.
552  * @map: pointer to a struct ttm_bo_kmap_obj representing the map.
553  *
554  * Sets up a kernel virtual mapping, using ioremap, vmap or kmap to the
555  * data in the buffer object. The ttm_kmap_obj_virtual function can then be
556  * used to obtain a virtual address to the data.
557  *
558  * Returns
559  * -ENOMEM: Out of memory.
560  * -EINVAL: Invalid range.
561  */
562
563 extern int ttm_bo_kmap(struct ttm_buffer_object *bo, unsigned long start_page,
564                        unsigned long num_pages, struct ttm_bo_kmap_obj *map);
565
566 /**
567  * ttm_bo_kunmap
568  *
569  * @map: Object describing the map to unmap.
570  *
571  * Unmaps a kernel map set up by ttm_bo_kmap.
572  */
573
574 extern void ttm_bo_kunmap(struct ttm_bo_kmap_obj *map);
575
576 #if 0
577 #endif
578
579 /**
580  * ttm_fbdev_mmap - mmap fbdev memory backed by a ttm buffer object.
581  *
582  * @vma:       vma as input from the fbdev mmap method.
583  * @bo:        The bo backing the address space. The address space will
584  * have the same size as the bo, and start at offset 0.
585  *
586  * This function is intended to be called by the fbdev mmap method
587  * if the fbdev address space is to be backed by a bo.
588  */
589
590 extern int ttm_fbdev_mmap(struct vm_area_struct *vma,
591                           struct ttm_buffer_object *bo);
592
593 /**
594  * ttm_bo_mmap - mmap out of the ttm device address space.
595  *
596  * @filp:      filp as input from the mmap method.
597  * @vma:       vma as input from the mmap method.
598  * @bdev:      Pointer to the ttm_bo_device with the address space manager.
599  *
600  * This function is intended to be called by the device mmap method.
601  * if the device address space is to be backed by the bo manager.
602  */
603
604 extern int ttm_bo_mmap(struct file *filp, struct vm_area_struct *vma,
605                        struct ttm_bo_device *bdev);
606
607 /**
608  * ttm_bo_io
609  *
610  * @bdev:      Pointer to the struct ttm_bo_device.
611  * @filp:      Pointer to the struct file attempting to read / write.
612  * @wbuf:      User-space pointer to address of buffer to write. NULL on read.
613  * @rbuf:      User-space pointer to address of buffer to read into.
614  * Null on write.
615  * @count:     Number of bytes to read / write.
616  * @f_pos:     Pointer to current file position.
617  * @write:     1 for read, 0 for write.
618  *
619  * This function implements read / write into ttm buffer objects, and is
620  * intended to
621  * be called from the fops::read and fops::write method.
622  * Returns:
623  * See man (2) write, man(2) read. In particular,
624  * the function may return -ERESTARTSYS if
625  * interrupted by a signal.
626  */
627
628 extern ssize_t ttm_bo_io(struct ttm_bo_device *bdev, struct file *filp,
629                          const char __user *wbuf, char __user *rbuf,
630                          size_t count, loff_t *f_pos, bool write);
631
632 extern void ttm_bo_swapout_all(struct ttm_bo_device *bdev);
633
634 #endif