drm/ttm: split no_wait argument in 2 GPU or reserve wait
[linux-2.6.git] / include / drm / ttm / ttm_bo_api.h
1 /**************************************************************************
2  *
3  * Copyright (c) 2006-2009 VMware, Inc., Palo Alto, CA., USA
4  * All Rights Reserved.
5  *
6  * Permission is hereby granted, free of charge, to any person obtaining a
7  * copy of this software and associated documentation files (the
8  * "Software"), to deal in the Software without restriction, including
9  * without limitation the rights to use, copy, modify, merge, publish,
10  * distribute, sub license, and/or sell copies of the Software, and to
11  * permit persons to whom the Software is furnished to do so, subject to
12  * the following conditions:
13  *
14  * The above copyright notice and this permission notice (including the
15  * next paragraph) shall be included in all copies or substantial portions
16  * of the Software.
17  *
18  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
19  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
20  * FITNESS FOR A PARTICULAR PURPOSE AND NON-INFRINGEMENT. IN NO EVENT SHALL
21  * THE COPYRIGHT HOLDERS, AUTHORS AND/OR ITS SUPPLIERS BE LIABLE FOR ANY CLAIM,
22  * DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR
23  * OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE
24  * USE OR OTHER DEALINGS IN THE SOFTWARE.
25  *
26  **************************************************************************/
27 /*
28  * Authors: Thomas Hellstrom <thellstrom-at-vmware-dot-com>
29  */
30
31 #ifndef _TTM_BO_API_H_
32 #define _TTM_BO_API_H_
33
34 #include "drm_hashtab.h"
35 #include <linux/kref.h>
36 #include <linux/list.h>
37 #include <linux/wait.h>
38 #include <linux/mutex.h>
39 #include <linux/mm.h>
40 #include <linux/rbtree.h>
41 #include <linux/bitmap.h>
42
43 struct ttm_bo_device;
44
45 struct drm_mm_node;
46
47
48 /**
49  * struct ttm_placement
50  *
51  * @fpfn:               first valid page frame number to put the object
52  * @lpfn:               last valid page frame number to put the object
53  * @num_placement:      number of prefered placements
54  * @placement:          prefered placements
55  * @num_busy_placement: number of prefered placements when need to evict buffer
56  * @busy_placement:     prefered placements when need to evict buffer
57  *
58  * Structure indicating the placement you request for an object.
59  */
60 struct ttm_placement {
61         unsigned        fpfn;
62         unsigned        lpfn;
63         unsigned        num_placement;
64         const uint32_t  *placement;
65         unsigned        num_busy_placement;
66         const uint32_t  *busy_placement;
67 };
68
69
70 /**
71  * struct ttm_mem_reg
72  *
73  * @mm_node: Memory manager node.
74  * @size: Requested size of memory region.
75  * @num_pages: Actual size of memory region in pages.
76  * @page_alignment: Page alignment.
77  * @placement: Placement flags.
78  *
79  * Structure indicating the placement and space resources used by a
80  * buffer object.
81  */
82
83 struct ttm_mem_reg {
84         struct drm_mm_node *mm_node;
85         unsigned long size;
86         unsigned long num_pages;
87         uint32_t page_alignment;
88         uint32_t mem_type;
89         uint32_t placement;
90 };
91
92 /**
93  * enum ttm_bo_type
94  *
95  * @ttm_bo_type_device: These are 'normal' buffers that can
96  * be mmapped by user space. Each of these bos occupy a slot in the
97  * device address space, that can be used for normal vm operations.
98  *
99  * @ttm_bo_type_user: These are user-space memory areas that are made
100  * available to the GPU by mapping the buffer pages into the GPU aperture
101  * space. These buffers cannot be mmaped from the device address space.
102  *
103  * @ttm_bo_type_kernel: These buffers are like ttm_bo_type_device buffers,
104  * but they cannot be accessed from user-space. For kernel-only use.
105  */
106
107 enum ttm_bo_type {
108         ttm_bo_type_device,
109         ttm_bo_type_user,
110         ttm_bo_type_kernel
111 };
112
113 struct ttm_tt;
114
115 /**
116  * struct ttm_buffer_object
117  *
118  * @bdev: Pointer to the buffer object device structure.
119  * @buffer_start: The virtual user-space start address of ttm_bo_type_user
120  * buffers.
121  * @type: The bo type.
122  * @destroy: Destruction function. If NULL, kfree is used.
123  * @num_pages: Actual number of pages.
124  * @addr_space_offset: Address space offset.
125  * @acc_size: Accounted size for this object.
126  * @kref: Reference count of this buffer object. When this refcount reaches
127  * zero, the object is put on the delayed delete list.
128  * @list_kref: List reference count of this buffer object. This member is
129  * used to avoid destruction while the buffer object is still on a list.
130  * Lru lists may keep one refcount, the delayed delete list, and kref != 0
131  * keeps one refcount. When this refcount reaches zero,
132  * the object is destroyed.
133  * @event_queue: Queue for processes waiting on buffer object status change.
134  * @lock: spinlock protecting mostly synchronization members.
135  * @mem: structure describing current placement.
136  * @persistant_swap_storage: Usually the swap storage is deleted for buffers
137  * pinned in physical memory. If this behaviour is not desired, this member
138  * holds a pointer to a persistant shmem object.
139  * @ttm: TTM structure holding system pages.
140  * @evicted: Whether the object was evicted without user-space knowing.
141  * @cpu_writes: For synchronization. Number of cpu writers.
142  * @lru: List head for the lru list.
143  * @ddestroy: List head for the delayed destroy list.
144  * @swap: List head for swap LRU list.
145  * @val_seq: Sequence of the validation holding the @reserved lock.
146  * Used to avoid starvation when many processes compete to validate the
147  * buffer. This member is protected by the bo_device::lru_lock.
148  * @seq_valid: The value of @val_seq is valid. This value is protected by
149  * the bo_device::lru_lock.
150  * @reserved: Deadlock-free lock used for synchronization state transitions.
151  * @sync_obj_arg: Opaque argument to synchronization object function.
152  * @sync_obj: Pointer to a synchronization object.
153  * @priv_flags: Flags describing buffer object internal state.
154  * @vm_rb: Rb node for the vm rb tree.
155  * @vm_node: Address space manager node.
156  * @offset: The current GPU offset, which can have different meanings
157  * depending on the memory type. For SYSTEM type memory, it should be 0.
158  * @cur_placement: Hint of current placement.
159  *
160  * Base class for TTM buffer object, that deals with data placement and CPU
161  * mappings. GPU mappings are really up to the driver, but for simpler GPUs
162  * the driver can usually use the placement offset @offset directly as the
163  * GPU virtual address. For drivers implementing multiple
164  * GPU memory manager contexts, the driver should manage the address space
165  * in these contexts separately and use these objects to get the correct
166  * placement and caching for these GPU maps. This makes it possible to use
167  * these objects for even quite elaborate memory management schemes.
168  * The destroy member, the API visibility of this object makes it possible
169  * to derive driver specific types.
170  */
171
172 struct ttm_buffer_object {
173         /**
174          * Members constant at init.
175          */
176
177         struct ttm_bo_global *glob;
178         struct ttm_bo_device *bdev;
179         unsigned long buffer_start;
180         enum ttm_bo_type type;
181         void (*destroy) (struct ttm_buffer_object *);
182         unsigned long num_pages;
183         uint64_t addr_space_offset;
184         size_t acc_size;
185
186         /**
187         * Members not needing protection.
188         */
189
190         struct kref kref;
191         struct kref list_kref;
192         wait_queue_head_t event_queue;
193         spinlock_t lock;
194
195         /**
196          * Members protected by the bo::reserved lock.
197          */
198
199         struct ttm_mem_reg mem;
200         struct file *persistant_swap_storage;
201         struct ttm_tt *ttm;
202         bool evicted;
203
204         /**
205          * Members protected by the bo::reserved lock only when written to.
206          */
207
208         atomic_t cpu_writers;
209
210         /**
211          * Members protected by the bdev::lru_lock.
212          */
213
214         struct list_head lru;
215         struct list_head ddestroy;
216         struct list_head swap;
217         uint32_t val_seq;
218         bool seq_valid;
219
220         /**
221          * Members protected by the bdev::lru_lock
222          * only when written to.
223          */
224
225         atomic_t reserved;
226
227
228         /**
229          * Members protected by the bo::lock
230          */
231
232         void *sync_obj_arg;
233         void *sync_obj;
234         unsigned long priv_flags;
235
236         /**
237          * Members protected by the bdev::vm_lock
238          */
239
240         struct rb_node vm_rb;
241         struct drm_mm_node *vm_node;
242
243
244         /**
245          * Special members that are protected by the reserve lock
246          * and the bo::lock when written to. Can be read with
247          * either of these locks held.
248          */
249
250         unsigned long offset;
251         uint32_t cur_placement;
252 };
253
254 /**
255  * struct ttm_bo_kmap_obj
256  *
257  * @virtual: The current kernel virtual address.
258  * @page: The page when kmap'ing a single page.
259  * @bo_kmap_type: Type of bo_kmap.
260  *
261  * Object describing a kernel mapping. Since a TTM bo may be located
262  * in various memory types with various caching policies, the
263  * mapping can either be an ioremap, a vmap, a kmap or part of a
264  * premapped region.
265  */
266
267 #define TTM_BO_MAP_IOMEM_MASK 0x80
268 struct ttm_bo_kmap_obj {
269         void *virtual;
270         struct page *page;
271         enum {
272                 ttm_bo_map_iomap        = 1 | TTM_BO_MAP_IOMEM_MASK,
273                 ttm_bo_map_vmap         = 2,
274                 ttm_bo_map_kmap         = 3,
275                 ttm_bo_map_premapped    = 4 | TTM_BO_MAP_IOMEM_MASK,
276         } bo_kmap_type;
277 };
278
279 /**
280  * ttm_bo_reference - reference a struct ttm_buffer_object
281  *
282  * @bo: The buffer object.
283  *
284  * Returns a refcounted pointer to a buffer object.
285  */
286
287 static inline struct ttm_buffer_object *
288 ttm_bo_reference(struct ttm_buffer_object *bo)
289 {
290         kref_get(&bo->kref);
291         return bo;
292 }
293
294 /**
295  * ttm_bo_wait - wait for buffer idle.
296  *
297  * @bo:  The buffer object.
298  * @interruptible:  Use interruptible wait.
299  * @no_wait:  Return immediately if buffer is busy.
300  *
301  * This function must be called with the bo::mutex held, and makes
302  * sure any previous rendering to the buffer is completed.
303  * Note: It might be necessary to block validations before the
304  * wait by reserving the buffer.
305  * Returns -EBUSY if no_wait is true and the buffer is busy.
306  * Returns -ERESTARTSYS if interrupted by a signal.
307  */
308 extern int ttm_bo_wait(struct ttm_buffer_object *bo, bool lazy,
309                        bool interruptible, bool no_wait);
310 /**
311  * ttm_bo_validate
312  *
313  * @bo: The buffer object.
314  * @placement: Proposed placement for the buffer object.
315  * @interruptible: Sleep interruptible if sleeping.
316  * @no_wait_reserve: Return immediately if other buffers are busy.
317  * @no_wait_gpu: Return immediately if the GPU is busy.
318  *
319  * Changes placement and caching policy of the buffer object
320  * according proposed placement.
321  * Returns
322  * -EINVAL on invalid proposed placement.
323  * -ENOMEM on out-of-memory condition.
324  * -EBUSY if no_wait is true and buffer busy.
325  * -ERESTARTSYS if interrupted by a signal.
326  */
327 extern int ttm_bo_validate(struct ttm_buffer_object *bo,
328                                 struct ttm_placement *placement,
329                                 bool interruptible, bool no_wait_reserve,
330                                 bool no_wait_gpu);
331
332 /**
333  * ttm_bo_unref
334  *
335  * @bo: The buffer object.
336  *
337  * Unreference and clear a pointer to a buffer object.
338  */
339 extern void ttm_bo_unref(struct ttm_buffer_object **bo);
340
341 /**
342  * ttm_bo_synccpu_write_grab
343  *
344  * @bo: The buffer object:
345  * @no_wait: Return immediately if buffer is busy.
346  *
347  * Synchronizes a buffer object for CPU RW access. This means
348  * blocking command submission that affects the buffer and
349  * waiting for buffer idle. This lock is recursive.
350  * Returns
351  * -EBUSY if the buffer is busy and no_wait is true.
352  * -ERESTARTSYS if interrupted by a signal.
353  */
354
355 extern int
356 ttm_bo_synccpu_write_grab(struct ttm_buffer_object *bo, bool no_wait);
357 /**
358  * ttm_bo_synccpu_write_release:
359  *
360  * @bo : The buffer object.
361  *
362  * Releases a synccpu lock.
363  */
364 extern void ttm_bo_synccpu_write_release(struct ttm_buffer_object *bo);
365
366 /**
367  * ttm_bo_init
368  *
369  * @bdev: Pointer to a ttm_bo_device struct.
370  * @bo: Pointer to a ttm_buffer_object to be initialized.
371  * @size: Requested size of buffer object.
372  * @type: Requested type of buffer object.
373  * @flags: Initial placement flags.
374  * @page_alignment: Data alignment in pages.
375  * @buffer_start: Virtual address of user space data backing a
376  * user buffer object.
377  * @interruptible: If needing to sleep to wait for GPU resources,
378  * sleep interruptible.
379  * @persistant_swap_storage: Usually the swap storage is deleted for buffers
380  * pinned in physical memory. If this behaviour is not desired, this member
381  * holds a pointer to a persistant shmem object. Typically, this would
382  * point to the shmem object backing a GEM object if TTM is used to back a
383  * GEM user interface.
384  * @acc_size: Accounted size for this object.
385  * @destroy: Destroy function. Use NULL for kfree().
386  *
387  * This function initializes a pre-allocated struct ttm_buffer_object.
388  * As this object may be part of a larger structure, this function,
389  * together with the @destroy function,
390  * enables driver-specific objects derived from a ttm_buffer_object.
391  * On successful return, the object kref and list_kref are set to 1.
392  * Returns
393  * -ENOMEM: Out of memory.
394  * -EINVAL: Invalid placement flags.
395  * -ERESTARTSYS: Interrupted by signal while sleeping waiting for resources.
396  */
397
398 extern int ttm_bo_init(struct ttm_bo_device *bdev,
399                         struct ttm_buffer_object *bo,
400                         unsigned long size,
401                         enum ttm_bo_type type,
402                         struct ttm_placement *placement,
403                         uint32_t page_alignment,
404                         unsigned long buffer_start,
405                         bool interrubtible,
406                         struct file *persistant_swap_storage,
407                         size_t acc_size,
408                         void (*destroy) (struct ttm_buffer_object *));
409 /**
410  * ttm_bo_synccpu_object_init
411  *
412  * @bdev: Pointer to a ttm_bo_device struct.
413  * @bo: Pointer to a ttm_buffer_object to be initialized.
414  * @size: Requested size of buffer object.
415  * @type: Requested type of buffer object.
416  * @flags: Initial placement flags.
417  * @page_alignment: Data alignment in pages.
418  * @buffer_start: Virtual address of user space data backing a
419  * user buffer object.
420  * @interruptible: If needing to sleep while waiting for GPU resources,
421  * sleep interruptible.
422  * @persistant_swap_storage: Usually the swap storage is deleted for buffers
423  * pinned in physical memory. If this behaviour is not desired, this member
424  * holds a pointer to a persistant shmem object. Typically, this would
425  * point to the shmem object backing a GEM object if TTM is used to back a
426  * GEM user interface.
427  * @p_bo: On successful completion *p_bo points to the created object.
428  *
429  * This function allocates a ttm_buffer_object, and then calls ttm_bo_init
430  * on that object. The destroy function is set to kfree().
431  * Returns
432  * -ENOMEM: Out of memory.
433  * -EINVAL: Invalid placement flags.
434  * -ERESTARTSYS: Interrupted by signal while waiting for resources.
435  */
436
437 extern int ttm_bo_create(struct ttm_bo_device *bdev,
438                                 unsigned long size,
439                                 enum ttm_bo_type type,
440                                 struct ttm_placement *placement,
441                                 uint32_t page_alignment,
442                                 unsigned long buffer_start,
443                                 bool interruptible,
444                                 struct file *persistant_swap_storage,
445                                 struct ttm_buffer_object **p_bo);
446
447 /**
448  * ttm_bo_check_placement
449  *
450  * @bo:         the buffer object.
451  * @placement:  placements
452  *
453  * Performs minimal validity checking on an intended change of
454  * placement flags.
455  * Returns
456  * -EINVAL: Intended change is invalid or not allowed.
457  */
458 extern int ttm_bo_check_placement(struct ttm_buffer_object *bo,
459                                         struct ttm_placement *placement);
460
461 /**
462  * ttm_bo_init_mm
463  *
464  * @bdev: Pointer to a ttm_bo_device struct.
465  * @mem_type: The memory type.
466  * @p_size: size managed area in pages.
467  *
468  * Initialize a manager for a given memory type.
469  * Note: if part of driver firstopen, it must be protected from a
470  * potentially racing lastclose.
471  * Returns:
472  * -EINVAL: invalid size or memory type.
473  * -ENOMEM: Not enough memory.
474  * May also return driver-specified errors.
475  */
476
477 extern int ttm_bo_init_mm(struct ttm_bo_device *bdev, unsigned type,
478                                 unsigned long p_size);
479 /**
480  * ttm_bo_clean_mm
481  *
482  * @bdev: Pointer to a ttm_bo_device struct.
483  * @mem_type: The memory type.
484  *
485  * Take down a manager for a given memory type after first walking
486  * the LRU list to evict any buffers left alive.
487  *
488  * Normally, this function is part of lastclose() or unload(), and at that
489  * point there shouldn't be any buffers left created by user-space, since
490  * there should've been removed by the file descriptor release() method.
491  * However, before this function is run, make sure to signal all sync objects,
492  * and verify that the delayed delete queue is empty. The driver must also
493  * make sure that there are no NO_EVICT buffers present in this memory type
494  * when the call is made.
495  *
496  * If this function is part of a VT switch, the caller must make sure that
497  * there are no appications currently validating buffers before this
498  * function is called. The caller can do that by first taking the
499  * struct ttm_bo_device::ttm_lock in write mode.
500  *
501  * Returns:
502  * -EINVAL: invalid or uninitialized memory type.
503  * -EBUSY: There are still buffers left in this memory type.
504  */
505
506 extern int ttm_bo_clean_mm(struct ttm_bo_device *bdev, unsigned mem_type);
507
508 /**
509  * ttm_bo_evict_mm
510  *
511  * @bdev: Pointer to a ttm_bo_device struct.
512  * @mem_type: The memory type.
513  *
514  * Evicts all buffers on the lru list of the memory type.
515  * This is normally part of a VT switch or an
516  * out-of-memory-space-due-to-fragmentation handler.
517  * The caller must make sure that there are no other processes
518  * currently validating buffers, and can do that by taking the
519  * struct ttm_bo_device::ttm_lock in write mode.
520  *
521  * Returns:
522  * -EINVAL: Invalid or uninitialized memory type.
523  * -ERESTARTSYS: The call was interrupted by a signal while waiting to
524  * evict a buffer.
525  */
526
527 extern int ttm_bo_evict_mm(struct ttm_bo_device *bdev, unsigned mem_type);
528
529 /**
530  * ttm_kmap_obj_virtual
531  *
532  * @map: A struct ttm_bo_kmap_obj returned from ttm_bo_kmap.
533  * @is_iomem: Pointer to an integer that on return indicates 1 if the
534  * virtual map is io memory, 0 if normal memory.
535  *
536  * Returns the virtual address of a buffer object area mapped by ttm_bo_kmap.
537  * If *is_iomem is 1 on return, the virtual address points to an io memory area,
538  * that should strictly be accessed by the iowriteXX() and similar functions.
539  */
540
541 static inline void *ttm_kmap_obj_virtual(struct ttm_bo_kmap_obj *map,
542                                          bool *is_iomem)
543 {
544         *is_iomem = !!(map->bo_kmap_type & TTM_BO_MAP_IOMEM_MASK);
545         return map->virtual;
546 }
547
548 /**
549  * ttm_bo_kmap
550  *
551  * @bo: The buffer object.
552  * @start_page: The first page to map.
553  * @num_pages: Number of pages to map.
554  * @map: pointer to a struct ttm_bo_kmap_obj representing the map.
555  *
556  * Sets up a kernel virtual mapping, using ioremap, vmap or kmap to the
557  * data in the buffer object. The ttm_kmap_obj_virtual function can then be
558  * used to obtain a virtual address to the data.
559  *
560  * Returns
561  * -ENOMEM: Out of memory.
562  * -EINVAL: Invalid range.
563  */
564
565 extern int ttm_bo_kmap(struct ttm_buffer_object *bo, unsigned long start_page,
566                        unsigned long num_pages, struct ttm_bo_kmap_obj *map);
567
568 /**
569  * ttm_bo_kunmap
570  *
571  * @map: Object describing the map to unmap.
572  *
573  * Unmaps a kernel map set up by ttm_bo_kmap.
574  */
575
576 extern void ttm_bo_kunmap(struct ttm_bo_kmap_obj *map);
577
578 #if 0
579 #endif
580
581 /**
582  * ttm_fbdev_mmap - mmap fbdev memory backed by a ttm buffer object.
583  *
584  * @vma:       vma as input from the fbdev mmap method.
585  * @bo:        The bo backing the address space. The address space will
586  * have the same size as the bo, and start at offset 0.
587  *
588  * This function is intended to be called by the fbdev mmap method
589  * if the fbdev address space is to be backed by a bo.
590  */
591
592 extern int ttm_fbdev_mmap(struct vm_area_struct *vma,
593                           struct ttm_buffer_object *bo);
594
595 /**
596  * ttm_bo_mmap - mmap out of the ttm device address space.
597  *
598  * @filp:      filp as input from the mmap method.
599  * @vma:       vma as input from the mmap method.
600  * @bdev:      Pointer to the ttm_bo_device with the address space manager.
601  *
602  * This function is intended to be called by the device mmap method.
603  * if the device address space is to be backed by the bo manager.
604  */
605
606 extern int ttm_bo_mmap(struct file *filp, struct vm_area_struct *vma,
607                        struct ttm_bo_device *bdev);
608
609 /**
610  * ttm_bo_io
611  *
612  * @bdev:      Pointer to the struct ttm_bo_device.
613  * @filp:      Pointer to the struct file attempting to read / write.
614  * @wbuf:      User-space pointer to address of buffer to write. NULL on read.
615  * @rbuf:      User-space pointer to address of buffer to read into.
616  * Null on write.
617  * @count:     Number of bytes to read / write.
618  * @f_pos:     Pointer to current file position.
619  * @write:     1 for read, 0 for write.
620  *
621  * This function implements read / write into ttm buffer objects, and is
622  * intended to
623  * be called from the fops::read and fops::write method.
624  * Returns:
625  * See man (2) write, man(2) read. In particular,
626  * the function may return -ERESTARTSYS if
627  * interrupted by a signal.
628  */
629
630 extern ssize_t ttm_bo_io(struct ttm_bo_device *bdev, struct file *filp,
631                          const char __user *wbuf, char __user *rbuf,
632                          size_t count, loff_t *f_pos, bool write);
633
634 extern void ttm_bo_swapout_all(struct ttm_bo_device *bdev);
635
636 #endif