[media] s5p-fimc: Enable simultaneous rotation and flipping
[linux-2.6.git] / drivers / media / video / s5p-fimc / fimc-core.c
1 /*
2  * S5P camera interface (video postprocessor) driver
3  *
4  * Copyright (c) 2010 Samsung Electronics Co., Ltd
5  *
6  * Sylwester Nawrocki, <s.nawrocki@samsung.com>
7  *
8  * This program is free software; you can redistribute it and/or modify
9  * it under the terms of the GNU General Public License as published
10  * by the Free Software Foundation, either version 2 of the License,
11  * or (at your option) any later version.
12  */
13
14 #include <linux/module.h>
15 #include <linux/kernel.h>
16 #include <linux/version.h>
17 #include <linux/types.h>
18 #include <linux/errno.h>
19 #include <linux/bug.h>
20 #include <linux/interrupt.h>
21 #include <linux/device.h>
22 #include <linux/platform_device.h>
23 #include <linux/list.h>
24 #include <linux/io.h>
25 #include <linux/slab.h>
26 #include <linux/clk.h>
27 #include <media/v4l2-ioctl.h>
28 #include <media/videobuf2-core.h>
29 #include <media/videobuf2-dma-contig.h>
30
31 #include "fimc-core.h"
32
33 static char *fimc_clock_name[NUM_FIMC_CLOCKS] = { "sclk_fimc", "fimc" };
34
35 static struct fimc_fmt fimc_formats[] = {
36         {
37                 .name           = "RGB565",
38                 .fourcc         = V4L2_PIX_FMT_RGB565X,
39                 .depth          = { 16 },
40                 .color          = S5P_FIMC_RGB565,
41                 .memplanes      = 1,
42                 .colplanes      = 1,
43                 .mbus_code      = V4L2_MBUS_FMT_RGB565_2X8_BE,
44                 .flags          = FMT_FLAGS_M2M,
45         }, {
46                 .name           = "BGR666",
47                 .fourcc         = V4L2_PIX_FMT_BGR666,
48                 .depth          = { 32 },
49                 .color          = S5P_FIMC_RGB666,
50                 .memplanes      = 1,
51                 .colplanes      = 1,
52                 .flags          = FMT_FLAGS_M2M,
53         }, {
54                 .name           = "XRGB-8-8-8-8, 32 bpp",
55                 .fourcc         = V4L2_PIX_FMT_RGB32,
56                 .depth          = { 32 },
57                 .color          = S5P_FIMC_RGB888,
58                 .memplanes      = 1,
59                 .colplanes      = 1,
60                 .flags          = FMT_FLAGS_M2M,
61         }, {
62                 .name           = "YUV 4:2:2 packed, YCbYCr",
63                 .fourcc         = V4L2_PIX_FMT_YUYV,
64                 .depth          = { 16 },
65                 .color          = S5P_FIMC_YCBYCR422,
66                 .memplanes      = 1,
67                 .colplanes      = 1,
68                 .mbus_code      = V4L2_MBUS_FMT_YUYV8_2X8,
69                 .flags          = FMT_FLAGS_M2M | FMT_FLAGS_CAM,
70         }, {
71                 .name           = "YUV 4:2:2 packed, CbYCrY",
72                 .fourcc         = V4L2_PIX_FMT_UYVY,
73                 .depth          = { 16 },
74                 .color          = S5P_FIMC_CBYCRY422,
75                 .memplanes      = 1,
76                 .colplanes      = 1,
77                 .mbus_code      = V4L2_MBUS_FMT_UYVY8_2X8,
78                 .flags          = FMT_FLAGS_M2M | FMT_FLAGS_CAM,
79         }, {
80                 .name           = "YUV 4:2:2 packed, CrYCbY",
81                 .fourcc         = V4L2_PIX_FMT_VYUY,
82                 .depth          = { 16 },
83                 .color          = S5P_FIMC_CRYCBY422,
84                 .memplanes      = 1,
85                 .colplanes      = 1,
86                 .mbus_code      = V4L2_MBUS_FMT_VYUY8_2X8,
87                 .flags          = FMT_FLAGS_M2M | FMT_FLAGS_CAM,
88         }, {
89                 .name           = "YUV 4:2:2 packed, YCrYCb",
90                 .fourcc         = V4L2_PIX_FMT_YVYU,
91                 .depth          = { 16 },
92                 .color          = S5P_FIMC_YCRYCB422,
93                 .memplanes      = 1,
94                 .colplanes      = 1,
95                 .mbus_code      = V4L2_MBUS_FMT_YVYU8_2X8,
96                 .flags          = FMT_FLAGS_M2M | FMT_FLAGS_CAM,
97         }, {
98                 .name           = "YUV 4:2:2 planar, Y/Cb/Cr",
99                 .fourcc         = V4L2_PIX_FMT_YUV422P,
100                 .depth          = { 12 },
101                 .color          = S5P_FIMC_YCBYCR422,
102                 .memplanes      = 1,
103                 .colplanes      = 3,
104                 .flags          = FMT_FLAGS_M2M,
105         }, {
106                 .name           = "YUV 4:2:2 planar, Y/CbCr",
107                 .fourcc         = V4L2_PIX_FMT_NV16,
108                 .depth          = { 16 },
109                 .color          = S5P_FIMC_YCBYCR422,
110                 .memplanes      = 1,
111                 .colplanes      = 2,
112                 .flags          = FMT_FLAGS_M2M,
113         }, {
114                 .name           = "YUV 4:2:2 planar, Y/CrCb",
115                 .fourcc         = V4L2_PIX_FMT_NV61,
116                 .depth          = { 16 },
117                 .color          = S5P_FIMC_YCRYCB422,
118                 .memplanes      = 1,
119                 .colplanes      = 2,
120                 .flags          = FMT_FLAGS_M2M,
121         }, {
122                 .name           = "YUV 4:2:0 planar, YCbCr",
123                 .fourcc         = V4L2_PIX_FMT_YUV420,
124                 .depth          = { 12 },
125                 .color          = S5P_FIMC_YCBCR420,
126                 .memplanes      = 1,
127                 .colplanes      = 3,
128                 .flags          = FMT_FLAGS_M2M,
129         }, {
130                 .name           = "YUV 4:2:0 planar, Y/CbCr",
131                 .fourcc         = V4L2_PIX_FMT_NV12,
132                 .depth          = { 12 },
133                 .color          = S5P_FIMC_YCBCR420,
134                 .memplanes      = 1,
135                 .colplanes      = 2,
136                 .flags          = FMT_FLAGS_M2M,
137         }, {
138                 .name           = "YUV 4:2:0 non-contiguous 2-planar, Y/CbCr",
139                 .fourcc         = V4L2_PIX_FMT_NV12M,
140                 .color          = S5P_FIMC_YCBCR420,
141                 .depth          = { 8, 4 },
142                 .memplanes      = 2,
143                 .colplanes      = 2,
144                 .flags          = FMT_FLAGS_M2M,
145         }, {
146                 .name           = "YUV 4:2:0 non-contiguous 3-planar, Y/Cb/Cr",
147                 .fourcc         = V4L2_PIX_FMT_YUV420M,
148                 .color          = S5P_FIMC_YCBCR420,
149                 .depth          = { 8, 2, 2 },
150                 .memplanes      = 3,
151                 .colplanes      = 3,
152                 .flags          = FMT_FLAGS_M2M,
153         }, {
154                 .name           = "YUV 4:2:0 non-contiguous 2-planar, Y/CbCr, tiled",
155                 .fourcc         = V4L2_PIX_FMT_NV12MT,
156                 .color          = S5P_FIMC_YCBCR420,
157                 .depth          = { 8, 4 },
158                 .memplanes      = 2,
159                 .colplanes      = 2,
160                 .flags          = FMT_FLAGS_M2M,
161         },
162 };
163
164 static struct v4l2_queryctrl fimc_ctrls[] = {
165         {
166                 .id             = V4L2_CID_HFLIP,
167                 .type           = V4L2_CTRL_TYPE_BOOLEAN,
168                 .name           = "Horizontal flip",
169                 .minimum        = 0,
170                 .maximum        = 1,
171                 .default_value  = 0,
172         }, {
173                 .id             = V4L2_CID_VFLIP,
174                 .type           = V4L2_CTRL_TYPE_BOOLEAN,
175                 .name           = "Vertical flip",
176                 .minimum        = 0,
177                 .maximum        = 1,
178                 .default_value  = 0,
179         }, {
180                 .id             = V4L2_CID_ROTATE,
181                 .type           = V4L2_CTRL_TYPE_INTEGER,
182                 .name           = "Rotation (CCW)",
183                 .minimum        = 0,
184                 .maximum        = 270,
185                 .step           = 90,
186                 .default_value  = 0,
187         },
188 };
189
190
191 static struct v4l2_queryctrl *get_ctrl(int id)
192 {
193         int i;
194
195         for (i = 0; i < ARRAY_SIZE(fimc_ctrls); ++i)
196                 if (id == fimc_ctrls[i].id)
197                         return &fimc_ctrls[i];
198         return NULL;
199 }
200
201 int fimc_check_scaler_ratio(struct v4l2_rect *r, struct fimc_frame *f)
202 {
203         if (r->width > f->width) {
204                 if (f->width > (r->width * SCALER_MAX_HRATIO))
205                         return -EINVAL;
206         } else {
207                 if ((f->width * SCALER_MAX_HRATIO) < r->width)
208                         return -EINVAL;
209         }
210
211         if (r->height > f->height) {
212                 if (f->height > (r->height * SCALER_MAX_VRATIO))
213                         return -EINVAL;
214         } else {
215                 if ((f->height * SCALER_MAX_VRATIO) < r->height)
216                         return -EINVAL;
217         }
218
219         return 0;
220 }
221
222 static int fimc_get_scaler_factor(u32 src, u32 tar, u32 *ratio, u32 *shift)
223 {
224         u32 sh = 6;
225
226         if (src >= 64 * tar)
227                 return -EINVAL;
228
229         while (sh--) {
230                 u32 tmp = 1 << sh;
231                 if (src >= tar * tmp) {
232                         *shift = sh, *ratio = tmp;
233                         return 0;
234                 }
235         }
236
237         *shift = 0, *ratio = 1;
238
239         dbg("s: %d, t: %d, shift: %d, ratio: %d",
240             src, tar, *shift, *ratio);
241         return 0;
242 }
243
244 int fimc_set_scaler_info(struct fimc_ctx *ctx)
245 {
246         struct fimc_scaler *sc = &ctx->scaler;
247         struct fimc_frame *s_frame = &ctx->s_frame;
248         struct fimc_frame *d_frame = &ctx->d_frame;
249         int tx, ty, sx, sy;
250         int ret;
251
252         if (ctx->rotation == 90 || ctx->rotation == 270) {
253                 ty = d_frame->width;
254                 tx = d_frame->height;
255         } else {
256                 tx = d_frame->width;
257                 ty = d_frame->height;
258         }
259         if (tx <= 0 || ty <= 0) {
260                 v4l2_err(&ctx->fimc_dev->m2m.v4l2_dev,
261                         "invalid target size: %d x %d", tx, ty);
262                 return -EINVAL;
263         }
264
265         sx = s_frame->width;
266         sy = s_frame->height;
267         if (sx <= 0 || sy <= 0) {
268                 err("invalid source size: %d x %d", sx, sy);
269                 return -EINVAL;
270         }
271
272         sc->real_width = sx;
273         sc->real_height = sy;
274         dbg("sx= %d, sy= %d, tx= %d, ty= %d", sx, sy, tx, ty);
275
276         ret = fimc_get_scaler_factor(sx, tx, &sc->pre_hratio, &sc->hfactor);
277         if (ret)
278                 return ret;
279
280         ret = fimc_get_scaler_factor(sy, ty,  &sc->pre_vratio, &sc->vfactor);
281         if (ret)
282                 return ret;
283
284         sc->pre_dst_width = sx / sc->pre_hratio;
285         sc->pre_dst_height = sy / sc->pre_vratio;
286
287         sc->main_hratio = (sx << 8) / (tx << sc->hfactor);
288         sc->main_vratio = (sy << 8) / (ty << sc->vfactor);
289
290         sc->scaleup_h = (tx >= sx) ? 1 : 0;
291         sc->scaleup_v = (ty >= sy) ? 1 : 0;
292
293         /* check to see if input and output size/format differ */
294         if (s_frame->fmt->color == d_frame->fmt->color
295                 && s_frame->width == d_frame->width
296                 && s_frame->height == d_frame->height)
297                 sc->copy_mode = 1;
298         else
299                 sc->copy_mode = 0;
300
301         return 0;
302 }
303
304 static void fimc_capture_handler(struct fimc_dev *fimc)
305 {
306         struct fimc_vid_cap *cap = &fimc->vid_cap;
307         struct fimc_vid_buffer *v_buf = NULL;
308
309         if (!list_empty(&cap->active_buf_q)) {
310                 v_buf = active_queue_pop(cap);
311                 vb2_buffer_done(&v_buf->vb, VB2_BUF_STATE_DONE);
312         }
313
314         if (test_and_clear_bit(ST_CAPT_SHUT, &fimc->state)) {
315                 wake_up(&fimc->irq_queue);
316                 return;
317         }
318
319         if (!list_empty(&cap->pending_buf_q)) {
320
321                 v_buf = pending_queue_pop(cap);
322                 fimc_hw_set_output_addr(fimc, &v_buf->paddr, cap->buf_index);
323                 v_buf->index = cap->buf_index;
324
325                 dbg("hw ptr: %d, sw ptr: %d",
326                     fimc_hw_get_frame_index(fimc), cap->buf_index);
327
328                 /* Move the buffer to the capture active queue */
329                 active_queue_add(cap, v_buf);
330
331                 dbg("next frame: %d, done frame: %d",
332                     fimc_hw_get_frame_index(fimc), v_buf->index);
333
334                 if (++cap->buf_index >= FIMC_MAX_OUT_BUFS)
335                         cap->buf_index = 0;
336
337         } else if (test_and_clear_bit(ST_CAPT_STREAM, &fimc->state) &&
338                    cap->active_buf_cnt <= 1) {
339                 fimc_deactivate_capture(fimc);
340         }
341
342         dbg("frame: %d, active_buf_cnt= %d",
343             fimc_hw_get_frame_index(fimc), cap->active_buf_cnt);
344 }
345
346 static irqreturn_t fimc_isr(int irq, void *priv)
347 {
348         struct fimc_dev *fimc = priv;
349
350         BUG_ON(!fimc);
351         fimc_hw_clear_irq(fimc);
352
353         spin_lock(&fimc->slock);
354
355         if (test_and_clear_bit(ST_M2M_PEND, &fimc->state)) {
356                 struct vb2_buffer *src_vb, *dst_vb;
357                 struct fimc_ctx *ctx = v4l2_m2m_get_curr_priv(fimc->m2m.m2m_dev);
358
359                 if (!ctx || !ctx->m2m_ctx)
360                         goto isr_unlock;
361
362                 src_vb = v4l2_m2m_src_buf_remove(ctx->m2m_ctx);
363                 dst_vb = v4l2_m2m_dst_buf_remove(ctx->m2m_ctx);
364                 if (src_vb && dst_vb) {
365                         v4l2_m2m_buf_done(src_vb, VB2_BUF_STATE_DONE);
366                         v4l2_m2m_buf_done(dst_vb, VB2_BUF_STATE_DONE);
367                         v4l2_m2m_job_finish(fimc->m2m.m2m_dev, ctx->m2m_ctx);
368                 }
369                 goto isr_unlock;
370
371         }
372
373         if (test_bit(ST_CAPT_RUN, &fimc->state))
374                 fimc_capture_handler(fimc);
375
376         if (test_and_clear_bit(ST_CAPT_PEND, &fimc->state)) {
377                 set_bit(ST_CAPT_RUN, &fimc->state);
378                 wake_up(&fimc->irq_queue);
379         }
380
381 isr_unlock:
382         spin_unlock(&fimc->slock);
383         return IRQ_HANDLED;
384 }
385
386 /* The color format (colplanes, memplanes) must be already configured. */
387 int fimc_prepare_addr(struct fimc_ctx *ctx, struct vb2_buffer *vb,
388                       struct fimc_frame *frame, struct fimc_addr *paddr)
389 {
390         int ret = 0;
391         u32 pix_size;
392
393         if (vb == NULL || frame == NULL)
394                 return -EINVAL;
395
396         pix_size = frame->width * frame->height;
397
398         dbg("memplanes= %d, colplanes= %d, pix_size= %d",
399                 frame->fmt->memplanes, frame->fmt->colplanes, pix_size);
400
401         paddr->y = vb2_dma_contig_plane_paddr(vb, 0);
402
403         if (frame->fmt->memplanes == 1) {
404                 switch (frame->fmt->colplanes) {
405                 case 1:
406                         paddr->cb = 0;
407                         paddr->cr = 0;
408                         break;
409                 case 2:
410                         /* decompose Y into Y/Cb */
411                         paddr->cb = (u32)(paddr->y + pix_size);
412                         paddr->cr = 0;
413                         break;
414                 case 3:
415                         paddr->cb = (u32)(paddr->y + pix_size);
416                         /* decompose Y into Y/Cb/Cr */
417                         if (S5P_FIMC_YCBCR420 == frame->fmt->color)
418                                 paddr->cr = (u32)(paddr->cb
419                                                 + (pix_size >> 2));
420                         else /* 422 */
421                                 paddr->cr = (u32)(paddr->cb
422                                                 + (pix_size >> 1));
423                         break;
424                 default:
425                         return -EINVAL;
426                 }
427         } else {
428                 if (frame->fmt->memplanes >= 2)
429                         paddr->cb = vb2_dma_contig_plane_paddr(vb, 1);
430
431                 if (frame->fmt->memplanes == 3)
432                         paddr->cr = vb2_dma_contig_plane_paddr(vb, 2);
433         }
434
435         dbg("PHYS_ADDR: y= 0x%X  cb= 0x%X cr= 0x%X ret= %d",
436             paddr->y, paddr->cb, paddr->cr, ret);
437
438         return ret;
439 }
440
441 /* Set order for 1 and 2 plane YCBCR 4:2:2 formats. */
442 static void fimc_set_yuv_order(struct fimc_ctx *ctx)
443 {
444         /* The one only mode supported in SoC. */
445         ctx->in_order_2p = S5P_FIMC_LSB_CRCB;
446         ctx->out_order_2p = S5P_FIMC_LSB_CRCB;
447
448         /* Set order for 1 plane input formats. */
449         switch (ctx->s_frame.fmt->color) {
450         case S5P_FIMC_YCRYCB422:
451                 ctx->in_order_1p = S5P_FIMC_IN_YCRYCB;
452                 break;
453         case S5P_FIMC_CBYCRY422:
454                 ctx->in_order_1p = S5P_FIMC_IN_CBYCRY;
455                 break;
456         case S5P_FIMC_CRYCBY422:
457                 ctx->in_order_1p = S5P_FIMC_IN_CRYCBY;
458                 break;
459         case S5P_FIMC_YCBYCR422:
460         default:
461                 ctx->in_order_1p = S5P_FIMC_IN_YCBYCR;
462                 break;
463         }
464         dbg("ctx->in_order_1p= %d", ctx->in_order_1p);
465
466         switch (ctx->d_frame.fmt->color) {
467         case S5P_FIMC_YCRYCB422:
468                 ctx->out_order_1p = S5P_FIMC_OUT_YCRYCB;
469                 break;
470         case S5P_FIMC_CBYCRY422:
471                 ctx->out_order_1p = S5P_FIMC_OUT_CBYCRY;
472                 break;
473         case S5P_FIMC_CRYCBY422:
474                 ctx->out_order_1p = S5P_FIMC_OUT_CRYCBY;
475                 break;
476         case S5P_FIMC_YCBYCR422:
477         default:
478                 ctx->out_order_1p = S5P_FIMC_OUT_YCBYCR;
479                 break;
480         }
481         dbg("ctx->out_order_1p= %d", ctx->out_order_1p);
482 }
483
484 static void fimc_prepare_dma_offset(struct fimc_ctx *ctx, struct fimc_frame *f)
485 {
486         struct samsung_fimc_variant *variant = ctx->fimc_dev->variant;
487         u32 i, depth = 0;
488
489         for (i = 0; i < f->fmt->colplanes; i++)
490                 depth += f->fmt->depth[i];
491
492         f->dma_offset.y_h = f->offs_h;
493         if (!variant->pix_hoff)
494                 f->dma_offset.y_h *= (depth >> 3);
495
496         f->dma_offset.y_v = f->offs_v;
497
498         f->dma_offset.cb_h = f->offs_h;
499         f->dma_offset.cb_v = f->offs_v;
500
501         f->dma_offset.cr_h = f->offs_h;
502         f->dma_offset.cr_v = f->offs_v;
503
504         if (!variant->pix_hoff) {
505                 if (f->fmt->colplanes == 3) {
506                         f->dma_offset.cb_h >>= 1;
507                         f->dma_offset.cr_h >>= 1;
508                 }
509                 if (f->fmt->color == S5P_FIMC_YCBCR420) {
510                         f->dma_offset.cb_v >>= 1;
511                         f->dma_offset.cr_v >>= 1;
512                 }
513         }
514
515         dbg("in_offset: color= %d, y_h= %d, y_v= %d",
516             f->fmt->color, f->dma_offset.y_h, f->dma_offset.y_v);
517 }
518
519 /**
520  * fimc_prepare_config - check dimensions, operation and color mode
521  *                       and pre-calculate offset and the scaling coefficients.
522  *
523  * @ctx: hardware context information
524  * @flags: flags indicating which parameters to check/update
525  *
526  * Return: 0 if dimensions are valid or non zero otherwise.
527  */
528 int fimc_prepare_config(struct fimc_ctx *ctx, u32 flags)
529 {
530         struct fimc_frame *s_frame, *d_frame;
531         struct vb2_buffer *vb = NULL;
532         int ret = 0;
533
534         s_frame = &ctx->s_frame;
535         d_frame = &ctx->d_frame;
536
537         if (flags & FIMC_PARAMS) {
538                 /* Prepare the DMA offset ratios for scaler. */
539                 fimc_prepare_dma_offset(ctx, &ctx->s_frame);
540                 fimc_prepare_dma_offset(ctx, &ctx->d_frame);
541
542                 if (s_frame->height > (SCALER_MAX_VRATIO * d_frame->height) ||
543                     s_frame->width > (SCALER_MAX_HRATIO * d_frame->width)) {
544                         err("out of scaler range");
545                         return -EINVAL;
546                 }
547                 fimc_set_yuv_order(ctx);
548         }
549
550         /* Input DMA mode is not allowed when the scaler is disabled. */
551         ctx->scaler.enabled = 1;
552
553         if (flags & FIMC_SRC_ADDR) {
554                 vb = v4l2_m2m_next_src_buf(ctx->m2m_ctx);
555                 ret = fimc_prepare_addr(ctx, vb, s_frame, &s_frame->paddr);
556                 if (ret)
557                         return ret;
558         }
559
560         if (flags & FIMC_DST_ADDR) {
561                 vb = v4l2_m2m_next_dst_buf(ctx->m2m_ctx);
562                 ret = fimc_prepare_addr(ctx, vb, d_frame, &d_frame->paddr);
563         }
564
565         return ret;
566 }
567
568 static void fimc_dma_run(void *priv)
569 {
570         struct fimc_ctx *ctx = priv;
571         struct fimc_dev *fimc;
572         unsigned long flags;
573         u32 ret;
574
575         if (WARN(!ctx, "null hardware context\n"))
576                 return;
577
578         fimc = ctx->fimc_dev;
579
580         spin_lock_irqsave(&ctx->slock, flags);
581         set_bit(ST_M2M_PEND, &fimc->state);
582
583         ctx->state |= (FIMC_SRC_ADDR | FIMC_DST_ADDR);
584         ret = fimc_prepare_config(ctx, ctx->state);
585         if (ret) {
586                 err("Wrong parameters");
587                 goto dma_unlock;
588         }
589         /* Reconfigure hardware if the context has changed. */
590         if (fimc->m2m.ctx != ctx) {
591                 ctx->state |= FIMC_PARAMS;
592                 fimc->m2m.ctx = ctx;
593         }
594
595         fimc_hw_set_input_addr(fimc, &ctx->s_frame.paddr);
596
597         if (ctx->state & FIMC_PARAMS) {
598                 fimc_hw_set_input_path(ctx);
599                 fimc_hw_set_in_dma(ctx);
600                 if (fimc_set_scaler_info(ctx)) {
601                         err("Scaler setup error");
602                         goto dma_unlock;
603                 }
604                 fimc_hw_set_scaler(ctx);
605                 fimc_hw_set_target_format(ctx);
606                 fimc_hw_set_rotation(ctx);
607                 fimc_hw_set_effect(ctx);
608         }
609
610         fimc_hw_set_output_path(ctx);
611         if (ctx->state & (FIMC_DST_ADDR | FIMC_PARAMS))
612                 fimc_hw_set_output_addr(fimc, &ctx->d_frame.paddr, -1);
613
614         if (ctx->state & FIMC_PARAMS)
615                 fimc_hw_set_out_dma(ctx);
616
617         fimc_activate_capture(ctx);
618
619         ctx->state &= (FIMC_CTX_M2M | FIMC_CTX_CAP |
620                        FIMC_SRC_FMT | FIMC_DST_FMT);
621         fimc_hw_activate_input_dma(fimc, true);
622
623 dma_unlock:
624         spin_unlock_irqrestore(&ctx->slock, flags);
625 }
626
627 static void fimc_job_abort(void *priv)
628 {
629         /* Nothing done in job_abort. */
630 }
631
632 static int fimc_queue_setup(struct vb2_queue *vq, unsigned int *num_buffers,
633                             unsigned int *num_planes, unsigned long sizes[],
634                             void *allocators[])
635 {
636         struct fimc_ctx *ctx = vb2_get_drv_priv(vq);
637         struct fimc_frame *f;
638         int i;
639
640         f = ctx_get_frame(ctx, vq->type);
641         if (IS_ERR(f))
642                 return PTR_ERR(f);
643
644         /*
645          * Return number of non-contigous planes (plane buffers)
646          * depending on the configured color format.
647          */
648         if (f->fmt)
649                 *num_planes = f->fmt->memplanes;
650
651         for (i = 0; i < f->fmt->memplanes; i++) {
652                 sizes[i] = (f->width * f->height * f->fmt->depth[i]) >> 3;
653                 allocators[i] = ctx->fimc_dev->alloc_ctx;
654         }
655
656         if (*num_buffers == 0)
657                 *num_buffers = 1;
658
659         return 0;
660 }
661
662 static int fimc_buf_prepare(struct vb2_buffer *vb)
663 {
664         struct fimc_ctx *ctx = vb2_get_drv_priv(vb->vb2_queue);
665         struct fimc_frame *frame;
666         int i;
667
668         frame = ctx_get_frame(ctx, vb->vb2_queue->type);
669         if (IS_ERR(frame))
670                 return PTR_ERR(frame);
671
672         for (i = 0; i < frame->fmt->memplanes; i++)
673                 vb2_set_plane_payload(vb, i, frame->payload[i]);
674
675         return 0;
676 }
677
678 static void fimc_buf_queue(struct vb2_buffer *vb)
679 {
680         struct fimc_ctx *ctx = vb2_get_drv_priv(vb->vb2_queue);
681
682         dbg("ctx: %p, ctx->state: 0x%x", ctx, ctx->state);
683
684         if (ctx->m2m_ctx)
685                 v4l2_m2m_buf_queue(ctx->m2m_ctx, vb);
686 }
687
688 static void fimc_lock(struct vb2_queue *vq)
689 {
690         struct fimc_ctx *ctx = vb2_get_drv_priv(vq);
691         mutex_lock(&ctx->fimc_dev->lock);
692 }
693
694 static void fimc_unlock(struct vb2_queue *vq)
695 {
696         struct fimc_ctx *ctx = vb2_get_drv_priv(vq);
697         mutex_unlock(&ctx->fimc_dev->lock);
698 }
699
700 struct vb2_ops fimc_qops = {
701         .queue_setup     = fimc_queue_setup,
702         .buf_prepare     = fimc_buf_prepare,
703         .buf_queue       = fimc_buf_queue,
704         .wait_prepare    = fimc_unlock,
705         .wait_finish     = fimc_lock,
706 };
707
708 static int fimc_m2m_querycap(struct file *file, void *priv,
709                            struct v4l2_capability *cap)
710 {
711         struct fimc_ctx *ctx = file->private_data;
712         struct fimc_dev *fimc = ctx->fimc_dev;
713
714         strncpy(cap->driver, fimc->pdev->name, sizeof(cap->driver) - 1);
715         strncpy(cap->card, fimc->pdev->name, sizeof(cap->card) - 1);
716         cap->bus_info[0] = 0;
717         cap->version = KERNEL_VERSION(1, 0, 0);
718         cap->capabilities = V4L2_CAP_STREAMING |
719                 V4L2_CAP_VIDEO_CAPTURE | V4L2_CAP_VIDEO_OUTPUT |
720                 V4L2_CAP_VIDEO_CAPTURE_MPLANE | V4L2_CAP_VIDEO_OUTPUT_MPLANE;
721
722         return 0;
723 }
724
725 int fimc_vidioc_enum_fmt_mplane(struct file *file, void *priv,
726                                 struct v4l2_fmtdesc *f)
727 {
728         struct fimc_fmt *fmt;
729
730         if (f->index >= ARRAY_SIZE(fimc_formats))
731                 return -EINVAL;
732
733         fmt = &fimc_formats[f->index];
734         strncpy(f->description, fmt->name, sizeof(f->description) - 1);
735         f->pixelformat = fmt->fourcc;
736
737         return 0;
738 }
739
740 int fimc_vidioc_g_fmt_mplane(struct file *file, void *priv,
741                              struct v4l2_format *f)
742 {
743         struct fimc_ctx *ctx = priv;
744         struct fimc_frame *frame;
745
746         frame = ctx_get_frame(ctx, f->type);
747         if (IS_ERR(frame))
748                 return PTR_ERR(frame);
749
750         f->fmt.pix.width        = frame->width;
751         f->fmt.pix.height       = frame->height;
752         f->fmt.pix.field        = V4L2_FIELD_NONE;
753         f->fmt.pix.pixelformat  = frame->fmt->fourcc;
754
755         return 0;
756 }
757
758 struct fimc_fmt *find_format(struct v4l2_format *f, unsigned int mask)
759 {
760         struct fimc_fmt *fmt;
761         unsigned int i;
762
763         for (i = 0; i < ARRAY_SIZE(fimc_formats); ++i) {
764                 fmt = &fimc_formats[i];
765                 if (fmt->fourcc == f->fmt.pix.pixelformat &&
766                    (fmt->flags & mask))
767                         break;
768         }
769
770         return (i == ARRAY_SIZE(fimc_formats)) ? NULL : fmt;
771 }
772
773 struct fimc_fmt *find_mbus_format(struct v4l2_mbus_framefmt *f,
774                                   unsigned int mask)
775 {
776         struct fimc_fmt *fmt;
777         unsigned int i;
778
779         for (i = 0; i < ARRAY_SIZE(fimc_formats); ++i) {
780                 fmt = &fimc_formats[i];
781                 if (fmt->mbus_code == f->code && (fmt->flags & mask))
782                         break;
783         }
784
785         return (i == ARRAY_SIZE(fimc_formats)) ? NULL : fmt;
786 }
787
788
789 int fimc_vidioc_try_fmt_mplane(struct file *file, void *priv,
790                                struct v4l2_format *f)
791 {
792         struct fimc_ctx *ctx = priv;
793         struct fimc_dev *fimc = ctx->fimc_dev;
794         struct samsung_fimc_variant *variant = fimc->variant;
795         struct v4l2_pix_format_mplane *pix = &f->fmt.pix_mp;
796         struct fimc_fmt *fmt;
797         u32 max_width, mod_x, mod_y, mask;
798         int i, is_output = 0;
799
800
801         if (f->type == V4L2_BUF_TYPE_VIDEO_OUTPUT_MPLANE) {
802                 if (ctx->state & FIMC_CTX_CAP)
803                         return -EINVAL;
804                 is_output = 1;
805         } else if (f->type != V4L2_BUF_TYPE_VIDEO_CAPTURE_MPLANE) {
806                 return -EINVAL;
807         }
808
809         dbg("w: %d, h: %d", pix->width, pix->height);
810
811         mask = is_output ? FMT_FLAGS_M2M : FMT_FLAGS_M2M | FMT_FLAGS_CAM;
812         fmt = find_format(f, mask);
813         if (!fmt) {
814                 v4l2_err(&fimc->m2m.v4l2_dev, "Fourcc format (0x%X) invalid.\n",
815                          pix->pixelformat);
816                 return -EINVAL;
817         }
818
819         if (pix->field == V4L2_FIELD_ANY)
820                 pix->field = V4L2_FIELD_NONE;
821         else if (V4L2_FIELD_NONE != pix->field)
822                 return -EINVAL;
823
824         if (is_output) {
825                 max_width = variant->pix_limit->scaler_dis_w;
826                 mod_x = ffs(variant->min_inp_pixsize) - 1;
827         } else {
828                 max_width = variant->pix_limit->out_rot_dis_w;
829                 mod_x = ffs(variant->min_out_pixsize) - 1;
830         }
831
832         if (tiled_fmt(fmt)) {
833                 mod_x = 6; /* 64 x 32 pixels tile */
834                 mod_y = 5;
835         } else {
836                 if (fimc->id == 1 && variant->pix_hoff)
837                         mod_y = fimc_fmt_is_rgb(fmt->color) ? 0 : 1;
838                 else
839                         mod_y = mod_x;
840         }
841
842         dbg("mod_x: %d, mod_y: %d, max_w: %d", mod_x, mod_y, max_width);
843
844         v4l_bound_align_image(&pix->width, 16, max_width, mod_x,
845                 &pix->height, 8, variant->pix_limit->scaler_dis_w, mod_y, 0);
846
847         pix->num_planes = fmt->memplanes;
848
849         for (i = 0; i < pix->num_planes; ++i) {
850                 int bpl = pix->plane_fmt[i].bytesperline;
851
852                 dbg("[%d] bpl: %d, depth: %d, w: %d, h: %d",
853                     i, bpl, fmt->depth[i], pix->width, pix->height);
854
855                 if (!bpl || (bpl * 8 / fmt->depth[i]) > pix->width)
856                         bpl = (pix->width * fmt->depth[0]) >> 3;
857
858                 if (!pix->plane_fmt[i].sizeimage)
859                         pix->plane_fmt[i].sizeimage = pix->height * bpl;
860
861                 pix->plane_fmt[i].bytesperline = bpl;
862
863                 dbg("[%d]: bpl: %d, sizeimage: %d",
864                     i, pix->plane_fmt[i].bytesperline,
865                     pix->plane_fmt[i].sizeimage);
866         }
867
868         return 0;
869 }
870
871 static int fimc_m2m_s_fmt_mplane(struct file *file, void *priv,
872                                  struct v4l2_format *f)
873 {
874         struct fimc_ctx *ctx = priv;
875         struct fimc_dev *fimc = ctx->fimc_dev;
876         struct vb2_queue *vq;
877         struct fimc_frame *frame;
878         struct v4l2_pix_format_mplane *pix;
879         unsigned long flags;
880         int i, ret = 0;
881         u32 tmp;
882
883         ret = fimc_vidioc_try_fmt_mplane(file, priv, f);
884         if (ret)
885                 return ret;
886
887         vq = v4l2_m2m_get_vq(ctx->m2m_ctx, f->type);
888
889         if (vb2_is_streaming(vq)) {
890                 v4l2_err(&fimc->m2m.v4l2_dev, "queue (%d) busy\n", f->type);
891                 return -EBUSY;
892         }
893
894         if (f->type == V4L2_BUF_TYPE_VIDEO_OUTPUT_MPLANE) {
895                 frame = &ctx->s_frame;
896         } else if (f->type == V4L2_BUF_TYPE_VIDEO_CAPTURE_MPLANE) {
897                 frame = &ctx->d_frame;
898         } else {
899                 v4l2_err(&fimc->m2m.v4l2_dev,
900                          "Wrong buffer/video queue type (%d)\n", f->type);
901                 return -EINVAL;
902         }
903
904         pix = &f->fmt.pix_mp;
905         frame->fmt = find_format(f, FMT_FLAGS_M2M);
906         if (!frame->fmt)
907                 return -EINVAL;
908
909         for (i = 0; i < frame->fmt->colplanes; i++)
910                 frame->payload[i] = pix->plane_fmt[i].bytesperline * pix->height;
911
912         frame->f_width  = pix->plane_fmt[0].bytesperline * 8 /
913                 frame->fmt->depth[0];
914         frame->f_height = pix->height;
915         frame->width    = pix->width;
916         frame->height   = pix->height;
917         frame->o_width  = pix->width;
918         frame->o_height = pix->height;
919         frame->offs_h   = 0;
920         frame->offs_v   = 0;
921
922         spin_lock_irqsave(&ctx->slock, flags);
923         tmp = (frame == &ctx->d_frame) ? FIMC_DST_FMT : FIMC_SRC_FMT;
924         ctx->state |= FIMC_PARAMS | tmp;
925         spin_unlock_irqrestore(&ctx->slock, flags);
926
927         dbg("f_w: %d, f_h: %d", frame->f_width, frame->f_height);
928
929         return 0;
930 }
931
932 static int fimc_m2m_reqbufs(struct file *file, void *priv,
933                           struct v4l2_requestbuffers *reqbufs)
934 {
935         struct fimc_ctx *ctx = priv;
936         return v4l2_m2m_reqbufs(file, ctx->m2m_ctx, reqbufs);
937 }
938
939 static int fimc_m2m_querybuf(struct file *file, void *priv,
940                            struct v4l2_buffer *buf)
941 {
942         struct fimc_ctx *ctx = priv;
943         return v4l2_m2m_querybuf(file, ctx->m2m_ctx, buf);
944 }
945
946 static int fimc_m2m_qbuf(struct file *file, void *priv,
947                           struct v4l2_buffer *buf)
948 {
949         struct fimc_ctx *ctx = priv;
950
951         return v4l2_m2m_qbuf(file, ctx->m2m_ctx, buf);
952 }
953
954 static int fimc_m2m_dqbuf(struct file *file, void *priv,
955                            struct v4l2_buffer *buf)
956 {
957         struct fimc_ctx *ctx = priv;
958         return v4l2_m2m_dqbuf(file, ctx->m2m_ctx, buf);
959 }
960
961 static int fimc_m2m_streamon(struct file *file, void *priv,
962                            enum v4l2_buf_type type)
963 {
964         struct fimc_ctx *ctx = priv;
965
966         /* The source and target color format need to be set */
967         if (V4L2_TYPE_IS_OUTPUT(type)) {
968                 if (~ctx->state & FIMC_SRC_FMT)
969                         return -EINVAL;
970         } else if (~ctx->state & FIMC_DST_FMT) {
971                 return -EINVAL;
972         }
973
974         return v4l2_m2m_streamon(file, ctx->m2m_ctx, type);
975 }
976
977 static int fimc_m2m_streamoff(struct file *file, void *priv,
978                             enum v4l2_buf_type type)
979 {
980         struct fimc_ctx *ctx = priv;
981         return v4l2_m2m_streamoff(file, ctx->m2m_ctx, type);
982 }
983
984 int fimc_vidioc_queryctrl(struct file *file, void *priv,
985                             struct v4l2_queryctrl *qc)
986 {
987         struct fimc_ctx *ctx = priv;
988         struct v4l2_queryctrl *c;
989         int ret = -EINVAL;
990
991         c = get_ctrl(qc->id);
992         if (c) {
993                 *qc = *c;
994                 return 0;
995         }
996
997         if (ctx->state & FIMC_CTX_CAP) {
998                 return v4l2_subdev_call(ctx->fimc_dev->vid_cap.sd,
999                                         core, queryctrl, qc);
1000         }
1001         return ret;
1002 }
1003
1004 int fimc_vidioc_g_ctrl(struct file *file, void *priv,
1005                          struct v4l2_control *ctrl)
1006 {
1007         struct fimc_ctx *ctx = priv;
1008         struct fimc_dev *fimc = ctx->fimc_dev;
1009
1010         switch (ctrl->id) {
1011         case V4L2_CID_HFLIP:
1012                 ctrl->value = (FLIP_X_AXIS & ctx->flip) ? 1 : 0;
1013                 break;
1014         case V4L2_CID_VFLIP:
1015                 ctrl->value = (FLIP_Y_AXIS & ctx->flip) ? 1 : 0;
1016                 break;
1017         case V4L2_CID_ROTATE:
1018                 ctrl->value = ctx->rotation;
1019                 break;
1020         default:
1021                 if (ctx->state & FIMC_CTX_CAP) {
1022                         return v4l2_subdev_call(fimc->vid_cap.sd, core,
1023                                                 g_ctrl, ctrl);
1024                 } else {
1025                         v4l2_err(&fimc->m2m.v4l2_dev,
1026                                  "Invalid control\n");
1027                         return -EINVAL;
1028                 }
1029         }
1030         dbg("ctrl->value= %d", ctrl->value);
1031
1032         return 0;
1033 }
1034
1035 int check_ctrl_val(struct fimc_ctx *ctx,  struct v4l2_control *ctrl)
1036 {
1037         struct v4l2_queryctrl *c;
1038         c = get_ctrl(ctrl->id);
1039         if (!c)
1040                 return -EINVAL;
1041
1042         if (ctrl->value < c->minimum || ctrl->value > c->maximum
1043                 || (c->step != 0 && ctrl->value % c->step != 0)) {
1044                 v4l2_err(&ctx->fimc_dev->m2m.v4l2_dev,
1045                 "Invalid control value\n");
1046                 return -ERANGE;
1047         }
1048
1049         return 0;
1050 }
1051
1052 int fimc_s_ctrl(struct fimc_ctx *ctx, struct v4l2_control *ctrl)
1053 {
1054         struct samsung_fimc_variant *variant = ctx->fimc_dev->variant;
1055         struct fimc_dev *fimc = ctx->fimc_dev;
1056         unsigned long flags;
1057
1058         spin_lock_irqsave(&ctx->slock, flags);
1059
1060         switch (ctrl->id) {
1061         case V4L2_CID_HFLIP:
1062                 if (ctrl->value)
1063                         ctx->flip |= FLIP_X_AXIS;
1064                 else
1065                         ctx->flip &= ~FLIP_X_AXIS;
1066                 break;
1067
1068         case V4L2_CID_VFLIP:
1069                 if (ctrl->value)
1070                         ctx->flip |= FLIP_Y_AXIS;
1071                 else
1072                         ctx->flip &= ~FLIP_Y_AXIS;
1073                 break;
1074
1075         case V4L2_CID_ROTATE:
1076                 /* Check for the output rotator availability */
1077                 if ((ctrl->value == 90 || ctrl->value == 270) &&
1078                     (ctx->in_path == FIMC_DMA && !variant->has_out_rot)) {
1079                         spin_unlock_irqrestore(&ctx->slock, flags);
1080                         return -EINVAL;
1081                 } else {
1082                         ctx->rotation = ctrl->value;
1083                 }
1084                 break;
1085
1086         default:
1087                 spin_unlock_irqrestore(&ctx->slock, flags);
1088                 v4l2_err(&fimc->m2m.v4l2_dev, "Invalid control\n");
1089                 return -EINVAL;
1090         }
1091         ctx->state |= FIMC_PARAMS;
1092         spin_unlock_irqrestore(&ctx->slock, flags);
1093
1094         return 0;
1095 }
1096
1097 static int fimc_m2m_s_ctrl(struct file *file, void *priv,
1098                            struct v4l2_control *ctrl)
1099 {
1100         struct fimc_ctx *ctx = priv;
1101         int ret = 0;
1102
1103         ret = check_ctrl_val(ctx, ctrl);
1104         if (ret)
1105                 return ret;
1106
1107         ret = fimc_s_ctrl(ctx, ctrl);
1108         return 0;
1109 }
1110
1111 static int fimc_m2m_cropcap(struct file *file, void *fh,
1112                         struct v4l2_cropcap *cr)
1113 {
1114         struct fimc_frame *frame;
1115         struct fimc_ctx *ctx = fh;
1116
1117         frame = ctx_get_frame(ctx, cr->type);
1118         if (IS_ERR(frame))
1119                 return PTR_ERR(frame);
1120
1121         cr->bounds.left         = 0;
1122         cr->bounds.top          = 0;
1123         cr->bounds.width        = frame->f_width;
1124         cr->bounds.height       = frame->f_height;
1125         cr->defrect             = cr->bounds;
1126
1127         return 0;
1128 }
1129
1130 static int fimc_m2m_g_crop(struct file *file, void *fh, struct v4l2_crop *cr)
1131 {
1132         struct fimc_frame *frame;
1133         struct fimc_ctx *ctx = file->private_data;
1134
1135         frame = ctx_get_frame(ctx, cr->type);
1136         if (IS_ERR(frame))
1137                 return PTR_ERR(frame);
1138
1139         cr->c.left = frame->offs_h;
1140         cr->c.top = frame->offs_v;
1141         cr->c.width = frame->width;
1142         cr->c.height = frame->height;
1143
1144         return 0;
1145 }
1146
1147 int fimc_try_crop(struct fimc_ctx *ctx, struct v4l2_crop *cr)
1148 {
1149         struct fimc_dev *fimc = ctx->fimc_dev;
1150         struct fimc_frame *f;
1151         u32 min_size, halign, depth = 0;
1152         int i;
1153
1154         if (cr->c.top < 0 || cr->c.left < 0) {
1155                 v4l2_err(&fimc->m2m.v4l2_dev,
1156                         "doesn't support negative values for top & left\n");
1157                 return -EINVAL;
1158         }
1159
1160         if (cr->type == V4L2_BUF_TYPE_VIDEO_CAPTURE_MPLANE)
1161                 f = (ctx->state & FIMC_CTX_CAP) ? &ctx->s_frame : &ctx->d_frame;
1162         else if (cr->type == V4L2_BUF_TYPE_VIDEO_OUTPUT_MPLANE &&
1163                  ctx->state & FIMC_CTX_M2M)
1164                 f = &ctx->s_frame;
1165         else
1166                 return -EINVAL;
1167
1168         min_size = (f == &ctx->s_frame) ?
1169                 fimc->variant->min_inp_pixsize : fimc->variant->min_out_pixsize;
1170
1171         if (ctx->state & FIMC_CTX_M2M) {
1172                 if (fimc->id == 1 && fimc->variant->pix_hoff)
1173                         halign = fimc_fmt_is_rgb(f->fmt->color) ? 0 : 1;
1174                 else
1175                         halign = ffs(min_size) - 1;
1176         /* there are more strict aligment requirements at camera interface */
1177         } else {
1178                 min_size = 16;
1179                 halign = 4;
1180         }
1181
1182         for (i = 0; i < f->fmt->colplanes; i++)
1183                 depth += f->fmt->depth[i];
1184
1185         v4l_bound_align_image(&cr->c.width, min_size, f->o_width,
1186                               ffs(min_size) - 1,
1187                               &cr->c.height, min_size, f->o_height,
1188                               halign, 64/(ALIGN(depth, 8)));
1189
1190         /* adjust left/top if cropping rectangle is out of bounds */
1191         if (cr->c.left + cr->c.width > f->o_width)
1192                 cr->c.left = f->o_width - cr->c.width;
1193         if (cr->c.top + cr->c.height > f->o_height)
1194                 cr->c.top = f->o_height - cr->c.height;
1195
1196         cr->c.left = round_down(cr->c.left, min_size);
1197         cr->c.top  = round_down(cr->c.top,
1198                                 ctx->state & FIMC_CTX_M2M ? 8 : 16);
1199
1200         dbg("l:%d, t:%d, w:%d, h:%d, f_w: %d, f_h: %d",
1201             cr->c.left, cr->c.top, cr->c.width, cr->c.height,
1202             f->f_width, f->f_height);
1203
1204         return 0;
1205 }
1206
1207
1208 static int fimc_m2m_s_crop(struct file *file, void *fh, struct v4l2_crop *cr)
1209 {
1210         struct fimc_ctx *ctx = file->private_data;
1211         struct fimc_dev *fimc = ctx->fimc_dev;
1212         unsigned long flags;
1213         struct fimc_frame *f;
1214         int ret;
1215
1216         ret = fimc_try_crop(ctx, cr);
1217         if (ret)
1218                 return ret;
1219
1220         f = (cr->type == V4L2_BUF_TYPE_VIDEO_OUTPUT_MPLANE) ?
1221                 &ctx->s_frame : &ctx->d_frame;
1222
1223         spin_lock_irqsave(&ctx->slock, flags);
1224         if (~ctx->state & (FIMC_SRC_FMT | FIMC_DST_FMT)) {
1225                 /* Check to see if scaling ratio is within supported range */
1226                 if (cr->type == V4L2_BUF_TYPE_VIDEO_OUTPUT_MPLANE)
1227                         ret = fimc_check_scaler_ratio(&cr->c, &ctx->d_frame);
1228                 else
1229                         ret = fimc_check_scaler_ratio(&cr->c, &ctx->s_frame);
1230                 if (ret) {
1231                         v4l2_err(&fimc->m2m.v4l2_dev, "Out of scaler range");
1232                         spin_unlock_irqrestore(&ctx->slock, flags);
1233                         return -EINVAL;
1234                 }
1235         }
1236         ctx->state |= FIMC_PARAMS;
1237
1238         f->offs_h = cr->c.left;
1239         f->offs_v = cr->c.top;
1240         f->width  = cr->c.width;
1241         f->height = cr->c.height;
1242
1243         spin_unlock_irqrestore(&ctx->slock, flags);
1244         return 0;
1245 }
1246
1247 static const struct v4l2_ioctl_ops fimc_m2m_ioctl_ops = {
1248         .vidioc_querycap                = fimc_m2m_querycap,
1249
1250         .vidioc_enum_fmt_vid_cap_mplane = fimc_vidioc_enum_fmt_mplane,
1251         .vidioc_enum_fmt_vid_out_mplane = fimc_vidioc_enum_fmt_mplane,
1252
1253         .vidioc_g_fmt_vid_cap_mplane    = fimc_vidioc_g_fmt_mplane,
1254         .vidioc_g_fmt_vid_out_mplane    = fimc_vidioc_g_fmt_mplane,
1255
1256         .vidioc_try_fmt_vid_cap_mplane  = fimc_vidioc_try_fmt_mplane,
1257         .vidioc_try_fmt_vid_out_mplane  = fimc_vidioc_try_fmt_mplane,
1258
1259         .vidioc_s_fmt_vid_cap_mplane    = fimc_m2m_s_fmt_mplane,
1260         .vidioc_s_fmt_vid_out_mplane    = fimc_m2m_s_fmt_mplane,
1261
1262         .vidioc_reqbufs                 = fimc_m2m_reqbufs,
1263         .vidioc_querybuf                = fimc_m2m_querybuf,
1264
1265         .vidioc_qbuf                    = fimc_m2m_qbuf,
1266         .vidioc_dqbuf                   = fimc_m2m_dqbuf,
1267
1268         .vidioc_streamon                = fimc_m2m_streamon,
1269         .vidioc_streamoff               = fimc_m2m_streamoff,
1270
1271         .vidioc_queryctrl               = fimc_vidioc_queryctrl,
1272         .vidioc_g_ctrl                  = fimc_vidioc_g_ctrl,
1273         .vidioc_s_ctrl                  = fimc_m2m_s_ctrl,
1274
1275         .vidioc_g_crop                  = fimc_m2m_g_crop,
1276         .vidioc_s_crop                  = fimc_m2m_s_crop,
1277         .vidioc_cropcap                 = fimc_m2m_cropcap
1278
1279 };
1280
1281 static int queue_init(void *priv, struct vb2_queue *src_vq,
1282                       struct vb2_queue *dst_vq)
1283 {
1284         struct fimc_ctx *ctx = priv;
1285         int ret;
1286
1287         memset(src_vq, 0, sizeof(*src_vq));
1288         src_vq->type = V4L2_BUF_TYPE_VIDEO_OUTPUT_MPLANE;
1289         src_vq->io_modes = VB2_MMAP | VB2_USERPTR;
1290         src_vq->drv_priv = ctx;
1291         src_vq->ops = &fimc_qops;
1292         src_vq->mem_ops = &vb2_dma_contig_memops;
1293         src_vq->buf_struct_size = sizeof(struct v4l2_m2m_buffer);
1294
1295         ret = vb2_queue_init(src_vq);
1296         if (ret)
1297                 return ret;
1298
1299         memset(dst_vq, 0, sizeof(*dst_vq));
1300         dst_vq->type = V4L2_BUF_TYPE_VIDEO_CAPTURE_MPLANE;
1301         dst_vq->io_modes = VB2_MMAP | VB2_USERPTR;
1302         dst_vq->drv_priv = ctx;
1303         dst_vq->ops = &fimc_qops;
1304         dst_vq->mem_ops = &vb2_dma_contig_memops;
1305         dst_vq->buf_struct_size = sizeof(struct v4l2_m2m_buffer);
1306
1307         return vb2_queue_init(dst_vq);
1308 }
1309
1310 static int fimc_m2m_open(struct file *file)
1311 {
1312         struct fimc_dev *fimc = video_drvdata(file);
1313         struct fimc_ctx *ctx = NULL;
1314
1315         dbg("pid: %d, state: 0x%lx, refcnt: %d",
1316                 task_pid_nr(current), fimc->state, fimc->vid_cap.refcnt);
1317
1318         /*
1319          * Return if the corresponding video capture node
1320          * is already opened.
1321          */
1322         if (fimc->vid_cap.refcnt > 0)
1323                 return -EBUSY;
1324
1325         fimc->m2m.refcnt++;
1326         set_bit(ST_OUTDMA_RUN, &fimc->state);
1327
1328         ctx = kzalloc(sizeof *ctx, GFP_KERNEL);
1329         if (!ctx)
1330                 return -ENOMEM;
1331
1332         file->private_data = ctx;
1333         ctx->fimc_dev = fimc;
1334         /* Default color format */
1335         ctx->s_frame.fmt = &fimc_formats[0];
1336         ctx->d_frame.fmt = &fimc_formats[0];
1337         /* Setup the device context for mem2mem mode. */
1338         ctx->state = FIMC_CTX_M2M;
1339         ctx->flags = 0;
1340         ctx->in_path = FIMC_DMA;
1341         ctx->out_path = FIMC_DMA;
1342         spin_lock_init(&ctx->slock);
1343
1344         ctx->m2m_ctx = v4l2_m2m_ctx_init(fimc->m2m.m2m_dev, ctx, queue_init);
1345         if (IS_ERR(ctx->m2m_ctx)) {
1346                 int err = PTR_ERR(ctx->m2m_ctx);
1347                 kfree(ctx);
1348                 return err;
1349         }
1350
1351         return 0;
1352 }
1353
1354 static int fimc_m2m_release(struct file *file)
1355 {
1356         struct fimc_ctx *ctx = file->private_data;
1357         struct fimc_dev *fimc = ctx->fimc_dev;
1358
1359         dbg("pid: %d, state: 0x%lx, refcnt= %d",
1360                 task_pid_nr(current), fimc->state, fimc->m2m.refcnt);
1361
1362         v4l2_m2m_ctx_release(ctx->m2m_ctx);
1363         kfree(ctx);
1364         if (--fimc->m2m.refcnt <= 0)
1365                 clear_bit(ST_OUTDMA_RUN, &fimc->state);
1366
1367         return 0;
1368 }
1369
1370 static unsigned int fimc_m2m_poll(struct file *file,
1371                                      struct poll_table_struct *wait)
1372 {
1373         struct fimc_ctx *ctx = file->private_data;
1374
1375         return v4l2_m2m_poll(file, ctx->m2m_ctx, wait);
1376 }
1377
1378
1379 static int fimc_m2m_mmap(struct file *file, struct vm_area_struct *vma)
1380 {
1381         struct fimc_ctx *ctx = file->private_data;
1382
1383         return v4l2_m2m_mmap(file, ctx->m2m_ctx, vma);
1384 }
1385
1386 static const struct v4l2_file_operations fimc_m2m_fops = {
1387         .owner          = THIS_MODULE,
1388         .open           = fimc_m2m_open,
1389         .release        = fimc_m2m_release,
1390         .poll           = fimc_m2m_poll,
1391         .unlocked_ioctl = video_ioctl2,
1392         .mmap           = fimc_m2m_mmap,
1393 };
1394
1395 static struct v4l2_m2m_ops m2m_ops = {
1396         .device_run     = fimc_dma_run,
1397         .job_abort      = fimc_job_abort,
1398 };
1399
1400 static int fimc_register_m2m_device(struct fimc_dev *fimc)
1401 {
1402         struct video_device *vfd;
1403         struct platform_device *pdev;
1404         struct v4l2_device *v4l2_dev;
1405         int ret = 0;
1406
1407         if (!fimc)
1408                 return -ENODEV;
1409
1410         pdev = fimc->pdev;
1411         v4l2_dev = &fimc->m2m.v4l2_dev;
1412
1413         /* set name if it is empty */
1414         if (!v4l2_dev->name[0])
1415                 snprintf(v4l2_dev->name, sizeof(v4l2_dev->name),
1416                          "%s.m2m", dev_name(&pdev->dev));
1417
1418         ret = v4l2_device_register(&pdev->dev, v4l2_dev);
1419         if (ret)
1420                 goto err_m2m_r1;
1421
1422         vfd = video_device_alloc();
1423         if (!vfd) {
1424                 v4l2_err(v4l2_dev, "Failed to allocate video device\n");
1425                 goto err_m2m_r1;
1426         }
1427
1428         vfd->fops       = &fimc_m2m_fops;
1429         vfd->ioctl_ops  = &fimc_m2m_ioctl_ops;
1430         vfd->minor      = -1;
1431         vfd->release    = video_device_release;
1432         vfd->lock       = &fimc->lock;
1433
1434         snprintf(vfd->name, sizeof(vfd->name), "%s:m2m", dev_name(&pdev->dev));
1435
1436         video_set_drvdata(vfd, fimc);
1437         platform_set_drvdata(pdev, fimc);
1438
1439         fimc->m2m.vfd = vfd;
1440         fimc->m2m.m2m_dev = v4l2_m2m_init(&m2m_ops);
1441         if (IS_ERR(fimc->m2m.m2m_dev)) {
1442                 v4l2_err(v4l2_dev, "failed to initialize v4l2-m2m device\n");
1443                 ret = PTR_ERR(fimc->m2m.m2m_dev);
1444                 goto err_m2m_r2;
1445         }
1446
1447         ret = video_register_device(vfd, VFL_TYPE_GRABBER, -1);
1448         if (ret) {
1449                 v4l2_err(v4l2_dev,
1450                          "%s(): failed to register video device\n", __func__);
1451                 goto err_m2m_r3;
1452         }
1453         v4l2_info(v4l2_dev,
1454                   "FIMC m2m driver registered as /dev/video%d\n", vfd->num);
1455
1456         return 0;
1457
1458 err_m2m_r3:
1459         v4l2_m2m_release(fimc->m2m.m2m_dev);
1460 err_m2m_r2:
1461         video_device_release(fimc->m2m.vfd);
1462 err_m2m_r1:
1463         v4l2_device_unregister(v4l2_dev);
1464
1465         return ret;
1466 }
1467
1468 static void fimc_unregister_m2m_device(struct fimc_dev *fimc)
1469 {
1470         if (fimc) {
1471                 v4l2_m2m_release(fimc->m2m.m2m_dev);
1472                 video_unregister_device(fimc->m2m.vfd);
1473
1474                 v4l2_device_unregister(&fimc->m2m.v4l2_dev);
1475         }
1476 }
1477
1478 static void fimc_clk_release(struct fimc_dev *fimc)
1479 {
1480         int i;
1481         for (i = 0; i < NUM_FIMC_CLOCKS; i++) {
1482                 if (fimc->clock[i]) {
1483                         clk_disable(fimc->clock[i]);
1484                         clk_put(fimc->clock[i]);
1485                 }
1486         }
1487 }
1488
1489 static int fimc_clk_get(struct fimc_dev *fimc)
1490 {
1491         int i;
1492         for (i = 0; i < NUM_FIMC_CLOCKS; i++) {
1493                 fimc->clock[i] = clk_get(&fimc->pdev->dev, fimc_clock_name[i]);
1494                 if (IS_ERR(fimc->clock[i])) {
1495                         dev_err(&fimc->pdev->dev,
1496                                 "failed to get fimc clock: %s\n",
1497                                 fimc_clock_name[i]);
1498                         return -ENXIO;
1499                 }
1500                 clk_enable(fimc->clock[i]);
1501         }
1502         return 0;
1503 }
1504
1505 static int fimc_probe(struct platform_device *pdev)
1506 {
1507         struct fimc_dev *fimc;
1508         struct resource *res;
1509         struct samsung_fimc_driverdata *drv_data;
1510         int ret = 0;
1511
1512         dev_dbg(&pdev->dev, "%s():\n", __func__);
1513
1514         drv_data = (struct samsung_fimc_driverdata *)
1515                 platform_get_device_id(pdev)->driver_data;
1516
1517         if (pdev->id >= drv_data->num_entities) {
1518                 dev_err(&pdev->dev, "Invalid platform device id: %d\n",
1519                         pdev->id);
1520                 return -EINVAL;
1521         }
1522
1523         fimc = kzalloc(sizeof(struct fimc_dev), GFP_KERNEL);
1524         if (!fimc)
1525                 return -ENOMEM;
1526
1527         fimc->id = pdev->id;
1528         fimc->variant = drv_data->variant[fimc->id];
1529         fimc->pdev = pdev;
1530         fimc->pdata = pdev->dev.platform_data;
1531         fimc->state = ST_IDLE;
1532
1533         init_waitqueue_head(&fimc->irq_queue);
1534         spin_lock_init(&fimc->slock);
1535
1536         mutex_init(&fimc->lock);
1537
1538         res = platform_get_resource(pdev, IORESOURCE_MEM, 0);
1539         if (!res) {
1540                 dev_err(&pdev->dev, "failed to find the registers\n");
1541                 ret = -ENOENT;
1542                 goto err_info;
1543         }
1544
1545         fimc->regs_res = request_mem_region(res->start, resource_size(res),
1546                         dev_name(&pdev->dev));
1547         if (!fimc->regs_res) {
1548                 dev_err(&pdev->dev, "failed to obtain register region\n");
1549                 ret = -ENOENT;
1550                 goto err_info;
1551         }
1552
1553         fimc->regs = ioremap(res->start, resource_size(res));
1554         if (!fimc->regs) {
1555                 dev_err(&pdev->dev, "failed to map registers\n");
1556                 ret = -ENXIO;
1557                 goto err_req_region;
1558         }
1559
1560         ret = fimc_clk_get(fimc);
1561         if (ret)
1562                 goto err_regs_unmap;
1563         clk_set_rate(fimc->clock[0], drv_data->lclk_frequency);
1564
1565         res = platform_get_resource(pdev, IORESOURCE_IRQ, 0);
1566         if (!res) {
1567                 dev_err(&pdev->dev, "failed to get IRQ resource\n");
1568                 ret = -ENXIO;
1569                 goto err_clk;
1570         }
1571         fimc->irq = res->start;
1572
1573         fimc_hw_reset(fimc);
1574
1575         ret = request_irq(fimc->irq, fimc_isr, 0, pdev->name, fimc);
1576         if (ret) {
1577                 dev_err(&pdev->dev, "failed to install irq (%d)\n", ret);
1578                 goto err_clk;
1579         }
1580
1581         /* Initialize contiguous memory allocator */
1582         fimc->alloc_ctx = vb2_dma_contig_init_ctx(&fimc->pdev->dev);
1583         if (IS_ERR(fimc->alloc_ctx)) {
1584                 ret = PTR_ERR(fimc->alloc_ctx);
1585                 goto err_irq;
1586         }
1587
1588         ret = fimc_register_m2m_device(fimc);
1589         if (ret)
1590                 goto err_irq;
1591
1592         /* At least one camera sensor is required to register capture node */
1593         if (fimc->pdata) {
1594                 int i;
1595                 for (i = 0; i < FIMC_MAX_CAMIF_CLIENTS; ++i)
1596                         if (fimc->pdata->isp_info[i])
1597                                 break;
1598
1599                 if (i < FIMC_MAX_CAMIF_CLIENTS) {
1600                         ret = fimc_register_capture_device(fimc);
1601                         if (ret)
1602                                 goto err_m2m;
1603                 }
1604         }
1605
1606         /*
1607          * Exclude the additional output DMA address registers by masking
1608          * them out on HW revisions that provide extended capabilites.
1609          */
1610         if (fimc->variant->out_buf_count > 4)
1611                 fimc_hw_set_dma_seq(fimc, 0xF);
1612
1613         dev_dbg(&pdev->dev, "%s(): fimc-%d registered successfully\n",
1614                 __func__, fimc->id);
1615
1616         return 0;
1617
1618 err_m2m:
1619         fimc_unregister_m2m_device(fimc);
1620 err_irq:
1621         free_irq(fimc->irq, fimc);
1622 err_clk:
1623         fimc_clk_release(fimc);
1624 err_regs_unmap:
1625         iounmap(fimc->regs);
1626 err_req_region:
1627         release_resource(fimc->regs_res);
1628         kfree(fimc->regs_res);
1629 err_info:
1630         kfree(fimc);
1631
1632         return ret;
1633 }
1634
1635 static int __devexit fimc_remove(struct platform_device *pdev)
1636 {
1637         struct fimc_dev *fimc =
1638                 (struct fimc_dev *)platform_get_drvdata(pdev);
1639
1640         free_irq(fimc->irq, fimc);
1641         fimc_hw_reset(fimc);
1642
1643         fimc_unregister_m2m_device(fimc);
1644         fimc_unregister_capture_device(fimc);
1645
1646         fimc_clk_release(fimc);
1647
1648         vb2_dma_contig_cleanup_ctx(fimc->alloc_ctx);
1649
1650         iounmap(fimc->regs);
1651         release_resource(fimc->regs_res);
1652         kfree(fimc->regs_res);
1653         kfree(fimc);
1654
1655         dev_info(&pdev->dev, "%s driver unloaded\n", pdev->name);
1656         return 0;
1657 }
1658
1659 /* Image pixel limits, similar across several FIMC HW revisions. */
1660 static struct fimc_pix_limit s5p_pix_limit[3] = {
1661         [0] = {
1662                 .scaler_en_w    = 3264,
1663                 .scaler_dis_w   = 8192,
1664                 .in_rot_en_h    = 1920,
1665                 .in_rot_dis_w   = 8192,
1666                 .out_rot_en_w   = 1920,
1667                 .out_rot_dis_w  = 4224,
1668         },
1669         [1] = {
1670                 .scaler_en_w    = 4224,
1671                 .scaler_dis_w   = 8192,
1672                 .in_rot_en_h    = 1920,
1673                 .in_rot_dis_w   = 8192,
1674                 .out_rot_en_w   = 1920,
1675                 .out_rot_dis_w  = 4224,
1676         },
1677         [2] = {
1678                 .scaler_en_w    = 1920,
1679                 .scaler_dis_w   = 8192,
1680                 .in_rot_en_h    = 1280,
1681                 .in_rot_dis_w   = 8192,
1682                 .out_rot_en_w   = 1280,
1683                 .out_rot_dis_w  = 1920,
1684         },
1685 };
1686
1687 static struct samsung_fimc_variant fimc0_variant_s5p = {
1688         .has_inp_rot     = 1,
1689         .has_out_rot     = 1,
1690         .min_inp_pixsize = 16,
1691         .min_out_pixsize = 16,
1692         .hor_offs_align  = 8,
1693         .out_buf_count   = 4,
1694         .pix_limit       = &s5p_pix_limit[0],
1695 };
1696
1697 static struct samsung_fimc_variant fimc2_variant_s5p = {
1698         .min_inp_pixsize = 16,
1699         .min_out_pixsize = 16,
1700         .hor_offs_align  = 8,
1701         .out_buf_count   = 4,
1702         .pix_limit = &s5p_pix_limit[1],
1703 };
1704
1705 static struct samsung_fimc_variant fimc0_variant_s5pv210 = {
1706         .pix_hoff        = 1,
1707         .has_inp_rot     = 1,
1708         .has_out_rot     = 1,
1709         .min_inp_pixsize = 16,
1710         .min_out_pixsize = 16,
1711         .hor_offs_align  = 8,
1712         .out_buf_count   = 4,
1713         .pix_limit       = &s5p_pix_limit[1],
1714 };
1715
1716 static struct samsung_fimc_variant fimc1_variant_s5pv210 = {
1717         .pix_hoff        = 1,
1718         .has_inp_rot     = 1,
1719         .has_out_rot     = 1,
1720         .min_inp_pixsize = 16,
1721         .min_out_pixsize = 16,
1722         .hor_offs_align  = 1,
1723         .out_buf_count   = 4,
1724         .pix_limit       = &s5p_pix_limit[2],
1725 };
1726
1727 static struct samsung_fimc_variant fimc2_variant_s5pv210 = {
1728         .pix_hoff        = 1,
1729         .min_inp_pixsize = 16,
1730         .min_out_pixsize = 16,
1731         .hor_offs_align  = 8,
1732         .out_buf_count   = 4,
1733         .pix_limit       = &s5p_pix_limit[2],
1734 };
1735
1736 static struct samsung_fimc_variant fimc0_variant_s5pv310 = {
1737         .pix_hoff        = 1,
1738         .has_inp_rot     = 1,
1739         .has_out_rot     = 1,
1740         .has_cistatus2   = 1,
1741         .min_inp_pixsize = 16,
1742         .min_out_pixsize = 16,
1743         .hor_offs_align  = 1,
1744         .out_buf_count   = 32,
1745         .pix_limit       = &s5p_pix_limit[1],
1746 };
1747
1748 static struct samsung_fimc_variant fimc2_variant_s5pv310 = {
1749         .pix_hoff        = 1,
1750         .has_cistatus2   = 1,
1751         .min_inp_pixsize = 16,
1752         .min_out_pixsize = 16,
1753         .hor_offs_align  = 1,
1754         .out_buf_count   = 32,
1755         .pix_limit       = &s5p_pix_limit[2],
1756 };
1757
1758 /* S5PC100 */
1759 static struct samsung_fimc_driverdata fimc_drvdata_s5p = {
1760         .variant = {
1761                 [0] = &fimc0_variant_s5p,
1762                 [1] = &fimc0_variant_s5p,
1763                 [2] = &fimc2_variant_s5p,
1764         },
1765         .num_entities = 3,
1766         .lclk_frequency = 133000000UL,
1767 };
1768
1769 /* S5PV210, S5PC110 */
1770 static struct samsung_fimc_driverdata fimc_drvdata_s5pv210 = {
1771         .variant = {
1772                 [0] = &fimc0_variant_s5pv210,
1773                 [1] = &fimc1_variant_s5pv210,
1774                 [2] = &fimc2_variant_s5pv210,
1775         },
1776         .num_entities = 3,
1777         .lclk_frequency = 166000000UL,
1778 };
1779
1780 /* S5PV310, S5PC210 */
1781 static struct samsung_fimc_driverdata fimc_drvdata_s5pv310 = {
1782         .variant = {
1783                 [0] = &fimc0_variant_s5pv310,
1784                 [1] = &fimc0_variant_s5pv310,
1785                 [2] = &fimc0_variant_s5pv310,
1786                 [3] = &fimc2_variant_s5pv310,
1787         },
1788         .num_entities = 4,
1789         .lclk_frequency = 166000000UL,
1790 };
1791
1792 static struct platform_device_id fimc_driver_ids[] = {
1793         {
1794                 .name           = "s5p-fimc",
1795                 .driver_data    = (unsigned long)&fimc_drvdata_s5p,
1796         }, {
1797                 .name           = "s5pv210-fimc",
1798                 .driver_data    = (unsigned long)&fimc_drvdata_s5pv210,
1799         }, {
1800                 .name           = "s5pv310-fimc",
1801                 .driver_data    = (unsigned long)&fimc_drvdata_s5pv310,
1802         },
1803         {},
1804 };
1805 MODULE_DEVICE_TABLE(platform, fimc_driver_ids);
1806
1807 static struct platform_driver fimc_driver = {
1808         .probe          = fimc_probe,
1809         .remove = __devexit_p(fimc_remove),
1810         .id_table       = fimc_driver_ids,
1811         .driver = {
1812                 .name   = MODULE_NAME,
1813                 .owner  = THIS_MODULE,
1814         }
1815 };
1816
1817 static int __init fimc_init(void)
1818 {
1819         int ret = platform_driver_register(&fimc_driver);
1820         if (ret)
1821                 err("platform_driver_register failed: %d\n", ret);
1822         return ret;
1823 }
1824
1825 static void __exit fimc_exit(void)
1826 {
1827         platform_driver_unregister(&fimc_driver);
1828 }
1829
1830 module_init(fimc_init);
1831 module_exit(fimc_exit);
1832
1833 MODULE_AUTHOR("Sylwester Nawrocki <s.nawrocki@samsung.com>");
1834 MODULE_DESCRIPTION("S5P FIMC camera host interface/video postprocessor driver");
1835 MODULE_LICENSE("GPL");