usb: gadget: tegra:change condition for vbus check
[linux-2.6.git] / drivers / usb / gadget / tegra_udc.c
1 /*
2  * Copyright (c) 2012, NVIDIA CORPORATION.  All rights reserved.
3  *
4  * Description:
5  * High-speed USB device controller driver.
6  * The driver is based on Freescale driver code from Li Yang and Jiang Bo.
7  *
8  * This program is free software; you can redistribute  it and/or modify it
9  * under  the terms of  the GNU General  Public License as published by the
10  * Free Software Foundation;  either version 2 of the  License, or (at your
11  * option) any later version.
12  */
13
14 #undef VERBOSE
15
16 #include <linux/module.h>
17 #include <linux/kernel.h>
18 #include <linux/ioport.h>
19 #include <linux/types.h>
20 #include <linux/errno.h>
21 #include <linux/slab.h>
22 #include <linux/init.h>
23 #include <linux/list.h>
24 #include <linux/interrupt.h>
25 #include <linux/proc_fs.h>
26 #include <linux/mm.h>
27 #include <linux/moduleparam.h>
28 #include <linux/device.h>
29 #include <linux/usb/ch9.h>
30 #include <linux/usb/gadget.h>
31 #include <linux/usb/otg.h>
32 #include <linux/dma-mapping.h>
33 #include <linux/platform_device.h>
34 #include <linux/dmapool.h>
35 #include <linux/delay.h>
36 #include <linux/regulator/consumer.h>
37 #include <linux/workqueue.h>
38 #include <linux/err.h>
39 #include <linux/io.h>
40 #include <linux/pm_qos.h>
41
42 #include <asm/byteorder.h>
43 #include <asm/io.h>
44 #include <asm/system.h>
45 #include <asm/unaligned.h>
46 #include <asm/dma.h>
47
48 #include <mach/usb_phy.h>
49 #include <mach/iomap.h>
50
51 #include "tegra_udc.h"
52
53
54 #define DRIVER_DESC     "Nvidia Tegra High-Speed USB SOC \
55                                         Device Controller driver"
56
57 #define DRIVER_AUTHOR   "Venkat Moganty/Rakesh Bodla"
58 #define DRIVER_VERSION  "Apr 30, 2012"
59 #define USB1_PREFETCH_ID        6
60
61 #define AHB_PREFETCH_BUFFER     SZ_128
62
63 #define get_ep_by_pipe(udc, pipe)       ((pipe == 1) ? &udc->eps[0] : \
64                                                 &udc->eps[pipe])
65 #define get_pipe_by_windex(windex)      ((windex & USB_ENDPOINT_NUMBER_MASK) \
66                                         * 2 + ((windex & USB_DIR_IN) ? 1 : 0))
67
68 #define ep_index(EP)    ((EP)->desc->bEndpointAddress&0xF)
69 #define ep_is_in(EP)    ((ep_index(EP) == 0) ? (EP->udc->ep0_dir == \
70                                 USB_DIR_IN) : ((EP)->desc->bEndpointAddress \
71                                 & USB_DIR_IN) == USB_DIR_IN)
72
73
74 static const char driver_name[] = "tegra-udc";
75 static const char driver_desc[] = DRIVER_DESC;
76
77 static void tegra_ep_fifo_flush(struct usb_ep *_ep);
78 static int reset_queues(struct tegra_udc *udc);
79
80 /*
81  * High speed test mode packet(53 bytes).
82  * See USB 2.0 spec, section 7.1.20.
83  */
84 static const u8 tegra_udc_test_packet[53] = {
85         /* JKJKJKJK x9 */
86         0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
87         /* JJKKJJKK x8 */
88         0xaa, 0xaa, 0xaa, 0xaa, 0xaa, 0xaa, 0xaa, 0xaa,
89         /* JJJJKKKK x8 */
90         0xee, 0xee, 0xee, 0xee, 0xee, 0xee, 0xee, 0xee,
91         /* JJJJJJJKKKKKKK x8 */
92         0xfe, 0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xff,
93         /* JJJJJJJK x8 */
94         0x7f, 0xbf, 0xdf, 0xef, 0xf7, 0xfb, 0xfd,
95         /* JKKKKKKK x10, JK */
96         0xfc, 0x7e, 0xbf, 0xdf, 0xef, 0xf7, 0xfb, 0xfd, 0x7e
97 };
98
99 static struct tegra_udc *the_udc;
100
101 #ifdef CONFIG_TEGRA_GADGET_BOOST_CPU_FREQ
102         static struct pm_qos_request boost_cpu_freq_req;
103         static u32 ep_queue_request_count;
104         static u8 boost_cpufreq_work_flag;
105 #endif
106
107 static inline void udc_writel(struct tegra_udc *udc, u32 val, u32 offset)
108 {
109         writel(val, udc->regs + offset);
110 }
111
112 static inline unsigned int udc_readl(struct tegra_udc *udc, u32 offset)
113 {
114         return readl(udc->regs + offset);
115 }
116
117 /* checks vbus status */
118 static inline bool vbus_enabled(struct tegra_udc *udc)
119 {
120         bool status = false;
121 #ifdef CONFIG_TEGRA_SILICON_PLATFORM
122         status = (udc_readl(udc, VBUS_WAKEUP_REG_OFFSET) & USB_SYS_VBUS_STATUS);
123 #else
124         /* On FPGA VBUS is detected through VBUS A Session instead of VBUS
125          * status.*/
126         status = (udc_readl(udc, VBUS_SENSOR_REG_OFFSET)
127                                                 & USB_SYS_VBUS_ASESSION);
128 #endif
129         return status;
130 }
131
132 /**
133  * done() - retire a request; caller blocked irqs
134  * @status : request status to be set, only works when
135  * request is still in progress.
136  */
137 static void done(struct tegra_ep *ep, struct tegra_req *req, int status)
138 {
139         struct tegra_udc *udc = NULL;
140         unsigned char stopped = ep->stopped;
141         struct ep_td_struct *curr_td, *next_td = 0;
142         int j;
143         int count;
144
145         udc = (struct tegra_udc *)ep->udc;
146         /* Removed the req from tegra_ep->queue */
147         list_del_init(&req->queue);
148
149         /* req.status should be set as -EINPROGRESS in ep_queue() */
150         if (req->req.status == -EINPROGRESS)
151                 req->req.status = status;
152         else
153                 status = req->req.status;
154
155         /* Free dtd for the request */
156         count = 0;
157         if (ep->last_td) {
158                 next_td = ep->last_td;
159                 count = ep->last_dtd_count;
160         }
161         ep->last_td = req->head;
162         ep->last_dtd_count = req->dtd_count;
163
164         for (j = 0; j < count; j++) {
165                 curr_td = next_td;
166                 if (j != count - 1) {
167                         next_td = curr_td->next_td_virt;
168                 }
169                 dma_pool_free(udc->td_pool, curr_td, curr_td->td_dma);
170         }
171
172         if (req->mapped) {
173                 DEFINE_DMA_ATTRS(attrs);
174                 struct device *dev = ep->udc->gadget.dev.parent;
175                 size_t orig = req->req.length;
176                 size_t ext = orig + AHB_PREFETCH_BUFFER;
177                 enum dma_data_direction dir =
178                         ep_is_in(ep) ? DMA_TO_DEVICE : DMA_FROM_DEVICE;
179
180                 dma_sync_single_for_cpu(dev, req->req.dma, orig, dir);
181                 dma_set_attr(DMA_ATTR_SKIP_CPU_SYNC, &attrs);
182                 dma_unmap_single_attrs(dev, req->req.dma, ext, dir, &attrs);
183
184                 req->req.dma = DMA_ADDR_INVALID;
185                 req->mapped = 0;
186         } else
187                 dma_sync_single_for_cpu(ep->udc->gadget.dev.parent,
188                         req->req.dma, req->req.length,
189                         ep_is_in(ep)
190                                 ? DMA_TO_DEVICE
191                                 : DMA_FROM_DEVICE);
192
193         if (status && (status != -ESHUTDOWN))
194                 VDBG("complete %s req %p stat %d len %u/%u",
195                         ep->ep.name, &req->req, status,
196                         req->req.actual, req->req.length);
197
198         ep->stopped = 1;
199 #ifdef CONFIG_TEGRA_GADGET_BOOST_CPU_FREQ
200         if (req->req.complete && req->req.length >= BOOST_TRIGGER_SIZE) {
201                 ep_queue_request_count--;
202                 if (!ep_queue_request_count)
203                         schedule_work(&udc->boost_cpufreq_work);
204         }
205 #endif
206
207         spin_unlock(&ep->udc->lock);
208         /* complete() is from gadget layer,
209          * eg fsg->bulk_in_complete() */
210         if (req->req.complete)
211                 req->req.complete(&ep->ep, &req->req);
212
213         spin_lock(&ep->udc->lock);
214         ep->stopped = stopped;
215 }
216
217 /*
218  * nuke(): delete all requests related to this ep
219  * called with spinlock held
220  */
221 static void nuke(struct tegra_ep *ep, int status)
222 {
223         ep->stopped = 1;
224
225         /* Flush fifo */
226         tegra_ep_fifo_flush(&ep->ep);
227
228         /* Whether this eq has request linked */
229         while (!list_empty(&ep->queue)) {
230                 struct tegra_req *req = NULL;
231
232                 req = list_entry(ep->queue.next, struct tegra_req, queue);
233                 done(ep, req, status);
234         }
235 }
236
237 static int can_pullup(struct tegra_udc *udc)
238 {
239         DBG("%s(%d) udc->softconnect = %d udc->vbus_active = %d\n",
240                 __func__, __LINE__, udc->softconnect, udc->vbus_active);
241         return udc->driver && udc->softconnect && udc->vbus_active;
242 }
243
244 static int dr_controller_reset(struct tegra_udc *udc)
245 {
246         unsigned int tmp;
247         unsigned long timeout;
248         DBG("%s(%d) BEGIN\n", __func__, __LINE__);
249
250         /* Stop and reset the usb controller */
251         tmp = udc_readl(udc, USB_CMD_REG_OFFSET);
252         tmp &= ~USB_CMD_RUN_STOP;
253         udc_writel(udc, tmp, USB_CMD_REG_OFFSET);
254
255         tmp = udc_readl(udc, USB_CMD_REG_OFFSET);
256         tmp |= USB_CMD_CTRL_RESET;
257         udc_writel(udc, tmp, USB_CMD_REG_OFFSET);
258
259         /* Wait for reset to complete */
260         timeout = jiffies + UDC_RESET_TIMEOUT_MS;
261         while (udc_readl(udc, USB_CMD_REG_OFFSET) & USB_CMD_CTRL_RESET) {
262                 if (time_after(jiffies, timeout)) {
263                         ERR("udc reset timeout!\n");
264                         return -ETIMEDOUT;
265                 }
266                 cpu_relax();
267         }
268
269         DBG("%s(%d) END\n", __func__, __LINE__);
270         return 0;
271 }
272
273 static int dr_controller_setup(struct tegra_udc *udc)
274 {
275         unsigned int tmp, portctrl;
276         unsigned long timeout;
277         int status;
278         unsigned int port_control_reg_offset;
279         DBG("%s(%d) BEGIN\n", __func__, __LINE__);
280
281         if (udc->has_hostpc)
282                 port_control_reg_offset = USB_HOSTPCX_DEVLC_REG_OFFSET;
283         else
284                 port_control_reg_offset = PORTSCX_REG_OFFSET;
285
286         /* Config PHY interface */
287         portctrl = udc_readl(udc, port_control_reg_offset);
288         portctrl &= ~(PORTSCX_PHY_TYPE_SEL | PORTSCX_PORT_WIDTH);
289         portctrl |= PORTSCX_PTS_UTMI;
290         udc_writel(udc, portctrl, port_control_reg_offset);
291
292         status = dr_controller_reset(udc);
293         if (status)
294                 return status;
295
296         /* Set the controller as device mode */
297         tmp = udc_readl(udc, USB_MODE_REG_OFFSET);
298         tmp |= USB_MODE_CTRL_MODE_DEVICE;
299         /* Disable Setup Lockout */
300         tmp |= USB_MODE_SETUP_LOCK_OFF;
301         udc_writel(udc, tmp, USB_MODE_REG_OFFSET);
302
303         /* Wait for controller to switch to device mode */
304         timeout = jiffies + UDC_RESET_TIMEOUT_MS;
305         while ((udc_readl(udc, USB_MODE_REG_OFFSET) &
306                 USB_MODE_CTRL_MODE_DEVICE) != USB_MODE_CTRL_MODE_DEVICE) {
307                 if (time_after(jiffies, timeout)) {
308                         ERR("udc device mode setup timeout!\n");
309                         return -ETIMEDOUT;
310                 }
311                 cpu_relax();
312         }
313
314         /* Clear the setup status */
315         udc_writel(udc, 0, USB_STS_REG_OFFSET);
316
317         tmp = udc->ep_qh_dma;
318         tmp &= USB_EP_LIST_ADDRESS_MASK;
319         udc_writel(udc, tmp, USB_EP_LIST_ADDRESS_REG_OFFSET);
320
321         VDBG("vir[qh_base] is %p phy[qh_base] is 0x%8x reg is 0x%8x",
322                 udc->ep_qh, (int)tmp,
323                 udc_readl(udc, USB_EP_LIST_ADDRESS_REG_OFFSET));
324
325         DBG("%s(%d) END\n", __func__, __LINE__);
326         return 0;
327 }
328
329 /* Enable DR irq and set controller to run state */
330 static void dr_controller_run(struct tegra_udc *udc)
331 {
332         u32 temp;
333         unsigned long timeout;
334         DBG("%s(%d) BEGIN\n", __func__, __LINE__);
335
336         /* Clear stopped bit */
337         udc->stopped = 0;
338
339         /* If OTG transceiver is available, then it handles the VBUS detection*/
340         if (!udc->transceiver) {
341 #ifdef CONFIG_TEGRA_SILICON_PLATFORM
342                 /* Enable cable detection interrupt, without setting the
343                  * USB_SYS_VBUS_WAKEUP_INT bit. USB_SYS_VBUS_WAKEUP_INT is
344                  * clear on write */
345                 temp = udc_readl(udc, VBUS_WAKEUP_REG_OFFSET);
346                 temp |= (USB_SYS_VBUS_WAKEUP_INT_ENABLE
347                                 | USB_SYS_VBUS_WAKEUP_ENABLE);
348                 temp &= ~USB_SYS_VBUS_WAKEUP_INT_STATUS;
349                 udc_writel(udc, temp, VBUS_WAKEUP_REG_OFFSET);
350 #else
351                 /* On FPGA VBUS is detected through VBUS A Session instead of
352                  * VBUS status.*/
353                 temp = udc_readl(udc, VBUS_SENSOR_REG_OFFSET);
354                 temp |= USB_SYS_VBUS_ASESSION_INT_EN;
355                 temp &= ~USB_SYS_VBUS_ASESSION_CHANGED;
356                 udc_writel(udc, temp, VBUS_SENSOR_REG_OFFSET);
357 #endif
358         }
359         /* Enable DR irq reg */
360         temp = USB_INTR_INT_EN | USB_INTR_ERR_INT_EN
361                 | USB_INTR_PTC_DETECT_EN | USB_INTR_RESET_EN
362                 | USB_INTR_DEVICE_SUSPEND | USB_INTR_SYS_ERR_EN;
363
364         udc_writel(udc, temp, USB_INTR_REG_OFFSET);
365
366         /* Set the controller as device mode */
367         temp = udc_readl(udc, USB_MODE_REG_OFFSET);
368         temp |= USB_MODE_CTRL_MODE_DEVICE;
369         udc_writel(udc, temp, USB_MODE_REG_OFFSET);
370
371         /* Set controller to Run */
372         temp = udc_readl(udc, USB_CMD_REG_OFFSET);
373         if (can_pullup(udc))
374                 temp |= USB_CMD_RUN_STOP;
375         else
376                 temp &= ~USB_CMD_RUN_STOP;
377         udc_writel(udc, temp, USB_CMD_REG_OFFSET);
378
379         if (can_pullup(udc)) {
380                 /* Wait for controller to start */
381                 timeout = jiffies + UDC_RUN_TIMEOUT_MS;
382                 while ((udc_readl(udc, USB_CMD_REG_OFFSET) & USB_CMD_RUN_STOP)
383                         != USB_CMD_RUN_STOP) {
384                         if (time_after(jiffies, timeout)) {
385                                 ERR("udc start timeout!\n");
386                                 return;
387                         }
388                         cpu_relax();
389                 }
390         }
391
392         DBG("%s(%d) END\n", __func__, __LINE__);
393         return;
394 }
395
396 static void dr_controller_stop(struct tegra_udc *udc)
397 {
398         unsigned int tmp;
399         DBG("%s(%d) BEGIN\n", __func__, __LINE__);
400
401         /* Clear pending interrupt status bits */
402         tmp = udc_readl(udc, USB_STS_REG_OFFSET);
403         udc_writel(udc, tmp, USB_STS_REG_OFFSET);
404
405         /* disable all INTR */
406         udc_writel(udc, 0, USB_INTR_REG_OFFSET);
407
408         /* Set stopped bit for isr */
409         udc->stopped = 1;
410
411         /* set controller to Stop */
412         tmp = udc_readl(udc, USB_CMD_REG_OFFSET);
413         tmp &= ~USB_CMD_RUN_STOP;
414         udc_writel(udc, tmp, USB_CMD_REG_OFFSET);
415
416         DBG("%s(%d) END\n", __func__, __LINE__);
417         return;
418 }
419
420 static void dr_ep_setup(struct tegra_udc *udc, unsigned char ep_num,
421                         unsigned char dir, unsigned char ep_type)
422 {
423         unsigned int tmp_epctrl = 0;
424
425         tmp_epctrl = udc_readl(udc, EP_CONTROL_REG_OFFSET + (ep_num * 4));
426         if (dir) {
427                 if (ep_num)
428                         tmp_epctrl |= EPCTRL_TX_DATA_TOGGLE_RST;
429                 tmp_epctrl |= EPCTRL_TX_ENABLE;
430                 tmp_epctrl |= ((unsigned int)(ep_type)
431                                 << EPCTRL_TX_EP_TYPE_SHIFT);
432         } else {
433                 if (ep_num)
434                         tmp_epctrl |= EPCTRL_RX_DATA_TOGGLE_RST;
435                 tmp_epctrl |= EPCTRL_RX_ENABLE;
436                 tmp_epctrl |= ((unsigned int)(ep_type)
437                                 << EPCTRL_RX_EP_TYPE_SHIFT);
438         }
439
440         udc_writel(udc, tmp_epctrl, EP_CONTROL_REG_OFFSET + (ep_num * 4));
441 }
442
443 static void dr_ep_change_stall(struct tegra_udc *udc, unsigned char ep_num,
444                         unsigned char dir, int value)
445 {
446         u32 tmp_epctrl = 0;
447
448         tmp_epctrl = udc_readl(udc, EP_CONTROL_REG_OFFSET + (ep_num * 4));
449         if (value) {
450                 /* set the stall bit */
451                 if (dir)
452                         tmp_epctrl |= EPCTRL_TX_EP_STALL;
453                 else
454                         tmp_epctrl |= EPCTRL_RX_EP_STALL;
455         } else {
456                 /* clear the stall bit and reset data toggle */
457                 if (dir) {
458                         tmp_epctrl &= ~EPCTRL_TX_EP_STALL;
459                         tmp_epctrl |= EPCTRL_TX_DATA_TOGGLE_RST;
460                 } else {
461                         tmp_epctrl &= ~EPCTRL_RX_EP_STALL;
462                         tmp_epctrl |= EPCTRL_RX_DATA_TOGGLE_RST;
463                 }
464         }
465         udc_writel(udc, tmp_epctrl, EP_CONTROL_REG_OFFSET + (ep_num * 4));
466 }
467
468 /* Get stall status of a specific ep
469    Return: 0: not stalled; 1:stalled */
470 static int dr_ep_get_stall(struct tegra_udc *udc, unsigned char ep_num,
471                 unsigned char dir)
472 {
473         u32 epctrl;
474
475         epctrl = udc_readl(udc, EP_CONTROL_REG_OFFSET + (ep_num * 4));
476         if (dir)
477                 return (epctrl & EPCTRL_TX_EP_STALL) ? 1 : 0;
478         else
479                 return (epctrl & EPCTRL_RX_EP_STALL) ? 1 : 0;
480 }
481
482 /**
483  * struct_ep_qh_setup(): set the Endpoint Capabilites field of QH
484  * @zlt: Zero Length Termination Select (1: disable; 0: enable)
485  * @mult: Mult field
486  */
487 static void struct_ep_qh_setup(struct tegra_udc *udc, unsigned char ep_num,
488                 unsigned char dir, unsigned char ep_type,
489                 unsigned int max_pkt_len, unsigned int zlt, unsigned char mult)
490 {
491         struct ep_queue_head *p_QH = &udc->ep_qh[2 * ep_num + dir];
492         unsigned int tmp = 0;
493
494         /* set the Endpoint Capabilites in QH */
495         switch (ep_type) {
496         case USB_ENDPOINT_XFER_CONTROL:
497                 /* Interrupt On Setup (IOS). for control ep  */
498                 tmp = (max_pkt_len << EP_QUEUE_HEAD_MAX_PKT_LEN_POS)
499                         | EP_QUEUE_HEAD_IOS;
500                 break;
501         case USB_ENDPOINT_XFER_ISOC:
502                 tmp = (max_pkt_len << EP_QUEUE_HEAD_MAX_PKT_LEN_POS)
503                         | (mult << EP_QUEUE_HEAD_MULT_POS);
504                 break;
505         case USB_ENDPOINT_XFER_BULK:
506         case USB_ENDPOINT_XFER_INT:
507                 tmp = max_pkt_len << EP_QUEUE_HEAD_MAX_PKT_LEN_POS;
508                 break;
509         default:
510                 VDBG("error ep type is %d", ep_type);
511                 return;
512         }
513         if (zlt)
514                 tmp |= EP_QUEUE_HEAD_ZLT_SEL;
515
516         p_QH->max_pkt_length = cpu_to_le32(tmp);
517         p_QH->next_dtd_ptr = 1;
518         p_QH->size_ioc_int_sts = 0;
519
520         return;
521 }
522
523 /* Setup qh structure and ep register for ep0. */
524 static void ep0_setup(struct tegra_udc *udc)
525 {
526         /* the intialization of an ep includes: fields in QH, Regs,
527          * tegra_ep struct */
528         struct_ep_qh_setup(udc, 0, USB_RECV, USB_ENDPOINT_XFER_CONTROL,
529                         USB_MAX_CTRL_PAYLOAD, 1, 0);
530         struct_ep_qh_setup(udc, 0, USB_SEND, USB_ENDPOINT_XFER_CONTROL,
531                         USB_MAX_CTRL_PAYLOAD, 1, 0);
532         dr_ep_setup(udc, 0, USB_RECV, USB_ENDPOINT_XFER_CONTROL);
533         dr_ep_setup(udc, 0, USB_SEND, USB_ENDPOINT_XFER_CONTROL);
534
535         return;
536
537 }
538
539 /**
540  * when configurations are set, or when interface settings change
541  * for example the do_set_interface() in gadget layer,
542  * the driver will enable or disable the relevant endpoints
543  * ep0 doesn't use this routine. It is always enabled.
544  */
545 static int tegra_ep_enable(struct usb_ep *_ep,
546                 const struct usb_endpoint_descriptor *desc)
547 {
548         struct tegra_udc *udc = NULL;
549         struct tegra_ep *ep = NULL;
550         unsigned short max = 0;
551         unsigned char mult = 0, zlt;
552         int retval = -EINVAL;
553         unsigned long flags = 0;
554
555         ep = container_of(_ep, struct tegra_ep, ep);
556
557         /* catch various bogus parameters */
558         if (!_ep || !desc || ep->desc
559                         || (desc->bDescriptorType != USB_DT_ENDPOINT))
560                 return -EINVAL;
561
562         udc = ep->udc;
563
564         if (!udc->driver || (udc->gadget.speed == USB_SPEED_UNKNOWN))
565                 return -ESHUTDOWN;
566
567         max = le16_to_cpu(desc->wMaxPacketSize);
568
569         /* Disable automatic zlp generation.  Driver is responsible to indicate
570          * explicitly through req->req.zero.  This is needed to enable multi-td
571          * request.
572          */
573         zlt = 1;
574
575         /* Assume the max packet size from gadget is always correct */
576         switch (desc->bmAttributes & 0x03) {
577         case USB_ENDPOINT_XFER_CONTROL:
578         case USB_ENDPOINT_XFER_BULK:
579         case USB_ENDPOINT_XFER_INT:
580                 /* mult = 0.  Execute N Transactions as demonstrated by
581                  * the USB variable length packet protocol where N is
582                  * computed using the Maximum Packet Length (dQH) and
583                  * the Total Bytes field (dTD) */
584                 mult = 0;
585                 break;
586         case USB_ENDPOINT_XFER_ISOC:
587                 /* Calculate transactions needed for high bandwidth iso */
588                 mult = (unsigned char)(1 + ((max >> 11) & 0x03));
589                 max = max & 0x7ff;      /* bit 0~10 */
590                 /* 3 transactions at most */
591                 if (mult > 3)
592                         goto en_done;
593                 break;
594         default:
595                 goto en_done;
596         }
597
598         spin_lock_irqsave(&udc->lock, flags);
599         ep->ep.maxpacket = max;
600         ep->desc = desc;
601         ep->stopped = 0;
602         ep->last_td = 0;
603         ep->last_dtd_count = 0;
604
605         /* Controller related setup
606          * Init EPx Queue Head (Ep Capabilites field in QH
607          * according to max, zlt, mult)
608          */
609         struct_ep_qh_setup(udc, (unsigned char) ep_index(ep),
610                         (unsigned char) ((desc->bEndpointAddress & USB_DIR_IN)
611                                         ?  USB_SEND : USB_RECV),
612                         (unsigned char) (desc->bmAttributes
613                                         & USB_ENDPOINT_XFERTYPE_MASK),
614                         max, zlt, mult);
615
616         /* Init endpoint ctrl register */
617         dr_ep_setup(udc, (unsigned char) ep_index(ep),
618                         (unsigned char) ((desc->bEndpointAddress & USB_DIR_IN)
619                                         ? USB_SEND : USB_RECV),
620                         (unsigned char) (desc->bmAttributes
621                                         & USB_ENDPOINT_XFERTYPE_MASK));
622
623         spin_unlock_irqrestore(&udc->lock, flags);
624         retval = 0;
625
626         VDBG("enabled %s (ep%d%s) maxpacket %d", ep->ep.name,
627                         ep->desc->bEndpointAddress & 0x0f,
628                         (desc->bEndpointAddress & USB_DIR_IN)
629                                 ? "in" : "out", max);
630 en_done:
631         return retval;
632 }
633
634 /**
635  * @ep : the ep being unconfigured. May not be ep0
636  * Any pending and uncomplete req will complete with status (-ESHUTDOWN)
637  */
638 static int tegra_ep_disable(struct usb_ep *_ep)
639 {
640         struct tegra_udc *udc = NULL;
641         struct tegra_ep *ep = NULL;
642
643         unsigned long flags = 0;
644         u32 epctrl;
645         int ep_num;
646         struct ep_td_struct *curr_td, *next_td;
647         int j;
648
649         ep = container_of(_ep, struct tegra_ep, ep);
650         if (!_ep || !ep->desc) {
651                 VDBG("%s not enabled", _ep ? ep->ep.name : NULL);
652                 return -EINVAL;
653         }
654         udc = (struct tegra_udc *)ep->udc;
655
656         /* disable ep on controller */
657         ep_num = ep_index(ep);
658
659         /* Touch the registers if cable is connected and phy is on */
660         if (udc->vbus_active) {
661                 epctrl = udc_readl(udc, EP_CONTROL_REG_OFFSET + (ep_num * 4));
662                 if (ep_is_in(ep))
663                         epctrl &= ~EPCTRL_TX_ENABLE;
664                 else
665                         epctrl &= ~EPCTRL_RX_ENABLE;
666                 udc_writel(udc, epctrl, EP_CONTROL_REG_OFFSET + (ep_num * 4));
667         }
668
669         spin_lock_irqsave(&udc->lock, flags);
670
671         /* nuke all pending requests (does flush) */
672         nuke(ep, -ESHUTDOWN);
673
674         ep->desc = NULL;
675         ep->stopped = 1;
676         if (ep->last_td) {
677                 next_td = ep->last_td;
678                 for (j = 0; j < ep->last_dtd_count; j++) {
679                         curr_td = next_td;
680                         dma_pool_free(udc->td_pool, curr_td, curr_td->td_dma);
681                         if (j != ep->last_dtd_count - 1) {
682                                 next_td = curr_td->next_td_virt;
683                         }
684                 }
685         }
686         ep->last_td =0;
687         ep->last_dtd_count = 0;
688         spin_unlock_irqrestore(&udc->lock, flags);
689
690         VDBG("disabled %s OK", _ep->name);
691         return 0;
692 }
693
694 /**
695  * Allocate a request object used by this endpoint
696  * the main operation is to insert the req->queue to the eq->queue
697  * Returns the request, or null if one could not be allocated
698  */
699 static struct usb_request *
700 tegra_alloc_request(struct usb_ep *_ep, gfp_t gfp_flags)
701 {
702         struct tegra_req *req = NULL;
703
704         req = kzalloc(sizeof *req, gfp_flags);
705         if (!req)
706                 return NULL;
707
708         req->req.dma = DMA_ADDR_INVALID;
709         INIT_LIST_HEAD(&req->queue);
710
711         return &req->req;
712 }
713
714 static void tegra_free_request(struct usb_ep *_ep, struct usb_request *_req)
715 {
716         struct tegra_req *req = NULL;
717
718         req = container_of(_req, struct tegra_req, req);
719
720         if (_req)
721                 kfree(req);
722 }
723
724 static void tegra_queue_td(struct tegra_ep *ep, struct tegra_req *req)
725 {
726         int i = ep_index(ep) * 2 + ep_is_in(ep);
727         u32 temp, bitmask, tmp_stat;
728         struct ep_queue_head *dQH = &ep->udc->ep_qh[i];
729         struct tegra_udc *udc = ep->udc;
730
731         bitmask = ep_is_in(ep)
732                 ? (1 << (ep_index(ep) + 16))
733                 : (1 << (ep_index(ep)));
734
735         /* Flush all the dTD structs out to memory */
736         wmb();
737
738         /* check if the pipe is empty */
739         if (!(list_empty(&ep->queue))) {
740                 /* Add td to the end */
741                 struct tegra_req *lastreq;
742                 lastreq = list_entry(ep->queue.prev, struct tegra_req, queue);
743                 lastreq->tail->next_td_ptr =
744                         cpu_to_le32(req->head->td_dma & DTD_ADDR_MASK);
745                 wmb();
746                 /* Read prime bit, if 1 goto done */
747                 if (udc_readl(udc, EP_PRIME_REG_OFFSET) & bitmask)
748                         goto out;
749
750                 do {
751                         /* Set ATDTW bit in USBCMD */
752                         temp = udc_readl(udc, USB_CMD_REG_OFFSET);
753                         temp |= USB_CMD_ATDTW;
754                         udc_writel(udc, temp, USB_CMD_REG_OFFSET);
755
756                         /* Read correct status bit */
757                         tmp_stat = udc_readl(udc, EP_STATUS_REG_OFFSET)
758                                                 & bitmask;
759
760                 } while (!(udc_readl(udc, USB_CMD_REG_OFFSET) & USB_CMD_ATDTW));
761
762                 /* Write ATDTW bit to 0 */
763                 temp = udc_readl(udc, USB_CMD_REG_OFFSET);
764                 udc_writel(udc, temp & ~USB_CMD_ATDTW, USB_CMD_REG_OFFSET);
765
766                 if (tmp_stat)
767                         goto out;
768         }
769
770         /* Write dQH next pointer and terminate bit to 0 */
771         temp = req->head->td_dma & EP_QUEUE_HEAD_NEXT_POINTER_MASK;
772         dQH->next_dtd_ptr = cpu_to_le32(temp);
773
774         /* Clear active and halt bit */
775         temp = cpu_to_le32(~(EP_QUEUE_HEAD_STATUS_ACTIVE
776                         | EP_QUEUE_HEAD_STATUS_HALT));
777         dQH->size_ioc_int_sts &= temp;
778
779         tegra_usb_phy_memory_prefetch_on(udc->phy);
780
781         /* Ensure that updates to the QH will occur before priming. */
782         wmb();
783
784         /* Prime endpoint by writing 1 to ENDPTPRIME */
785         temp = ep_is_in(ep)
786                 ? (1 << (ep_index(ep) + 16))
787                 : (1 << (ep_index(ep)));
788         udc_writel(udc, temp, EP_PRIME_REG_OFFSET);
789 out:
790         return;
791 }
792
793 /**
794  * Fill in the dTD structure
795  * @req     : request that the transfer belongs to
796  * @length  : return actually data length of the dTD
797  * @dma     : return dma address of the dTD
798  * @is_last : return flag if it is the last dTD of the request
799  * return   : pointer to the built dTD
800  */
801 static struct ep_td_struct *tegra_build_dtd(struct tegra_req *req,
802         unsigned *length, dma_addr_t *dma, int *is_last, gfp_t gfp_flags)
803 {
804         u32 swap_temp;
805         struct ep_td_struct *dtd;
806
807         /* how big will this transfer be? */
808         *length = min(req->req.length - req->req.actual,
809                         (unsigned)EP_MAX_LENGTH_TRANSFER);
810
811         dtd = dma_pool_alloc(the_udc->td_pool, gfp_flags, dma);
812         if (dtd == NULL)
813                 return dtd;
814
815         dtd->td_dma = *dma;
816         /* Clear reserved field */
817         swap_temp = cpu_to_le32(dtd->size_ioc_sts);
818         swap_temp &= ~DTD_RESERVED_FIELDS;
819         dtd->size_ioc_sts = cpu_to_le32(swap_temp);
820
821         /* Init all of buffer page pointers */
822         swap_temp = (u32) (req->req.dma + req->req.actual);
823         dtd->buff_ptr0 = cpu_to_le32(swap_temp);
824         dtd->buff_ptr1 = cpu_to_le32(swap_temp + 0x1000);
825         dtd->buff_ptr2 = cpu_to_le32(swap_temp + 0x2000);
826         dtd->buff_ptr3 = cpu_to_le32(swap_temp + 0x3000);
827         dtd->buff_ptr4 = cpu_to_le32(swap_temp + 0x4000);
828
829         req->req.actual += *length;
830
831         /* zlp is needed if req->req.zero is set */
832         if (req->req.zero) {
833                 if (*length == 0 || (*length % req->ep->ep.maxpacket) != 0)
834                         *is_last = 1;
835                 else
836                         *is_last = 0;
837         } else if (req->req.length == req->req.actual)
838                 *is_last = 1;
839         else
840                 *is_last = 0;
841
842         if ((*is_last) == 0)
843                 VDBG("multi-dtd request!");
844
845         /* Fill in the transfer size; set active bit */
846         swap_temp = ((*length << DTD_LENGTH_BIT_POS) | DTD_STATUS_ACTIVE);
847
848         /* Enable interrupt for the last dtd of a request */
849         if (*is_last && !req->req.no_interrupt)
850                 swap_temp |= DTD_IOC;
851
852         dtd->size_ioc_sts = cpu_to_le32(swap_temp);
853
854         mb();
855
856         VDBG("length = %d address= 0x%x", *length, (int)*dma);
857
858         return dtd;
859 }
860
861 /* Generate dtd chain for a request */
862 static int tegra_req_to_dtd(struct tegra_req *req, gfp_t gfp_flags)
863 {
864         unsigned        count;
865         int             is_last;
866         int             is_first = 1;
867         struct ep_td_struct     *last_dtd = NULL, *dtd;
868         dma_addr_t dma;
869
870         tegra_usb_phy_memory_prefetch_off(the_udc->phy);
871
872         do {
873                 dtd = tegra_build_dtd(req, &count, &dma, &is_last, gfp_flags);
874                 if (dtd == NULL)
875                         return -ENOMEM;
876
877                 if (is_first) {
878                         is_first = 0;
879                         req->head = dtd;
880                 } else {
881                         last_dtd->next_td_ptr = cpu_to_le32(dma);
882                         last_dtd->next_td_virt = dtd;
883                 }
884                 last_dtd = dtd;
885
886                 req->dtd_count++;
887         } while (!is_last);
888
889         dtd->next_td_ptr = cpu_to_le32(DTD_NEXT_TERMINATE);
890
891         req->tail = dtd;
892
893         return 0;
894 }
895
896 /* queues (submits) an I/O request to an endpoint */
897 static int
898 tegra_ep_queue(struct usb_ep *_ep, struct usb_request *_req, gfp_t gfp_flags)
899 {
900         struct tegra_ep *ep = container_of(_ep, struct tegra_ep, ep);
901         struct tegra_req *req = container_of(_req, struct tegra_req, req);
902         struct tegra_udc *udc = ep->udc;
903         unsigned long flags;
904         enum dma_data_direction dir;
905         int status;
906
907         /* catch various bogus parameters */
908         if (!_req || !req->req.complete || !req->req.buf
909                         || !list_empty(&req->queue)) {
910                 VDBG("%s, bad params", __func__);
911                 return -EINVAL;
912         }
913
914         spin_lock_irqsave(&udc->lock, flags);
915
916         if (unlikely(!ep->desc)) {
917                 VDBG("%s, bad ep", __func__);
918                 spin_unlock_irqrestore(&udc->lock, flags);
919                 return -EINVAL;
920         }
921
922         if (ep->desc->bmAttributes == USB_ENDPOINT_XFER_ISOC) {
923                 if (req->req.length > ep->ep.maxpacket) {
924                         spin_unlock_irqrestore(&udc->lock, flags);
925                         return -EMSGSIZE;
926                 }
927         }
928
929 #ifdef CONFIG_TEGRA_GADGET_BOOST_CPU_FREQ
930         if (req->req.length >= BOOST_TRIGGER_SIZE) {
931                 ep_queue_request_count++;
932                 if (ep_queue_request_count && boost_cpufreq_work_flag)
933                         schedule_work(&udc->boost_cpufreq_work);
934         }
935 #endif
936
937         dir = ep_is_in(ep) ? DMA_TO_DEVICE : DMA_FROM_DEVICE;
938
939         spin_unlock_irqrestore(&udc->lock, flags);
940
941         if (!udc->driver || udc->gadget.speed == USB_SPEED_UNKNOWN)
942                 return -ESHUTDOWN;
943
944         req->ep = ep;
945
946         /* map virtual address to hardware */
947         if (req->req.dma == DMA_ADDR_INVALID) {
948                 DEFINE_DMA_ATTRS(attrs);
949                 struct device *dev = udc->gadget.dev.parent;
950                 size_t orig = req->req.length;
951                 size_t ext = orig + AHB_PREFETCH_BUFFER;
952
953                 dma_set_attr(DMA_ATTR_SKIP_CPU_SYNC, &attrs);
954                 req->req.dma = dma_map_single_attrs(dev, req->req.buf, ext, dir,
955                                                     &attrs);
956                 dma_sync_single_for_device(dev, req->req.dma, orig, dir);
957
958                 req->mapped = 1;
959         } else {
960                 dma_sync_single_for_device(udc->gadget.dev.parent,
961                                         req->req.dma, req->req.length, dir);
962                 req->mapped = 0;
963         }
964
965         req->req.status = -EINPROGRESS;
966         req->req.actual = 0;
967         req->dtd_count = 0;
968
969
970         /* build dtds and push them to device queue */
971         status = tegra_req_to_dtd(req, gfp_flags);
972         if (status)
973                 goto err_unmap;
974
975         spin_lock_irqsave(&udc->lock, flags);
976
977         /* re-check if the ep has not been disabled */
978         if (unlikely(!ep->desc)) {
979                 spin_unlock_irqrestore(&udc->lock, flags);
980                 status = -EINVAL;
981                 goto err_unmap;
982         }
983
984         tegra_queue_td(ep, req);
985
986         /* Update ep0 state */
987         if ((ep_index(ep) == 0))
988                 udc->ep0_state = DATA_STATE_XMIT;
989
990         /* irq handler advances the queue */
991         list_add_tail(&req->queue, &ep->queue);
992         spin_unlock_irqrestore(&udc->lock, flags);
993
994         return 0;
995
996 err_unmap:
997         if (req->mapped) {
998                 DEFINE_DMA_ATTRS(attrs);
999                 struct device *dev = udc->gadget.dev.parent;
1000                 size_t orig = req->req.length;
1001                 size_t ext = orig + AHB_PREFETCH_BUFFER;
1002
1003                 dma_sync_single_for_cpu(dev, req->req.dma, orig, dir);
1004                 dma_set_attr(DMA_ATTR_SKIP_CPU_SYNC, &attrs);
1005                 dma_unmap_single_attrs(dev, req->req.dma, ext, dir, &attrs);
1006
1007                 req->req.dma = DMA_ADDR_INVALID;
1008                 req->mapped = 0;
1009         }
1010         return status;
1011 }
1012
1013 /* dequeues (cancels, unlinks) an I/O request from an endpoint */
1014 static int tegra_ep_dequeue(struct usb_ep *_ep, struct usb_request *_req)
1015 {
1016         struct tegra_ep *ep = container_of(_ep, struct tegra_ep, ep);
1017         struct tegra_req *req;
1018         struct tegra_udc *udc = ep->udc;
1019         unsigned long flags;
1020         int ep_num, stopped, ret = 0;
1021         u32 epctrl;
1022
1023         if (!_ep || !_req)
1024                 return -EINVAL;
1025
1026         spin_lock_irqsave(&ep->udc->lock, flags);
1027         stopped = ep->stopped;
1028
1029         /* Stop the ep before we deal with the queue */
1030         ep->stopped = 1;
1031         ep_num = ep_index(ep);
1032
1033         /* Touch the registers if cable is connected and phy is on */
1034         if (udc->vbus_active) {
1035                 epctrl = udc_readl(udc, EP_CONTROL_REG_OFFSET + (ep_num * 4));
1036                 if (ep_is_in(ep))
1037                         epctrl &= ~EPCTRL_TX_ENABLE;
1038                 else
1039                         epctrl &= ~EPCTRL_RX_ENABLE;
1040                 udc_writel(udc, epctrl, EP_CONTROL_REG_OFFSET + (ep_num * 4));
1041         }
1042
1043         /* make sure it's actually queued on this endpoint */
1044         list_for_each_entry(req, &ep->queue, queue) {
1045                 if (&req->req == _req)
1046                         break;
1047         }
1048         if (&req->req != _req) {
1049                 ret = -EINVAL;
1050                 goto out;
1051         }
1052
1053         /* The request is in progress, or completed but not dequeued */
1054         if (ep->queue.next == &req->queue) {
1055                 _req->status = -ECONNRESET;
1056                 tegra_ep_fifo_flush(_ep);       /* flush current transfer */
1057
1058                 /* The request isn't the last request in this ep queue */
1059                 if (req->queue.next != &ep->queue) {
1060                         struct ep_queue_head *qh;
1061                         struct tegra_req *next_req;
1062
1063                         qh = ep->qh;
1064                         next_req = list_entry(req->queue.next, struct tegra_req,
1065                                         queue);
1066
1067                         /* Point the QH to the first TD of next request */
1068                         writel((u32) next_req->head, &qh->curr_dtd_ptr);
1069                 }
1070
1071                 /* The request hasn't been processed, patch up the TD chain */
1072         } else {
1073                 struct tegra_req *prev_req;
1074
1075                 prev_req = list_entry(req->queue.prev, struct tegra_req, queue);
1076                 writel(readl(&req->tail->next_td_ptr),
1077                                 &prev_req->tail->next_td_ptr);
1078         }
1079
1080         done(ep, req, -ECONNRESET);
1081
1082         /* Enable EP */
1083 out:
1084         /* Touch the registers if cable is connected and phy is on */
1085         if (udc->vbus_active) {
1086                 epctrl = udc_readl(udc, EP_CONTROL_REG_OFFSET + (ep_num * 4));
1087                 if (ep_is_in(ep))
1088                         epctrl |= EPCTRL_TX_ENABLE;
1089                 else
1090                         epctrl |= EPCTRL_RX_ENABLE;
1091                 udc_writel(udc, epctrl, EP_CONTROL_REG_OFFSET + (ep_num * 4));
1092         }
1093         ep->stopped = stopped;
1094
1095         spin_unlock_irqrestore(&ep->udc->lock, flags);
1096         return ret;
1097 }
1098
1099 /**
1100  * modify the endpoint halt feature
1101  * @ep: the non-isochronous endpoint being stalled
1102  * @value: 1--set halt  0--clear halt
1103  * Returns zero, or a negative error code.
1104  */
1105 static int tegra_ep_set_halt(struct usb_ep *_ep, int value)
1106 {
1107         struct tegra_ep *ep = NULL;
1108         unsigned long flags = 0;
1109         int status = -EOPNOTSUPP;       /* operation not supported */
1110         unsigned char ep_dir = 0, ep_num = 0;
1111         struct tegra_udc *udc = NULL;
1112
1113         ep = container_of(_ep, struct tegra_ep, ep);
1114         udc = ep->udc;
1115         if (!_ep || !ep->desc) {
1116                 status = -EINVAL;
1117                 goto out;
1118         }
1119
1120         if (ep->desc->bmAttributes == USB_ENDPOINT_XFER_ISOC) {
1121                 status = -EOPNOTSUPP;
1122                 goto out;
1123         }
1124
1125         /* Attempt to halt IN ep will fail if any transfer requests
1126          * are still queue */
1127         if (value && ep_is_in(ep) && !list_empty(&ep->queue)) {
1128                 status = -EAGAIN;
1129                 goto out;
1130         }
1131
1132         status = 0;
1133         ep_dir = ep_is_in(ep) ? USB_SEND : USB_RECV;
1134         ep_num = (unsigned char)(ep_index(ep));
1135         spin_lock_irqsave(&ep->udc->lock, flags);
1136         dr_ep_change_stall(udc, ep_num, ep_dir, value);
1137         spin_unlock_irqrestore(&ep->udc->lock, flags);
1138
1139         if (ep_index(ep) == 0) {
1140                 udc->ep0_state = WAIT_FOR_SETUP;
1141                 udc->ep0_dir = 0;
1142         }
1143 out:
1144         VDBG(" %s %s halt stat %d", ep->ep.name,
1145                         value ?  "set" : "clear", status);
1146
1147         return status;
1148 }
1149
1150 static int tegra_ep_fifo_status(struct usb_ep *_ep)
1151 {
1152         struct tegra_ep *ep;
1153         struct tegra_udc *udc;
1154         int size = 0;
1155         u32 bitmask;
1156         struct ep_queue_head *d_qh;
1157
1158         ep = container_of(_ep, struct tegra_ep, ep);
1159         if (!_ep || (!ep->desc && ep_index(ep) != 0))
1160                 return -ENODEV;
1161
1162         udc = (struct tegra_udc *)ep->udc;
1163
1164         if (!udc->driver || udc->gadget.speed == USB_SPEED_UNKNOWN)
1165                 return -ESHUTDOWN;
1166
1167         d_qh = &ep->udc->ep_qh[ep_index(ep) * 2 + ep_is_in(ep)];
1168
1169         bitmask = (ep_is_in(ep)) ? (1 << (ep_index(ep) + 16)) :
1170             (1 << (ep_index(ep)));
1171
1172         if (udc_readl(udc, EP_STATUS_REG_OFFSET) & bitmask)
1173                 size = (d_qh->size_ioc_int_sts & DTD_PACKET_SIZE)
1174                     >> DTD_LENGTH_BIT_POS;
1175
1176         pr_debug("%s %u\n", __func__, size);
1177         return size;
1178 }
1179
1180 static void tegra_ep_fifo_flush(struct usb_ep *_ep)
1181 {
1182         struct tegra_ep *ep;
1183         struct tegra_udc *udc;
1184         int ep_num, ep_dir;
1185         u32 bits;
1186         unsigned long timeout;
1187
1188         if (!_ep) {
1189                 return;
1190         } else {
1191                 ep = container_of(_ep, struct tegra_ep, ep);
1192                 if (!ep->desc)
1193                         return;
1194         }
1195         ep_num = ep_index(ep);
1196         ep_dir = ep_is_in(ep) ? USB_SEND : USB_RECV;
1197         udc = ep->udc;
1198
1199         if (ep_num == 0)
1200                 bits = (1 << 16) | 1;
1201         else if (ep_dir == USB_SEND)
1202                 bits = 1 << (16 + ep_num);
1203         else
1204                 bits = 1 << ep_num;
1205
1206         /* Touch the registers if cable is connected and phy is on */
1207         if (!udc->vbus_active)
1208                 return;
1209
1210         timeout = jiffies + UDC_FLUSH_TIMEOUT_MS;
1211         do {
1212                 udc_writel(udc, bits, EPFLUSH_REG_OFFSET);
1213
1214                 /* Wait until flush complete */
1215                 while (udc_readl(udc, EPFLUSH_REG_OFFSET)) {
1216                         if (time_after(jiffies, timeout)) {
1217                                 ERR("ep flush timeout\n");
1218                                 return;
1219                         }
1220                         cpu_relax();
1221                 }
1222                 /* See if we need to flush again */
1223         } while (udc_readl(udc, EP_STATUS_REG_OFFSET) & bits);
1224 }
1225
1226 static struct usb_ep_ops tegra_ep_ops = {
1227         .enable = tegra_ep_enable,
1228         .disable = tegra_ep_disable,
1229
1230         .alloc_request = tegra_alloc_request,
1231         .free_request = tegra_free_request,
1232
1233         .queue = tegra_ep_queue,
1234         .dequeue = tegra_ep_dequeue,
1235
1236         .set_halt = tegra_ep_set_halt,
1237         .fifo_status = tegra_ep_fifo_status,
1238         .fifo_flush = tegra_ep_fifo_flush,      /* flush fifo */
1239 };
1240
1241
1242 static struct usb_phy *get_usb_phy(struct tegra_usb_phy *x)
1243 {
1244         return (struct usb_phy *)x;
1245 }
1246
1247 /* Get the current frame number (from DR frame_index Reg ) */
1248 static int tegra_get_frame(struct usb_gadget *gadget)
1249 {
1250         struct tegra_udc *udc = container_of(gadget, struct tegra_udc, gadget);
1251         return (int)(udc_readl(udc, USB_FRINDEX_REG_OFFSET)
1252                                                 & USB_FRINDEX_MASKS);
1253 }
1254
1255 #ifndef CONFIG_USB_ANDROID
1256 /* Tries to wake up the host connected to this gadget */
1257 static int tegra_wakeup(struct usb_gadget *gadget)
1258 {
1259         struct tegra_udc *udc = container_of(gadget, struct tegra_udc, gadget);
1260         u32 portsc;
1261
1262         /* Remote wakeup feature not enabled by host */
1263         if (!udc->remote_wakeup)
1264                 return -ENOTSUPP;
1265
1266         portsc = udc_readl(udc, PORTSCX_REG_OFFSET);
1267         /* not suspended? */
1268         if (!(portsc & PORTSCX_PORT_SUSPEND))
1269                 return 0;
1270
1271         /* trigger force resume */
1272         portsc |= PORTSCX_PORT_FORCE_RESUME;
1273         udc_writel(udc, portsc, PORTSCX_REG_OFFSET);
1274         return 0;
1275 }
1276 #endif
1277
1278 static int tegra_set_selfpowered(struct usb_gadget *gadget, int is_on)
1279 {
1280         struct tegra_udc *udc;
1281         udc = container_of(gadget, struct tegra_udc, gadget);
1282         udc->selfpowered = (is_on != 0);
1283         return 0;
1284 }
1285
1286 static int tegra_usb_set_charging_current(struct tegra_udc *udc)
1287 {
1288         int max_ua;
1289
1290         if (NULL == udc->vbus_reg)
1291                 return 0;
1292
1293         switch (udc->connect_type) {
1294         case CONNECT_TYPE_NONE:
1295                 pr_debug("detected USB charging is disabled");
1296                 max_ua = 0;
1297                 break;
1298         case CONNECT_TYPE_SDP:
1299                 pr_debug("detected SDP port");
1300                 max_ua = USB_CHARGING_SDP_CURRENT_LIMIT_UA;
1301                 break;
1302         case CONNECT_TYPE_DCP:
1303                 pr_debug("detected DCP port(wall charger)");
1304                 max_ua = USB_CHARGING_DCP_CURRENT_LIMIT_UA;
1305                 break;
1306         case CONNECT_TYPE_CDP:
1307                 pr_debug("detected CDP port(1A USB port)");
1308                 max_ua = USB_CHARGING_CDP_CURRENT_LIMIT_UA;
1309                 break;
1310         case CONNECT_TYPE_NON_STANDARD_CHARGER:
1311                 pr_debug("detected non-standard charging port");
1312                 max_ua = USB_CHARGING_NON_STANDARD_CHARGER_CURRENT_LIMIT_UA;
1313                 break;
1314         default:
1315                 pr_debug("detected USB charging type is unknown");
1316                 max_ua = 0;
1317         }
1318
1319         return regulator_set_current_limit(udc->vbus_reg, 0, max_ua);
1320 }
1321
1322 static void tegra_detect_charging_type_is_cdp_or_dcp(struct tegra_udc *udc)
1323 {
1324         u32 portsc;
1325         u32 temp;
1326         unsigned long flags;
1327
1328         /* use spinlock to prevent kernel preemption here */
1329         spin_lock_irqsave(&udc->lock, flags);
1330
1331         /* set controller to run which cause D+ pull high */
1332         temp = udc_readl(udc, USB_CMD_REG_OFFSET);
1333         temp |= USB_CMD_RUN_STOP;
1334         udc_writel(udc, temp, USB_CMD_REG_OFFSET);
1335
1336         udelay(10);
1337
1338         /* use D+ and D- status to check it is CDP or DCP */
1339         portsc = udc_readl(udc, PORTSCX_REG_OFFSET) & PORTSCX_LINE_STATUS_BITS;
1340         if (portsc == (PORTSCX_LINE_STATUS_DP_BIT | PORTSCX_LINE_STATUS_DM_BIT))
1341                 udc->connect_type = CONNECT_TYPE_DCP;
1342         else if (portsc == PORTSCX_LINE_STATUS_DP_BIT)
1343                 udc->connect_type = CONNECT_TYPE_CDP;
1344         else
1345                 /*
1346                  * If it take more 100mS between D+ pull high and read Line
1347                  * Status, host might initiate the RESET, then we see both
1348                  * line status as 0 (SE0). This really should not happen as we
1349                  * disabled the kernel preemption before reaching here.
1350                  */
1351                 BUG();
1352
1353         spin_unlock_irqrestore(&udc->lock, flags);
1354 }
1355
1356 /**
1357  * Notify controller that VBUS is powered, called by whatever
1358  * detects VBUS sessions
1359  */
1360 static int tegra_vbus_session(struct usb_gadget *gadget, int is_active)
1361 {
1362         struct tegra_udc *udc = container_of(gadget, struct tegra_udc, gadget);
1363
1364         DBG("%s(%d) turn VBUS state from %s to %s", __func__, __LINE__,
1365                 udc->vbus_active ? "on" : "off", is_active ? "on" : "off");
1366
1367         if (udc->vbus_active && !is_active) {
1368                 /* If cable disconnected, cancel any delayed work */
1369                 cancel_delayed_work(&udc->work);
1370                 spin_lock(&udc->lock);
1371                 /* reset all internal Queues and inform client driver */
1372                 reset_queues(udc);
1373                 /* stop the controller and turn off the clocks */
1374                 dr_controller_stop(udc);
1375                 dr_controller_reset(udc);
1376                 udc->vbus_active = 0;
1377                 udc->usb_state = USB_STATE_DEFAULT;
1378                 udc->connect_type = CONNECT_TYPE_NONE;
1379                 spin_unlock(&udc->lock);
1380                 tegra_usb_phy_power_off(udc->phy);
1381                 tegra_usb_set_charging_current(udc);
1382         } else if (!udc->vbus_active && is_active) {
1383                 tegra_usb_phy_power_on(udc->phy);
1384                 /* setup the controller in the device mode */
1385                 dr_controller_setup(udc);
1386                 /* setup EP0 for setup packet */
1387                 ep0_setup(udc);
1388                 /* initialize the USB and EP states */
1389                 udc->usb_state = USB_STATE_ATTACHED;
1390                 udc->ep0_state = WAIT_FOR_SETUP;
1391                 udc->ep0_dir = 0;
1392                 udc->vbus_active = 1;
1393                 if (tegra_usb_phy_charger_detected(udc->phy)) {
1394                         tegra_detect_charging_type_is_cdp_or_dcp(udc);
1395                 } else {
1396                         udc->connect_type = CONNECT_TYPE_SDP;
1397                         /*
1398                          * Schedule work to wait for 1000 msec and check for
1399                          * a non-standard charger if setup packet is not
1400                          * received.
1401                          */
1402                         schedule_delayed_work(&udc->work, msecs_to_jiffies(
1403                                         USB_CHARGER_DETECTION_WAIT_TIME_MS));
1404                 }
1405                 /* start the controller */
1406                 dr_controller_run(udc);
1407                 tegra_usb_set_charging_current(udc);
1408         }
1409
1410         return 0;
1411 }
1412
1413 /**
1414  * Constrain controller's VBUS power usage.
1415  * This call is used by gadget drivers during SET_CONFIGURATION calls,
1416  * reporting how much power the device may consume. For example, this
1417  * could affect how quickly batteries are recharged.
1418  *
1419  * Returns zero on success, else negative errno.
1420  */
1421 static int tegra_vbus_draw(struct usb_gadget *gadget, unsigned mA)
1422 {
1423         struct tegra_udc *udc;
1424
1425         udc = container_of(gadget, struct tegra_udc, gadget);
1426         /* check udc regulator is available for drawing the vbus current */
1427         if (udc->vbus_reg) {
1428                 udc->current_limit = mA;
1429                 schedule_work(&udc->charger_work);
1430         }
1431
1432         if (udc->transceiver)
1433                 return usb_phy_set_power(udc->transceiver, mA);
1434         return -ENOTSUPP;
1435 }
1436
1437 /**
1438  * Change Data+ pullup status
1439  * this func is used by usb_gadget_connect/disconnect
1440  */
1441 static int tegra_pullup(struct usb_gadget *gadget, int is_on)
1442 {
1443         struct tegra_udc *udc;
1444         u32 tmp;
1445
1446         udc = container_of(gadget, struct tegra_udc, gadget);
1447         udc->softconnect = (is_on != 0);
1448         if (udc->transceiver && udc->transceiver->state !=
1449                         OTG_STATE_B_PERIPHERAL)
1450                         return 0;
1451
1452         tmp = udc_readl(udc, USB_CMD_REG_OFFSET);
1453         if (can_pullup(udc))
1454                 udc_writel(udc, tmp | USB_CMD_RUN_STOP,
1455                                 USB_CMD_REG_OFFSET);
1456         else
1457                 udc_writel(udc, (tmp & ~USB_CMD_RUN_STOP),
1458                                 USB_CMD_REG_OFFSET);
1459
1460         return 0;
1461 }
1462
1463 /* Release udc structures */
1464 static void tegra_udc_release(struct device *dev)
1465 {
1466         struct platform_device *pdev = to_platform_device(dev);
1467         struct tegra_udc *udc = platform_get_drvdata(pdev);
1468
1469         complete(udc->done);
1470         usb_phy_shutdown(get_usb_phy(udc->phy));
1471         kfree(udc);
1472 }
1473
1474 static int tegra_udc_start(struct usb_gadget_driver *driver,
1475                 int (*bind)(struct usb_gadget *));
1476 static int tegra_udc_stop(struct usb_gadget_driver *driver);
1477 /* defined in gadget.h */
1478 static struct usb_gadget_ops tegra_gadget_ops = {
1479         .get_frame = tegra_get_frame,
1480 #ifndef CONFIG_USB_ANDROID
1481         .wakeup = tegra_wakeup,
1482 #endif
1483         .set_selfpowered = tegra_set_selfpowered,
1484         .vbus_session = tegra_vbus_session,
1485         .vbus_draw = tegra_vbus_draw,
1486         .pullup = tegra_pullup,
1487         .start = tegra_udc_start,
1488         .stop = tegra_udc_stop,
1489 };
1490
1491 static int tegra_udc_setup_gadget_dev(struct tegra_udc *udc)
1492 {
1493         /* Setup gadget structure */
1494         udc->gadget.ops = &tegra_gadget_ops;
1495         udc->gadget.max_speed = USB_SPEED_HIGH;
1496         udc->gadget.ep0 = &udc->eps[0].ep;
1497         INIT_LIST_HEAD(&udc->gadget.ep_list);
1498         udc->gadget.speed = USB_SPEED_UNKNOWN;
1499         udc->gadget.name = driver_name;
1500
1501         /* Setup gadget.dev and register with kernel */
1502         dev_set_name(&udc->gadget.dev, "gadget");
1503         udc->gadget.dev.release = tegra_udc_release;
1504         udc->gadget.dev.parent = &udc->pdev->dev;
1505
1506         return device_register(&udc->gadget.dev);
1507 }
1508
1509
1510 /**
1511  * Set protocol stall on ep0, protocol stall will automatically be cleared
1512  * on new transaction.
1513  */
1514 static void ep0stall(struct tegra_udc *udc)
1515 {
1516         u32 tmp;
1517
1518         /* must set tx and rx to stall at the same time */
1519         tmp = udc_readl(udc, EP_CONTROL_REG_OFFSET);
1520         tmp |= EPCTRL_TX_EP_STALL | EPCTRL_RX_EP_STALL;
1521         udc_writel(udc, tmp, EP_CONTROL_REG_OFFSET);
1522         udc->ep0_state = WAIT_FOR_SETUP;
1523         udc->ep0_dir = 0;
1524 }
1525
1526 /* Prime a status phase for ep0 */
1527 static int ep0_prime_status(struct tegra_udc *udc, int direction)
1528 {
1529         struct tegra_req *req = udc->status_req;
1530         struct tegra_ep *ep;
1531
1532         if (direction == EP_DIR_IN)
1533                 udc->ep0_dir = USB_DIR_IN;
1534         else
1535                 udc->ep0_dir = USB_DIR_OUT;
1536
1537         ep = &udc->eps[0];
1538         udc->ep0_state = WAIT_FOR_OUT_STATUS;
1539
1540         req->ep = ep;
1541         req->req.length = 0;
1542         req->req.status = -EINPROGRESS;
1543         req->req.actual = 0;
1544         req->req.complete = NULL;
1545         req->dtd_count = 0;
1546
1547         if (tegra_req_to_dtd(req, GFP_ATOMIC) == 0)
1548                 tegra_queue_td(ep, req);
1549         else
1550                 return -ENOMEM;
1551
1552         list_add_tail(&req->queue, &ep->queue);
1553
1554         return 0;
1555 }
1556
1557 static void udc_reset_ep_queue(struct tegra_udc *udc, u8 pipe)
1558 {
1559         struct tegra_ep *ep = get_ep_by_pipe(udc, pipe);
1560
1561         if (ep->name)
1562                 nuke(ep, -ESHUTDOWN);
1563 }
1564
1565 /* ch9 Set address */
1566 static void ch9setaddress(struct tegra_udc *udc, u16 value, u16 index,
1567                 u16 length)
1568 {
1569         /* Save the new address to device struct */
1570         udc->device_address = (u8) value;
1571         /* Update usb state */
1572         udc->usb_state = USB_STATE_ADDRESS;
1573         /* Status phase */
1574         if (ep0_prime_status(udc, EP_DIR_IN))
1575                 ep0stall(udc);
1576 }
1577
1578 /* ch9 Get status */
1579 static void ch9getstatus(struct tegra_udc *udc, u8 request_type, u16 value,
1580                 u16 index, u16 length)
1581 {
1582         u16 tmp = 0;            /* Status, cpu endian */
1583         struct tegra_req *req;
1584         struct tegra_ep *ep;
1585
1586         ep = &udc->eps[0];
1587
1588         if ((request_type & USB_RECIP_MASK) == USB_RECIP_DEVICE) {
1589                 /* Get device status */
1590                 if (udc->selfpowered)
1591                         tmp = 1 << USB_DEVICE_SELF_POWERED;
1592                 tmp |= udc->remote_wakeup << USB_DEVICE_REMOTE_WAKEUP;
1593         } else if ((request_type & USB_RECIP_MASK) == USB_RECIP_INTERFACE) {
1594                 /* Get interface status
1595                  * We don't have interface information in udc driver */
1596                 tmp = 0;
1597         } else if ((request_type & USB_RECIP_MASK) == USB_RECIP_ENDPOINT) {
1598                 /* Get endpoint status */
1599                 struct tegra_ep *target_ep;
1600
1601                 target_ep = get_ep_by_pipe(udc, get_pipe_by_windex(index));
1602
1603                 /* stall if endpoint doesn't exist */
1604                 if (!target_ep->desc)
1605                         goto stall;
1606                 tmp = dr_ep_get_stall(udc, ep_index(target_ep),
1607                                 ep_is_in(target_ep)) << USB_ENDPOINT_HALT;
1608         }
1609
1610         udc->ep0_dir = USB_DIR_IN;
1611         /* Borrow the per device status_req */
1612         req = udc->status_req;
1613         /* Fill in the reqest structure */
1614         *((u16 *) req->req.buf) = cpu_to_le16(tmp);
1615         req->ep = ep;
1616         req->req.length = 2;
1617         req->req.status = -EINPROGRESS;
1618         req->req.actual = 0;
1619         req->req.complete = NULL;
1620         req->dtd_count = 0;
1621
1622         /* map virtual address to hardware */
1623         if (req->req.dma == DMA_ADDR_INVALID) {
1624                 DEFINE_DMA_ATTRS(attrs);
1625                 struct device *dev = ep->udc->gadget.dev.parent;
1626                 size_t orig = req->req.length;
1627                 size_t ext = orig + AHB_PREFETCH_BUFFER;
1628                 enum dma_data_direction dir =
1629                         ep_is_in(ep) ? DMA_TO_DEVICE : DMA_FROM_DEVICE;
1630
1631                 dma_set_attr(DMA_ATTR_SKIP_CPU_SYNC, &attrs);
1632                 req->req.dma = dma_map_single_attrs(dev, req->req.buf, ext, dir,
1633                                                     &attrs);
1634                 dma_sync_single_for_device(dev, req->req.dma, orig, dir);
1635
1636                 req->mapped = 1;
1637         } else {
1638                 dma_sync_single_for_device(ep->udc->gadget.dev.parent,
1639                                         req->req.dma, req->req.length,
1640                                         ep_is_in(ep)
1641                                                 ? DMA_TO_DEVICE
1642                                                 : DMA_FROM_DEVICE);
1643                 req->mapped = 0;
1644         }
1645
1646         /* prime the data phase */
1647         if ((tegra_req_to_dtd(req, GFP_ATOMIC) == 0))
1648                 tegra_queue_td(ep, req);
1649         else                    /* no mem */
1650                 goto stall;
1651
1652         list_add_tail(&req->queue, &ep->queue);
1653         udc->ep0_state = DATA_STATE_XMIT;
1654         return;
1655 stall:
1656         ep0stall(udc);
1657 }
1658
1659 static void udc_test_mode(struct tegra_udc *udc, u32 test_mode)
1660 {
1661         struct tegra_req *req;
1662         struct tegra_ep *ep;
1663         u32 portsc, bitmask;
1664         unsigned long timeout;
1665
1666         /* Ack the ep0 IN */
1667         if (ep0_prime_status(udc, EP_DIR_IN))
1668                 ep0stall(udc);
1669
1670         /* get the ep0 */
1671         ep = &udc->eps[0];
1672         bitmask = ep_is_in(ep)
1673                 ? (1 << (ep_index(ep) + 16))
1674                 : (1 << (ep_index(ep)));
1675
1676         timeout = jiffies + HZ;
1677         /* Wait until ep0 IN endpoint txfr is complete */
1678         while (!(udc_readl(udc, EP_COMPLETE_REG_OFFSET) & bitmask)) {
1679                 if (time_after(jiffies, timeout)) {
1680                         pr_err("Timeout for Ep0 IN Ack\n");
1681                         break;
1682                 }
1683                 cpu_relax();
1684         }
1685
1686         switch (test_mode << PORTSCX_PTC_BIT_POS) {
1687         case PORTSCX_PTC_JSTATE:
1688                 VDBG("TEST_J\n");
1689                 break;
1690         case PORTSCX_PTC_KSTATE:
1691                 VDBG("TEST_K\n");
1692                 break;
1693         case PORTSCX_PTC_SEQNAK:
1694                 VDBG("TEST_SE0_NAK\n");
1695                 break;
1696         case PORTSCX_PTC_PACKET:
1697                 VDBG("TEST_PACKET\n");
1698
1699                 /* get the ep and configure for IN direction */
1700                 ep = &udc->eps[0];
1701                 udc->ep0_dir = USB_DIR_IN;
1702
1703                 /* Initialize ep0 status request structure */
1704                 req = container_of(tegra_alloc_request(NULL, GFP_ATOMIC),
1705                                 struct tegra_req, req);
1706                 /* allocate a small amount of memory to get valid address */
1707                 req->req.buf = kmalloc(sizeof(tegra_udc_test_packet),
1708                                         GFP_ATOMIC);
1709                 req->req.dma = virt_to_phys(req->req.buf);
1710
1711                 /* Fill in the reqest structure */
1712                 memcpy(req->req.buf, tegra_udc_test_packet,
1713                                         sizeof(tegra_udc_test_packet));
1714                 req->ep = ep;
1715                 req->req.length = sizeof(tegra_udc_test_packet);
1716                 req->req.status = -EINPROGRESS;
1717                 req->req.actual = 0;
1718                 req->req.complete = NULL;
1719                 req->dtd_count = 0;
1720                 req->mapped = 0;
1721
1722                 dma_sync_single_for_device(ep->udc->gadget.dev.parent,
1723                                         req->req.dma, req->req.length,
1724                                         ep_is_in(ep)
1725                                                 ? DMA_TO_DEVICE
1726                                                 : DMA_FROM_DEVICE);
1727
1728                 /* prime the data phase */
1729                 if ((tegra_req_to_dtd(req, GFP_ATOMIC) == 0))
1730                         tegra_queue_td(ep, req);
1731                 else                    /* no mem */
1732                         goto stall;
1733
1734                 list_add_tail(&req->queue, &ep->queue);
1735                 udc->ep0_state = DATA_STATE_XMIT;
1736                 break;
1737         case PORTSCX_PTC_FORCE_EN:
1738                 VDBG("TEST_FORCE_EN\n");
1739                 break;
1740         default:
1741                 ERR("udc unknown test mode[%d]!\n", test_mode);
1742                 goto stall;
1743         }
1744
1745         /* read the portsc register */
1746         portsc = udc_readl(udc, PORTSCX_REG_OFFSET);
1747         /* set the test mode selector */
1748         portsc |= test_mode << PORTSCX_PTC_BIT_POS;
1749         udc_writel(udc, portsc, PORTSCX_REG_OFFSET);
1750
1751         /*
1752          * The device must have its power cycled to exit test mode.
1753          * See USB 2.0 spec, section 9.4.9 for test modes operation
1754          * in "Set Feature".
1755          * See USB 2.0 spec, section 7.1.20 for test modes.
1756          */
1757         pr_info("udc entering the test mode, power cycle to exit test mode\n");
1758         return;
1759 stall:
1760         ep0stall(udc);
1761 }
1762
1763 static void setup_received_irq(struct tegra_udc *udc,
1764                 struct usb_ctrlrequest *setup)
1765 {
1766         u16 wValue = le16_to_cpu(setup->wValue);
1767         u16 wIndex = le16_to_cpu(setup->wIndex);
1768         u16 wLength = le16_to_cpu(setup->wLength);
1769
1770         udc_reset_ep_queue(udc, 0);
1771
1772         /* We process some stardard setup requests here */
1773         switch (setup->bRequest) {
1774         case USB_REQ_GET_STATUS:
1775                 /* Data+Status phase from udc */
1776                 if ((setup->bRequestType & (USB_DIR_IN | USB_TYPE_MASK))
1777                                         != (USB_DIR_IN | USB_TYPE_STANDARD))
1778                         break;
1779                 ch9getstatus(udc, setup->bRequestType, wValue, wIndex, wLength);
1780                 return;
1781
1782         case USB_REQ_SET_ADDRESS:
1783                 /* Status phase from udc */
1784                 if (setup->bRequestType != (USB_DIR_OUT | USB_TYPE_STANDARD
1785                                                 | USB_RECIP_DEVICE))
1786                         break;
1787                 /* This delay is necessary for some windows drivers to
1788                  * properly recognize the device */
1789                 mdelay(1);
1790                 ch9setaddress(udc, wValue, wIndex, wLength);
1791                 return;
1792
1793         case USB_REQ_CLEAR_FEATURE:
1794         case USB_REQ_SET_FEATURE:
1795                 /* Status phase from udc */
1796         {
1797                 int rc = -EOPNOTSUPP;
1798
1799                 if (setup->bRequestType == USB_RECIP_DEVICE &&
1800                                  wValue == USB_DEVICE_TEST_MODE) {
1801                         /*
1802                          * If the feature selector is TEST_MODE, then the most
1803                          * significant byte of wIndex is used to specify the
1804                          * specific test mode and the lower byte of wIndex must
1805                          * be zero.
1806                          */
1807                         udc_test_mode(udc, wIndex >> 8);
1808                         return;
1809
1810                 } else if ((setup->bRequestType &
1811                                 (USB_RECIP_MASK | USB_TYPE_MASK)) ==
1812                                 (USB_RECIP_ENDPOINT | USB_TYPE_STANDARD)) {
1813                         int pipe = get_pipe_by_windex(wIndex);
1814                         struct tegra_ep *ep;
1815
1816                         if (wValue != 0 || wLength != 0 || pipe > udc->max_ep)
1817                                 break;
1818                         ep = get_ep_by_pipe(udc, pipe);
1819
1820                         spin_unlock(&udc->lock);
1821                         rc = tegra_ep_set_halt(&ep->ep,
1822                                         (setup->bRequest == USB_REQ_SET_FEATURE)
1823                                                 ? 1 : 0);
1824                         spin_lock(&udc->lock);
1825
1826                 } else if ((setup->bRequestType & (USB_RECIP_MASK
1827                                 | USB_TYPE_MASK)) == (USB_RECIP_DEVICE
1828                                 | USB_TYPE_STANDARD)) {
1829                         /* Note: The driver has not include OTG support yet.
1830                          * This will be set when OTG support is added */
1831                         if (!gadget_is_otg(&udc->gadget))
1832                                 break;
1833                         else if (setup->bRequest == USB_DEVICE_B_HNP_ENABLE)
1834                                 udc->gadget.b_hnp_enable = 1;
1835                         else if (setup->bRequest == USB_DEVICE_A_HNP_SUPPORT)
1836                                 udc->gadget.a_hnp_support = 1;
1837                         else if (setup->bRequest ==
1838                                         USB_DEVICE_A_ALT_HNP_SUPPORT)
1839                                 udc->gadget.a_alt_hnp_support = 1;
1840                         else
1841                                 break;
1842                         rc = 0;
1843                 } else
1844                         break;
1845
1846                 if (rc == 0) {
1847                         if (ep0_prime_status(udc, EP_DIR_IN))
1848                                 ep0stall(udc);
1849                 }
1850                 return;
1851         }
1852
1853         default:
1854                 break;
1855         }
1856
1857         /* Requests handled by gadget */
1858         if (wLength) {
1859                 /* Data phase from gadget, status phase from udc */
1860                 udc->ep0_dir = (setup->bRequestType & USB_DIR_IN)
1861                                 ?  USB_DIR_IN : USB_DIR_OUT;
1862                 spin_unlock(&udc->lock);
1863                 if (udc->driver && udc->driver->setup(&udc->gadget,
1864                                 &udc->local_setup_buff) < 0)
1865                         ep0stall(udc);
1866                 spin_lock(&udc->lock);
1867                 udc->ep0_state = (setup->bRequestType & USB_DIR_IN)
1868                                 ?  DATA_STATE_XMIT : DATA_STATE_RECV;
1869         } else {
1870                 /* No data phase, IN status from gadget */
1871                 udc->ep0_dir = USB_DIR_IN;
1872                 spin_unlock(&udc->lock);
1873                 if (udc->driver && udc->driver->setup(&udc->gadget,
1874                                 &udc->local_setup_buff) < 0)
1875                         ep0stall(udc);
1876                 spin_lock(&udc->lock);
1877                 udc->ep0_state = WAIT_FOR_OUT_STATUS;
1878         }
1879 }
1880
1881 /* Process request for Data or Status phase of ep0
1882  * prime status phase if needed */
1883 static void ep0_req_complete(struct tegra_udc *udc, struct tegra_ep *ep0,
1884                 struct tegra_req *req)
1885 {
1886         if (udc->usb_state == USB_STATE_ADDRESS) {
1887                 /* Set the new address */
1888                 u32 new_address = (u32) udc->device_address;
1889                 udc_writel(udc, new_address << USB_DEVICE_ADDRESS_BIT_POS,
1890                                 USB_DEVICE_ADDR_REG_OFFSET);
1891         }
1892
1893         done(ep0, req, 0);
1894
1895         switch (udc->ep0_state) {
1896         case DATA_STATE_XMIT:
1897                 /* receive status phase */
1898                 if (ep0_prime_status(udc, EP_DIR_OUT))
1899                         ep0stall(udc);
1900                 break;
1901         case DATA_STATE_RECV:
1902                 /* send status phase */
1903                 if (ep0_prime_status(udc, EP_DIR_IN))
1904                         ep0stall(udc);
1905                 break;
1906         case WAIT_FOR_OUT_STATUS:
1907                 udc->ep0_state = WAIT_FOR_SETUP;
1908                 break;
1909         case WAIT_FOR_SETUP:
1910                 ERR("Unexpect ep0 packets\n");
1911                 break;
1912         default:
1913                 ep0stall(udc);
1914                 break;
1915         }
1916 }
1917
1918 /* Tripwire mechanism to ensure a setup packet payload is extracted without
1919  * being corrupted by another incoming setup packet */
1920 static void tripwire_handler(struct tegra_udc *udc, u8 ep_num, u8 *buffer_ptr)
1921 {
1922         u32 temp;
1923         struct ep_queue_head *qh;
1924
1925         qh = &udc->ep_qh[ep_num * 2 + EP_DIR_OUT];
1926
1927         /* Clear bit in ENDPTSETUPSTAT */
1928         temp = udc_readl(udc, EP_SETUP_STATUS_REG_OFFSET);
1929         udc_writel(udc, temp | (1 << ep_num), EP_SETUP_STATUS_REG_OFFSET);
1930
1931         /* while a hazard exists when setup package arrives */
1932         do {
1933                 /* Set Setup Tripwire */
1934                 temp = udc_readl(udc, USB_CMD_REG_OFFSET);
1935                 udc_writel(udc, temp | USB_CMD_SUTW, USB_CMD_REG_OFFSET);
1936
1937                 /* Copy the setup packet to local buffer */
1938                 memcpy(buffer_ptr, (u8 *) qh->setup_buffer, 8);
1939         } while (!(udc_readl(udc, USB_CMD_REG_OFFSET) & USB_CMD_SUTW));
1940
1941         /* Clear Setup Tripwire */
1942         temp = udc_readl(udc, USB_CMD_REG_OFFSET);
1943         udc_writel(udc, temp & ~USB_CMD_SUTW, USB_CMD_REG_OFFSET);
1944 }
1945
1946 /* process-ep_req(): free the completed Tds for this req */
1947 static int process_ep_req(struct tegra_udc *udc, int pipe,
1948                 struct tegra_req *curr_req)
1949 {
1950         struct ep_td_struct *curr_td;
1951         int     td_complete, actual, remaining_length, j, tmp;
1952         int     status = 0;
1953         int     errors = 0;
1954         struct  ep_queue_head *curr_qh = &udc->ep_qh[pipe];
1955         int direction = pipe % 2;
1956
1957         curr_td = curr_req->head;
1958         td_complete = 0;
1959         actual = curr_req->req.length;
1960
1961         for (j = 0; j < curr_req->dtd_count; j++) {
1962                 /* Fence read for coherency of AHB master intiated writes */
1963                 readb(IO_ADDRESS(IO_PPCS_PHYS + USB1_PREFETCH_ID));
1964
1965                 dma_sync_single_for_cpu(udc->gadget.dev.parent, curr_td->td_dma,
1966                                 sizeof(struct ep_td_struct), DMA_FROM_DEVICE);
1967
1968                 remaining_length = (le32_to_cpu(curr_td->size_ioc_sts)
1969                                         & DTD_PACKET_SIZE)
1970                                 >> DTD_LENGTH_BIT_POS;
1971                 actual -= remaining_length;
1972                 errors = le32_to_cpu(curr_td->size_ioc_sts);
1973                 if (errors & DTD_ERROR_MASK) {
1974                         if (errors & DTD_STATUS_HALTED) {
1975                                 ERR("dTD error %08x QH=%d\n", errors, pipe);
1976                                 /* Clear the errors and Halt condition */
1977                                 tmp = le32_to_cpu(curr_qh->size_ioc_int_sts);
1978                                 tmp &= ~errors;
1979                                 curr_qh->size_ioc_int_sts = cpu_to_le32(tmp);
1980                                 status = -EPIPE;
1981                                 /* FIXME: continue with next queued TD? */
1982
1983                                 break;
1984                         }
1985                         if (errors & DTD_STATUS_DATA_BUFF_ERR) {
1986                                 VDBG("Transfer overflow");
1987                                 status = -EPROTO;
1988                                 break;
1989                         } else if (errors & DTD_STATUS_TRANSACTION_ERR) {
1990                                 VDBG("ISO error");
1991                                 status = -EILSEQ;
1992                                 break;
1993                         } else
1994                                 ERR("Unknown error has occurred (0x%x)!\n",
1995                                         errors);
1996
1997                 } else if (le32_to_cpu(curr_td->size_ioc_sts)
1998                                 & DTD_STATUS_ACTIVE) {
1999                         VDBG("Request not complete");
2000                         status = REQ_UNCOMPLETE;
2001                         return status;
2002                 } else if (remaining_length) {
2003                         if (direction) {
2004                                 VDBG("Transmit dTD remaining length not zero");
2005                                 status = -EPROTO;
2006                                 break;
2007                         } else {
2008                                 td_complete++;
2009                                 break;
2010                         }
2011                 } else {
2012                         td_complete++;
2013                         VDBG("dTD transmitted successful");
2014                 }
2015
2016                 if (j != curr_req->dtd_count - 1)
2017                         curr_td = (struct ep_td_struct *)curr_td->next_td_virt;
2018         }
2019
2020         if (status)
2021                 return status;
2022
2023         curr_req->req.actual = actual;
2024
2025         return 0;
2026 }
2027
2028 /* Process a DTD completion interrupt */
2029 static void dtd_complete_irq(struct tegra_udc *udc)
2030 {
2031         u32 bit_pos;
2032         int i, ep_num, direction, bit_mask, status;
2033         struct tegra_ep *curr_ep;
2034         struct tegra_req *curr_req, *temp_req;
2035
2036         /* Clear the bits in the register */
2037         bit_pos = udc_readl(udc, EP_COMPLETE_REG_OFFSET);
2038         udc_writel(udc, bit_pos, EP_COMPLETE_REG_OFFSET);
2039
2040         if (!bit_pos)
2041                 return;
2042
2043         for (i = 0; i < udc->max_ep; i++) {
2044                 ep_num = i >> 1;
2045                 direction = i % 2;
2046
2047                 bit_mask = 1 << (ep_num + 16 * direction);
2048
2049                 if (!(bit_pos & bit_mask))
2050                         continue;
2051
2052                 curr_ep = get_ep_by_pipe(udc, i);
2053
2054                 /* If the ep is configured */
2055                 if (curr_ep->name == NULL) {
2056                         WARNING("Invalid EP?");
2057                         continue;
2058                 }
2059
2060                 /* process the req queue until an uncomplete request */
2061                 list_for_each_entry_safe(curr_req, temp_req, &curr_ep->queue,
2062                                 queue) {
2063                         status = process_ep_req(udc, i, curr_req);
2064
2065                         VDBG("status of process_ep_req= %d, ep = %d",
2066                                         status, ep_num);
2067                         if (status == REQ_UNCOMPLETE)
2068                                 break;
2069                         /* write back status to req */
2070                         curr_req->req.status = status;
2071
2072                         if (ep_num == 0) {
2073                                 ep0_req_complete(udc, curr_ep, curr_req);
2074                                 break;
2075                         } else
2076                                 done(curr_ep, curr_req, status);
2077                 }
2078         }
2079 }
2080
2081 /* Process a port change interrupt */
2082 static void port_change_irq(struct tegra_udc *udc)
2083 {
2084         u32 speed;
2085         unsigned int port_control_reg_offset;
2086
2087         if (udc->has_hostpc)
2088                 port_control_reg_offset = USB_HOSTPCX_DEVLC_REG_OFFSET;
2089         else
2090                 port_control_reg_offset = PORTSCX_REG_OFFSET;
2091
2092         /* Bus resetting is finished */
2093         if (!(udc_readl(udc, port_control_reg_offset) & PORTSCX_PORT_RESET)) {
2094                 /* Get the speed */
2095                 speed = (udc_readl(udc, port_control_reg_offset)
2096                                 & PORTSCX_PORT_SPEED_MASK);
2097                 if (speed == PORTSCX_PORT_SPEED_HIGH)
2098                         udc->gadget.speed = USB_SPEED_HIGH;
2099                 else if (speed == PORTSCX_PORT_SPEED_FULL)
2100                         udc->gadget.speed = USB_SPEED_FULL;
2101                 else if (speed == PORTSCX_PORT_SPEED_LOW)
2102                         udc->gadget.speed = USB_SPEED_LOW;
2103                 else
2104                         udc->gadget.speed = USB_SPEED_UNKNOWN;
2105         }
2106
2107         /* Update USB state */
2108         if (!udc->resume_state)
2109                 udc->usb_state = USB_STATE_DEFAULT;
2110 }
2111
2112 /* Process suspend interrupt */
2113 static void suspend_irq(struct tegra_udc *udc)
2114 {
2115         udc->resume_state = udc->usb_state;
2116         udc->usb_state = USB_STATE_SUSPENDED;
2117
2118         /* report suspend to the driver, serial.c does not support this */
2119         if (udc->driver && udc->driver->suspend)
2120                 udc->driver->suspend(&udc->gadget);
2121 }
2122
2123 static void bus_resume(struct tegra_udc *udc)
2124 {
2125         udc->usb_state = udc->resume_state;
2126         udc->resume_state = 0;
2127
2128         /* report resume to the driver, serial.c does not support this */
2129         if (udc->driver && udc->driver->resume)
2130                 udc->driver->resume(&udc->gadget);
2131 }
2132
2133 /* Clear up all ep queues */
2134 static int reset_queues(struct tegra_udc *udc)
2135 {
2136         u8 pipe;
2137
2138         for (pipe = 0; pipe < udc->max_pipes; pipe++)
2139                 udc_reset_ep_queue(udc, pipe);
2140
2141         /* report disconnect; the driver is already quiesced */
2142         spin_unlock(&udc->lock);
2143         if (udc->driver && udc->driver->disconnect)
2144                 udc->driver->disconnect(&udc->gadget);
2145         spin_lock(&udc->lock);
2146
2147         return 0;
2148 }
2149
2150 /* Process reset interrupt */
2151 static void reset_irq(struct tegra_udc *udc)
2152 {
2153         u32 temp;
2154         unsigned long timeout;
2155
2156         /* Clear the device address */
2157         temp = udc_readl(udc, USB_DEVICE_ADDR_REG_OFFSET);
2158         udc_writel(udc, temp & ~USB_DEVICE_ADDRESS_MASK,
2159                                 USB_DEVICE_ADDR_REG_OFFSET);
2160
2161         udc->device_address = 0;
2162
2163         /* Clear usb state */
2164         udc->resume_state = 0;
2165         udc->ep0_dir = 0;
2166         udc->ep0_state = WAIT_FOR_SETUP;
2167         udc->remote_wakeup = 0; /* default to 0 on reset */
2168         udc->gadget.b_hnp_enable = 0;
2169         udc->gadget.a_hnp_support = 0;
2170         udc->gadget.a_alt_hnp_support = 0;
2171
2172         /* Clear all the setup token semaphores */
2173         temp = udc_readl(udc, EP_SETUP_STATUS_REG_OFFSET);
2174         udc_writel(udc, temp, EP_SETUP_STATUS_REG_OFFSET);
2175
2176         /* Clear all the endpoint complete status bits */
2177         temp = udc_readl(udc, EP_COMPLETE_REG_OFFSET);
2178         udc_writel(udc, temp, EP_COMPLETE_REG_OFFSET);
2179
2180         timeout = jiffies + 100;
2181         while (udc_readl(udc, EP_PRIME_REG_OFFSET)) {
2182                 /* Wait until all endptprime bits cleared */
2183                 if (time_after(jiffies, timeout)) {
2184                         ERR("Timeout for reset\n");
2185                         break;
2186                 }
2187                 cpu_relax();
2188         }
2189
2190         /* Write 1s to the flush register */
2191         udc_writel(udc, 0xffffffff, EPFLUSH_REG_OFFSET);
2192
2193         /* When the bus reset is seen on Tegra, the PORTSCX_PORT_RESET bit
2194          * is not set. Reset all the queues, include XD, dTD, EP queue
2195          * head and TR Queue */
2196         VDBG("Bus reset");
2197         reset_queues(udc);
2198         udc->usb_state = USB_STATE_DEFAULT;
2199 }
2200
2201 static void tegra_udc_set_current_limit_work(struct work_struct *work)
2202 {
2203         struct tegra_udc *udc = container_of(work, struct tegra_udc,
2204                                                 charger_work);
2205         /* check udc regulator is available for drawing vbus current*/
2206         if (udc->vbus_reg) {
2207                 /* set the current limit in uA */
2208                 regulator_set_current_limit(
2209                         udc->vbus_reg, 0,
2210                         udc->current_limit * 1000);
2211         }
2212 }
2213
2214 #ifdef CONFIG_TEGRA_GADGET_BOOST_CPU_FREQ
2215 static void tegra_udc_boost_cpu_frequency_work(struct work_struct *work)
2216 {
2217         if (ep_queue_request_count && boost_cpufreq_work_flag) {
2218                 pm_qos_update_request(&boost_cpu_freq_req,
2219                         (s32)CONFIG_TEGRA_GADGET_BOOST_CPU_FREQ * 1000);
2220                 boost_cpufreq_work_flag = 0;
2221         } else if (!ep_queue_request_count && !boost_cpufreq_work_flag) {
2222                 pm_qos_update_request(&boost_cpu_freq_req,
2223                         PM_QOS_DEFAULT_VALUE);
2224                 boost_cpufreq_work_flag = 1;
2225         }
2226 }
2227 #endif
2228
2229 static void tegra_udc_irq_work(struct work_struct *irq_work)
2230 {
2231         struct tegra_udc *udc = container_of(irq_work, struct tegra_udc,
2232                                                  irq_work);
2233         DBG("%s(%d) BEGIN\n", __func__, __LINE__);
2234
2235         /* Check whether cable is connected*/
2236         if (vbus_enabled(udc))
2237                 tegra_vbus_session(&udc->gadget, 1);
2238         else
2239                 tegra_vbus_session(&udc->gadget, 0);
2240
2241         DBG("%s(%d) END\n", __func__, __LINE__);
2242 }
2243
2244 /*
2245  * When VBUS is detected we already know it is DCP/SDP/CDP devices if it is a
2246  * standard device; If we did not receive EP0 setup packet, we can assuming it
2247  * is a charger capable of 1.8A charging.
2248  */
2249 static void tegra_udc_charger_detect_work(struct work_struct *work)
2250 {
2251         struct tegra_udc *udc = container_of(work, struct tegra_udc, work.work);
2252         DBG("%s(%d) BEGIN\n", __func__, __LINE__);
2253
2254         udc->connect_type = CONNECT_TYPE_NON_STANDARD_CHARGER;
2255         tegra_usb_set_charging_current(udc);
2256
2257         DBG("%s(%d) END\n", __func__, __LINE__);
2258 }
2259
2260 /* Restart device controller in the OTG mode on VBUS detection */
2261 static void tegra_udc_restart(struct tegra_udc *udc)
2262 {
2263         DBG("%s(%d) BEGIN\n", __func__, __LINE__);
2264
2265         /* setup the controller in the device mode */
2266         dr_controller_setup(udc);
2267         /* setup EP0 for setup packet */
2268         ep0_setup(udc);
2269         udc->vbus_active = 1;
2270         /* start the controller */
2271         dr_controller_run(udc);
2272         /* initialize the USB and EP states */
2273         udc->usb_state = USB_STATE_ATTACHED;
2274         udc->ep0_state = WAIT_FOR_SETUP;
2275         udc->ep0_dir = 0;
2276
2277         DBG("%s(%d) END\n", __func__, __LINE__);
2278 }
2279
2280 /* USB device controller interrupt handler */
2281 static irqreturn_t tegra_udc_irq(int irq, void *_udc)
2282 {
2283         struct tegra_udc *udc = _udc;
2284         u32 irq_src, temp;
2285         irqreturn_t status = IRQ_NONE;
2286         unsigned long flags;
2287
2288         spin_lock_irqsave(&udc->lock, flags);
2289
2290         if (!udc->transceiver) {
2291 #ifdef CONFIG_TEGRA_SILICON_PLATFORM
2292                 temp = udc_readl(udc, VBUS_WAKEUP_REG_OFFSET);
2293                 /* write back the register to clear the interrupt */
2294                 udc_writel(udc, temp, VBUS_WAKEUP_REG_OFFSET);
2295                 if (temp & USB_SYS_VBUS_WAKEUP_INT_STATUS)
2296                         schedule_work(&udc->irq_work);
2297                 status = IRQ_HANDLED;
2298 #else
2299                 temp = udc_readl(udc, VBUS_SENSOR_REG_OFFSET);
2300                 /* write back the register to clear the interrupt */
2301                 udc_writel(udc, temp, VBUS_SENSOR_REG_OFFSET);
2302                 if (temp & USB_SYS_VBUS_ASESSION_CHANGED)
2303                         schedule_work(&udc->irq_work);
2304                 status = IRQ_HANDLED;
2305 #endif
2306         }
2307
2308         /* Disable ISR for OTG host mode */
2309         if (udc->stopped)
2310                 goto done;
2311
2312         /* Fence read for coherency of AHB master intiated writes */
2313         readb(IO_ADDRESS(IO_PPCS_PHYS + USB1_PREFETCH_ID));
2314
2315         irq_src = udc_readl(udc, USB_STS_REG_OFFSET) &
2316                                 udc_readl(udc, USB_INTR_REG_OFFSET);
2317
2318         if (irq_src == 0)
2319                 goto done;
2320
2321         /* Clear notification bits */
2322         udc_writel(udc, irq_src, USB_STS_REG_OFFSET);
2323
2324         /* Need to resume? */
2325         if (udc->usb_state == USB_STATE_SUSPENDED)
2326                 if (!(udc_readl(udc, PORTSCX_REG_OFFSET)
2327                                 & PORTSCX_PORT_SUSPEND))
2328                         bus_resume(udc);
2329
2330         /* USB Interrupt */
2331         if (irq_src & USB_STS_INT) {
2332                 VDBG("Packet int");
2333                 /* Setup package, we only support ep0 as control ep */
2334                 if (udc_readl(udc, EP_SETUP_STATUS_REG_OFFSET) &
2335                                 EP_SETUP_STATUS_EP0) {
2336                         /* Setup packet received, we are connected to host
2337                          * and not to charger. Cancel any delayed work */
2338                         __cancel_delayed_work(&udc->work);
2339                         tripwire_handler(udc, 0,
2340                                         (u8 *) (&udc->local_setup_buff));
2341                         setup_received_irq(udc, &udc->local_setup_buff);
2342                         status = IRQ_HANDLED;
2343                 }
2344
2345                 /* completion of dtd */
2346                 if (udc_readl(udc, EP_COMPLETE_REG_OFFSET)) {
2347                         dtd_complete_irq(udc);
2348                         status = IRQ_HANDLED;
2349                 }
2350         }
2351
2352         /* SOF (for ISO transfer) */
2353         if (irq_src & USB_STS_SOF)
2354                 status = IRQ_HANDLED;
2355
2356         /* Port Change */
2357         if (irq_src & USB_STS_PORT_CHANGE) {
2358                 port_change_irq(udc);
2359                 status = IRQ_HANDLED;
2360         }
2361
2362         /* Reset Received */
2363         if (irq_src & USB_STS_RESET) {
2364                 reset_irq(udc);
2365                 status = IRQ_HANDLED;
2366         }
2367
2368         /* Sleep Enable (Suspend) */
2369         if (irq_src & USB_STS_SUSPEND) {
2370                 suspend_irq(udc);
2371                 status = IRQ_HANDLED;
2372         }
2373
2374         if (irq_src & (USB_STS_ERR | USB_STS_SYS_ERR))
2375                 VDBG("Error IRQ %x", irq_src);
2376
2377 done:
2378         spin_unlock_irqrestore(&udc->lock, flags);
2379         return status;
2380 }
2381
2382 /**
2383  * Hook to gadget drivers
2384  * Called by initialization code of gadget drivers
2385  */
2386 static int tegra_udc_start(struct usb_gadget_driver *driver,
2387                 int (*bind)(struct usb_gadget *))
2388 {
2389         struct tegra_udc *udc = the_udc;
2390         int retval = -ENODEV;
2391         unsigned long flags = 0;
2392         DBG("%s(%d) BEGIN\n", __func__, __LINE__);
2393
2394         if (!udc)
2395                 return -ENODEV;
2396
2397         if (!driver || (driver->max_speed != USB_SPEED_FULL && driver->max_speed != USB_SPEED_HIGH)
2398             || !bind || !driver->disconnect || !driver->setup)
2399                 return -EINVAL;
2400
2401         if (udc->driver)
2402                 return -EBUSY;
2403
2404         /* lock is needed but whether should use this lock or another */
2405         spin_lock_irqsave(&udc->lock, flags);
2406
2407         driver->driver.bus = NULL;
2408         /* hook up the driver */
2409         udc->driver = driver;
2410         udc->gadget.dev.driver = &driver->driver;
2411         spin_unlock_irqrestore(&udc->lock, flags);
2412
2413         /* bind udc driver to gadget driver */
2414         retval = bind(&udc->gadget);
2415         if (retval) {
2416                 VDBG("bind to %s --> %d", driver->driver.name, retval);
2417                 udc->gadget.dev.driver = NULL;
2418                 udc->driver = NULL;
2419                 goto out;
2420         }
2421
2422         /* Enable DR IRQ reg and Set usbcmd reg  Run bit */
2423         if (vbus_enabled(udc)) {
2424                 dr_controller_run(udc);
2425                 udc->usb_state = USB_STATE_ATTACHED;
2426                 udc->ep0_state = WAIT_FOR_SETUP;
2427                 udc->ep0_dir = 0;
2428                 udc->vbus_active = 1;
2429         }
2430
2431         printk(KERN_INFO "%s: bind to driver %s\n",
2432                         udc->gadget.name, driver->driver.name);
2433
2434 out:
2435         if (retval)
2436                 printk(KERN_WARNING "gadget driver register failed %d\n",
2437                                                                 retval);
2438
2439         DBG("%s(%d) END\n", __func__, __LINE__);
2440         return retval;
2441 }
2442
2443 /* Disconnect from gadget driver */
2444 static int tegra_udc_stop(struct usb_gadget_driver *driver)
2445 {
2446         struct tegra_udc *udc = the_udc;
2447         struct tegra_ep *loop_ep;
2448         unsigned long flags;
2449
2450         DBG("%s(%d) BEGIN\n", __func__, __LINE__);
2451         if (!udc)
2452                 return -ENODEV;
2453
2454         if (!driver || driver != udc->driver || !driver->unbind)
2455                 return -EINVAL;
2456
2457         /* stop DR, disable intr */
2458         dr_controller_stop(udc);
2459
2460         /* in fact, no needed */
2461         udc->usb_state = USB_STATE_ATTACHED;
2462         udc->ep0_state = WAIT_FOR_SETUP;
2463         udc->ep0_dir = 0;
2464
2465         /* stand operation */
2466         spin_lock_irqsave(&udc->lock, flags);
2467         udc->gadget.speed = USB_SPEED_UNKNOWN;
2468         nuke(&udc->eps[0], -ESHUTDOWN);
2469         list_for_each_entry(loop_ep, &udc->gadget.ep_list,
2470                         ep.ep_list)
2471                 nuke(loop_ep, -ESHUTDOWN);
2472         spin_unlock_irqrestore(&udc->lock, flags);
2473
2474         /* report disconnect; the controller is already quiesced */
2475         driver->disconnect(&udc->gadget);
2476
2477         /* unbind gadget and unhook driver. */
2478         driver->unbind(&udc->gadget);
2479         udc->gadget.dev.driver = NULL;
2480         udc->driver = NULL;
2481
2482         printk(KERN_WARNING "unregistered gadget driver '%s'\n",
2483                driver->driver.name);
2484
2485         DBG("%s(%d) END\n", __func__, __LINE__);
2486
2487         return 0;
2488 }
2489
2490
2491 /* Internal structure setup functions */
2492 static int tegra_udc_setup_qh(struct tegra_udc *udc)
2493 {
2494         u32 dccparams;
2495         size_t size;
2496
2497         /* Read Device Controller Capability Parameters register */
2498         dccparams = udc_readl(udc, DCCPARAMS_REG_OFFSET);
2499         if (!(dccparams & DCCPARAMS_DC)) {
2500                 ERR("This SOC doesn't support device role\n");
2501                 return -ENODEV;
2502         }
2503
2504         /* Get max device endpoints */
2505         /* DEN is bidirectional ep number, max_ep doubles the number */
2506         udc->max_ep = (dccparams & DCCPARAMS_DEN_MASK) * 2;
2507
2508         udc->eps = kzalloc(sizeof(struct tegra_ep) * udc->max_ep, GFP_KERNEL);
2509         if (!udc->eps) {
2510                 ERR("malloc tegra_ep failed\n");
2511                 return -1;
2512         }
2513
2514         /* Setup hardware queue heads */
2515         size = udc->max_ep * sizeof(struct ep_queue_head);
2516         udc->ep_qh = (struct ep_queue_head *)((u8 *)(udc->regs) + QH_OFFSET);
2517         udc->ep_qh_dma = platform_get_resource(udc->pdev, IORESOURCE_MEM
2518                                 , 0)->start + QH_OFFSET;
2519         udc->ep_qh_size = size;
2520
2521         /* Initialize ep0 status request structure */
2522         /* FIXME: tegra_alloc_request() ignores ep argument */
2523         udc->status_req = container_of(tegra_alloc_request(NULL, GFP_KERNEL),
2524                         struct tegra_req, req);
2525         /* Allocate a small amount of memory to get valid address */
2526         udc->status_req->req.buf = dma_alloc_coherent(&udc->pdev->dev,
2527                                 STATUS_BUFFER_SIZE, &udc->status_req->req.dma,
2528                                 GFP_KERNEL);
2529         if (!udc->status_req->req.buf) {
2530                 ERR("alloc status_req buffer failed\n");
2531                 kfree(udc->eps);
2532                 return -ENOMEM;
2533         }
2534
2535         udc->resume_state = USB_STATE_NOTATTACHED;
2536         udc->usb_state = USB_STATE_POWERED;
2537         udc->ep0_dir = 0;
2538         udc->remote_wakeup = 0; /* default to 0 on reset */
2539
2540         return 0;
2541 }
2542
2543 /**
2544  * Setup the tegra_ep struct for eps
2545  * Link tegra_ep->ep to gadget->ep_list
2546  * ep0out is not used so do nothing here
2547  * ep0in should be taken care
2548  */
2549 static int __init struct_ep_setup(struct tegra_udc *udc, unsigned char index,
2550                 char *name, int link)
2551 {
2552         struct tegra_ep *ep = &udc->eps[index];
2553
2554         ep->udc = udc;
2555         strcpy(ep->name, name);
2556         ep->ep.name = ep->name;
2557
2558         ep->ep.ops = &tegra_ep_ops;
2559         ep->stopped = 0;
2560
2561         /* for ep0: maxP defined in desc
2562          * for other eps, maxP is set by epautoconfig() called by gadget layer
2563          */
2564         ep->ep.maxpacket = (unsigned short) ~0;
2565
2566         /* the queue lists any req for this ep */
2567         INIT_LIST_HEAD(&ep->queue);
2568
2569         /* gagdet.ep_list used for ep_autoconfig so no ep0 */
2570         if (link)
2571                 list_add_tail(&ep->ep.ep_list, &udc->gadget.ep_list);
2572         ep->gadget = &udc->gadget;
2573         ep->qh = &udc->ep_qh[index];
2574
2575         return 0;
2576 }
2577
2578 static int tegra_udc_ep_setup(struct tegra_udc *udc)
2579 {
2580         /* initialize EP0 descriptor */
2581         static const struct usb_endpoint_descriptor tegra_ep0_desc = {
2582                 .bLength =              USB_DT_ENDPOINT_SIZE,
2583                 .bDescriptorType =      USB_DT_ENDPOINT,
2584                 .bEndpointAddress = 0,
2585                 .bmAttributes = USB_ENDPOINT_XFER_CONTROL,
2586                 .wMaxPacketSize =       USB_MAX_CTRL_PAYLOAD,
2587         };
2588         int i;
2589
2590         /* setup QH and epctrl for ep0 */
2591         ep0_setup(udc);
2592
2593         /* setup udc->eps[] for ep0 */
2594         struct_ep_setup(udc, 0, "ep0", 0);
2595         /* for ep0: the desc defined here;
2596          * for other eps, gadget layer called ep_enable with defined desc
2597          */
2598         udc->eps[0].desc = &tegra_ep0_desc;
2599         udc->eps[0].ep.maxpacket = USB_MAX_CTRL_PAYLOAD;
2600
2601         /* setup the udc->eps[] for non-control endpoints and link
2602          * to gadget.ep_list */
2603         for (i = 1; i < (int)(udc->max_ep / 2); i++) {
2604                 char name[14];
2605
2606                 sprintf(name, "ep%dout", i);
2607                 struct_ep_setup(udc, i * 2, name, 1);
2608                 sprintf(name, "ep%din", i);
2609                 struct_ep_setup(udc, i * 2 + 1, name, 1);
2610         }
2611
2612         return 0;
2613 }
2614
2615
2616 /* Driver probe function
2617  * all intialization operations implemented here except enabling usb_intr reg
2618  * board setup should have been done in the platform code
2619  */
2620 static int __init tegra_udc_probe(struct platform_device *pdev)
2621 {
2622         struct tegra_udc *udc;
2623         struct resource *res;
2624         int err = -ENODEV;
2625         DBG("%s(%d) BEGIN\n", __func__, __LINE__);
2626
2627         if (strcmp(pdev->name, driver_name)) {
2628                 VDBG("Wrong device");
2629                 return -ENODEV;
2630         }
2631
2632         the_udc = udc = kzalloc(sizeof(struct tegra_udc), GFP_KERNEL);
2633         if (udc == NULL) {
2634                 ERR("malloc udc failed\n");
2635                 return -ENOMEM;
2636         }
2637
2638         res = platform_get_resource(pdev, IORESOURCE_MEM, 0);
2639         if (!res) {
2640                 err = -ENXIO;
2641                 ERR("failed to get platform resources\n");
2642                 goto err_kfree;
2643         }
2644
2645         if (!request_mem_region(res->start, res->end - res->start + 1,
2646                                 driver_name)) {
2647                 ERR("request mem region failed\n");
2648                 err = -EBUSY;
2649                 goto err_kfree;
2650         }
2651
2652         udc->regs = ioremap(res->start, resource_size(res));
2653         if (!udc->regs) {
2654                 err = -ENOMEM;
2655                 ERR("failed to map mem region\n");
2656                 goto err_rel_mem_region;
2657         }
2658
2659         udc->irq = platform_get_irq(pdev, 0);
2660         if (!udc->irq) {
2661                 err = -ENODEV;
2662                 ERR("failed to get platform irq resources\n");
2663                 goto err_iounmap;
2664         }
2665
2666         err = request_irq(udc->irq, tegra_udc_irq,
2667                                 IRQF_SHARED | IRQF_TRIGGER_HIGH,
2668                                 driver_name, udc);
2669         if (err) {
2670                 ERR("cannot request irq %d err %d\n", udc->irq, err);
2671                 goto err_iounmap;
2672         }
2673
2674         err = enable_irq_wake(udc->irq);
2675         if (err < 0) {
2676                 dev_warn(&pdev->dev,
2677                         "Couldn't enable USB udc mode wakeup, irq=%d, error=%d\n",
2678                         udc->irq, err);
2679                 err = 0;
2680         }
2681
2682         udc->phy = tegra_usb_phy_open(pdev);
2683         if (IS_ERR(udc->phy)) {
2684                 dev_err(&pdev->dev, "failed to open USB phy\n");
2685                 err = -ENXIO;
2686                 goto err_irq;
2687         }
2688
2689         err = tegra_usb_phy_power_on(udc->phy);
2690         if (err) {
2691                 dev_err(&pdev->dev, "failed to power on the phy\n");
2692                 goto err_phy;
2693         }
2694
2695         err = usb_phy_init(get_usb_phy(udc->phy));
2696         if (err) {
2697                 dev_err(&pdev->dev, "failed to init the phy\n");
2698                 goto err_phy;
2699         }
2700         spin_lock_init(&udc->lock);
2701         udc->stopped = 1;
2702         udc->pdev = pdev;
2703         udc->has_hostpc = tegra_usb_phy_has_hostpc(udc->phy) ? 1 : 0;
2704         platform_set_drvdata(pdev, udc);
2705
2706         /* Initialize the udc structure including QH members */
2707         err = tegra_udc_setup_qh(udc);
2708         if (err) {
2709                 dev_err(&pdev->dev, "failed to setup udc QH\n");
2710                 goto err_phy;
2711         }
2712
2713         /* Initialize usb hw reg except for regs for EP,
2714          * leave usbintr reg untouched */
2715         err = dr_controller_setup(udc);
2716         if (err) {
2717                 dev_err(&pdev->dev, "failed to setup udc controller\n");
2718                 goto err_phy;
2719         }
2720
2721         err = tegra_udc_setup_gadget_dev(udc);
2722         if (err) {
2723                 dev_err(&pdev->dev, "failed to setup udc gadget device\n");
2724                 goto err_phy;
2725         }
2726
2727         err = tegra_udc_ep_setup(udc);
2728         if (err) {
2729                 dev_err(&pdev->dev, "failed to setup end points\n");
2730                 goto err_unregister;
2731         }
2732
2733         /* Use dma_pool for TD management */
2734         udc->td_pool = dma_pool_create("udc_td", &pdev->dev,
2735                         sizeof(struct ep_td_struct),
2736                         DTD_ALIGNMENT, UDC_DMA_BOUNDARY);
2737         if (!udc->td_pool) {
2738                 err = -ENOMEM;
2739                 goto err_unregister;
2740         }
2741
2742         err = usb_add_gadget_udc(&pdev->dev, &udc->gadget);
2743         if (err)
2744                 goto err_del_udc;
2745 #ifdef CONFIG_TEGRA_GADGET_BOOST_CPU_FREQ
2746         boost_cpufreq_work_flag = 1;
2747         ep_queue_request_count = 0;
2748         INIT_WORK(&udc->boost_cpufreq_work,
2749                                         tegra_udc_boost_cpu_frequency_work);
2750         pm_qos_add_request(&boost_cpu_freq_req, PM_QOS_CPU_FREQ_MIN,
2751                                         PM_QOS_DEFAULT_VALUE);
2752 #endif
2753
2754         /* Create work for controlling clocks to the phy if otg is disabled */
2755         INIT_WORK(&udc->irq_work, tegra_udc_irq_work);
2756         /* Create a delayed work for detecting the USB charger */
2757         INIT_DELAYED_WORK(&udc->work, tegra_udc_charger_detect_work);
2758         INIT_WORK(&udc->charger_work, tegra_udc_set_current_limit_work);
2759
2760         /* Get the regulator for drawing the vbus current in udc driver */
2761         udc->vbus_reg = regulator_get(NULL, "usb_bat_chg");
2762         if (IS_ERR(udc->vbus_reg)) {
2763                 dev_info(&pdev->dev,
2764                         "usb_bat_chg regulator not registered:"
2765                                 " USB charging will not be enabled\n");
2766                 udc->vbus_reg = NULL;
2767         }
2768
2769 #ifdef CONFIG_USB_OTG_UTILS
2770         if (tegra_usb_phy_otg_supported(udc->phy))
2771                 udc->transceiver = usb_get_transceiver();
2772 #else
2773                 udc->transceiver = usb_get_transceiver();
2774 #endif
2775
2776         if (udc->transceiver) {
2777                 dr_controller_stop(udc);
2778                 dr_controller_reset(udc);
2779                 tegra_usb_phy_power_off(udc->phy);
2780                 udc->vbus_active = 0;
2781                 udc->usb_state = USB_STATE_DEFAULT;
2782                 otg_set_peripheral(udc->transceiver->otg, &udc->gadget);
2783         }
2784
2785 #ifndef CONFIG_USB_OTG_UTILS
2786         /* Power down the phy if cable is not connected */
2787         if (!vbus_enabled(udc))
2788                 tegra_usb_phy_power_off(udc->phy);
2789 #endif
2790
2791         DBG("%s(%d) END\n", __func__, __LINE__);
2792         return 0;
2793
2794 err_del_udc:
2795         dma_pool_destroy(udc->td_pool);
2796
2797 err_unregister:
2798         device_unregister(&udc->gadget.dev);
2799
2800 err_phy:
2801         usb_phy_shutdown(get_usb_phy(udc->phy));
2802
2803 err_irq:
2804         free_irq(udc->irq, udc);
2805
2806 err_iounmap:
2807         iounmap(udc->regs);
2808
2809 err_rel_mem_region:
2810         release_mem_region(res->start, res->end - res->start + 1);
2811
2812 err_kfree:
2813         kfree(udc);
2814
2815         return err;
2816 }
2817
2818 /* Driver removal function
2819  * Free resources and finish pending transactions
2820  */
2821 static int __exit tegra_udc_remove(struct platform_device *pdev)
2822 {
2823         struct tegra_udc *udc = platform_get_drvdata(pdev);
2824         struct resource *res = platform_get_resource(pdev, IORESOURCE_MEM, 0);
2825
2826         DECLARE_COMPLETION(done);
2827
2828         if (!udc)
2829                 return -ENODEV;
2830
2831         usb_del_gadget_udc(&udc->gadget);
2832         udc->done = &done;
2833
2834         cancel_delayed_work(&udc->work);
2835 #ifdef CONFIG_TEGRA_GADGET_BOOST_CPU_FREQ
2836         cancel_work_sync(&udc->boost_cpufreq_work);
2837 #endif
2838
2839         if (udc->vbus_reg)
2840                 regulator_put(udc->vbus_reg);
2841
2842         if (udc->transceiver)
2843                 otg_set_peripheral(udc->transceiver->otg, NULL);
2844
2845
2846         /* Free allocated memory */
2847         dma_free_coherent(&pdev->dev, STATUS_BUFFER_SIZE,
2848                                 udc->status_req->req.buf,
2849                                 udc->status_req->req.dma);
2850         kfree(udc->status_req);
2851         kfree(udc->eps);
2852
2853         dma_pool_destroy(udc->td_pool);
2854         free_irq(udc->irq, udc);
2855         iounmap(udc->regs);
2856         release_mem_region(res->start, res->end - res->start + 1);
2857
2858         device_unregister(&udc->gadget.dev);
2859         /* Free udc -- wait for the release() finished */
2860         wait_for_completion(&done);
2861
2862         return 0;
2863 }
2864
2865 static int tegra_udc_suspend(struct platform_device *pdev, pm_message_t state)
2866 {
2867         struct tegra_udc *udc = platform_get_drvdata(pdev);
2868         DBG("%s(%d) BEGIN\n", __func__, __LINE__);
2869
2870         /* If the controller is in otg mode, return */
2871         if (udc->transceiver)
2872                         return 0;
2873
2874         if (udc->vbus_active) {
2875                 spin_lock(&udc->lock);
2876                 /* Reset all internal Queues and inform client driver */
2877                 reset_queues(udc);
2878                 udc->vbus_active = 0;
2879                 udc->usb_state = USB_STATE_DEFAULT;
2880                 spin_unlock(&udc->lock);
2881         }
2882         /* Stop the controller and turn off the clocks */
2883         dr_controller_stop(udc);
2884         if (udc->transceiver)
2885                 udc->transceiver->state = OTG_STATE_UNDEFINED;
2886
2887         tegra_usb_phy_power_off(udc->phy);
2888
2889         DBG("%s(%d) END\n", __func__, __LINE__);
2890         return 0;
2891 }
2892
2893 static int tegra_udc_resume(struct platform_device *pdev)
2894 {
2895         struct tegra_udc *udc = platform_get_drvdata(pdev);
2896         DBG("%s(%d) BEGIN\n", __func__, __LINE__);
2897
2898         if (udc->transceiver)
2899                 return 0;
2900
2901         tegra_usb_phy_power_on(udc->phy);
2902         tegra_udc_restart(udc);
2903
2904         /* Power down the phy if cable is not connected */
2905         if (!vbus_enabled(udc)) {
2906                 udc->vbus_active = 0;
2907                 tegra_usb_phy_power_off(udc->phy);
2908         }
2909
2910         DBG("%s(%d) END\n", __func__, __LINE__);
2911         return 0;
2912 }
2913
2914
2915 static struct platform_driver tegra_udc_driver = {
2916         .remove  = __exit_p(tegra_udc_remove),
2917         .suspend = tegra_udc_suspend,
2918         .resume  = tegra_udc_resume,
2919         .driver  = {
2920                 .name = (char *)driver_name,
2921                 .owner = THIS_MODULE,
2922         },
2923 };
2924
2925 static int __init udc_init(void)
2926 {
2927         printk(KERN_INFO "%s (%s)\n", driver_desc, DRIVER_VERSION);
2928         return platform_driver_probe(&tegra_udc_driver, tegra_udc_probe);
2929 }
2930 module_init(udc_init);
2931 static void __exit udc_exit(void)
2932 {
2933         platform_driver_unregister(&tegra_udc_driver);
2934         printk(KERN_WARNING "%s unregistered\n", driver_desc);
2935 }
2936 module_exit(udc_exit);
2937
2938 MODULE_DESCRIPTION(DRIVER_DESC);
2939 MODULE_AUTHOR(DRIVER_AUTHOR);
2940 MODULE_LICENSE("GPL");
2941 MODULE_ALIAS("platform:tegra-udc");