2f4f0b23ea00c1579d9a3603e207c8504422ac19
[linux-2.6.git] / drivers / char / virtio_console.c
1 /*
2  * Copyright (C) 2006, 2007, 2009 Rusty Russell, IBM Corporation
3  * Copyright (C) 2009, 2010 Red Hat, Inc.
4  *
5  * This program is free software; you can redistribute it and/or modify
6  * it under the terms of the GNU General Public License as published by
7  * the Free Software Foundation; either version 2 of the License, or
8  * (at your option) any later version.
9  *
10  * This program is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13  * GNU General Public License for more details.
14  *
15  * You should have received a copy of the GNU General Public License
16  * along with this program; if not, write to the Free Software
17  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18  */
19 #include <linux/cdev.h>
20 #include <linux/debugfs.h>
21 #include <linux/device.h>
22 #include <linux/err.h>
23 #include <linux/fs.h>
24 #include <linux/init.h>
25 #include <linux/list.h>
26 #include <linux/poll.h>
27 #include <linux/sched.h>
28 #include <linux/slab.h>
29 #include <linux/spinlock.h>
30 #include <linux/virtio.h>
31 #include <linux/virtio_console.h>
32 #include <linux/wait.h>
33 #include <linux/workqueue.h>
34 #include "hvc_console.h"
35
36 /*
37  * This is a global struct for storing common data for all the devices
38  * this driver handles.
39  *
40  * Mainly, it has a linked list for all the consoles in one place so
41  * that callbacks from hvc for get_chars(), put_chars() work properly
42  * across multiple devices and multiple ports per device.
43  */
44 struct ports_driver_data {
45         /* Used for registering chardevs */
46         struct class *class;
47
48         /* Used for exporting per-port information to debugfs */
49         struct dentry *debugfs_dir;
50
51         /* Number of devices this driver is handling */
52         unsigned int index;
53
54         /*
55          * This is used to keep track of the number of hvc consoles
56          * spawned by this driver.  This number is given as the first
57          * argument to hvc_alloc().  To correctly map an initial
58          * console spawned via hvc_instantiate to the console being
59          * hooked up via hvc_alloc, we need to pass the same vtermno.
60          *
61          * We also just assume the first console being initialised was
62          * the first one that got used as the initial console.
63          */
64         unsigned int next_vtermno;
65
66         /* All the console devices handled by this driver */
67         struct list_head consoles;
68 };
69 static struct ports_driver_data pdrvdata;
70
71 DEFINE_SPINLOCK(pdrvdata_lock);
72
73 /* This struct holds information that's relevant only for console ports */
74 struct console {
75         /* We'll place all consoles in a list in the pdrvdata struct */
76         struct list_head list;
77
78         /* The hvc device associated with this console port */
79         struct hvc_struct *hvc;
80
81         /* The size of the console */
82         struct winsize ws;
83
84         /*
85          * This number identifies the number that we used to register
86          * with hvc in hvc_instantiate() and hvc_alloc(); this is the
87          * number passed on by the hvc callbacks to us to
88          * differentiate between the other console ports handled by
89          * this driver
90          */
91         u32 vtermno;
92 };
93
94 struct port_buffer {
95         char *buf;
96
97         /* size of the buffer in *buf above */
98         size_t size;
99
100         /* used length of the buffer */
101         size_t len;
102         /* offset in the buf from which to consume data */
103         size_t offset;
104 };
105
106 /*
107  * This is a per-device struct that stores data common to all the
108  * ports for that device (vdev->priv).
109  */
110 struct ports_device {
111         /*
112          * Workqueue handlers where we process deferred work after
113          * notification
114          */
115         struct work_struct control_work;
116
117         struct list_head ports;
118
119         /* To protect the list of ports */
120         spinlock_t ports_lock;
121
122         /* To protect the vq operations for the control channel */
123         spinlock_t cvq_lock;
124
125         /* The current config space is stored here */
126         struct virtio_console_config config;
127
128         /* The virtio device we're associated with */
129         struct virtio_device *vdev;
130
131         /*
132          * A couple of virtqueues for the control channel: one for
133          * guest->host transfers, one for host->guest transfers
134          */
135         struct virtqueue *c_ivq, *c_ovq;
136
137         /* Array of per-port IO virtqueues */
138         struct virtqueue **in_vqs, **out_vqs;
139
140         /* Used for numbering devices for sysfs and debugfs */
141         unsigned int drv_index;
142
143         /* Major number for this device.  Ports will be created as minors. */
144         int chr_major;
145 };
146
147 /* This struct holds the per-port data */
148 struct port {
149         /* Next port in the list, head is in the ports_device */
150         struct list_head list;
151
152         /* Pointer to the parent virtio_console device */
153         struct ports_device *portdev;
154
155         /* The current buffer from which data has to be fed to readers */
156         struct port_buffer *inbuf;
157
158         /*
159          * To protect the operations on the in_vq associated with this
160          * port.  Has to be a spinlock because it can be called from
161          * interrupt context (get_char()).
162          */
163         spinlock_t inbuf_lock;
164
165         /* Protect the operations on the out_vq. */
166         spinlock_t outvq_lock;
167
168         /* The IO vqs for this port */
169         struct virtqueue *in_vq, *out_vq;
170
171         /* File in the debugfs directory that exposes this port's information */
172         struct dentry *debugfs_file;
173
174         /*
175          * The entries in this struct will be valid if this port is
176          * hooked up to an hvc console
177          */
178         struct console cons;
179
180         /* Each port associates with a separate char device */
181         struct cdev cdev;
182         struct device *dev;
183
184         /* A waitqueue for poll() or blocking read operations */
185         wait_queue_head_t waitqueue;
186
187         /* The 'name' of the port that we expose via sysfs properties */
188         char *name;
189
190         /* The 'id' to identify the port with the Host */
191         u32 id;
192
193         bool outvq_full;
194
195         /* Is the host device open */
196         bool host_connected;
197
198         /* We should allow only one process to open a port */
199         bool guest_connected;
200 };
201
202 /* This is the very early arch-specified put chars function. */
203 static int (*early_put_chars)(u32, const char *, int);
204
205 static struct port *find_port_by_vtermno(u32 vtermno)
206 {
207         struct port *port;
208         struct console *cons;
209         unsigned long flags;
210
211         spin_lock_irqsave(&pdrvdata_lock, flags);
212         list_for_each_entry(cons, &pdrvdata.consoles, list) {
213                 if (cons->vtermno == vtermno) {
214                         port = container_of(cons, struct port, cons);
215                         goto out;
216                 }
217         }
218         port = NULL;
219 out:
220         spin_unlock_irqrestore(&pdrvdata_lock, flags);
221         return port;
222 }
223
224 static struct port *find_port_by_id(struct ports_device *portdev, u32 id)
225 {
226         struct port *port;
227         unsigned long flags;
228
229         spin_lock_irqsave(&portdev->ports_lock, flags);
230         list_for_each_entry(port, &portdev->ports, list)
231                 if (port->id == id)
232                         goto out;
233         port = NULL;
234 out:
235         spin_unlock_irqrestore(&portdev->ports_lock, flags);
236
237         return port;
238 }
239
240 static struct port *find_port_by_vq(struct ports_device *portdev,
241                                     struct virtqueue *vq)
242 {
243         struct port *port;
244         unsigned long flags;
245
246         spin_lock_irqsave(&portdev->ports_lock, flags);
247         list_for_each_entry(port, &portdev->ports, list)
248                 if (port->in_vq == vq || port->out_vq == vq)
249                         goto out;
250         port = NULL;
251 out:
252         spin_unlock_irqrestore(&portdev->ports_lock, flags);
253         return port;
254 }
255
256 static bool is_console_port(struct port *port)
257 {
258         if (port->cons.hvc)
259                 return true;
260         return false;
261 }
262
263 static inline bool use_multiport(struct ports_device *portdev)
264 {
265         /*
266          * This condition can be true when put_chars is called from
267          * early_init
268          */
269         if (!portdev->vdev)
270                 return 0;
271         return portdev->vdev->features[0] & (1 << VIRTIO_CONSOLE_F_MULTIPORT);
272 }
273
274 static void free_buf(struct port_buffer *buf)
275 {
276         kfree(buf->buf);
277         kfree(buf);
278 }
279
280 static struct port_buffer *alloc_buf(size_t buf_size)
281 {
282         struct port_buffer *buf;
283
284         buf = kmalloc(sizeof(*buf), GFP_KERNEL);
285         if (!buf)
286                 goto fail;
287         buf->buf = kzalloc(buf_size, GFP_KERNEL);
288         if (!buf->buf)
289                 goto free_buf;
290         buf->len = 0;
291         buf->offset = 0;
292         buf->size = buf_size;
293         return buf;
294
295 free_buf:
296         kfree(buf);
297 fail:
298         return NULL;
299 }
300
301 /* Callers should take appropriate locks */
302 static void *get_inbuf(struct port *port)
303 {
304         struct port_buffer *buf;
305         struct virtqueue *vq;
306         unsigned int len;
307
308         vq = port->in_vq;
309         buf = virtqueue_get_buf(vq, &len);
310         if (buf) {
311                 buf->len = len;
312                 buf->offset = 0;
313         }
314         return buf;
315 }
316
317 /*
318  * Create a scatter-gather list representing our input buffer and put
319  * it in the queue.
320  *
321  * Callers should take appropriate locks.
322  */
323 static int add_inbuf(struct virtqueue *vq, struct port_buffer *buf)
324 {
325         struct scatterlist sg[1];
326         int ret;
327
328         sg_init_one(sg, buf->buf, buf->size);
329
330         ret = virtqueue_add_buf(vq, sg, 0, 1, buf);
331         virtqueue_kick(vq);
332         return ret;
333 }
334
335 /* Discard any unread data this port has. Callers lockers. */
336 static void discard_port_data(struct port *port)
337 {
338         struct port_buffer *buf;
339         struct virtqueue *vq;
340         unsigned int len;
341         int ret;
342
343         vq = port->in_vq;
344         if (port->inbuf)
345                 buf = port->inbuf;
346         else
347                 buf = virtqueue_get_buf(vq, &len);
348
349         ret = 0;
350         while (buf) {
351                 if (add_inbuf(vq, buf) < 0) {
352                         ret++;
353                         free_buf(buf);
354                 }
355                 buf = virtqueue_get_buf(vq, &len);
356         }
357         port->inbuf = NULL;
358         if (ret)
359                 dev_warn(port->dev, "Errors adding %d buffers back to vq\n",
360                          ret);
361 }
362
363 static bool port_has_data(struct port *port)
364 {
365         unsigned long flags;
366         bool ret;
367
368         spin_lock_irqsave(&port->inbuf_lock, flags);
369         if (port->inbuf) {
370                 ret = true;
371                 goto out;
372         }
373         port->inbuf = get_inbuf(port);
374         if (port->inbuf) {
375                 ret = true;
376                 goto out;
377         }
378         ret = false;
379 out:
380         spin_unlock_irqrestore(&port->inbuf_lock, flags);
381         return ret;
382 }
383
384 static ssize_t __send_control_msg(struct ports_device *portdev, u32 port_id,
385                                   unsigned int event, unsigned int value)
386 {
387         struct scatterlist sg[1];
388         struct virtio_console_control cpkt;
389         struct virtqueue *vq;
390         unsigned int len;
391
392         if (!use_multiport(portdev))
393                 return 0;
394
395         cpkt.id = port_id;
396         cpkt.event = event;
397         cpkt.value = value;
398
399         vq = portdev->c_ovq;
400
401         sg_init_one(sg, &cpkt, sizeof(cpkt));
402         if (virtqueue_add_buf(vq, sg, 1, 0, &cpkt) >= 0) {
403                 virtqueue_kick(vq);
404                 while (!virtqueue_get_buf(vq, &len))
405                         cpu_relax();
406         }
407         return 0;
408 }
409
410 static ssize_t send_control_msg(struct port *port, unsigned int event,
411                                 unsigned int value)
412 {
413         /* Did the port get unplugged before userspace closed it? */
414         if (port->portdev)
415                 return __send_control_msg(port->portdev, port->id, event, value);
416         return 0;
417 }
418
419 /* Callers must take the port->outvq_lock */
420 static void reclaim_consumed_buffers(struct port *port)
421 {
422         void *buf;
423         unsigned int len;
424
425         while ((buf = virtqueue_get_buf(port->out_vq, &len))) {
426                 kfree(buf);
427                 port->outvq_full = false;
428         }
429 }
430
431 static ssize_t send_buf(struct port *port, void *in_buf, size_t in_count,
432                         bool nonblock)
433 {
434         struct scatterlist sg[1];
435         struct virtqueue *out_vq;
436         ssize_t ret;
437         unsigned long flags;
438         unsigned int len;
439
440         out_vq = port->out_vq;
441
442         spin_lock_irqsave(&port->outvq_lock, flags);
443
444         reclaim_consumed_buffers(port);
445
446         sg_init_one(sg, in_buf, in_count);
447         ret = virtqueue_add_buf(out_vq, sg, 1, 0, in_buf);
448
449         /* Tell Host to go! */
450         virtqueue_kick(out_vq);
451
452         if (ret < 0) {
453                 in_count = 0;
454                 goto done;
455         }
456
457         if (ret == 0)
458                 port->outvq_full = true;
459
460         if (nonblock)
461                 goto done;
462
463         /*
464          * Wait till the host acknowledges it pushed out the data we
465          * sent.  This is done for data from the hvc_console; the tty
466          * operations are performed with spinlocks held so we can't
467          * sleep here.  An alternative would be to copy the data to a
468          * buffer and relax the spinning requirement.  The downside is
469          * we need to kmalloc a GFP_ATOMIC buffer each time the
470          * console driver writes something out.
471          */
472         while (!virtqueue_get_buf(out_vq, &len))
473                 cpu_relax();
474 done:
475         spin_unlock_irqrestore(&port->outvq_lock, flags);
476         /*
477          * We're expected to return the amount of data we wrote -- all
478          * of it
479          */
480         return in_count;
481 }
482
483 /*
484  * Give out the data that's requested from the buffer that we have
485  * queued up.
486  */
487 static ssize_t fill_readbuf(struct port *port, char *out_buf, size_t out_count,
488                             bool to_user)
489 {
490         struct port_buffer *buf;
491         unsigned long flags;
492
493         if (!out_count || !port_has_data(port))
494                 return 0;
495
496         buf = port->inbuf;
497         out_count = min(out_count, buf->len - buf->offset);
498
499         if (to_user) {
500                 ssize_t ret;
501
502                 ret = copy_to_user(out_buf, buf->buf + buf->offset, out_count);
503                 if (ret)
504                         return -EFAULT;
505         } else {
506                 memcpy(out_buf, buf->buf + buf->offset, out_count);
507         }
508
509         buf->offset += out_count;
510
511         if (buf->offset == buf->len) {
512                 /*
513                  * We're done using all the data in this buffer.
514                  * Re-queue so that the Host can send us more data.
515                  */
516                 spin_lock_irqsave(&port->inbuf_lock, flags);
517                 port->inbuf = NULL;
518
519                 if (add_inbuf(port->in_vq, buf) < 0)
520                         dev_warn(port->dev, "failed add_buf\n");
521
522                 spin_unlock_irqrestore(&port->inbuf_lock, flags);
523         }
524         /* Return the number of bytes actually copied */
525         return out_count;
526 }
527
528 /* The condition that must be true for polling to end */
529 static bool will_read_block(struct port *port)
530 {
531         if (!port->guest_connected) {
532                 /* Port got hot-unplugged. Let's exit. */
533                 return false;
534         }
535         return !port_has_data(port) && port->host_connected;
536 }
537
538 static bool will_write_block(struct port *port)
539 {
540         bool ret;
541
542         if (!port->guest_connected) {
543                 /* Port got hot-unplugged. Let's exit. */
544                 return false;
545         }
546         if (!port->host_connected)
547                 return true;
548
549         spin_lock_irq(&port->outvq_lock);
550         /*
551          * Check if the Host has consumed any buffers since we last
552          * sent data (this is only applicable for nonblocking ports).
553          */
554         reclaim_consumed_buffers(port);
555         ret = port->outvq_full;
556         spin_unlock_irq(&port->outvq_lock);
557
558         return ret;
559 }
560
561 static ssize_t port_fops_read(struct file *filp, char __user *ubuf,
562                               size_t count, loff_t *offp)
563 {
564         struct port *port;
565         ssize_t ret;
566
567         port = filp->private_data;
568
569         if (!port_has_data(port)) {
570                 /*
571                  * If nothing's connected on the host just return 0 in
572                  * case of list_empty; this tells the userspace app
573                  * that there's no connection
574                  */
575                 if (!port->host_connected)
576                         return 0;
577                 if (filp->f_flags & O_NONBLOCK)
578                         return -EAGAIN;
579
580                 ret = wait_event_interruptible(port->waitqueue,
581                                                !will_read_block(port));
582                 if (ret < 0)
583                         return ret;
584         }
585         /* Port got hot-unplugged. */
586         if (!port->guest_connected)
587                 return -ENODEV;
588         /*
589          * We could've received a disconnection message while we were
590          * waiting for more data.
591          *
592          * This check is not clubbed in the if() statement above as we
593          * might receive some data as well as the host could get
594          * disconnected after we got woken up from our wait.  So we
595          * really want to give off whatever data we have and only then
596          * check for host_connected.
597          */
598         if (!port_has_data(port) && !port->host_connected)
599                 return 0;
600
601         return fill_readbuf(port, ubuf, count, true);
602 }
603
604 static ssize_t port_fops_write(struct file *filp, const char __user *ubuf,
605                                size_t count, loff_t *offp)
606 {
607         struct port *port;
608         char *buf;
609         ssize_t ret;
610         bool nonblock;
611
612         /* Userspace could be out to fool us */
613         if (!count)
614                 return 0;
615
616         port = filp->private_data;
617
618         nonblock = filp->f_flags & O_NONBLOCK;
619
620         if (will_write_block(port)) {
621                 if (nonblock)
622                         return -EAGAIN;
623
624                 ret = wait_event_interruptible(port->waitqueue,
625                                                !will_write_block(port));
626                 if (ret < 0)
627                         return ret;
628         }
629         /* Port got hot-unplugged. */
630         if (!port->guest_connected)
631                 return -ENODEV;
632
633         count = min((size_t)(32 * 1024), count);
634
635         buf = kmalloc(count, GFP_KERNEL);
636         if (!buf)
637                 return -ENOMEM;
638
639         ret = copy_from_user(buf, ubuf, count);
640         if (ret) {
641                 ret = -EFAULT;
642                 goto free_buf;
643         }
644
645         /*
646          * We now ask send_buf() to not spin for generic ports -- we
647          * can re-use the same code path that non-blocking file
648          * descriptors take for blocking file descriptors since the
649          * wait is already done and we're certain the write will go
650          * through to the host.
651          */
652         nonblock = true;
653         ret = send_buf(port, buf, count, nonblock);
654
655         if (nonblock && ret > 0)
656                 goto out;
657
658 free_buf:
659         kfree(buf);
660 out:
661         return ret;
662 }
663
664 static unsigned int port_fops_poll(struct file *filp, poll_table *wait)
665 {
666         struct port *port;
667         unsigned int ret;
668
669         port = filp->private_data;
670         poll_wait(filp, &port->waitqueue, wait);
671
672         if (!port->guest_connected) {
673                 /* Port got unplugged */
674                 return POLLHUP;
675         }
676         ret = 0;
677         if (!will_read_block(port))
678                 ret |= POLLIN | POLLRDNORM;
679         if (!will_write_block(port))
680                 ret |= POLLOUT;
681         if (!port->host_connected)
682                 ret |= POLLHUP;
683
684         return ret;
685 }
686
687 static int port_fops_release(struct inode *inode, struct file *filp)
688 {
689         struct port *port;
690
691         port = filp->private_data;
692
693         /* Notify host of port being closed */
694         send_control_msg(port, VIRTIO_CONSOLE_PORT_OPEN, 0);
695
696         spin_lock_irq(&port->inbuf_lock);
697         port->guest_connected = false;
698
699         discard_port_data(port);
700
701         spin_unlock_irq(&port->inbuf_lock);
702
703         spin_lock_irq(&port->outvq_lock);
704         reclaim_consumed_buffers(port);
705         spin_unlock_irq(&port->outvq_lock);
706
707         return 0;
708 }
709
710 static int port_fops_open(struct inode *inode, struct file *filp)
711 {
712         struct cdev *cdev = inode->i_cdev;
713         struct port *port;
714         int ret;
715
716         port = container_of(cdev, struct port, cdev);
717         filp->private_data = port;
718
719         /*
720          * Don't allow opening of console port devices -- that's done
721          * via /dev/hvc
722          */
723         if (is_console_port(port)) {
724                 ret = -ENXIO;
725                 goto out;
726         }
727
728         /* Allow only one process to open a particular port at a time */
729         spin_lock_irq(&port->inbuf_lock);
730         if (port->guest_connected) {
731                 spin_unlock_irq(&port->inbuf_lock);
732                 ret = -EMFILE;
733                 goto out;
734         }
735
736         port->guest_connected = true;
737         spin_unlock_irq(&port->inbuf_lock);
738
739         spin_lock_irq(&port->outvq_lock);
740         /*
741          * There might be a chance that we missed reclaiming a few
742          * buffers in the window of the port getting previously closed
743          * and opening now.
744          */
745         reclaim_consumed_buffers(port);
746         spin_unlock_irq(&port->outvq_lock);
747
748         /* Notify host of port being opened */
749         send_control_msg(filp->private_data, VIRTIO_CONSOLE_PORT_OPEN, 1);
750
751         return 0;
752 out:
753         return ret;
754 }
755
756 /*
757  * The file operations that we support: programs in the guest can open
758  * a console device, read from it, write to it, poll for data and
759  * close it.  The devices are at
760  *   /dev/vport<device number>p<port number>
761  */
762 static const struct file_operations port_fops = {
763         .owner = THIS_MODULE,
764         .open  = port_fops_open,
765         .read  = port_fops_read,
766         .write = port_fops_write,
767         .poll  = port_fops_poll,
768         .release = port_fops_release,
769 };
770
771 /*
772  * The put_chars() callback is pretty straightforward.
773  *
774  * We turn the characters into a scatter-gather list, add it to the
775  * output queue and then kick the Host.  Then we sit here waiting for
776  * it to finish: inefficient in theory, but in practice
777  * implementations will do it immediately (lguest's Launcher does).
778  */
779 static int put_chars(u32 vtermno, const char *buf, int count)
780 {
781         struct port *port;
782
783         if (unlikely(early_put_chars))
784                 return early_put_chars(vtermno, buf, count);
785
786         port = find_port_by_vtermno(vtermno);
787         if (!port)
788                 return -EPIPE;
789
790         return send_buf(port, (void *)buf, count, false);
791 }
792
793 /*
794  * get_chars() is the callback from the hvc_console infrastructure
795  * when an interrupt is received.
796  *
797  * We call out to fill_readbuf that gets us the required data from the
798  * buffers that are queued up.
799  */
800 static int get_chars(u32 vtermno, char *buf, int count)
801 {
802         struct port *port;
803
804         /* If we've not set up the port yet, we have no input to give. */
805         if (unlikely(early_put_chars))
806                 return 0;
807
808         port = find_port_by_vtermno(vtermno);
809         if (!port)
810                 return -EPIPE;
811
812         /* If we don't have an input queue yet, we can't get input. */
813         BUG_ON(!port->in_vq);
814
815         return fill_readbuf(port, buf, count, false);
816 }
817
818 static void resize_console(struct port *port)
819 {
820         struct virtio_device *vdev;
821
822         /* The port could have been hot-unplugged */
823         if (!port || !is_console_port(port))
824                 return;
825
826         vdev = port->portdev->vdev;
827         if (virtio_has_feature(vdev, VIRTIO_CONSOLE_F_SIZE))
828                 hvc_resize(port->cons.hvc, port->cons.ws);
829 }
830
831 /* We set the configuration at this point, since we now have a tty */
832 static int notifier_add_vio(struct hvc_struct *hp, int data)
833 {
834         struct port *port;
835
836         port = find_port_by_vtermno(hp->vtermno);
837         if (!port)
838                 return -EINVAL;
839
840         hp->irq_requested = 1;
841         resize_console(port);
842
843         return 0;
844 }
845
846 static void notifier_del_vio(struct hvc_struct *hp, int data)
847 {
848         hp->irq_requested = 0;
849 }
850
851 /* The operations for console ports. */
852 static const struct hv_ops hv_ops = {
853         .get_chars = get_chars,
854         .put_chars = put_chars,
855         .notifier_add = notifier_add_vio,
856         .notifier_del = notifier_del_vio,
857         .notifier_hangup = notifier_del_vio,
858 };
859
860 /*
861  * Console drivers are initialized very early so boot messages can go
862  * out, so we do things slightly differently from the generic virtio
863  * initialization of the net and block drivers.
864  *
865  * At this stage, the console is output-only.  It's too early to set
866  * up a virtqueue, so we let the drivers do some boutique early-output
867  * thing.
868  */
869 int __init virtio_cons_early_init(int (*put_chars)(u32, const char *, int))
870 {
871         early_put_chars = put_chars;
872         return hvc_instantiate(0, 0, &hv_ops);
873 }
874
875 int init_port_console(struct port *port)
876 {
877         int ret;
878
879         /*
880          * The Host's telling us this port is a console port.  Hook it
881          * up with an hvc console.
882          *
883          * To set up and manage our virtual console, we call
884          * hvc_alloc().
885          *
886          * The first argument of hvc_alloc() is the virtual console
887          * number.  The second argument is the parameter for the
888          * notification mechanism (like irq number).  We currently
889          * leave this as zero, virtqueues have implicit notifications.
890          *
891          * The third argument is a "struct hv_ops" containing the
892          * put_chars() get_chars(), notifier_add() and notifier_del()
893          * pointers.  The final argument is the output buffer size: we
894          * can do any size, so we put PAGE_SIZE here.
895          */
896         port->cons.vtermno = pdrvdata.next_vtermno;
897
898         port->cons.hvc = hvc_alloc(port->cons.vtermno, 0, &hv_ops, PAGE_SIZE);
899         if (IS_ERR(port->cons.hvc)) {
900                 ret = PTR_ERR(port->cons.hvc);
901                 dev_err(port->dev,
902                         "error %d allocating hvc for port\n", ret);
903                 port->cons.hvc = NULL;
904                 return ret;
905         }
906         spin_lock_irq(&pdrvdata_lock);
907         pdrvdata.next_vtermno++;
908         list_add_tail(&port->cons.list, &pdrvdata.consoles);
909         spin_unlock_irq(&pdrvdata_lock);
910         port->guest_connected = true;
911
912         /*
913          * Start using the new console output if this is the first
914          * console to come up.
915          */
916         if (early_put_chars)
917                 early_put_chars = NULL;
918
919         /* Notify host of port being opened */
920         send_control_msg(port, VIRTIO_CONSOLE_PORT_OPEN, 1);
921
922         return 0;
923 }
924
925 static ssize_t show_port_name(struct device *dev,
926                               struct device_attribute *attr, char *buffer)
927 {
928         struct port *port;
929
930         port = dev_get_drvdata(dev);
931
932         return sprintf(buffer, "%s\n", port->name);
933 }
934
935 static DEVICE_ATTR(name, S_IRUGO, show_port_name, NULL);
936
937 static struct attribute *port_sysfs_entries[] = {
938         &dev_attr_name.attr,
939         NULL
940 };
941
942 static struct attribute_group port_attribute_group = {
943         .name = NULL,           /* put in device directory */
944         .attrs = port_sysfs_entries,
945 };
946
947 static int debugfs_open(struct inode *inode, struct file *filp)
948 {
949         filp->private_data = inode->i_private;
950         return 0;
951 }
952
953 static ssize_t debugfs_read(struct file *filp, char __user *ubuf,
954                             size_t count, loff_t *offp)
955 {
956         struct port *port;
957         char *buf;
958         ssize_t ret, out_offset, out_count;
959
960         out_count = 1024;
961         buf = kmalloc(out_count, GFP_KERNEL);
962         if (!buf)
963                 return -ENOMEM;
964
965         port = filp->private_data;
966         out_offset = 0;
967         out_offset += snprintf(buf + out_offset, out_count,
968                                "name: %s\n", port->name ? port->name : "");
969         out_offset += snprintf(buf + out_offset, out_count - out_offset,
970                                "guest_connected: %d\n", port->guest_connected);
971         out_offset += snprintf(buf + out_offset, out_count - out_offset,
972                                "host_connected: %d\n", port->host_connected);
973         out_offset += snprintf(buf + out_offset, out_count - out_offset,
974                                "outvq_full: %d\n", port->outvq_full);
975         out_offset += snprintf(buf + out_offset, out_count - out_offset,
976                                "is_console: %s\n",
977                                is_console_port(port) ? "yes" : "no");
978         out_offset += snprintf(buf + out_offset, out_count - out_offset,
979                                "console_vtermno: %u\n", port->cons.vtermno);
980
981         ret = simple_read_from_buffer(ubuf, count, offp, buf, out_offset);
982         kfree(buf);
983         return ret;
984 }
985
986 static const struct file_operations port_debugfs_ops = {
987         .owner = THIS_MODULE,
988         .open  = debugfs_open,
989         .read  = debugfs_read,
990 };
991
992 static void set_console_size(struct port *port, u16 rows, u16 cols)
993 {
994         if (!port || !is_console_port(port))
995                 return;
996
997         port->cons.ws.ws_row = rows;
998         port->cons.ws.ws_col = cols;
999 }
1000
1001 static unsigned int fill_queue(struct virtqueue *vq, spinlock_t *lock)
1002 {
1003         struct port_buffer *buf;
1004         unsigned int nr_added_bufs;
1005         int ret;
1006
1007         nr_added_bufs = 0;
1008         do {
1009                 buf = alloc_buf(PAGE_SIZE);
1010                 if (!buf)
1011                         break;
1012
1013                 spin_lock_irq(lock);
1014                 ret = add_inbuf(vq, buf);
1015                 if (ret < 0) {
1016                         spin_unlock_irq(lock);
1017                         free_buf(buf);
1018                         break;
1019                 }
1020                 nr_added_bufs++;
1021                 spin_unlock_irq(lock);
1022         } while (ret > 0);
1023
1024         return nr_added_bufs;
1025 }
1026
1027 static int add_port(struct ports_device *portdev, u32 id)
1028 {
1029         char debugfs_name[16];
1030         struct port *port;
1031         struct port_buffer *buf;
1032         dev_t devt;
1033         unsigned int nr_added_bufs;
1034         int err;
1035
1036         port = kmalloc(sizeof(*port), GFP_KERNEL);
1037         if (!port) {
1038                 err = -ENOMEM;
1039                 goto fail;
1040         }
1041
1042         port->portdev = portdev;
1043         port->id = id;
1044
1045         port->name = NULL;
1046         port->inbuf = NULL;
1047         port->cons.hvc = NULL;
1048
1049         port->cons.ws.ws_row = port->cons.ws.ws_col = 0;
1050
1051         port->host_connected = port->guest_connected = false;
1052
1053         port->outvq_full = false;
1054
1055         port->in_vq = portdev->in_vqs[port->id];
1056         port->out_vq = portdev->out_vqs[port->id];
1057
1058         cdev_init(&port->cdev, &port_fops);
1059
1060         devt = MKDEV(portdev->chr_major, id);
1061         err = cdev_add(&port->cdev, devt, 1);
1062         if (err < 0) {
1063                 dev_err(&port->portdev->vdev->dev,
1064                         "Error %d adding cdev for port %u\n", err, id);
1065                 goto free_port;
1066         }
1067         port->dev = device_create(pdrvdata.class, &port->portdev->vdev->dev,
1068                                   devt, port, "vport%up%u",
1069                                   port->portdev->drv_index, id);
1070         if (IS_ERR(port->dev)) {
1071                 err = PTR_ERR(port->dev);
1072                 dev_err(&port->portdev->vdev->dev,
1073                         "Error %d creating device for port %u\n",
1074                         err, id);
1075                 goto free_cdev;
1076         }
1077
1078         spin_lock_init(&port->inbuf_lock);
1079         spin_lock_init(&port->outvq_lock);
1080         init_waitqueue_head(&port->waitqueue);
1081
1082         /* Fill the in_vq with buffers so the host can send us data. */
1083         nr_added_bufs = fill_queue(port->in_vq, &port->inbuf_lock);
1084         if (!nr_added_bufs) {
1085                 dev_err(port->dev, "Error allocating inbufs\n");
1086                 err = -ENOMEM;
1087                 goto free_device;
1088         }
1089
1090         /*
1091          * If we're not using multiport support, this has to be a console port
1092          */
1093         if (!use_multiport(port->portdev)) {
1094                 err = init_port_console(port);
1095                 if (err)
1096                         goto free_inbufs;
1097         }
1098
1099         spin_lock_irq(&portdev->ports_lock);
1100         list_add_tail(&port->list, &port->portdev->ports);
1101         spin_unlock_irq(&portdev->ports_lock);
1102
1103         /*
1104          * Tell the Host we're set so that it can send us various
1105          * configuration parameters for this port (eg, port name,
1106          * caching, whether this is a console port, etc.)
1107          */
1108         send_control_msg(port, VIRTIO_CONSOLE_PORT_READY, 1);
1109
1110         if (pdrvdata.debugfs_dir) {
1111                 /*
1112                  * Finally, create the debugfs file that we can use to
1113                  * inspect a port's state at any time
1114                  */
1115                 sprintf(debugfs_name, "vport%up%u",
1116                         port->portdev->drv_index, id);
1117                 port->debugfs_file = debugfs_create_file(debugfs_name, 0444,
1118                                                          pdrvdata.debugfs_dir,
1119                                                          port,
1120                                                          &port_debugfs_ops);
1121         }
1122         return 0;
1123
1124 free_inbufs:
1125         while ((buf = virtqueue_detach_unused_buf(port->in_vq)))
1126                 free_buf(buf);
1127 free_device:
1128         device_destroy(pdrvdata.class, port->dev->devt);
1129 free_cdev:
1130         cdev_del(&port->cdev);
1131 free_port:
1132         kfree(port);
1133 fail:
1134         /* The host might want to notify management sw about port add failure */
1135         __send_control_msg(portdev, id, VIRTIO_CONSOLE_PORT_READY, 0);
1136         return err;
1137 }
1138
1139 /* Remove all port-specific data. */
1140 static void remove_port(struct port *port)
1141 {
1142         struct port_buffer *buf;
1143
1144         if (port->guest_connected) {
1145                 port->guest_connected = false;
1146                 port->host_connected = false;
1147                 wake_up_interruptible(&port->waitqueue);
1148                 send_control_msg(port, VIRTIO_CONSOLE_PORT_OPEN, 0);
1149         }
1150
1151         spin_lock_irq(&port->portdev->ports_lock);
1152         list_del(&port->list);
1153         spin_unlock_irq(&port->portdev->ports_lock);
1154
1155         if (is_console_port(port)) {
1156                 spin_lock_irq(&pdrvdata_lock);
1157                 list_del(&port->cons.list);
1158                 spin_unlock_irq(&pdrvdata_lock);
1159 #if 0
1160                 /*
1161                  * hvc_remove() not called as removing one hvc port
1162                  * results in other hvc ports getting frozen.
1163                  *
1164                  * Once this is resolved in hvc, this functionality
1165                  * will be enabled.  Till that is done, the -EPIPE
1166                  * return from get_chars() above will help
1167                  * hvc_console.c to clean up on ports we remove here.
1168                  */
1169                 hvc_remove(port->cons.hvc);
1170 #endif
1171         }
1172         sysfs_remove_group(&port->dev->kobj, &port_attribute_group);
1173         device_destroy(pdrvdata.class, port->dev->devt);
1174         cdev_del(&port->cdev);
1175
1176         /* Remove unused data this port might have received. */
1177         discard_port_data(port);
1178
1179         reclaim_consumed_buffers(port);
1180
1181         /* Remove buffers we queued up for the Host to send us data in. */
1182         while ((buf = virtqueue_detach_unused_buf(port->in_vq)))
1183                 free_buf(buf);
1184
1185         kfree(port->name);
1186
1187         debugfs_remove(port->debugfs_file);
1188
1189         kfree(port);
1190 }
1191
1192 /* Any private messages that the Host and Guest want to share */
1193 static void handle_control_message(struct ports_device *portdev,
1194                                    struct port_buffer *buf)
1195 {
1196         struct virtio_console_control *cpkt;
1197         struct port *port;
1198         size_t name_size;
1199         int err;
1200
1201         cpkt = (struct virtio_console_control *)(buf->buf + buf->offset);
1202
1203         port = find_port_by_id(portdev, cpkt->id);
1204         if (!port && cpkt->event != VIRTIO_CONSOLE_PORT_ADD) {
1205                 /* No valid header at start of buffer.  Drop it. */
1206                 dev_dbg(&portdev->vdev->dev,
1207                         "Invalid index %u in control packet\n", cpkt->id);
1208                 return;
1209         }
1210
1211         switch (cpkt->event) {
1212         case VIRTIO_CONSOLE_PORT_ADD:
1213                 if (port) {
1214                         dev_dbg(&portdev->vdev->dev,
1215                                 "Port %u already added\n", port->id);
1216                         send_control_msg(port, VIRTIO_CONSOLE_PORT_READY, 1);
1217                         break;
1218                 }
1219                 if (cpkt->id >= portdev->config.max_nr_ports) {
1220                         dev_warn(&portdev->vdev->dev,
1221                                 "Request for adding port with out-of-bound id %u, max. supported id: %u\n",
1222                                 cpkt->id, portdev->config.max_nr_ports - 1);
1223                         break;
1224                 }
1225                 add_port(portdev, cpkt->id);
1226                 break;
1227         case VIRTIO_CONSOLE_PORT_REMOVE:
1228                 remove_port(port);
1229                 break;
1230         case VIRTIO_CONSOLE_CONSOLE_PORT:
1231                 if (!cpkt->value)
1232                         break;
1233                 if (is_console_port(port))
1234                         break;
1235
1236                 init_port_console(port);
1237                 /*
1238                  * Could remove the port here in case init fails - but
1239                  * have to notify the host first.
1240                  */
1241                 break;
1242         case VIRTIO_CONSOLE_RESIZE: {
1243                 struct {
1244                         __u16 rows;
1245                         __u16 cols;
1246                 } size;
1247
1248                 if (!is_console_port(port))
1249                         break;
1250
1251                 memcpy(&size, buf->buf + buf->offset + sizeof(*cpkt),
1252                        sizeof(size));
1253                 set_console_size(port, size.rows, size.cols);
1254
1255                 port->cons.hvc->irq_requested = 1;
1256                 resize_console(port);
1257                 break;
1258         }
1259         case VIRTIO_CONSOLE_PORT_OPEN:
1260                 port->host_connected = cpkt->value;
1261                 wake_up_interruptible(&port->waitqueue);
1262                 /*
1263                  * If the host port got closed and the host had any
1264                  * unconsumed buffers, we'll be able to reclaim them
1265                  * now.
1266                  */
1267                 spin_lock_irq(&port->outvq_lock);
1268                 reclaim_consumed_buffers(port);
1269                 spin_unlock_irq(&port->outvq_lock);
1270                 break;
1271         case VIRTIO_CONSOLE_PORT_NAME:
1272                 /*
1273                  * Skip the size of the header and the cpkt to get the size
1274                  * of the name that was sent
1275                  */
1276                 name_size = buf->len - buf->offset - sizeof(*cpkt) + 1;
1277
1278                 port->name = kmalloc(name_size, GFP_KERNEL);
1279                 if (!port->name) {
1280                         dev_err(port->dev,
1281                                 "Not enough space to store port name\n");
1282                         break;
1283                 }
1284                 strncpy(port->name, buf->buf + buf->offset + sizeof(*cpkt),
1285                         name_size - 1);
1286                 port->name[name_size - 1] = 0;
1287
1288                 /*
1289                  * Since we only have one sysfs attribute, 'name',
1290                  * create it only if we have a name for the port.
1291                  */
1292                 err = sysfs_create_group(&port->dev->kobj,
1293                                          &port_attribute_group);
1294                 if (err) {
1295                         dev_err(port->dev,
1296                                 "Error %d creating sysfs device attributes\n",
1297                                 err);
1298                 } else {
1299                         /*
1300                          * Generate a udev event so that appropriate
1301                          * symlinks can be created based on udev
1302                          * rules.
1303                          */
1304                         kobject_uevent(&port->dev->kobj, KOBJ_CHANGE);
1305                 }
1306                 break;
1307         }
1308 }
1309
1310 static void control_work_handler(struct work_struct *work)
1311 {
1312         struct ports_device *portdev;
1313         struct virtqueue *vq;
1314         struct port_buffer *buf;
1315         unsigned int len;
1316
1317         portdev = container_of(work, struct ports_device, control_work);
1318         vq = portdev->c_ivq;
1319
1320         spin_lock(&portdev->cvq_lock);
1321         while ((buf = virtqueue_get_buf(vq, &len))) {
1322                 spin_unlock(&portdev->cvq_lock);
1323
1324                 buf->len = len;
1325                 buf->offset = 0;
1326
1327                 handle_control_message(portdev, buf);
1328
1329                 spin_lock(&portdev->cvq_lock);
1330                 if (add_inbuf(portdev->c_ivq, buf) < 0) {
1331                         dev_warn(&portdev->vdev->dev,
1332                                  "Error adding buffer to queue\n");
1333                         free_buf(buf);
1334                 }
1335         }
1336         spin_unlock(&portdev->cvq_lock);
1337 }
1338
1339 static void in_intr(struct virtqueue *vq)
1340 {
1341         struct port *port;
1342         unsigned long flags;
1343
1344         port = find_port_by_vq(vq->vdev->priv, vq);
1345         if (!port)
1346                 return;
1347
1348         spin_lock_irqsave(&port->inbuf_lock, flags);
1349         if (!port->inbuf)
1350                 port->inbuf = get_inbuf(port);
1351
1352         /*
1353          * Don't queue up data when port is closed.  This condition
1354          * can be reached when a console port is not yet connected (no
1355          * tty is spawned) and the host sends out data to console
1356          * ports.  For generic serial ports, the host won't
1357          * (shouldn't) send data till the guest is connected.
1358          */
1359         if (!port->guest_connected)
1360                 discard_port_data(port);
1361
1362         spin_unlock_irqrestore(&port->inbuf_lock, flags);
1363
1364         wake_up_interruptible(&port->waitqueue);
1365
1366         if (is_console_port(port) && hvc_poll(port->cons.hvc))
1367                 hvc_kick();
1368 }
1369
1370 static void control_intr(struct virtqueue *vq)
1371 {
1372         struct ports_device *portdev;
1373
1374         portdev = vq->vdev->priv;
1375         schedule_work(&portdev->control_work);
1376 }
1377
1378 static void config_intr(struct virtio_device *vdev)
1379 {
1380         struct ports_device *portdev;
1381
1382         portdev = vdev->priv;
1383
1384         if (!use_multiport(portdev)) {
1385                 struct port *port;
1386                 u16 rows, cols;
1387
1388                 vdev->config->get(vdev,
1389                                   offsetof(struct virtio_console_config, cols),
1390                                   &cols, sizeof(u16));
1391                 vdev->config->get(vdev,
1392                                   offsetof(struct virtio_console_config, rows),
1393                                   &rows, sizeof(u16));
1394
1395                 port = find_port_by_id(portdev, 0);
1396                 set_console_size(port, rows, cols);
1397
1398                 /*
1399                  * We'll use this way of resizing only for legacy
1400                  * support.  For newer userspace
1401                  * (VIRTIO_CONSOLE_F_MULTPORT+), use control messages
1402                  * to indicate console size changes so that it can be
1403                  * done per-port.
1404                  */
1405                 resize_console(port);
1406         }
1407 }
1408
1409 static int init_vqs(struct ports_device *portdev)
1410 {
1411         vq_callback_t **io_callbacks;
1412         char **io_names;
1413         struct virtqueue **vqs;
1414         u32 i, j, nr_ports, nr_queues;
1415         int err;
1416
1417         nr_ports = portdev->config.max_nr_ports;
1418         nr_queues = use_multiport(portdev) ? (nr_ports + 1) * 2 : 2;
1419
1420         vqs = kmalloc(nr_queues * sizeof(struct virtqueue *), GFP_KERNEL);
1421         if (!vqs) {
1422                 err = -ENOMEM;
1423                 goto fail;
1424         }
1425         io_callbacks = kmalloc(nr_queues * sizeof(vq_callback_t *), GFP_KERNEL);
1426         if (!io_callbacks) {
1427                 err = -ENOMEM;
1428                 goto free_vqs;
1429         }
1430         io_names = kmalloc(nr_queues * sizeof(char *), GFP_KERNEL);
1431         if (!io_names) {
1432                 err = -ENOMEM;
1433                 goto free_callbacks;
1434         }
1435         portdev->in_vqs = kmalloc(nr_ports * sizeof(struct virtqueue *),
1436                                   GFP_KERNEL);
1437         if (!portdev->in_vqs) {
1438                 err = -ENOMEM;
1439                 goto free_names;
1440         }
1441         portdev->out_vqs = kmalloc(nr_ports * sizeof(struct virtqueue *),
1442                                    GFP_KERNEL);
1443         if (!portdev->out_vqs) {
1444                 err = -ENOMEM;
1445                 goto free_invqs;
1446         }
1447
1448         /*
1449          * For backward compat (newer host but older guest), the host
1450          * spawns a console port first and also inits the vqs for port
1451          * 0 before others.
1452          */
1453         j = 0;
1454         io_callbacks[j] = in_intr;
1455         io_callbacks[j + 1] = NULL;
1456         io_names[j] = "input";
1457         io_names[j + 1] = "output";
1458         j += 2;
1459
1460         if (use_multiport(portdev)) {
1461                 io_callbacks[j] = control_intr;
1462                 io_callbacks[j + 1] = NULL;
1463                 io_names[j] = "control-i";
1464                 io_names[j + 1] = "control-o";
1465
1466                 for (i = 1; i < nr_ports; i++) {
1467                         j += 2;
1468                         io_callbacks[j] = in_intr;
1469                         io_callbacks[j + 1] = NULL;
1470                         io_names[j] = "input";
1471                         io_names[j + 1] = "output";
1472                 }
1473         }
1474         /* Find the queues. */
1475         err = portdev->vdev->config->find_vqs(portdev->vdev, nr_queues, vqs,
1476                                               io_callbacks,
1477                                               (const char **)io_names);
1478         if (err)
1479                 goto free_outvqs;
1480
1481         j = 0;
1482         portdev->in_vqs[0] = vqs[0];
1483         portdev->out_vqs[0] = vqs[1];
1484         j += 2;
1485         if (use_multiport(portdev)) {
1486                 portdev->c_ivq = vqs[j];
1487                 portdev->c_ovq = vqs[j + 1];
1488
1489                 for (i = 1; i < nr_ports; i++) {
1490                         j += 2;
1491                         portdev->in_vqs[i] = vqs[j];
1492                         portdev->out_vqs[i] = vqs[j + 1];
1493                 }
1494         }
1495         kfree(io_callbacks);
1496         kfree(io_names);
1497         kfree(vqs);
1498
1499         return 0;
1500
1501 free_names:
1502         kfree(io_names);
1503 free_callbacks:
1504         kfree(io_callbacks);
1505 free_outvqs:
1506         kfree(portdev->out_vqs);
1507 free_invqs:
1508         kfree(portdev->in_vqs);
1509 free_vqs:
1510         kfree(vqs);
1511 fail:
1512         return err;
1513 }
1514
1515 static const struct file_operations portdev_fops = {
1516         .owner = THIS_MODULE,
1517 };
1518
1519 /*
1520  * Once we're further in boot, we get probed like any other virtio
1521  * device.
1522  *
1523  * If the host also supports multiple console ports, we check the
1524  * config space to see how many ports the host has spawned.  We
1525  * initialize each port found.
1526  */
1527 static int __devinit virtcons_probe(struct virtio_device *vdev)
1528 {
1529         struct ports_device *portdev;
1530         int err;
1531         bool multiport;
1532
1533         portdev = kmalloc(sizeof(*portdev), GFP_KERNEL);
1534         if (!portdev) {
1535                 err = -ENOMEM;
1536                 goto fail;
1537         }
1538
1539         /* Attach this portdev to this virtio_device, and vice-versa. */
1540         portdev->vdev = vdev;
1541         vdev->priv = portdev;
1542
1543         spin_lock_irq(&pdrvdata_lock);
1544         portdev->drv_index = pdrvdata.index++;
1545         spin_unlock_irq(&pdrvdata_lock);
1546
1547         portdev->chr_major = register_chrdev(0, "virtio-portsdev",
1548                                              &portdev_fops);
1549         if (portdev->chr_major < 0) {
1550                 dev_err(&vdev->dev,
1551                         "Error %d registering chrdev for device %u\n",
1552                         portdev->chr_major, portdev->drv_index);
1553                 err = portdev->chr_major;
1554                 goto free;
1555         }
1556
1557         multiport = false;
1558         portdev->config.max_nr_ports = 1;
1559         if (virtio_has_feature(vdev, VIRTIO_CONSOLE_F_MULTIPORT)) {
1560                 multiport = true;
1561                 vdev->features[0] |= 1 << VIRTIO_CONSOLE_F_MULTIPORT;
1562
1563                 vdev->config->get(vdev, offsetof(struct virtio_console_config,
1564                                                  max_nr_ports),
1565                                   &portdev->config.max_nr_ports,
1566                                   sizeof(portdev->config.max_nr_ports));
1567         }
1568
1569         /* Let the Host know we support multiple ports.*/
1570         vdev->config->finalize_features(vdev);
1571
1572         err = init_vqs(portdev);
1573         if (err < 0) {
1574                 dev_err(&vdev->dev, "Error %d initializing vqs\n", err);
1575                 goto free_chrdev;
1576         }
1577
1578         spin_lock_init(&portdev->ports_lock);
1579         INIT_LIST_HEAD(&portdev->ports);
1580
1581         if (multiport) {
1582                 unsigned int nr_added_bufs;
1583
1584                 spin_lock_init(&portdev->cvq_lock);
1585                 INIT_WORK(&portdev->control_work, &control_work_handler);
1586
1587                 nr_added_bufs = fill_queue(portdev->c_ivq, &portdev->cvq_lock);
1588                 if (!nr_added_bufs) {
1589                         dev_err(&vdev->dev,
1590                                 "Error allocating buffers for control queue\n");
1591                         err = -ENOMEM;
1592                         goto free_vqs;
1593                 }
1594         } else {
1595                 /*
1596                  * For backward compatibility: Create a console port
1597                  * if we're running on older host.
1598                  */
1599                 add_port(portdev, 0);
1600         }
1601
1602         __send_control_msg(portdev, VIRTIO_CONSOLE_BAD_ID,
1603                            VIRTIO_CONSOLE_DEVICE_READY, 1);
1604         return 0;
1605
1606 free_vqs:
1607         /* The host might want to notify mgmt sw about device add failure */
1608         __send_control_msg(portdev, VIRTIO_CONSOLE_BAD_ID,
1609                            VIRTIO_CONSOLE_DEVICE_READY, 0);
1610         vdev->config->del_vqs(vdev);
1611         kfree(portdev->in_vqs);
1612         kfree(portdev->out_vqs);
1613 free_chrdev:
1614         unregister_chrdev(portdev->chr_major, "virtio-portsdev");
1615 free:
1616         kfree(portdev);
1617 fail:
1618         return err;
1619 }
1620
1621 static void virtcons_remove(struct virtio_device *vdev)
1622 {
1623         struct ports_device *portdev;
1624         struct port *port, *port2;
1625
1626         portdev = vdev->priv;
1627
1628         /* Disable interrupts for vqs */
1629         vdev->config->reset(vdev);
1630         /* Finish up work that's lined up */
1631         cancel_work_sync(&portdev->control_work);
1632
1633         list_for_each_entry_safe(port, port2, &portdev->ports, list)
1634                 remove_port(port);
1635
1636         unregister_chrdev(portdev->chr_major, "virtio-portsdev");
1637
1638         if (use_multiport(portdev)) {
1639                 struct port_buffer *buf;
1640                 unsigned int len;
1641
1642                 while ((buf = virtqueue_get_buf(portdev->c_ivq, &len)))
1643                         free_buf(buf);
1644
1645                 while ((buf = virtqueue_detach_unused_buf(portdev->c_ivq)))
1646                         free_buf(buf);
1647         }
1648
1649         vdev->config->del_vqs(vdev);
1650         kfree(portdev->in_vqs);
1651         kfree(portdev->out_vqs);
1652
1653         kfree(portdev);
1654 }
1655
1656 static struct virtio_device_id id_table[] = {
1657         { VIRTIO_ID_CONSOLE, VIRTIO_DEV_ANY_ID },
1658         { 0 },
1659 };
1660
1661 static unsigned int features[] = {
1662         VIRTIO_CONSOLE_F_SIZE,
1663         VIRTIO_CONSOLE_F_MULTIPORT,
1664 };
1665
1666 static struct virtio_driver virtio_console = {
1667         .feature_table = features,
1668         .feature_table_size = ARRAY_SIZE(features),
1669         .driver.name =  KBUILD_MODNAME,
1670         .driver.owner = THIS_MODULE,
1671         .id_table =     id_table,
1672         .probe =        virtcons_probe,
1673         .remove =       virtcons_remove,
1674         .config_changed = config_intr,
1675 };
1676
1677 static int __init init(void)
1678 {
1679         int err;
1680
1681         pdrvdata.class = class_create(THIS_MODULE, "virtio-ports");
1682         if (IS_ERR(pdrvdata.class)) {
1683                 err = PTR_ERR(pdrvdata.class);
1684                 pr_err("Error %d creating virtio-ports class\n", err);
1685                 return err;
1686         }
1687
1688         pdrvdata.debugfs_dir = debugfs_create_dir("virtio-ports", NULL);
1689         if (!pdrvdata.debugfs_dir) {
1690                 pr_warning("Error %ld creating debugfs dir for virtio-ports\n",
1691                            PTR_ERR(pdrvdata.debugfs_dir));
1692         }
1693         INIT_LIST_HEAD(&pdrvdata.consoles);
1694
1695         return register_virtio_driver(&virtio_console);
1696 }
1697
1698 static void __exit fini(void)
1699 {
1700         unregister_virtio_driver(&virtio_console);
1701
1702         class_destroy(pdrvdata.class);
1703         if (pdrvdata.debugfs_dir)
1704                 debugfs_remove_recursive(pdrvdata.debugfs_dir);
1705 }
1706 module_init(init);
1707 module_exit(fini);
1708
1709 MODULE_DEVICE_TABLE(virtio, id_table);
1710 MODULE_DESCRIPTION("Virtio console driver");
1711 MODULE_LICENSE("GPL");