ARM: 7616/1: cache-l2x0: aurora: Use writel_relaxed instead of writel
[linux-3.10.git] / kernel / printk.c
1 /*
2  *  linux/kernel/printk.c
3  *
4  *  Copyright (C) 1991, 1992  Linus Torvalds
5  *
6  * Modified to make sys_syslog() more flexible: added commands to
7  * return the last 4k of kernel messages, regardless of whether
8  * they've been read or not.  Added option to suppress kernel printk's
9  * to the console.  Added hook for sending the console messages
10  * elsewhere, in preparation for a serial line console (someday).
11  * Ted Ts'o, 2/11/93.
12  * Modified for sysctl support, 1/8/97, Chris Horn.
13  * Fixed SMP synchronization, 08/08/99, Manfred Spraul
14  *     manfred@colorfullife.com
15  * Rewrote bits to get rid of console_lock
16  *      01Mar01 Andrew Morton
17  */
18
19 #include <linux/kernel.h>
20 #include <linux/mm.h>
21 #include <linux/tty.h>
22 #include <linux/tty_driver.h>
23 #include <linux/console.h>
24 #include <linux/init.h>
25 #include <linux/jiffies.h>
26 #include <linux/nmi.h>
27 #include <linux/module.h>
28 #include <linux/moduleparam.h>
29 #include <linux/interrupt.h>                    /* For in_interrupt() */
30 #include <linux/delay.h>
31 #include <linux/smp.h>
32 #include <linux/security.h>
33 #include <linux/bootmem.h>
34 #include <linux/memblock.h>
35 #include <linux/syscalls.h>
36 #include <linux/kexec.h>
37 #include <linux/kdb.h>
38 #include <linux/ratelimit.h>
39 #include <linux/kmsg_dump.h>
40 #include <linux/syslog.h>
41 #include <linux/cpu.h>
42 #include <linux/notifier.h>
43 #include <linux/rculist.h>
44 #include <linux/poll.h>
45
46 #include <asm/uaccess.h>
47
48 #define CREATE_TRACE_POINTS
49 #include <trace/events/printk.h>
50
51 /*
52  * Architectures can override it:
53  */
54 void asmlinkage __attribute__((weak)) early_printk(const char *fmt, ...)
55 {
56 }
57
58 /* printk's without a loglevel use this.. */
59 #define DEFAULT_MESSAGE_LOGLEVEL CONFIG_DEFAULT_MESSAGE_LOGLEVEL
60
61 /* We show everything that is MORE important than this.. */
62 #define MINIMUM_CONSOLE_LOGLEVEL 1 /* Minimum loglevel we let people use */
63 #define DEFAULT_CONSOLE_LOGLEVEL 7 /* anything MORE serious than KERN_DEBUG */
64
65 DECLARE_WAIT_QUEUE_HEAD(log_wait);
66
67 int console_printk[4] = {
68         DEFAULT_CONSOLE_LOGLEVEL,       /* console_loglevel */
69         DEFAULT_MESSAGE_LOGLEVEL,       /* default_message_loglevel */
70         MINIMUM_CONSOLE_LOGLEVEL,       /* minimum_console_loglevel */
71         DEFAULT_CONSOLE_LOGLEVEL,       /* default_console_loglevel */
72 };
73
74 /*
75  * Low level drivers may need that to know if they can schedule in
76  * their unblank() callback or not. So let's export it.
77  */
78 int oops_in_progress;
79 EXPORT_SYMBOL(oops_in_progress);
80
81 /*
82  * console_sem protects the console_drivers list, and also
83  * provides serialisation for access to the entire console
84  * driver system.
85  */
86 static DEFINE_SEMAPHORE(console_sem);
87 struct console *console_drivers;
88 EXPORT_SYMBOL_GPL(console_drivers);
89
90 #ifdef CONFIG_LOCKDEP
91 static struct lockdep_map console_lock_dep_map = {
92         .name = "console_lock"
93 };
94 #endif
95
96 /*
97  * This is used for debugging the mess that is the VT code by
98  * keeping track if we have the console semaphore held. It's
99  * definitely not the perfect debug tool (we don't know if _WE_
100  * hold it are racing, but it helps tracking those weird code
101  * path in the console code where we end up in places I want
102  * locked without the console sempahore held
103  */
104 static int console_locked, console_suspended;
105
106 /*
107  * If exclusive_console is non-NULL then only this console is to be printed to.
108  */
109 static struct console *exclusive_console;
110
111 /*
112  *      Array of consoles built from command line options (console=)
113  */
114 struct console_cmdline
115 {
116         char    name[8];                        /* Name of the driver       */
117         int     index;                          /* Minor dev. to use        */
118         char    *options;                       /* Options for the driver   */
119 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
120         char    *brl_options;                   /* Options for braille driver */
121 #endif
122 };
123
124 #define MAX_CMDLINECONSOLES 8
125
126 static struct console_cmdline console_cmdline[MAX_CMDLINECONSOLES];
127 static int selected_console = -1;
128 static int preferred_console = -1;
129 int console_set_on_cmdline;
130 EXPORT_SYMBOL(console_set_on_cmdline);
131
132 /* Flag: console code may call schedule() */
133 static int console_may_schedule;
134
135 /*
136  * The printk log buffer consists of a chain of concatenated variable
137  * length records. Every record starts with a record header, containing
138  * the overall length of the record.
139  *
140  * The heads to the first and last entry in the buffer, as well as the
141  * sequence numbers of these both entries are maintained when messages
142  * are stored..
143  *
144  * If the heads indicate available messages, the length in the header
145  * tells the start next message. A length == 0 for the next message
146  * indicates a wrap-around to the beginning of the buffer.
147  *
148  * Every record carries the monotonic timestamp in microseconds, as well as
149  * the standard userspace syslog level and syslog facility. The usual
150  * kernel messages use LOG_KERN; userspace-injected messages always carry
151  * a matching syslog facility, by default LOG_USER. The origin of every
152  * message can be reliably determined that way.
153  *
154  * The human readable log message directly follows the message header. The
155  * length of the message text is stored in the header, the stored message
156  * is not terminated.
157  *
158  * Optionally, a message can carry a dictionary of properties (key/value pairs),
159  * to provide userspace with a machine-readable message context.
160  *
161  * Examples for well-defined, commonly used property names are:
162  *   DEVICE=b12:8               device identifier
163  *                                b12:8         block dev_t
164  *                                c127:3        char dev_t
165  *                                n8            netdev ifindex
166  *                                +sound:card0  subsystem:devname
167  *   SUBSYSTEM=pci              driver-core subsystem name
168  *
169  * Valid characters in property names are [a-zA-Z0-9.-_]. The plain text value
170  * follows directly after a '=' character. Every property is terminated by
171  * a '\0' character. The last property is not terminated.
172  *
173  * Example of a message structure:
174  *   0000  ff 8f 00 00 00 00 00 00      monotonic time in nsec
175  *   0008  34 00                        record is 52 bytes long
176  *   000a        0b 00                  text is 11 bytes long
177  *   000c              1f 00            dictionary is 23 bytes long
178  *   000e                    03 00      LOG_KERN (facility) LOG_ERR (level)
179  *   0010  69 74 27 73 20 61 20 6c      "it's a l"
180  *         69 6e 65                     "ine"
181  *   001b           44 45 56 49 43      "DEVIC"
182  *         45 3d 62 38 3a 32 00 44      "E=b8:2\0D"
183  *         52 49 56 45 52 3d 62 75      "RIVER=bu"
184  *         67                           "g"
185  *   0032     00 00 00                  padding to next message header
186  *
187  * The 'struct log' buffer header must never be directly exported to
188  * userspace, it is a kernel-private implementation detail that might
189  * need to be changed in the future, when the requirements change.
190  *
191  * /dev/kmsg exports the structured data in the following line format:
192  *   "level,sequnum,timestamp;<message text>\n"
193  *
194  * The optional key/value pairs are attached as continuation lines starting
195  * with a space character and terminated by a newline. All possible
196  * non-prinatable characters are escaped in the "\xff" notation.
197  *
198  * Users of the export format should ignore possible additional values
199  * separated by ',', and find the message after the ';' character.
200  */
201
202 enum log_flags {
203         LOG_NOCONS      = 1,    /* already flushed, do not print to console */
204         LOG_NEWLINE     = 2,    /* text ended with a newline */
205         LOG_PREFIX      = 4,    /* text started with a prefix */
206         LOG_CONT        = 8,    /* text is a fragment of a continuation line */
207 };
208
209 struct log {
210         u64 ts_nsec;            /* timestamp in nanoseconds */
211         u16 len;                /* length of entire record */
212         u16 text_len;           /* length of text buffer */
213         u16 dict_len;           /* length of dictionary buffer */
214         u8 facility;            /* syslog facility */
215         u8 flags:5;             /* internal record flags */
216         u8 level:3;             /* syslog level */
217 };
218
219 /*
220  * The logbuf_lock protects kmsg buffer, indices, counters. It is also
221  * used in interesting ways to provide interlocking in console_unlock();
222  */
223 static DEFINE_RAW_SPINLOCK(logbuf_lock);
224
225 #ifdef CONFIG_PRINTK
226 /* the next printk record to read by syslog(READ) or /proc/kmsg */
227 static u64 syslog_seq;
228 static u32 syslog_idx;
229 static enum log_flags syslog_prev;
230 static size_t syslog_partial;
231
232 /* index and sequence number of the first record stored in the buffer */
233 static u64 log_first_seq;
234 static u32 log_first_idx;
235
236 /* index and sequence number of the next record to store in the buffer */
237 static u64 log_next_seq;
238 static u32 log_next_idx;
239
240 /* the next printk record to write to the console */
241 static u64 console_seq;
242 static u32 console_idx;
243 static enum log_flags console_prev;
244
245 /* the next printk record to read after the last 'clear' command */
246 static u64 clear_seq;
247 static u32 clear_idx;
248
249 #define PREFIX_MAX              32
250 #define LOG_LINE_MAX            1024 - PREFIX_MAX
251
252 /* record buffer */
253 #if defined(CONFIG_HAVE_EFFICIENT_UNALIGNED_ACCESS)
254 #define LOG_ALIGN 4
255 #else
256 #define LOG_ALIGN __alignof__(struct log)
257 #endif
258 #define __LOG_BUF_LEN (1 << CONFIG_LOG_BUF_SHIFT)
259 static char __log_buf[__LOG_BUF_LEN] __aligned(LOG_ALIGN);
260 static char *log_buf = __log_buf;
261 static u32 log_buf_len = __LOG_BUF_LEN;
262
263 /* cpu currently holding logbuf_lock */
264 static volatile unsigned int logbuf_cpu = UINT_MAX;
265
266 /* human readable text of the record */
267 static char *log_text(const struct log *msg)
268 {
269         return (char *)msg + sizeof(struct log);
270 }
271
272 /* optional key/value pair dictionary attached to the record */
273 static char *log_dict(const struct log *msg)
274 {
275         return (char *)msg + sizeof(struct log) + msg->text_len;
276 }
277
278 /* get record by index; idx must point to valid msg */
279 static struct log *log_from_idx(u32 idx)
280 {
281         struct log *msg = (struct log *)(log_buf + idx);
282
283         /*
284          * A length == 0 record is the end of buffer marker. Wrap around and
285          * read the message at the start of the buffer.
286          */
287         if (!msg->len)
288                 return (struct log *)log_buf;
289         return msg;
290 }
291
292 /* get next record; idx must point to valid msg */
293 static u32 log_next(u32 idx)
294 {
295         struct log *msg = (struct log *)(log_buf + idx);
296
297         /* length == 0 indicates the end of the buffer; wrap */
298         /*
299          * A length == 0 record is the end of buffer marker. Wrap around and
300          * read the message at the start of the buffer as *this* one, and
301          * return the one after that.
302          */
303         if (!msg->len) {
304                 msg = (struct log *)log_buf;
305                 return msg->len;
306         }
307         return idx + msg->len;
308 }
309
310 /* insert record into the buffer, discard old ones, update heads */
311 static void log_store(int facility, int level,
312                       enum log_flags flags, u64 ts_nsec,
313                       const char *dict, u16 dict_len,
314                       const char *text, u16 text_len)
315 {
316         struct log *msg;
317         u32 size, pad_len;
318
319         /* number of '\0' padding bytes to next message */
320         size = sizeof(struct log) + text_len + dict_len;
321         pad_len = (-size) & (LOG_ALIGN - 1);
322         size += pad_len;
323
324         while (log_first_seq < log_next_seq) {
325                 u32 free;
326
327                 if (log_next_idx > log_first_idx)
328                         free = max(log_buf_len - log_next_idx, log_first_idx);
329                 else
330                         free = log_first_idx - log_next_idx;
331
332                 if (free > size + sizeof(struct log))
333                         break;
334
335                 /* drop old messages until we have enough contiuous space */
336                 log_first_idx = log_next(log_first_idx);
337                 log_first_seq++;
338         }
339
340         if (log_next_idx + size + sizeof(struct log) >= log_buf_len) {
341                 /*
342                  * This message + an additional empty header does not fit
343                  * at the end of the buffer. Add an empty header with len == 0
344                  * to signify a wrap around.
345                  */
346                 memset(log_buf + log_next_idx, 0, sizeof(struct log));
347                 log_next_idx = 0;
348         }
349
350         /* fill message */
351         msg = (struct log *)(log_buf + log_next_idx);
352         memcpy(log_text(msg), text, text_len);
353         msg->text_len = text_len;
354         memcpy(log_dict(msg), dict, dict_len);
355         msg->dict_len = dict_len;
356         msg->facility = facility;
357         msg->level = level & 7;
358         msg->flags = flags & 0x1f;
359         if (ts_nsec > 0)
360                 msg->ts_nsec = ts_nsec;
361         else
362                 msg->ts_nsec = local_clock();
363         memset(log_dict(msg) + dict_len, 0, pad_len);
364         msg->len = sizeof(struct log) + text_len + dict_len + pad_len;
365
366         /* insert message */
367         log_next_idx += msg->len;
368         log_next_seq++;
369 }
370
371 /* /dev/kmsg - userspace message inject/listen interface */
372 struct devkmsg_user {
373         u64 seq;
374         u32 idx;
375         enum log_flags prev;
376         struct mutex lock;
377         char buf[8192];
378 };
379
380 static ssize_t devkmsg_writev(struct kiocb *iocb, const struct iovec *iv,
381                               unsigned long count, loff_t pos)
382 {
383         char *buf, *line;
384         int i;
385         int level = default_message_loglevel;
386         int facility = 1;       /* LOG_USER */
387         size_t len = iov_length(iv, count);
388         ssize_t ret = len;
389
390         if (len > LOG_LINE_MAX)
391                 return -EINVAL;
392         buf = kmalloc(len+1, GFP_KERNEL);
393         if (buf == NULL)
394                 return -ENOMEM;
395
396         line = buf;
397         for (i = 0; i < count; i++) {
398                 if (copy_from_user(line, iv[i].iov_base, iv[i].iov_len)) {
399                         ret = -EFAULT;
400                         goto out;
401                 }
402                 line += iv[i].iov_len;
403         }
404
405         /*
406          * Extract and skip the syslog prefix <[0-9]*>. Coming from userspace
407          * the decimal value represents 32bit, the lower 3 bit are the log
408          * level, the rest are the log facility.
409          *
410          * If no prefix or no userspace facility is specified, we
411          * enforce LOG_USER, to be able to reliably distinguish
412          * kernel-generated messages from userspace-injected ones.
413          */
414         line = buf;
415         if (line[0] == '<') {
416                 char *endp = NULL;
417
418                 i = simple_strtoul(line+1, &endp, 10);
419                 if (endp && endp[0] == '>') {
420                         level = i & 7;
421                         if (i >> 3)
422                                 facility = i >> 3;
423                         endp++;
424                         len -= endp - line;
425                         line = endp;
426                 }
427         }
428         line[len] = '\0';
429
430         printk_emit(facility, level, NULL, 0, "%s", line);
431 out:
432         kfree(buf);
433         return ret;
434 }
435
436 static ssize_t devkmsg_read(struct file *file, char __user *buf,
437                             size_t count, loff_t *ppos)
438 {
439         struct devkmsg_user *user = file->private_data;
440         struct log *msg;
441         u64 ts_usec;
442         size_t i;
443         char cont = '-';
444         size_t len;
445         ssize_t ret;
446
447         if (!user)
448                 return -EBADF;
449
450         ret = mutex_lock_interruptible(&user->lock);
451         if (ret)
452                 return ret;
453         raw_spin_lock_irq(&logbuf_lock);
454         while (user->seq == log_next_seq) {
455                 if (file->f_flags & O_NONBLOCK) {
456                         ret = -EAGAIN;
457                         raw_spin_unlock_irq(&logbuf_lock);
458                         goto out;
459                 }
460
461                 raw_spin_unlock_irq(&logbuf_lock);
462                 ret = wait_event_interruptible(log_wait,
463                                                user->seq != log_next_seq);
464                 if (ret)
465                         goto out;
466                 raw_spin_lock_irq(&logbuf_lock);
467         }
468
469         if (user->seq < log_first_seq) {
470                 /* our last seen message is gone, return error and reset */
471                 user->idx = log_first_idx;
472                 user->seq = log_first_seq;
473                 ret = -EPIPE;
474                 raw_spin_unlock_irq(&logbuf_lock);
475                 goto out;
476         }
477
478         msg = log_from_idx(user->idx);
479         ts_usec = msg->ts_nsec;
480         do_div(ts_usec, 1000);
481
482         /*
483          * If we couldn't merge continuation line fragments during the print,
484          * export the stored flags to allow an optional external merge of the
485          * records. Merging the records isn't always neccessarily correct, like
486          * when we hit a race during printing. In most cases though, it produces
487          * better readable output. 'c' in the record flags mark the first
488          * fragment of a line, '+' the following.
489          */
490         if (msg->flags & LOG_CONT && !(user->prev & LOG_CONT))
491                 cont = 'c';
492         else if ((msg->flags & LOG_CONT) ||
493                  ((user->prev & LOG_CONT) && !(msg->flags & LOG_PREFIX)))
494                 cont = '+';
495
496         len = sprintf(user->buf, "%u,%llu,%llu,%c;",
497                       (msg->facility << 3) | msg->level,
498                       user->seq, ts_usec, cont);
499         user->prev = msg->flags;
500
501         /* escape non-printable characters */
502         for (i = 0; i < msg->text_len; i++) {
503                 unsigned char c = log_text(msg)[i];
504
505                 if (c < ' ' || c >= 127 || c == '\\')
506                         len += sprintf(user->buf + len, "\\x%02x", c);
507                 else
508                         user->buf[len++] = c;
509         }
510         user->buf[len++] = '\n';
511
512         if (msg->dict_len) {
513                 bool line = true;
514
515                 for (i = 0; i < msg->dict_len; i++) {
516                         unsigned char c = log_dict(msg)[i];
517
518                         if (line) {
519                                 user->buf[len++] = ' ';
520                                 line = false;
521                         }
522
523                         if (c == '\0') {
524                                 user->buf[len++] = '\n';
525                                 line = true;
526                                 continue;
527                         }
528
529                         if (c < ' ' || c >= 127 || c == '\\') {
530                                 len += sprintf(user->buf + len, "\\x%02x", c);
531                                 continue;
532                         }
533
534                         user->buf[len++] = c;
535                 }
536                 user->buf[len++] = '\n';
537         }
538
539         user->idx = log_next(user->idx);
540         user->seq++;
541         raw_spin_unlock_irq(&logbuf_lock);
542
543         if (len > count) {
544                 ret = -EINVAL;
545                 goto out;
546         }
547
548         if (copy_to_user(buf, user->buf, len)) {
549                 ret = -EFAULT;
550                 goto out;
551         }
552         ret = len;
553 out:
554         mutex_unlock(&user->lock);
555         return ret;
556 }
557
558 static loff_t devkmsg_llseek(struct file *file, loff_t offset, int whence)
559 {
560         struct devkmsg_user *user = file->private_data;
561         loff_t ret = 0;
562
563         if (!user)
564                 return -EBADF;
565         if (offset)
566                 return -ESPIPE;
567
568         raw_spin_lock_irq(&logbuf_lock);
569         switch (whence) {
570         case SEEK_SET:
571                 /* the first record */
572                 user->idx = log_first_idx;
573                 user->seq = log_first_seq;
574                 break;
575         case SEEK_DATA:
576                 /*
577                  * The first record after the last SYSLOG_ACTION_CLEAR,
578                  * like issued by 'dmesg -c'. Reading /dev/kmsg itself
579                  * changes no global state, and does not clear anything.
580                  */
581                 user->idx = clear_idx;
582                 user->seq = clear_seq;
583                 break;
584         case SEEK_END:
585                 /* after the last record */
586                 user->idx = log_next_idx;
587                 user->seq = log_next_seq;
588                 break;
589         default:
590                 ret = -EINVAL;
591         }
592         raw_spin_unlock_irq(&logbuf_lock);
593         return ret;
594 }
595
596 static unsigned int devkmsg_poll(struct file *file, poll_table *wait)
597 {
598         struct devkmsg_user *user = file->private_data;
599         int ret = 0;
600
601         if (!user)
602                 return POLLERR|POLLNVAL;
603
604         poll_wait(file, &log_wait, wait);
605
606         raw_spin_lock_irq(&logbuf_lock);
607         if (user->seq < log_next_seq) {
608                 /* return error when data has vanished underneath us */
609                 if (user->seq < log_first_seq)
610                         ret = POLLIN|POLLRDNORM|POLLERR|POLLPRI;
611                 ret = POLLIN|POLLRDNORM;
612         }
613         raw_spin_unlock_irq(&logbuf_lock);
614
615         return ret;
616 }
617
618 static int devkmsg_open(struct inode *inode, struct file *file)
619 {
620         struct devkmsg_user *user;
621         int err;
622
623         /* write-only does not need any file context */
624         if ((file->f_flags & O_ACCMODE) == O_WRONLY)
625                 return 0;
626
627         err = security_syslog(SYSLOG_ACTION_READ_ALL);
628         if (err)
629                 return err;
630
631         user = kmalloc(sizeof(struct devkmsg_user), GFP_KERNEL);
632         if (!user)
633                 return -ENOMEM;
634
635         mutex_init(&user->lock);
636
637         raw_spin_lock_irq(&logbuf_lock);
638         user->idx = log_first_idx;
639         user->seq = log_first_seq;
640         raw_spin_unlock_irq(&logbuf_lock);
641
642         file->private_data = user;
643         return 0;
644 }
645
646 static int devkmsg_release(struct inode *inode, struct file *file)
647 {
648         struct devkmsg_user *user = file->private_data;
649
650         if (!user)
651                 return 0;
652
653         mutex_destroy(&user->lock);
654         kfree(user);
655         return 0;
656 }
657
658 const struct file_operations kmsg_fops = {
659         .open = devkmsg_open,
660         .read = devkmsg_read,
661         .aio_write = devkmsg_writev,
662         .llseek = devkmsg_llseek,
663         .poll = devkmsg_poll,
664         .release = devkmsg_release,
665 };
666
667 #ifdef CONFIG_KEXEC
668 /*
669  * This appends the listed symbols to /proc/vmcoreinfo
670  *
671  * /proc/vmcoreinfo is used by various utiilties, like crash and makedumpfile to
672  * obtain access to symbols that are otherwise very difficult to locate.  These
673  * symbols are specifically used so that utilities can access and extract the
674  * dmesg log from a vmcore file after a crash.
675  */
676 void log_buf_kexec_setup(void)
677 {
678         VMCOREINFO_SYMBOL(log_buf);
679         VMCOREINFO_SYMBOL(log_buf_len);
680         VMCOREINFO_SYMBOL(log_first_idx);
681         VMCOREINFO_SYMBOL(log_next_idx);
682         /*
683          * Export struct log size and field offsets. User space tools can
684          * parse it and detect any changes to structure down the line.
685          */
686         VMCOREINFO_STRUCT_SIZE(log);
687         VMCOREINFO_OFFSET(log, ts_nsec);
688         VMCOREINFO_OFFSET(log, len);
689         VMCOREINFO_OFFSET(log, text_len);
690         VMCOREINFO_OFFSET(log, dict_len);
691 }
692 #endif
693
694 /* requested log_buf_len from kernel cmdline */
695 static unsigned long __initdata new_log_buf_len;
696
697 /* save requested log_buf_len since it's too early to process it */
698 static int __init log_buf_len_setup(char *str)
699 {
700         unsigned size = memparse(str, &str);
701
702         if (size)
703                 size = roundup_pow_of_two(size);
704         if (size > log_buf_len)
705                 new_log_buf_len = size;
706
707         return 0;
708 }
709 early_param("log_buf_len", log_buf_len_setup);
710
711 void __init setup_log_buf(int early)
712 {
713         unsigned long flags;
714         char *new_log_buf;
715         int free;
716
717         if (!new_log_buf_len)
718                 return;
719
720         if (early) {
721                 unsigned long mem;
722
723                 mem = memblock_alloc(new_log_buf_len, PAGE_SIZE);
724                 if (!mem)
725                         return;
726                 new_log_buf = __va(mem);
727         } else {
728                 new_log_buf = alloc_bootmem_nopanic(new_log_buf_len);
729         }
730
731         if (unlikely(!new_log_buf)) {
732                 pr_err("log_buf_len: %ld bytes not available\n",
733                         new_log_buf_len);
734                 return;
735         }
736
737         raw_spin_lock_irqsave(&logbuf_lock, flags);
738         log_buf_len = new_log_buf_len;
739         log_buf = new_log_buf;
740         new_log_buf_len = 0;
741         free = __LOG_BUF_LEN - log_next_idx;
742         memcpy(log_buf, __log_buf, __LOG_BUF_LEN);
743         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
744
745         pr_info("log_buf_len: %d\n", log_buf_len);
746         pr_info("early log buf free: %d(%d%%)\n",
747                 free, (free * 100) / __LOG_BUF_LEN);
748 }
749
750 static bool __read_mostly ignore_loglevel;
751
752 static int __init ignore_loglevel_setup(char *str)
753 {
754         ignore_loglevel = 1;
755         printk(KERN_INFO "debug: ignoring loglevel setting.\n");
756
757         return 0;
758 }
759
760 early_param("ignore_loglevel", ignore_loglevel_setup);
761 module_param(ignore_loglevel, bool, S_IRUGO | S_IWUSR);
762 MODULE_PARM_DESC(ignore_loglevel, "ignore loglevel setting, to"
763         "print all kernel messages to the console.");
764
765 #ifdef CONFIG_BOOT_PRINTK_DELAY
766
767 static int boot_delay; /* msecs delay after each printk during bootup */
768 static unsigned long long loops_per_msec;       /* based on boot_delay */
769
770 static int __init boot_delay_setup(char *str)
771 {
772         unsigned long lpj;
773
774         lpj = preset_lpj ? preset_lpj : 1000000;        /* some guess */
775         loops_per_msec = (unsigned long long)lpj / 1000 * HZ;
776
777         get_option(&str, &boot_delay);
778         if (boot_delay > 10 * 1000)
779                 boot_delay = 0;
780
781         pr_debug("boot_delay: %u, preset_lpj: %ld, lpj: %lu, "
782                 "HZ: %d, loops_per_msec: %llu\n",
783                 boot_delay, preset_lpj, lpj, HZ, loops_per_msec);
784         return 1;
785 }
786 __setup("boot_delay=", boot_delay_setup);
787
788 static void boot_delay_msec(int level)
789 {
790         unsigned long long k;
791         unsigned long timeout;
792
793         if ((boot_delay == 0 || system_state != SYSTEM_BOOTING)
794                 || (level >= console_loglevel && !ignore_loglevel)) {
795                 return;
796         }
797
798         k = (unsigned long long)loops_per_msec * boot_delay;
799
800         timeout = jiffies + msecs_to_jiffies(boot_delay);
801         while (k) {
802                 k--;
803                 cpu_relax();
804                 /*
805                  * use (volatile) jiffies to prevent
806                  * compiler reduction; loop termination via jiffies
807                  * is secondary and may or may not happen.
808                  */
809                 if (time_after(jiffies, timeout))
810                         break;
811                 touch_nmi_watchdog();
812         }
813 }
814 #else
815 static inline void boot_delay_msec(int level)
816 {
817 }
818 #endif
819
820 #ifdef CONFIG_SECURITY_DMESG_RESTRICT
821 int dmesg_restrict = 1;
822 #else
823 int dmesg_restrict;
824 #endif
825
826 static int syslog_action_restricted(int type)
827 {
828         if (dmesg_restrict)
829                 return 1;
830         /* Unless restricted, we allow "read all" and "get buffer size" for everybody */
831         return type != SYSLOG_ACTION_READ_ALL && type != SYSLOG_ACTION_SIZE_BUFFER;
832 }
833
834 static int check_syslog_permissions(int type, bool from_file)
835 {
836         /*
837          * If this is from /proc/kmsg and we've already opened it, then we've
838          * already done the capabilities checks at open time.
839          */
840         if (from_file && type != SYSLOG_ACTION_OPEN)
841                 return 0;
842
843         if (syslog_action_restricted(type)) {
844                 if (capable(CAP_SYSLOG))
845                         return 0;
846                 /* For historical reasons, accept CAP_SYS_ADMIN too, with a warning */
847                 if (capable(CAP_SYS_ADMIN)) {
848                         printk_once(KERN_WARNING "%s (%d): "
849                                  "Attempt to access syslog with CAP_SYS_ADMIN "
850                                  "but no CAP_SYSLOG (deprecated).\n",
851                                  current->comm, task_pid_nr(current));
852                         return 0;
853                 }
854                 return -EPERM;
855         }
856         return 0;
857 }
858
859 #if defined(CONFIG_PRINTK_TIME)
860 static bool printk_time = 1;
861 #else
862 static bool printk_time;
863 #endif
864 module_param_named(time, printk_time, bool, S_IRUGO | S_IWUSR);
865
866 static size_t print_time(u64 ts, char *buf)
867 {
868         unsigned long rem_nsec;
869
870         if (!printk_time)
871                 return 0;
872
873         if (!buf)
874                 return 15;
875
876         rem_nsec = do_div(ts, 1000000000);
877         return sprintf(buf, "[%5lu.%06lu] ",
878                        (unsigned long)ts, rem_nsec / 1000);
879 }
880
881 static size_t print_prefix(const struct log *msg, bool syslog, char *buf)
882 {
883         size_t len = 0;
884         unsigned int prefix = (msg->facility << 3) | msg->level;
885
886         if (syslog) {
887                 if (buf) {
888                         len += sprintf(buf, "<%u>", prefix);
889                 } else {
890                         len += 3;
891                         if (prefix > 999)
892                                 len += 3;
893                         else if (prefix > 99)
894                                 len += 2;
895                         else if (prefix > 9)
896                                 len++;
897                 }
898         }
899
900         len += print_time(msg->ts_nsec, buf ? buf + len : NULL);
901         return len;
902 }
903
904 static size_t msg_print_text(const struct log *msg, enum log_flags prev,
905                              bool syslog, char *buf, size_t size)
906 {
907         const char *text = log_text(msg);
908         size_t text_size = msg->text_len;
909         bool prefix = true;
910         bool newline = true;
911         size_t len = 0;
912
913         if ((prev & LOG_CONT) && !(msg->flags & LOG_PREFIX))
914                 prefix = false;
915
916         if (msg->flags & LOG_CONT) {
917                 if ((prev & LOG_CONT) && !(prev & LOG_NEWLINE))
918                         prefix = false;
919
920                 if (!(msg->flags & LOG_NEWLINE))
921                         newline = false;
922         }
923
924         do {
925                 const char *next = memchr(text, '\n', text_size);
926                 size_t text_len;
927
928                 if (next) {
929                         text_len = next - text;
930                         next++;
931                         text_size -= next - text;
932                 } else {
933                         text_len = text_size;
934                 }
935
936                 if (buf) {
937                         if (print_prefix(msg, syslog, NULL) +
938                             text_len + 1 >= size - len)
939                                 break;
940
941                         if (prefix)
942                                 len += print_prefix(msg, syslog, buf + len);
943                         memcpy(buf + len, text, text_len);
944                         len += text_len;
945                         if (next || newline)
946                                 buf[len++] = '\n';
947                 } else {
948                         /* SYSLOG_ACTION_* buffer size only calculation */
949                         if (prefix)
950                                 len += print_prefix(msg, syslog, NULL);
951                         len += text_len;
952                         if (next || newline)
953                                 len++;
954                 }
955
956                 prefix = true;
957                 text = next;
958         } while (text);
959
960         return len;
961 }
962
963 static int syslog_print(char __user *buf, int size)
964 {
965         char *text;
966         struct log *msg;
967         int len = 0;
968
969         text = kmalloc(LOG_LINE_MAX + PREFIX_MAX, GFP_KERNEL);
970         if (!text)
971                 return -ENOMEM;
972
973         while (size > 0) {
974                 size_t n;
975                 size_t skip;
976
977                 raw_spin_lock_irq(&logbuf_lock);
978                 if (syslog_seq < log_first_seq) {
979                         /* messages are gone, move to first one */
980                         syslog_seq = log_first_seq;
981                         syslog_idx = log_first_idx;
982                         syslog_prev = 0;
983                         syslog_partial = 0;
984                 }
985                 if (syslog_seq == log_next_seq) {
986                         raw_spin_unlock_irq(&logbuf_lock);
987                         break;
988                 }
989
990                 skip = syslog_partial;
991                 msg = log_from_idx(syslog_idx);
992                 n = msg_print_text(msg, syslog_prev, true, text,
993                                    LOG_LINE_MAX + PREFIX_MAX);
994                 if (n - syslog_partial <= size) {
995                         /* message fits into buffer, move forward */
996                         syslog_idx = log_next(syslog_idx);
997                         syslog_seq++;
998                         syslog_prev = msg->flags;
999                         n -= syslog_partial;
1000                         syslog_partial = 0;
1001                 } else if (!len){
1002                         /* partial read(), remember position */
1003                         n = size;
1004                         syslog_partial += n;
1005                 } else
1006                         n = 0;
1007                 raw_spin_unlock_irq(&logbuf_lock);
1008
1009                 if (!n)
1010                         break;
1011
1012                 if (copy_to_user(buf, text + skip, n)) {
1013                         if (!len)
1014                                 len = -EFAULT;
1015                         break;
1016                 }
1017
1018                 len += n;
1019                 size -= n;
1020                 buf += n;
1021         }
1022
1023         kfree(text);
1024         return len;
1025 }
1026
1027 static int syslog_print_all(char __user *buf, int size, bool clear)
1028 {
1029         char *text;
1030         int len = 0;
1031
1032         text = kmalloc(LOG_LINE_MAX + PREFIX_MAX, GFP_KERNEL);
1033         if (!text)
1034                 return -ENOMEM;
1035
1036         raw_spin_lock_irq(&logbuf_lock);
1037         if (buf) {
1038                 u64 next_seq;
1039                 u64 seq;
1040                 u32 idx;
1041                 enum log_flags prev;
1042
1043                 if (clear_seq < log_first_seq) {
1044                         /* messages are gone, move to first available one */
1045                         clear_seq = log_first_seq;
1046                         clear_idx = log_first_idx;
1047                 }
1048
1049                 /*
1050                  * Find first record that fits, including all following records,
1051                  * into the user-provided buffer for this dump.
1052                  */
1053                 seq = clear_seq;
1054                 idx = clear_idx;
1055                 prev = 0;
1056                 while (seq < log_next_seq) {
1057                         struct log *msg = log_from_idx(idx);
1058
1059                         len += msg_print_text(msg, prev, true, NULL, 0);
1060                         prev = msg->flags;
1061                         idx = log_next(idx);
1062                         seq++;
1063                 }
1064
1065                 /* move first record forward until length fits into the buffer */
1066                 seq = clear_seq;
1067                 idx = clear_idx;
1068                 prev = 0;
1069                 while (len > size && seq < log_next_seq) {
1070                         struct log *msg = log_from_idx(idx);
1071
1072                         len -= msg_print_text(msg, prev, true, NULL, 0);
1073                         prev = msg->flags;
1074                         idx = log_next(idx);
1075                         seq++;
1076                 }
1077
1078                 /* last message fitting into this dump */
1079                 next_seq = log_next_seq;
1080
1081                 len = 0;
1082                 prev = 0;
1083                 while (len >= 0 && seq < next_seq) {
1084                         struct log *msg = log_from_idx(idx);
1085                         int textlen;
1086
1087                         textlen = msg_print_text(msg, prev, true, text,
1088                                                  LOG_LINE_MAX + PREFIX_MAX);
1089                         if (textlen < 0) {
1090                                 len = textlen;
1091                                 break;
1092                         }
1093                         idx = log_next(idx);
1094                         seq++;
1095                         prev = msg->flags;
1096
1097                         raw_spin_unlock_irq(&logbuf_lock);
1098                         if (copy_to_user(buf + len, text, textlen))
1099                                 len = -EFAULT;
1100                         else
1101                                 len += textlen;
1102                         raw_spin_lock_irq(&logbuf_lock);
1103
1104                         if (seq < log_first_seq) {
1105                                 /* messages are gone, move to next one */
1106                                 seq = log_first_seq;
1107                                 idx = log_first_idx;
1108                                 prev = 0;
1109                         }
1110                 }
1111         }
1112
1113         if (clear) {
1114                 clear_seq = log_next_seq;
1115                 clear_idx = log_next_idx;
1116         }
1117         raw_spin_unlock_irq(&logbuf_lock);
1118
1119         kfree(text);
1120         return len;
1121 }
1122
1123 int do_syslog(int type, char __user *buf, int len, bool from_file)
1124 {
1125         bool clear = false;
1126         static int saved_console_loglevel = -1;
1127         int error;
1128
1129         error = check_syslog_permissions(type, from_file);
1130         if (error)
1131                 goto out;
1132
1133         error = security_syslog(type);
1134         if (error)
1135                 return error;
1136
1137         switch (type) {
1138         case SYSLOG_ACTION_CLOSE:       /* Close log */
1139                 break;
1140         case SYSLOG_ACTION_OPEN:        /* Open log */
1141                 break;
1142         case SYSLOG_ACTION_READ:        /* Read from log */
1143                 error = -EINVAL;
1144                 if (!buf || len < 0)
1145                         goto out;
1146                 error = 0;
1147                 if (!len)
1148                         goto out;
1149                 if (!access_ok(VERIFY_WRITE, buf, len)) {
1150                         error = -EFAULT;
1151                         goto out;
1152                 }
1153                 error = wait_event_interruptible(log_wait,
1154                                                  syslog_seq != log_next_seq);
1155                 if (error)
1156                         goto out;
1157                 error = syslog_print(buf, len);
1158                 break;
1159         /* Read/clear last kernel messages */
1160         case SYSLOG_ACTION_READ_CLEAR:
1161                 clear = true;
1162                 /* FALL THRU */
1163         /* Read last kernel messages */
1164         case SYSLOG_ACTION_READ_ALL:
1165                 error = -EINVAL;
1166                 if (!buf || len < 0)
1167                         goto out;
1168                 error = 0;
1169                 if (!len)
1170                         goto out;
1171                 if (!access_ok(VERIFY_WRITE, buf, len)) {
1172                         error = -EFAULT;
1173                         goto out;
1174                 }
1175                 error = syslog_print_all(buf, len, clear);
1176                 break;
1177         /* Clear ring buffer */
1178         case SYSLOG_ACTION_CLEAR:
1179                 syslog_print_all(NULL, 0, true);
1180                 break;
1181         /* Disable logging to console */
1182         case SYSLOG_ACTION_CONSOLE_OFF:
1183                 if (saved_console_loglevel == -1)
1184                         saved_console_loglevel = console_loglevel;
1185                 console_loglevel = minimum_console_loglevel;
1186                 break;
1187         /* Enable logging to console */
1188         case SYSLOG_ACTION_CONSOLE_ON:
1189                 if (saved_console_loglevel != -1) {
1190                         console_loglevel = saved_console_loglevel;
1191                         saved_console_loglevel = -1;
1192                 }
1193                 break;
1194         /* Set level of messages printed to console */
1195         case SYSLOG_ACTION_CONSOLE_LEVEL:
1196                 error = -EINVAL;
1197                 if (len < 1 || len > 8)
1198                         goto out;
1199                 if (len < minimum_console_loglevel)
1200                         len = minimum_console_loglevel;
1201                 console_loglevel = len;
1202                 /* Implicitly re-enable logging to console */
1203                 saved_console_loglevel = -1;
1204                 error = 0;
1205                 break;
1206         /* Number of chars in the log buffer */
1207         case SYSLOG_ACTION_SIZE_UNREAD:
1208                 raw_spin_lock_irq(&logbuf_lock);
1209                 if (syslog_seq < log_first_seq) {
1210                         /* messages are gone, move to first one */
1211                         syslog_seq = log_first_seq;
1212                         syslog_idx = log_first_idx;
1213                         syslog_prev = 0;
1214                         syslog_partial = 0;
1215                 }
1216                 if (from_file) {
1217                         /*
1218                          * Short-cut for poll(/"proc/kmsg") which simply checks
1219                          * for pending data, not the size; return the count of
1220                          * records, not the length.
1221                          */
1222                         error = log_next_idx - syslog_idx;
1223                 } else {
1224                         u64 seq = syslog_seq;
1225                         u32 idx = syslog_idx;
1226                         enum log_flags prev = syslog_prev;
1227
1228                         error = 0;
1229                         while (seq < log_next_seq) {
1230                                 struct log *msg = log_from_idx(idx);
1231
1232                                 error += msg_print_text(msg, prev, true, NULL, 0);
1233                                 idx = log_next(idx);
1234                                 seq++;
1235                                 prev = msg->flags;
1236                         }
1237                         error -= syslog_partial;
1238                 }
1239                 raw_spin_unlock_irq(&logbuf_lock);
1240                 break;
1241         /* Size of the log buffer */
1242         case SYSLOG_ACTION_SIZE_BUFFER:
1243                 error = log_buf_len;
1244                 break;
1245         default:
1246                 error = -EINVAL;
1247                 break;
1248         }
1249 out:
1250         return error;
1251 }
1252
1253 SYSCALL_DEFINE3(syslog, int, type, char __user *, buf, int, len)
1254 {
1255         return do_syslog(type, buf, len, SYSLOG_FROM_CALL);
1256 }
1257
1258 /*
1259  * Call the console drivers, asking them to write out
1260  * log_buf[start] to log_buf[end - 1].
1261  * The console_lock must be held.
1262  */
1263 static void call_console_drivers(int level, const char *text, size_t len)
1264 {
1265         struct console *con;
1266
1267         trace_console(text, 0, len, len);
1268
1269         if (level >= console_loglevel && !ignore_loglevel)
1270                 return;
1271         if (!console_drivers)
1272                 return;
1273
1274         for_each_console(con) {
1275                 if (exclusive_console && con != exclusive_console)
1276                         continue;
1277                 if (!(con->flags & CON_ENABLED))
1278                         continue;
1279                 if (!con->write)
1280                         continue;
1281                 if (!cpu_online(smp_processor_id()) &&
1282                     !(con->flags & CON_ANYTIME))
1283                         continue;
1284                 con->write(con, text, len);
1285         }
1286 }
1287
1288 /*
1289  * Zap console related locks when oopsing. Only zap at most once
1290  * every 10 seconds, to leave time for slow consoles to print a
1291  * full oops.
1292  */
1293 static void zap_locks(void)
1294 {
1295         static unsigned long oops_timestamp;
1296
1297         if (time_after_eq(jiffies, oops_timestamp) &&
1298                         !time_after(jiffies, oops_timestamp + 30 * HZ))
1299                 return;
1300
1301         oops_timestamp = jiffies;
1302
1303         debug_locks_off();
1304         /* If a crash is occurring, make sure we can't deadlock */
1305         raw_spin_lock_init(&logbuf_lock);
1306         /* And make sure that we print immediately */
1307         sema_init(&console_sem, 1);
1308 }
1309
1310 /* Check if we have any console registered that can be called early in boot. */
1311 static int have_callable_console(void)
1312 {
1313         struct console *con;
1314
1315         for_each_console(con)
1316                 if (con->flags & CON_ANYTIME)
1317                         return 1;
1318
1319         return 0;
1320 }
1321
1322 /*
1323  * Can we actually use the console at this time on this cpu?
1324  *
1325  * Console drivers may assume that per-cpu resources have
1326  * been allocated. So unless they're explicitly marked as
1327  * being able to cope (CON_ANYTIME) don't call them until
1328  * this CPU is officially up.
1329  */
1330 static inline int can_use_console(unsigned int cpu)
1331 {
1332         return cpu_online(cpu) || have_callable_console();
1333 }
1334
1335 /*
1336  * Try to get console ownership to actually show the kernel
1337  * messages from a 'printk'. Return true (and with the
1338  * console_lock held, and 'console_locked' set) if it
1339  * is successful, false otherwise.
1340  *
1341  * This gets called with the 'logbuf_lock' spinlock held and
1342  * interrupts disabled. It should return with 'lockbuf_lock'
1343  * released but interrupts still disabled.
1344  */
1345 static int console_trylock_for_printk(unsigned int cpu)
1346         __releases(&logbuf_lock)
1347 {
1348         int retval = 0, wake = 0;
1349
1350         if (console_trylock()) {
1351                 retval = 1;
1352
1353                 /*
1354                  * If we can't use the console, we need to release
1355                  * the console semaphore by hand to avoid flushing
1356                  * the buffer. We need to hold the console semaphore
1357                  * in order to do this test safely.
1358                  */
1359                 if (!can_use_console(cpu)) {
1360                         console_locked = 0;
1361                         wake = 1;
1362                         retval = 0;
1363                 }
1364         }
1365         logbuf_cpu = UINT_MAX;
1366         if (wake)
1367                 up(&console_sem);
1368         raw_spin_unlock(&logbuf_lock);
1369         return retval;
1370 }
1371
1372 int printk_delay_msec __read_mostly;
1373
1374 static inline void printk_delay(void)
1375 {
1376         if (unlikely(printk_delay_msec)) {
1377                 int m = printk_delay_msec;
1378
1379                 while (m--) {
1380                         mdelay(1);
1381                         touch_nmi_watchdog();
1382                 }
1383         }
1384 }
1385
1386 /*
1387  * Continuation lines are buffered, and not committed to the record buffer
1388  * until the line is complete, or a race forces it. The line fragments
1389  * though, are printed immediately to the consoles to ensure everything has
1390  * reached the console in case of a kernel crash.
1391  */
1392 static struct cont {
1393         char buf[LOG_LINE_MAX];
1394         size_t len;                     /* length == 0 means unused buffer */
1395         size_t cons;                    /* bytes written to console */
1396         struct task_struct *owner;      /* task of first print*/
1397         u64 ts_nsec;                    /* time of first print */
1398         u8 level;                       /* log level of first message */
1399         u8 facility;                    /* log level of first message */
1400         enum log_flags flags;           /* prefix, newline flags */
1401         bool flushed:1;                 /* buffer sealed and committed */
1402 } cont;
1403
1404 static void cont_flush(enum log_flags flags)
1405 {
1406         if (cont.flushed)
1407                 return;
1408         if (cont.len == 0)
1409                 return;
1410
1411         if (cont.cons) {
1412                 /*
1413                  * If a fragment of this line was directly flushed to the
1414                  * console; wait for the console to pick up the rest of the
1415                  * line. LOG_NOCONS suppresses a duplicated output.
1416                  */
1417                 log_store(cont.facility, cont.level, flags | LOG_NOCONS,
1418                           cont.ts_nsec, NULL, 0, cont.buf, cont.len);
1419                 cont.flags = flags;
1420                 cont.flushed = true;
1421         } else {
1422                 /*
1423                  * If no fragment of this line ever reached the console,
1424                  * just submit it to the store and free the buffer.
1425                  */
1426                 log_store(cont.facility, cont.level, flags, 0,
1427                           NULL, 0, cont.buf, cont.len);
1428                 cont.len = 0;
1429         }
1430 }
1431
1432 static bool cont_add(int facility, int level, const char *text, size_t len)
1433 {
1434         if (cont.len && cont.flushed)
1435                 return false;
1436
1437         if (cont.len + len > sizeof(cont.buf)) {
1438                 /* the line gets too long, split it up in separate records */
1439                 cont_flush(LOG_CONT);
1440                 return false;
1441         }
1442
1443         if (!cont.len) {
1444                 cont.facility = facility;
1445                 cont.level = level;
1446                 cont.owner = current;
1447                 cont.ts_nsec = local_clock();
1448                 cont.flags = 0;
1449                 cont.cons = 0;
1450                 cont.flushed = false;
1451         }
1452
1453         memcpy(cont.buf + cont.len, text, len);
1454         cont.len += len;
1455
1456         if (cont.len > (sizeof(cont.buf) * 80) / 100)
1457                 cont_flush(LOG_CONT);
1458
1459         return true;
1460 }
1461
1462 static size_t cont_print_text(char *text, size_t size)
1463 {
1464         size_t textlen = 0;
1465         size_t len;
1466
1467         if (cont.cons == 0 && (console_prev & LOG_NEWLINE)) {
1468                 textlen += print_time(cont.ts_nsec, text);
1469                 size -= textlen;
1470         }
1471
1472         len = cont.len - cont.cons;
1473         if (len > 0) {
1474                 if (len+1 > size)
1475                         len = size-1;
1476                 memcpy(text + textlen, cont.buf + cont.cons, len);
1477                 textlen += len;
1478                 cont.cons = cont.len;
1479         }
1480
1481         if (cont.flushed) {
1482                 if (cont.flags & LOG_NEWLINE)
1483                         text[textlen++] = '\n';
1484                 /* got everything, release buffer */
1485                 cont.len = 0;
1486         }
1487         return textlen;
1488 }
1489
1490 asmlinkage int vprintk_emit(int facility, int level,
1491                             const char *dict, size_t dictlen,
1492                             const char *fmt, va_list args)
1493 {
1494         static int recursion_bug;
1495         static char textbuf[LOG_LINE_MAX];
1496         char *text = textbuf;
1497         size_t text_len;
1498         enum log_flags lflags = 0;
1499         unsigned long flags;
1500         int this_cpu;
1501         int printed_len = 0;
1502
1503         boot_delay_msec(level);
1504         printk_delay();
1505
1506         /* This stops the holder of console_sem just where we want him */
1507         local_irq_save(flags);
1508         this_cpu = smp_processor_id();
1509
1510         /*
1511          * Ouch, printk recursed into itself!
1512          */
1513         if (unlikely(logbuf_cpu == this_cpu)) {
1514                 /*
1515                  * If a crash is occurring during printk() on this CPU,
1516                  * then try to get the crash message out but make sure
1517                  * we can't deadlock. Otherwise just return to avoid the
1518                  * recursion and return - but flag the recursion so that
1519                  * it can be printed at the next appropriate moment:
1520                  */
1521                 if (!oops_in_progress && !lockdep_recursing(current)) {
1522                         recursion_bug = 1;
1523                         goto out_restore_irqs;
1524                 }
1525                 zap_locks();
1526         }
1527
1528         lockdep_off();
1529         raw_spin_lock(&logbuf_lock);
1530         logbuf_cpu = this_cpu;
1531
1532         if (recursion_bug) {
1533                 static const char recursion_msg[] =
1534                         "BUG: recent printk recursion!";
1535
1536                 recursion_bug = 0;
1537                 printed_len += strlen(recursion_msg);
1538                 /* emit KERN_CRIT message */
1539                 log_store(0, 2, LOG_PREFIX|LOG_NEWLINE, 0,
1540                           NULL, 0, recursion_msg, printed_len);
1541         }
1542
1543         /*
1544          * The printf needs to come first; we need the syslog
1545          * prefix which might be passed-in as a parameter.
1546          */
1547         text_len = vscnprintf(text, sizeof(textbuf), fmt, args);
1548
1549         /* mark and strip a trailing newline */
1550         if (text_len && text[text_len-1] == '\n') {
1551                 text_len--;
1552                 lflags |= LOG_NEWLINE;
1553         }
1554
1555         /* strip kernel syslog prefix and extract log level or control flags */
1556         if (facility == 0) {
1557                 int kern_level = printk_get_level(text);
1558
1559                 if (kern_level) {
1560                         const char *end_of_header = printk_skip_level(text);
1561                         switch (kern_level) {
1562                         case '0' ... '7':
1563                                 if (level == -1)
1564                                         level = kern_level - '0';
1565                         case 'd':       /* KERN_DEFAULT */
1566                                 lflags |= LOG_PREFIX;
1567                         case 'c':       /* KERN_CONT */
1568                                 break;
1569                         }
1570                         text_len -= end_of_header - text;
1571                         text = (char *)end_of_header;
1572                 }
1573         }
1574
1575         if (level == -1)
1576                 level = default_message_loglevel;
1577
1578         if (dict)
1579                 lflags |= LOG_PREFIX|LOG_NEWLINE;
1580
1581         if (!(lflags & LOG_NEWLINE)) {
1582                 /*
1583                  * Flush the conflicting buffer. An earlier newline was missing,
1584                  * or another task also prints continuation lines.
1585                  */
1586                 if (cont.len && (lflags & LOG_PREFIX || cont.owner != current))
1587                         cont_flush(LOG_NEWLINE);
1588
1589                 /* buffer line if possible, otherwise store it right away */
1590                 if (!cont_add(facility, level, text, text_len))
1591                         log_store(facility, level, lflags | LOG_CONT, 0,
1592                                   dict, dictlen, text, text_len);
1593         } else {
1594                 bool stored = false;
1595
1596                 /*
1597                  * If an earlier newline was missing and it was the same task,
1598                  * either merge it with the current buffer and flush, or if
1599                  * there was a race with interrupts (prefix == true) then just
1600                  * flush it out and store this line separately.
1601                  */
1602                 if (cont.len && cont.owner == current) {
1603                         if (!(lflags & LOG_PREFIX))
1604                                 stored = cont_add(facility, level, text, text_len);
1605                         cont_flush(LOG_NEWLINE);
1606                 }
1607
1608                 if (!stored)
1609                         log_store(facility, level, lflags, 0,
1610                                   dict, dictlen, text, text_len);
1611         }
1612         printed_len += text_len;
1613
1614         /*
1615          * Try to acquire and then immediately release the console semaphore.
1616          * The release will print out buffers and wake up /dev/kmsg and syslog()
1617          * users.
1618          *
1619          * The console_trylock_for_printk() function will release 'logbuf_lock'
1620          * regardless of whether it actually gets the console semaphore or not.
1621          */
1622         if (console_trylock_for_printk(this_cpu))
1623                 console_unlock();
1624
1625         lockdep_on();
1626 out_restore_irqs:
1627         local_irq_restore(flags);
1628
1629         return printed_len;
1630 }
1631 EXPORT_SYMBOL(vprintk_emit);
1632
1633 asmlinkage int vprintk(const char *fmt, va_list args)
1634 {
1635         return vprintk_emit(0, -1, NULL, 0, fmt, args);
1636 }
1637 EXPORT_SYMBOL(vprintk);
1638
1639 asmlinkage int printk_emit(int facility, int level,
1640                            const char *dict, size_t dictlen,
1641                            const char *fmt, ...)
1642 {
1643         va_list args;
1644         int r;
1645
1646         va_start(args, fmt);
1647         r = vprintk_emit(facility, level, dict, dictlen, fmt, args);
1648         va_end(args);
1649
1650         return r;
1651 }
1652 EXPORT_SYMBOL(printk_emit);
1653
1654 /**
1655  * printk - print a kernel message
1656  * @fmt: format string
1657  *
1658  * This is printk(). It can be called from any context. We want it to work.
1659  *
1660  * We try to grab the console_lock. If we succeed, it's easy - we log the
1661  * output and call the console drivers.  If we fail to get the semaphore, we
1662  * place the output into the log buffer and return. The current holder of
1663  * the console_sem will notice the new output in console_unlock(); and will
1664  * send it to the consoles before releasing the lock.
1665  *
1666  * One effect of this deferred printing is that code which calls printk() and
1667  * then changes console_loglevel may break. This is because console_loglevel
1668  * is inspected when the actual printing occurs.
1669  *
1670  * See also:
1671  * printf(3)
1672  *
1673  * See the vsnprintf() documentation for format string extensions over C99.
1674  */
1675 asmlinkage int printk(const char *fmt, ...)
1676 {
1677         va_list args;
1678         int r;
1679
1680 #ifdef CONFIG_KGDB_KDB
1681         if (unlikely(kdb_trap_printk)) {
1682                 va_start(args, fmt);
1683                 r = vkdb_printf(fmt, args);
1684                 va_end(args);
1685                 return r;
1686         }
1687 #endif
1688         va_start(args, fmt);
1689         r = vprintk_emit(0, -1, NULL, 0, fmt, args);
1690         va_end(args);
1691
1692         return r;
1693 }
1694 EXPORT_SYMBOL(printk);
1695
1696 #else /* CONFIG_PRINTK */
1697
1698 #define LOG_LINE_MAX            0
1699 #define PREFIX_MAX              0
1700 #define LOG_LINE_MAX 0
1701 static u64 syslog_seq;
1702 static u32 syslog_idx;
1703 static u64 console_seq;
1704 static u32 console_idx;
1705 static enum log_flags syslog_prev;
1706 static u64 log_first_seq;
1707 static u32 log_first_idx;
1708 static u64 log_next_seq;
1709 static enum log_flags console_prev;
1710 static struct cont {
1711         size_t len;
1712         size_t cons;
1713         u8 level;
1714         bool flushed:1;
1715 } cont;
1716 static struct log *log_from_idx(u32 idx) { return NULL; }
1717 static u32 log_next(u32 idx) { return 0; }
1718 static void call_console_drivers(int level, const char *text, size_t len) {}
1719 static size_t msg_print_text(const struct log *msg, enum log_flags prev,
1720                              bool syslog, char *buf, size_t size) { return 0; }
1721 static size_t cont_print_text(char *text, size_t size) { return 0; }
1722
1723 #endif /* CONFIG_PRINTK */
1724
1725 static int __add_preferred_console(char *name, int idx, char *options,
1726                                    char *brl_options)
1727 {
1728         struct console_cmdline *c;
1729         int i;
1730
1731         /*
1732          *      See if this tty is not yet registered, and
1733          *      if we have a slot free.
1734          */
1735         for (i = 0; i < MAX_CMDLINECONSOLES && console_cmdline[i].name[0]; i++)
1736                 if (strcmp(console_cmdline[i].name, name) == 0 &&
1737                           console_cmdline[i].index == idx) {
1738                                 if (!brl_options)
1739                                         selected_console = i;
1740                                 return 0;
1741                 }
1742         if (i == MAX_CMDLINECONSOLES)
1743                 return -E2BIG;
1744         if (!brl_options)
1745                 selected_console = i;
1746         c = &console_cmdline[i];
1747         strlcpy(c->name, name, sizeof(c->name));
1748         c->options = options;
1749 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
1750         c->brl_options = brl_options;
1751 #endif
1752         c->index = idx;
1753         return 0;
1754 }
1755 /*
1756  * Set up a list of consoles.  Called from init/main.c
1757  */
1758 static int __init console_setup(char *str)
1759 {
1760         char buf[sizeof(console_cmdline[0].name) + 4]; /* 4 for index */
1761         char *s, *options, *brl_options = NULL;
1762         int idx;
1763
1764 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
1765         if (!memcmp(str, "brl,", 4)) {
1766                 brl_options = "";
1767                 str += 4;
1768         } else if (!memcmp(str, "brl=", 4)) {
1769                 brl_options = str + 4;
1770                 str = strchr(brl_options, ',');
1771                 if (!str) {
1772                         printk(KERN_ERR "need port name after brl=\n");
1773                         return 1;
1774                 }
1775                 *(str++) = 0;
1776         }
1777 #endif
1778
1779         /*
1780          * Decode str into name, index, options.
1781          */
1782         if (str[0] >= '0' && str[0] <= '9') {
1783                 strcpy(buf, "ttyS");
1784                 strncpy(buf + 4, str, sizeof(buf) - 5);
1785         } else {
1786                 strncpy(buf, str, sizeof(buf) - 1);
1787         }
1788         buf[sizeof(buf) - 1] = 0;
1789         if ((options = strchr(str, ',')) != NULL)
1790                 *(options++) = 0;
1791 #ifdef __sparc__
1792         if (!strcmp(str, "ttya"))
1793                 strcpy(buf, "ttyS0");
1794         if (!strcmp(str, "ttyb"))
1795                 strcpy(buf, "ttyS1");
1796 #endif
1797         for (s = buf; *s; s++)
1798                 if ((*s >= '0' && *s <= '9') || *s == ',')
1799                         break;
1800         idx = simple_strtoul(s, NULL, 10);
1801         *s = 0;
1802
1803         __add_preferred_console(buf, idx, options, brl_options);
1804         console_set_on_cmdline = 1;
1805         return 1;
1806 }
1807 __setup("console=", console_setup);
1808
1809 /**
1810  * add_preferred_console - add a device to the list of preferred consoles.
1811  * @name: device name
1812  * @idx: device index
1813  * @options: options for this console
1814  *
1815  * The last preferred console added will be used for kernel messages
1816  * and stdin/out/err for init.  Normally this is used by console_setup
1817  * above to handle user-supplied console arguments; however it can also
1818  * be used by arch-specific code either to override the user or more
1819  * commonly to provide a default console (ie from PROM variables) when
1820  * the user has not supplied one.
1821  */
1822 int add_preferred_console(char *name, int idx, char *options)
1823 {
1824         return __add_preferred_console(name, idx, options, NULL);
1825 }
1826
1827 int update_console_cmdline(char *name, int idx, char *name_new, int idx_new, char *options)
1828 {
1829         struct console_cmdline *c;
1830         int i;
1831
1832         for (i = 0; i < MAX_CMDLINECONSOLES && console_cmdline[i].name[0]; i++)
1833                 if (strcmp(console_cmdline[i].name, name) == 0 &&
1834                           console_cmdline[i].index == idx) {
1835                                 c = &console_cmdline[i];
1836                                 strlcpy(c->name, name_new, sizeof(c->name));
1837                                 c->name[sizeof(c->name) - 1] = 0;
1838                                 c->options = options;
1839                                 c->index = idx_new;
1840                                 return i;
1841                 }
1842         /* not found */
1843         return -1;
1844 }
1845
1846 bool console_suspend_enabled = 1;
1847 EXPORT_SYMBOL(console_suspend_enabled);
1848
1849 static int __init console_suspend_disable(char *str)
1850 {
1851         console_suspend_enabled = 0;
1852         return 1;
1853 }
1854 __setup("no_console_suspend", console_suspend_disable);
1855 module_param_named(console_suspend, console_suspend_enabled,
1856                 bool, S_IRUGO | S_IWUSR);
1857 MODULE_PARM_DESC(console_suspend, "suspend console during suspend"
1858         " and hibernate operations");
1859
1860 /**
1861  * suspend_console - suspend the console subsystem
1862  *
1863  * This disables printk() while we go into suspend states
1864  */
1865 void suspend_console(void)
1866 {
1867         if (!console_suspend_enabled)
1868                 return;
1869         printk("Suspending console(s) (use no_console_suspend to debug)\n");
1870         console_lock();
1871         console_suspended = 1;
1872         up(&console_sem);
1873 }
1874
1875 void resume_console(void)
1876 {
1877         if (!console_suspend_enabled)
1878                 return;
1879         down(&console_sem);
1880         console_suspended = 0;
1881         console_unlock();
1882 }
1883
1884 /**
1885  * console_cpu_notify - print deferred console messages after CPU hotplug
1886  * @self: notifier struct
1887  * @action: CPU hotplug event
1888  * @hcpu: unused
1889  *
1890  * If printk() is called from a CPU that is not online yet, the messages
1891  * will be spooled but will not show up on the console.  This function is
1892  * called when a new CPU comes online (or fails to come up), and ensures
1893  * that any such output gets printed.
1894  */
1895 static int __cpuinit console_cpu_notify(struct notifier_block *self,
1896         unsigned long action, void *hcpu)
1897 {
1898         switch (action) {
1899         case CPU_ONLINE:
1900         case CPU_DEAD:
1901         case CPU_DOWN_FAILED:
1902         case CPU_UP_CANCELED:
1903                 console_lock();
1904                 console_unlock();
1905         }
1906         return NOTIFY_OK;
1907 }
1908
1909 /**
1910  * console_lock - lock the console system for exclusive use.
1911  *
1912  * Acquires a lock which guarantees that the caller has
1913  * exclusive access to the console system and the console_drivers list.
1914  *
1915  * Can sleep, returns nothing.
1916  */
1917 void console_lock(void)
1918 {
1919         might_sleep();
1920
1921         down(&console_sem);
1922         if (console_suspended)
1923                 return;
1924         console_locked = 1;
1925         console_may_schedule = 1;
1926         mutex_acquire(&console_lock_dep_map, 0, 0, _RET_IP_);
1927 }
1928 EXPORT_SYMBOL(console_lock);
1929
1930 /**
1931  * console_trylock - try to lock the console system for exclusive use.
1932  *
1933  * Tried to acquire a lock which guarantees that the caller has
1934  * exclusive access to the console system and the console_drivers list.
1935  *
1936  * returns 1 on success, and 0 on failure to acquire the lock.
1937  */
1938 int console_trylock(void)
1939 {
1940         if (down_trylock(&console_sem))
1941                 return 0;
1942         if (console_suspended) {
1943                 up(&console_sem);
1944                 return 0;
1945         }
1946         console_locked = 1;
1947         console_may_schedule = 0;
1948         mutex_acquire(&console_lock_dep_map, 0, 1, _RET_IP_);
1949         return 1;
1950 }
1951 EXPORT_SYMBOL(console_trylock);
1952
1953 int is_console_locked(void)
1954 {
1955         return console_locked;
1956 }
1957
1958 /*
1959  * Delayed printk version, for scheduler-internal messages:
1960  */
1961 #define PRINTK_BUF_SIZE         512
1962
1963 #define PRINTK_PENDING_WAKEUP   0x01
1964 #define PRINTK_PENDING_SCHED    0x02
1965
1966 static DEFINE_PER_CPU(int, printk_pending);
1967 static DEFINE_PER_CPU(char [PRINTK_BUF_SIZE], printk_sched_buf);
1968
1969 void printk_tick(void)
1970 {
1971         if (__this_cpu_read(printk_pending)) {
1972                 int pending = __this_cpu_xchg(printk_pending, 0);
1973                 if (pending & PRINTK_PENDING_SCHED) {
1974                         char *buf = __get_cpu_var(printk_sched_buf);
1975                         printk(KERN_WARNING "[sched_delayed] %s", buf);
1976                 }
1977                 if (pending & PRINTK_PENDING_WAKEUP)
1978                         wake_up_interruptible(&log_wait);
1979         }
1980 }
1981
1982 int printk_needs_cpu(int cpu)
1983 {
1984         if (cpu_is_offline(cpu))
1985                 printk_tick();
1986         return __this_cpu_read(printk_pending);
1987 }
1988
1989 void wake_up_klogd(void)
1990 {
1991         if (waitqueue_active(&log_wait))
1992                 this_cpu_or(printk_pending, PRINTK_PENDING_WAKEUP);
1993 }
1994
1995 static void console_cont_flush(char *text, size_t size)
1996 {
1997         unsigned long flags;
1998         size_t len;
1999
2000         raw_spin_lock_irqsave(&logbuf_lock, flags);
2001
2002         if (!cont.len)
2003                 goto out;
2004
2005         /*
2006          * We still queue earlier records, likely because the console was
2007          * busy. The earlier ones need to be printed before this one, we
2008          * did not flush any fragment so far, so just let it queue up.
2009          */
2010         if (console_seq < log_next_seq && !cont.cons)
2011                 goto out;
2012
2013         len = cont_print_text(text, size);
2014         raw_spin_unlock(&logbuf_lock);
2015         stop_critical_timings();
2016         call_console_drivers(cont.level, text, len);
2017         start_critical_timings();
2018         local_irq_restore(flags);
2019         return;
2020 out:
2021         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2022 }
2023
2024 /**
2025  * console_unlock - unlock the console system
2026  *
2027  * Releases the console_lock which the caller holds on the console system
2028  * and the console driver list.
2029  *
2030  * While the console_lock was held, console output may have been buffered
2031  * by printk().  If this is the case, console_unlock(); emits
2032  * the output prior to releasing the lock.
2033  *
2034  * If there is output waiting, we wake /dev/kmsg and syslog() users.
2035  *
2036  * console_unlock(); may be called from any context.
2037  */
2038 void console_unlock(void)
2039 {
2040         static char text[LOG_LINE_MAX + PREFIX_MAX];
2041         static u64 seen_seq;
2042         unsigned long flags;
2043         bool wake_klogd = false;
2044         bool retry;
2045
2046         if (console_suspended) {
2047                 up(&console_sem);
2048                 return;
2049         }
2050
2051         console_may_schedule = 0;
2052
2053         /* flush buffered message fragment immediately to console */
2054         console_cont_flush(text, sizeof(text));
2055 again:
2056         for (;;) {
2057                 struct log *msg;
2058                 size_t len;
2059                 int level;
2060
2061                 raw_spin_lock_irqsave(&logbuf_lock, flags);
2062                 if (seen_seq != log_next_seq) {
2063                         wake_klogd = true;
2064                         seen_seq = log_next_seq;
2065                 }
2066
2067                 if (console_seq < log_first_seq) {
2068                         /* messages are gone, move to first one */
2069                         console_seq = log_first_seq;
2070                         console_idx = log_first_idx;
2071                         console_prev = 0;
2072                 }
2073 skip:
2074                 if (console_seq == log_next_seq)
2075                         break;
2076
2077                 msg = log_from_idx(console_idx);
2078                 if (msg->flags & LOG_NOCONS) {
2079                         /*
2080                          * Skip record we have buffered and already printed
2081                          * directly to the console when we received it.
2082                          */
2083                         console_idx = log_next(console_idx);
2084                         console_seq++;
2085                         /*
2086                          * We will get here again when we register a new
2087                          * CON_PRINTBUFFER console. Clear the flag so we
2088                          * will properly dump everything later.
2089                          */
2090                         msg->flags &= ~LOG_NOCONS;
2091                         console_prev = msg->flags;
2092                         goto skip;
2093                 }
2094
2095                 level = msg->level;
2096                 len = msg_print_text(msg, console_prev, false,
2097                                      text, sizeof(text));
2098                 console_idx = log_next(console_idx);
2099                 console_seq++;
2100                 console_prev = msg->flags;
2101                 raw_spin_unlock(&logbuf_lock);
2102
2103                 stop_critical_timings();        /* don't trace print latency */
2104                 call_console_drivers(level, text, len);
2105                 start_critical_timings();
2106                 local_irq_restore(flags);
2107         }
2108         console_locked = 0;
2109         mutex_release(&console_lock_dep_map, 1, _RET_IP_);
2110
2111         /* Release the exclusive_console once it is used */
2112         if (unlikely(exclusive_console))
2113                 exclusive_console = NULL;
2114
2115         raw_spin_unlock(&logbuf_lock);
2116
2117         up(&console_sem);
2118
2119         /*
2120          * Someone could have filled up the buffer again, so re-check if there's
2121          * something to flush. In case we cannot trylock the console_sem again,
2122          * there's a new owner and the console_unlock() from them will do the
2123          * flush, no worries.
2124          */
2125         raw_spin_lock(&logbuf_lock);
2126         retry = console_seq != log_next_seq;
2127         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2128
2129         if (retry && console_trylock())
2130                 goto again;
2131
2132         if (wake_klogd)
2133                 wake_up_klogd();
2134 }
2135 EXPORT_SYMBOL(console_unlock);
2136
2137 /**
2138  * console_conditional_schedule - yield the CPU if required
2139  *
2140  * If the console code is currently allowed to sleep, and
2141  * if this CPU should yield the CPU to another task, do
2142  * so here.
2143  *
2144  * Must be called within console_lock();.
2145  */
2146 void __sched console_conditional_schedule(void)
2147 {
2148         if (console_may_schedule)
2149                 cond_resched();
2150 }
2151 EXPORT_SYMBOL(console_conditional_schedule);
2152
2153 void console_unblank(void)
2154 {
2155         struct console *c;
2156
2157         /*
2158          * console_unblank can no longer be called in interrupt context unless
2159          * oops_in_progress is set to 1..
2160          */
2161         if (oops_in_progress) {
2162                 if (down_trylock(&console_sem) != 0)
2163                         return;
2164         } else
2165                 console_lock();
2166
2167         console_locked = 1;
2168         console_may_schedule = 0;
2169         for_each_console(c)
2170                 if ((c->flags & CON_ENABLED) && c->unblank)
2171                         c->unblank();
2172         console_unlock();
2173 }
2174
2175 /*
2176  * Return the console tty driver structure and its associated index
2177  */
2178 struct tty_driver *console_device(int *index)
2179 {
2180         struct console *c;
2181         struct tty_driver *driver = NULL;
2182
2183         console_lock();
2184         for_each_console(c) {
2185                 if (!c->device)
2186                         continue;
2187                 driver = c->device(c, index);
2188                 if (driver)
2189                         break;
2190         }
2191         console_unlock();
2192         return driver;
2193 }
2194
2195 /*
2196  * Prevent further output on the passed console device so that (for example)
2197  * serial drivers can disable console output before suspending a port, and can
2198  * re-enable output afterwards.
2199  */
2200 void console_stop(struct console *console)
2201 {
2202         console_lock();
2203         console->flags &= ~CON_ENABLED;
2204         console_unlock();
2205 }
2206 EXPORT_SYMBOL(console_stop);
2207
2208 void console_start(struct console *console)
2209 {
2210         console_lock();
2211         console->flags |= CON_ENABLED;
2212         console_unlock();
2213 }
2214 EXPORT_SYMBOL(console_start);
2215
2216 static int __read_mostly keep_bootcon;
2217
2218 static int __init keep_bootcon_setup(char *str)
2219 {
2220         keep_bootcon = 1;
2221         printk(KERN_INFO "debug: skip boot console de-registration.\n");
2222
2223         return 0;
2224 }
2225
2226 early_param("keep_bootcon", keep_bootcon_setup);
2227
2228 /*
2229  * The console driver calls this routine during kernel initialization
2230  * to register the console printing procedure with printk() and to
2231  * print any messages that were printed by the kernel before the
2232  * console driver was initialized.
2233  *
2234  * This can happen pretty early during the boot process (because of
2235  * early_printk) - sometimes before setup_arch() completes - be careful
2236  * of what kernel features are used - they may not be initialised yet.
2237  *
2238  * There are two types of consoles - bootconsoles (early_printk) and
2239  * "real" consoles (everything which is not a bootconsole) which are
2240  * handled differently.
2241  *  - Any number of bootconsoles can be registered at any time.
2242  *  - As soon as a "real" console is registered, all bootconsoles
2243  *    will be unregistered automatically.
2244  *  - Once a "real" console is registered, any attempt to register a
2245  *    bootconsoles will be rejected
2246  */
2247 void register_console(struct console *newcon)
2248 {
2249         int i;
2250         unsigned long flags;
2251         struct console *bcon = NULL;
2252
2253         /*
2254          * before we register a new CON_BOOT console, make sure we don't
2255          * already have a valid console
2256          */
2257         if (console_drivers && newcon->flags & CON_BOOT) {
2258                 /* find the last or real console */
2259                 for_each_console(bcon) {
2260                         if (!(bcon->flags & CON_BOOT)) {
2261                                 printk(KERN_INFO "Too late to register bootconsole %s%d\n",
2262                                         newcon->name, newcon->index);
2263                                 return;
2264                         }
2265                 }
2266         }
2267
2268         if (console_drivers && console_drivers->flags & CON_BOOT)
2269                 bcon = console_drivers;
2270
2271         if (preferred_console < 0 || bcon || !console_drivers)
2272                 preferred_console = selected_console;
2273
2274         if (newcon->early_setup)
2275                 newcon->early_setup();
2276
2277         /*
2278          *      See if we want to use this console driver. If we
2279          *      didn't select a console we take the first one
2280          *      that registers here.
2281          */
2282         if (preferred_console < 0) {
2283                 if (newcon->index < 0)
2284                         newcon->index = 0;
2285                 if (newcon->setup == NULL ||
2286                     newcon->setup(newcon, NULL) == 0) {
2287                         newcon->flags |= CON_ENABLED;
2288                         if (newcon->device) {
2289                                 newcon->flags |= CON_CONSDEV;
2290                                 preferred_console = 0;
2291                         }
2292                 }
2293         }
2294
2295         /*
2296          *      See if this console matches one we selected on
2297          *      the command line.
2298          */
2299         for (i = 0; i < MAX_CMDLINECONSOLES && console_cmdline[i].name[0];
2300                         i++) {
2301                 if (strcmp(console_cmdline[i].name, newcon->name) != 0)
2302                         continue;
2303                 if (newcon->index >= 0 &&
2304                     newcon->index != console_cmdline[i].index)
2305                         continue;
2306                 if (newcon->index < 0)
2307                         newcon->index = console_cmdline[i].index;
2308 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
2309                 if (console_cmdline[i].brl_options) {
2310                         newcon->flags |= CON_BRL;
2311                         braille_register_console(newcon,
2312                                         console_cmdline[i].index,
2313                                         console_cmdline[i].options,
2314                                         console_cmdline[i].brl_options);
2315                         return;
2316                 }
2317 #endif
2318                 if (newcon->setup &&
2319                     newcon->setup(newcon, console_cmdline[i].options) != 0)
2320                         break;
2321                 newcon->flags |= CON_ENABLED;
2322                 newcon->index = console_cmdline[i].index;
2323                 if (i == selected_console) {
2324                         newcon->flags |= CON_CONSDEV;
2325                         preferred_console = selected_console;
2326                 }
2327                 break;
2328         }
2329
2330         if (!(newcon->flags & CON_ENABLED))
2331                 return;
2332
2333         /*
2334          * If we have a bootconsole, and are switching to a real console,
2335          * don't print everything out again, since when the boot console, and
2336          * the real console are the same physical device, it's annoying to
2337          * see the beginning boot messages twice
2338          */
2339         if (bcon && ((newcon->flags & (CON_CONSDEV | CON_BOOT)) == CON_CONSDEV))
2340                 newcon->flags &= ~CON_PRINTBUFFER;
2341
2342         /*
2343          *      Put this console in the list - keep the
2344          *      preferred driver at the head of the list.
2345          */
2346         console_lock();
2347         if ((newcon->flags & CON_CONSDEV) || console_drivers == NULL) {
2348                 newcon->next = console_drivers;
2349                 console_drivers = newcon;
2350                 if (newcon->next)
2351                         newcon->next->flags &= ~CON_CONSDEV;
2352         } else {
2353                 newcon->next = console_drivers->next;
2354                 console_drivers->next = newcon;
2355         }
2356         if (newcon->flags & CON_PRINTBUFFER) {
2357                 /*
2358                  * console_unlock(); will print out the buffered messages
2359                  * for us.
2360                  */
2361                 raw_spin_lock_irqsave(&logbuf_lock, flags);
2362                 console_seq = syslog_seq;
2363                 console_idx = syslog_idx;
2364                 console_prev = syslog_prev;
2365                 raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2366                 /*
2367                  * We're about to replay the log buffer.  Only do this to the
2368                  * just-registered console to avoid excessive message spam to
2369                  * the already-registered consoles.
2370                  */
2371                 exclusive_console = newcon;
2372         }
2373         console_unlock();
2374         console_sysfs_notify();
2375
2376         /*
2377          * By unregistering the bootconsoles after we enable the real console
2378          * we get the "console xxx enabled" message on all the consoles -
2379          * boot consoles, real consoles, etc - this is to ensure that end
2380          * users know there might be something in the kernel's log buffer that
2381          * went to the bootconsole (that they do not see on the real console)
2382          */
2383         if (bcon &&
2384             ((newcon->flags & (CON_CONSDEV | CON_BOOT)) == CON_CONSDEV) &&
2385             !keep_bootcon) {
2386                 /* we need to iterate through twice, to make sure we print
2387                  * everything out, before we unregister the console(s)
2388                  */
2389                 printk(KERN_INFO "console [%s%d] enabled, bootconsole disabled\n",
2390                         newcon->name, newcon->index);
2391                 for_each_console(bcon)
2392                         if (bcon->flags & CON_BOOT)
2393                                 unregister_console(bcon);
2394         } else {
2395                 printk(KERN_INFO "%sconsole [%s%d] enabled\n",
2396                         (newcon->flags & CON_BOOT) ? "boot" : "" ,
2397                         newcon->name, newcon->index);
2398         }
2399 }
2400 EXPORT_SYMBOL(register_console);
2401
2402 int unregister_console(struct console *console)
2403 {
2404         struct console *a, *b;
2405         int res = 1;
2406
2407 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
2408         if (console->flags & CON_BRL)
2409                 return braille_unregister_console(console);
2410 #endif
2411
2412         console_lock();
2413         if (console_drivers == console) {
2414                 console_drivers=console->next;
2415                 res = 0;
2416         } else if (console_drivers) {
2417                 for (a=console_drivers->next, b=console_drivers ;
2418                      a; b=a, a=b->next) {
2419                         if (a == console) {
2420                                 b->next = a->next;
2421                                 res = 0;
2422                                 break;
2423                         }
2424                 }
2425         }
2426
2427         /*
2428          * If this isn't the last console and it has CON_CONSDEV set, we
2429          * need to set it on the next preferred console.
2430          */
2431         if (console_drivers != NULL && console->flags & CON_CONSDEV)
2432                 console_drivers->flags |= CON_CONSDEV;
2433
2434         console_unlock();
2435         console_sysfs_notify();
2436         return res;
2437 }
2438 EXPORT_SYMBOL(unregister_console);
2439
2440 static int __init printk_late_init(void)
2441 {
2442         struct console *con;
2443
2444         for_each_console(con) {
2445                 if (!keep_bootcon && con->flags & CON_BOOT) {
2446                         printk(KERN_INFO "turn off boot console %s%d\n",
2447                                 con->name, con->index);
2448                         unregister_console(con);
2449                 }
2450         }
2451         hotcpu_notifier(console_cpu_notify, 0);
2452         return 0;
2453 }
2454 late_initcall(printk_late_init);
2455
2456 #if defined CONFIG_PRINTK
2457
2458 int printk_sched(const char *fmt, ...)
2459 {
2460         unsigned long flags;
2461         va_list args;
2462         char *buf;
2463         int r;
2464
2465         local_irq_save(flags);
2466         buf = __get_cpu_var(printk_sched_buf);
2467
2468         va_start(args, fmt);
2469         r = vsnprintf(buf, PRINTK_BUF_SIZE, fmt, args);
2470         va_end(args);
2471
2472         __this_cpu_or(printk_pending, PRINTK_PENDING_SCHED);
2473         local_irq_restore(flags);
2474
2475         return r;
2476 }
2477
2478 /*
2479  * printk rate limiting, lifted from the networking subsystem.
2480  *
2481  * This enforces a rate limit: not more than 10 kernel messages
2482  * every 5s to make a denial-of-service attack impossible.
2483  */
2484 DEFINE_RATELIMIT_STATE(printk_ratelimit_state, 5 * HZ, 10);
2485
2486 int __printk_ratelimit(const char *func)
2487 {
2488         return ___ratelimit(&printk_ratelimit_state, func);
2489 }
2490 EXPORT_SYMBOL(__printk_ratelimit);
2491
2492 /**
2493  * printk_timed_ratelimit - caller-controlled printk ratelimiting
2494  * @caller_jiffies: pointer to caller's state
2495  * @interval_msecs: minimum interval between prints
2496  *
2497  * printk_timed_ratelimit() returns true if more than @interval_msecs
2498  * milliseconds have elapsed since the last time printk_timed_ratelimit()
2499  * returned true.
2500  */
2501 bool printk_timed_ratelimit(unsigned long *caller_jiffies,
2502                         unsigned int interval_msecs)
2503 {
2504         if (*caller_jiffies == 0
2505                         || !time_in_range(jiffies, *caller_jiffies,
2506                                         *caller_jiffies
2507                                         + msecs_to_jiffies(interval_msecs))) {
2508                 *caller_jiffies = jiffies;
2509                 return true;
2510         }
2511         return false;
2512 }
2513 EXPORT_SYMBOL(printk_timed_ratelimit);
2514
2515 static DEFINE_SPINLOCK(dump_list_lock);
2516 static LIST_HEAD(dump_list);
2517
2518 /**
2519  * kmsg_dump_register - register a kernel log dumper.
2520  * @dumper: pointer to the kmsg_dumper structure
2521  *
2522  * Adds a kernel log dumper to the system. The dump callback in the
2523  * structure will be called when the kernel oopses or panics and must be
2524  * set. Returns zero on success and %-EINVAL or %-EBUSY otherwise.
2525  */
2526 int kmsg_dump_register(struct kmsg_dumper *dumper)
2527 {
2528         unsigned long flags;
2529         int err = -EBUSY;
2530
2531         /* The dump callback needs to be set */
2532         if (!dumper->dump)
2533                 return -EINVAL;
2534
2535         spin_lock_irqsave(&dump_list_lock, flags);
2536         /* Don't allow registering multiple times */
2537         if (!dumper->registered) {
2538                 dumper->registered = 1;
2539                 list_add_tail_rcu(&dumper->list, &dump_list);
2540                 err = 0;
2541         }
2542         spin_unlock_irqrestore(&dump_list_lock, flags);
2543
2544         return err;
2545 }
2546 EXPORT_SYMBOL_GPL(kmsg_dump_register);
2547
2548 /**
2549  * kmsg_dump_unregister - unregister a kmsg dumper.
2550  * @dumper: pointer to the kmsg_dumper structure
2551  *
2552  * Removes a dump device from the system. Returns zero on success and
2553  * %-EINVAL otherwise.
2554  */
2555 int kmsg_dump_unregister(struct kmsg_dumper *dumper)
2556 {
2557         unsigned long flags;
2558         int err = -EINVAL;
2559
2560         spin_lock_irqsave(&dump_list_lock, flags);
2561         if (dumper->registered) {
2562                 dumper->registered = 0;
2563                 list_del_rcu(&dumper->list);
2564                 err = 0;
2565         }
2566         spin_unlock_irqrestore(&dump_list_lock, flags);
2567         synchronize_rcu();
2568
2569         return err;
2570 }
2571 EXPORT_SYMBOL_GPL(kmsg_dump_unregister);
2572
2573 static bool always_kmsg_dump;
2574 module_param_named(always_kmsg_dump, always_kmsg_dump, bool, S_IRUGO | S_IWUSR);
2575
2576 /**
2577  * kmsg_dump - dump kernel log to kernel message dumpers.
2578  * @reason: the reason (oops, panic etc) for dumping
2579  *
2580  * Call each of the registered dumper's dump() callback, which can
2581  * retrieve the kmsg records with kmsg_dump_get_line() or
2582  * kmsg_dump_get_buffer().
2583  */
2584 void kmsg_dump(enum kmsg_dump_reason reason)
2585 {
2586         struct kmsg_dumper *dumper;
2587         unsigned long flags;
2588
2589         if ((reason > KMSG_DUMP_OOPS) && !always_kmsg_dump)
2590                 return;
2591
2592         rcu_read_lock();
2593         list_for_each_entry_rcu(dumper, &dump_list, list) {
2594                 if (dumper->max_reason && reason > dumper->max_reason)
2595                         continue;
2596
2597                 /* initialize iterator with data about the stored records */
2598                 dumper->active = true;
2599
2600                 raw_spin_lock_irqsave(&logbuf_lock, flags);
2601                 dumper->cur_seq = clear_seq;
2602                 dumper->cur_idx = clear_idx;
2603                 dumper->next_seq = log_next_seq;
2604                 dumper->next_idx = log_next_idx;
2605                 raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2606
2607                 /* invoke dumper which will iterate over records */
2608                 dumper->dump(dumper, reason);
2609
2610                 /* reset iterator */
2611                 dumper->active = false;
2612         }
2613         rcu_read_unlock();
2614 }
2615
2616 /**
2617  * kmsg_dump_get_line_nolock - retrieve one kmsg log line (unlocked version)
2618  * @dumper: registered kmsg dumper
2619  * @syslog: include the "<4>" prefixes
2620  * @line: buffer to copy the line to
2621  * @size: maximum size of the buffer
2622  * @len: length of line placed into buffer
2623  *
2624  * Start at the beginning of the kmsg buffer, with the oldest kmsg
2625  * record, and copy one record into the provided buffer.
2626  *
2627  * Consecutive calls will return the next available record moving
2628  * towards the end of the buffer with the youngest messages.
2629  *
2630  * A return value of FALSE indicates that there are no more records to
2631  * read.
2632  *
2633  * The function is similar to kmsg_dump_get_line(), but grabs no locks.
2634  */
2635 bool kmsg_dump_get_line_nolock(struct kmsg_dumper *dumper, bool syslog,
2636                                char *line, size_t size, size_t *len)
2637 {
2638         struct log *msg;
2639         size_t l = 0;
2640         bool ret = false;
2641
2642         if (!dumper->active)
2643                 goto out;
2644
2645         if (dumper->cur_seq < log_first_seq) {
2646                 /* messages are gone, move to first available one */
2647                 dumper->cur_seq = log_first_seq;
2648                 dumper->cur_idx = log_first_idx;
2649         }
2650
2651         /* last entry */
2652         if (dumper->cur_seq >= log_next_seq)
2653                 goto out;
2654
2655         msg = log_from_idx(dumper->cur_idx);
2656         l = msg_print_text(msg, 0, syslog, line, size);
2657
2658         dumper->cur_idx = log_next(dumper->cur_idx);
2659         dumper->cur_seq++;
2660         ret = true;
2661 out:
2662         if (len)
2663                 *len = l;
2664         return ret;
2665 }
2666
2667 /**
2668  * kmsg_dump_get_line - retrieve one kmsg log line
2669  * @dumper: registered kmsg dumper
2670  * @syslog: include the "<4>" prefixes
2671  * @line: buffer to copy the line to
2672  * @size: maximum size of the buffer
2673  * @len: length of line placed into buffer
2674  *
2675  * Start at the beginning of the kmsg buffer, with the oldest kmsg
2676  * record, and copy one record into the provided buffer.
2677  *
2678  * Consecutive calls will return the next available record moving
2679  * towards the end of the buffer with the youngest messages.
2680  *
2681  * A return value of FALSE indicates that there are no more records to
2682  * read.
2683  */
2684 bool kmsg_dump_get_line(struct kmsg_dumper *dumper, bool syslog,
2685                         char *line, size_t size, size_t *len)
2686 {
2687         unsigned long flags;
2688         bool ret;
2689
2690         raw_spin_lock_irqsave(&logbuf_lock, flags);
2691         ret = kmsg_dump_get_line_nolock(dumper, syslog, line, size, len);
2692         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2693
2694         return ret;
2695 }
2696 EXPORT_SYMBOL_GPL(kmsg_dump_get_line);
2697
2698 /**
2699  * kmsg_dump_get_buffer - copy kmsg log lines
2700  * @dumper: registered kmsg dumper
2701  * @syslog: include the "<4>" prefixes
2702  * @buf: buffer to copy the line to
2703  * @size: maximum size of the buffer
2704  * @len: length of line placed into buffer
2705  *
2706  * Start at the end of the kmsg buffer and fill the provided buffer
2707  * with as many of the the *youngest* kmsg records that fit into it.
2708  * If the buffer is large enough, all available kmsg records will be
2709  * copied with a single call.
2710  *
2711  * Consecutive calls will fill the buffer with the next block of
2712  * available older records, not including the earlier retrieved ones.
2713  *
2714  * A return value of FALSE indicates that there are no more records to
2715  * read.
2716  */
2717 bool kmsg_dump_get_buffer(struct kmsg_dumper *dumper, bool syslog,
2718                           char *buf, size_t size, size_t *len)
2719 {
2720         unsigned long flags;
2721         u64 seq;
2722         u32 idx;
2723         u64 next_seq;
2724         u32 next_idx;
2725         enum log_flags prev;
2726         size_t l = 0;
2727         bool ret = false;
2728
2729         if (!dumper->active)
2730                 goto out;
2731
2732         raw_spin_lock_irqsave(&logbuf_lock, flags);
2733         if (dumper->cur_seq < log_first_seq) {
2734                 /* messages are gone, move to first available one */
2735                 dumper->cur_seq = log_first_seq;
2736                 dumper->cur_idx = log_first_idx;
2737         }
2738
2739         /* last entry */
2740         if (dumper->cur_seq >= dumper->next_seq) {
2741                 raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2742                 goto out;
2743         }
2744
2745         /* calculate length of entire buffer */
2746         seq = dumper->cur_seq;
2747         idx = dumper->cur_idx;
2748         prev = 0;
2749         while (seq < dumper->next_seq) {
2750                 struct log *msg = log_from_idx(idx);
2751
2752                 l += msg_print_text(msg, prev, true, NULL, 0);
2753                 idx = log_next(idx);
2754                 seq++;
2755                 prev = msg->flags;
2756         }
2757
2758         /* move first record forward until length fits into the buffer */
2759         seq = dumper->cur_seq;
2760         idx = dumper->cur_idx;
2761         prev = 0;
2762         while (l > size && seq < dumper->next_seq) {
2763                 struct log *msg = log_from_idx(idx);
2764
2765                 l -= msg_print_text(msg, prev, true, NULL, 0);
2766                 idx = log_next(idx);
2767                 seq++;
2768                 prev = msg->flags;
2769         }
2770
2771         /* last message in next interation */
2772         next_seq = seq;
2773         next_idx = idx;
2774
2775         l = 0;
2776         prev = 0;
2777         while (seq < dumper->next_seq) {
2778                 struct log *msg = log_from_idx(idx);
2779
2780                 l += msg_print_text(msg, prev, syslog, buf + l, size - l);
2781                 idx = log_next(idx);
2782                 seq++;
2783                 prev = msg->flags;
2784         }
2785
2786         dumper->next_seq = next_seq;
2787         dumper->next_idx = next_idx;
2788         ret = true;
2789         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2790 out:
2791         if (len)
2792                 *len = l;
2793         return ret;
2794 }
2795 EXPORT_SYMBOL_GPL(kmsg_dump_get_buffer);
2796
2797 /**
2798  * kmsg_dump_rewind_nolock - reset the interator (unlocked version)
2799  * @dumper: registered kmsg dumper
2800  *
2801  * Reset the dumper's iterator so that kmsg_dump_get_line() and
2802  * kmsg_dump_get_buffer() can be called again and used multiple
2803  * times within the same dumper.dump() callback.
2804  *
2805  * The function is similar to kmsg_dump_rewind(), but grabs no locks.
2806  */
2807 void kmsg_dump_rewind_nolock(struct kmsg_dumper *dumper)
2808 {
2809         dumper->cur_seq = clear_seq;
2810         dumper->cur_idx = clear_idx;
2811         dumper->next_seq = log_next_seq;
2812         dumper->next_idx = log_next_idx;
2813 }
2814
2815 /**
2816  * kmsg_dump_rewind - reset the interator
2817  * @dumper: registered kmsg dumper
2818  *
2819  * Reset the dumper's iterator so that kmsg_dump_get_line() and
2820  * kmsg_dump_get_buffer() can be called again and used multiple
2821  * times within the same dumper.dump() callback.
2822  */
2823 void kmsg_dump_rewind(struct kmsg_dumper *dumper)
2824 {
2825         unsigned long flags;
2826
2827         raw_spin_lock_irqsave(&logbuf_lock, flags);
2828         kmsg_dump_rewind_nolock(dumper);
2829         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2830 }
2831 EXPORT_SYMBOL_GPL(kmsg_dump_rewind);
2832 #endif