kernel/printk.c

   1 /*
   2  *  linux/kernel/printk.c
   3  *
   4  *  Copyright (C) 1991, 1992  Linus Torvalds
   5  *
   6  * Modified to make sys_syslog() more flexible: added commands to
   7  * return the last 4k of kernel messages, regardless of whether
   8  * they've been read or not.  Added option to suppress kernel printk's
   9  * to the console.  Added hook for sending the console messages
  10  * elsewhere, in preparation for a serial line console (someday).
  11  * Ted Ts'o, 2/11/93.
  12  * Modified for sysctl support, 1/8/97, Chris Horn.
  13  * Fixed SMP synchronization, 08/08/99, Manfred Spraul
  14  *     manfred@colorfullife.com
  15  * Rewrote bits to get rid of console_lock
  16  *      01Mar01 Andrew Morton
  17  */
  18
  19 #include <linux/kernel.h>
  20 #include <linux/mm.h>
  21 #include <linux/tty.h>
  22 #include <linux/tty_driver.h>
  23 #include <linux/console.h>
  24 #include <linux/init.h>
  25 #include <linux/jiffies.h>
  26 #include <linux/nmi.h>
  27 #include <linux/module.h>
  28 #include <linux/moduleparam.h>
  29 #include <linux/interrupt.h>                    /* For in_interrupt() */
  30 #include <linux/delay.h>
  31 #include <linux/smp.h>
  32 #include <linux/security.h>
  33 #include <linux/bootmem.h>
  34 #include <linux/memblock.h>
  35 #include <linux/aio.h>
  36 #include <linux/syscalls.h>
  37 #include <linux/kexec.h>
  38 #include <linux/kdb.h>
  39 #include <linux/ratelimit.h>
  40 #include <linux/kmsg_dump.h>
  41 #include <linux/syslog.h>
  42 #include <linux/cpu.h>
  43 #include <linux/notifier.h>
  44 #include <linux/rculist.h>
  45 #include <linux/poll.h>
  46 #include <linux/irq_work.h>
  47 #include <linux/utsname.h>
  48
  49 #include <asm/uaccess.h>
  50
  51 #define CREATE_TRACE_POINTS
  52 #include <trace/events/printk.h>
  53
  54 #ifdef CONFIG_EARLY_PRINTK_DIRECT
  55 extern void printascii(char *);
  56 #endif
  57
  58 /* printk's without a loglevel use this.. */
  59 #define DEFAULT_MESSAGE_LOGLEVEL CONFIG_DEFAULT_MESSAGE_LOGLEVEL
  60
  61 /* We show everything that is MORE important than this.. */
  62 #define MINIMUM_CONSOLE_LOGLEVEL 1 /* Minimum loglevel we let people use */
  63 #define DEFAULT_CONSOLE_LOGLEVEL 7 /* anything MORE serious than KERN_DEBUG */
  64
  65 int console_printk[4] = {
  66         DEFAULT_CONSOLE_LOGLEVEL,       /* console_loglevel */
  67         DEFAULT_MESSAGE_LOGLEVEL,       /* default_message_loglevel */
  68         MINIMUM_CONSOLE_LOGLEVEL,       /* minimum_console_loglevel */
  69         DEFAULT_CONSOLE_LOGLEVEL,       /* default_console_loglevel */
  70 };
  71
  72 /*
  73  * Low level drivers may need that to know if they can schedule in
  74  * their unblank() callback or not. So let's export it.
  75  */
  76 int oops_in_progress;
  77 EXPORT_SYMBOL(oops_in_progress);
  78
  79 /*
  80  * console_sem protects the console_drivers list, and also
  81  * provides serialisation for access to the entire console
  82  * driver system.
  83  */
  84 static DEFINE_SEMAPHORE(console_sem);
  85 struct console *console_drivers;
  86 EXPORT_SYMBOL_GPL(console_drivers);
  87
  88 #ifdef CONFIG_LOCKDEP
  89 static struct lockdep_map console_lock_dep_map = {
  90         .name = "console_lock"
  91 };
  92 #endif
  93
  94 /*
  95  * This is used for debugging the mess that is the VT code by
  96  * keeping track if we have the console semaphore held. It's
  97  * definitely not the perfect debug tool (we don't know if _WE_
  98  * hold it are racing, but it helps tracking those weird code
  99  * path in the console code where we end up in places I want
 100  * locked without the console sempahore held
 101  */
 102 static int console_locked, console_suspended;
 103
 104 /*
 105  * If exclusive_console is non-NULL then only this console is to be printed to.
 106  */
 107 static struct console *exclusive_console;
 108
 109 /*
 110  *      Array of consoles built from command line options (console=)
 111  */
 112 struct console_cmdline
 113 {
 114         char    name[8];                        /* Name of the driver       */
 115         int     index;                          /* Minor dev. to use        */
 116         char    *options;                       /* Options for the driver   */
 117 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
 118         char    *brl_options;                   /* Options for braille driver */
 119 #endif
 120 };
 121
 122 #define MAX_CMDLINECONSOLES 8
 123
 124 static struct console_cmdline console_cmdline[MAX_CMDLINECONSOLES];
 125 static int selected_console = -1;
 126 static int preferred_console = -1;
 127 int console_set_on_cmdline;
 128 EXPORT_SYMBOL(console_set_on_cmdline);
 129
 130 /* Flag: console code may call schedule() */
 131 static int console_may_schedule;
 132
 133 /*
 134  * The printk log buffer consists of a chain of concatenated variable
 135  * length records. Every record starts with a record header, containing
 136  * the overall length of the record.
 137  *
 138  * The heads to the first and last entry in the buffer, as well as the
 139  * sequence numbers of these both entries are maintained when messages
 140  * are stored..
 141  *
 142  * If the heads indicate available messages, the length in the header
 143  * tells the start next message. A length == 0 for the next message
 144  * indicates a wrap-around to the beginning of the buffer.
 145  *
 146  * Every record carries the monotonic timestamp in microseconds, as well as
 147  * the standard userspace syslog level and syslog facility. The usual
 148  * kernel messages use LOG_KERN; userspace-injected messages always carry
 149  * a matching syslog facility, by default LOG_USER. The origin of every
 150  * message can be reliably determined that way.
 151  *
 152  * The human readable log message directly follows the message header. The
 153  * length of the message text is stored in the header, the stored message
 154  * is not terminated.
 155  *
 156  * Optionally, a message can carry a dictionary of properties (key/value pairs),
 157  * to provide userspace with a machine-readable message context.
 158  *
 159  * Examples for well-defined, commonly used property names are:
 160  *   DEVICE=b12:8               device identifier
 161  *                                b12:8         block dev_t
 162  *                                c127:3        char dev_t
 163  *                                n8            netdev ifindex
 164  *                                +sound:card0  subsystem:devname
 165  *   SUBSYSTEM=pci              driver-core subsystem name
 166  *
 167  * Valid characters in property names are [a-zA-Z0-9.-_]. The plain text value
 168  * follows directly after a '=' character. Every property is terminated by
 169  * a '\0' character. The last property is not terminated.
 170  *
 171  * Example of a message structure:
 172  *   0000  ff 8f 00 00 00 00 00 00      monotonic time in nsec
 173  *   0008  34 00                        record is 52 bytes long
 174  *   000a        0b 00                  text is 11 bytes long
 175  *   000c              1f 00            dictionary is 23 bytes long
 176  *   000e                    03 00      LOG_KERN (facility) LOG_ERR (level)
 177  *   0010  69 74 27 73 20 61 20 6c      "it's a l"
 178  *         69 6e 65                     "ine"
 179  *   001b           44 45 56 49 43      "DEVIC"
 180  *         45 3d 62 38 3a 32 00 44      "E=b8:2\0D"
 181  *         52 49 56 45 52 3d 62 75      "RIVER=bu"
 182  *         67                           "g"
 183  *   0032     00 00 00                  padding to next message header
 184  *
 185  * The 'struct log' buffer header must never be directly exported to
 186  * userspace, it is a kernel-private implementation detail that might
 187  * need to be changed in the future, when the requirements change.
 188  *
 189  * /dev/kmsg exports the structured data in the following line format:
 190  *   "level,sequnum,timestamp;<message text>\n"
 191  *
 192  * The optional key/value pairs are attached as continuation lines starting
 193  * with a space character and terminated by a newline. All possible
 194  * non-prinatable characters are escaped in the "\xff" notation.
 195  *
 196  * Users of the export format should ignore possible additional values
 197  * separated by ',', and find the message after the ';' character.
 198  */
 199
 200 enum log_flags {
 201         LOG_NOCONS      = 1,    /* already flushed, do not print to console */
 202         LOG_NEWLINE     = 2,    /* text ended with a newline */
 203         LOG_PREFIX      = 4,    /* text started with a prefix */
 204         LOG_CONT        = 8,    /* text is a fragment of a continuation line */
 205 };
 206
 207 struct log {
 208         u64 ts_nsec;            /* timestamp in nanoseconds */
 209         u16 len;                /* length of entire record */
 210         u16 text_len;           /* length of text buffer */
 211         u16 dict_len;           /* length of dictionary buffer */
 212         u8 facility;            /* syslog facility */
 213         u8 flags:5;             /* internal record flags */
 214         u8 level:3;             /* syslog level */
 215 };
 216
 217 /*
 218  * The logbuf_lock protects kmsg buffer, indices, counters. It is also
 219  * used in interesting ways to provide interlocking in console_unlock();
 220  */
 221 static DEFINE_RAW_SPINLOCK(logbuf_lock);
 222
 223 #ifdef CONFIG_PRINTK
 224 DECLARE_WAIT_QUEUE_HEAD(log_wait);
 225 /* the next printk record to read by syslog(READ) or /proc/kmsg */
 226 static u64 syslog_seq;
 227 static u32 syslog_idx;
 228 static enum log_flags syslog_prev;
 229 static size_t syslog_partial;
 230
 231 /* index and sequence number of the first record stored in the buffer */
 232 static u64 log_first_seq;
 233 static u32 log_first_idx;
 234
 235 /* index and sequence number of the next record to store in the buffer */
 236 static u64 log_next_seq;
 237 static u32 log_next_idx;
 238
 239 /* the next printk record to write to the console */
 240 static u64 console_seq;
 241 static u32 console_idx;
 242 static enum log_flags console_prev;
 243
 244 /* the next printk record to read after the last 'clear' command */
 245 static u64 clear_seq;
 246 static u32 clear_idx;
 247
 248 #define PREFIX_MAX              32
 249 #define LOG_LINE_MAX            1024 - PREFIX_MAX
 250
 251 /* record buffer */
 252 #if defined(CONFIG_HAVE_EFFICIENT_UNALIGNED_ACCESS)
 253 #define LOG_ALIGN 4
 254 #else
 255 #define LOG_ALIGN __alignof__(struct log)
 256 #endif
 257 #define __LOG_BUF_LEN (1 << CONFIG_LOG_BUF_SHIFT)
 258 static char __log_buf[__LOG_BUF_LEN] __aligned(LOG_ALIGN);
 259 static char *log_buf = __log_buf;
 260 static u32 log_buf_len = __LOG_BUF_LEN;
 261
 262 /* cpu currently holding logbuf_lock */
 263 static volatile unsigned int logbuf_cpu = UINT_MAX;
 264
 265 /* human readable text of the record */
 266 static char *log_text(const struct log *msg)
 267 {
 268         return (char *)msg + sizeof(struct log);
 269 }
 270
 271 /* optional key/value pair dictionary attached to the record */
 272 static char *log_dict(const struct log *msg)
 273 {
 274         return (char *)msg + sizeof(struct log) + msg->text_len;
 275 }
 276
 277 /* get record by index; idx must point to valid msg */
 278 static struct log *log_from_idx(u32 idx)
 279 {
 280         struct log *msg = (struct log *)(log_buf + idx);
 281
 282         /*
 283          * A length == 0 record is the end of buffer marker. Wrap around and
 284          * read the message at the start of the buffer.
 285          */
 286         if (!msg->len)
 287                 return (struct log *)log_buf;
 288         return msg;
 289 }
 290
 291 /* get next record; idx must point to valid msg */
 292 static u32 log_next(u32 idx)
 293 {
 294         struct log *msg = (struct log *)(log_buf + idx);
 295
 296         /* length == 0 indicates the end of the buffer; wrap */
 297         /*
 298          * A length == 0 record is the end of buffer marker. Wrap around and
 299          * read the message at the start of the buffer as *this* one, and
 300          * return the one after that.
 301          */
 302         if (!msg->len) {
 303                 msg = (struct log *)log_buf;
 304                 return msg->len;
 305         }
 306         return idx + msg->len;
 307 }
 308
 309 /* insert record into the buffer, discard old ones, update heads */
 310 static void log_store(int facility, int level,
 311                       enum log_flags flags, u64 ts_nsec,
 312                       const char *dict, u16 dict_len,
 313                       const char *text, u16 text_len)
 314 {
 315         struct log *msg;
 316         u32 size, pad_len;
 317
 318         /* number of '\0' padding bytes to next message */
 319         size = sizeof(struct log) + text_len + dict_len;
 320         pad_len = (-size) & (LOG_ALIGN - 1);
 321         size += pad_len;
 322
 323         while (log_first_seq < log_next_seq) {
 324                 u32 free;
 325
 326                 if (log_next_idx > log_first_idx)
 327                         free = max(log_buf_len - log_next_idx, log_first_idx);
 328                 else
 329                         free = log_first_idx - log_next_idx;
 330
 331                 if (free > size + sizeof(struct log))
 332                         break;
 333
 334                 /* drop old messages until we have enough contiuous space */
 335                 log_first_idx = log_next(log_first_idx);
 336                 log_first_seq++;
 337         }
 338
 339         if (log_next_idx + size + sizeof(struct log) >= log_buf_len) {
 340                 /*
 341                  * This message + an additional empty header does not fit
 342                  * at the end of the buffer. Add an empty header with len == 0
 343                  * to signify a wrap around.
 344                  */
 345                 memset(log_buf + log_next_idx, 0, sizeof(struct log));
 346                 log_next_idx = 0;
 347         }
 348
 349         /* fill message */
 350         msg = (struct log *)(log_buf + log_next_idx);
 351         memcpy(log_text(msg), text, text_len);
 352         msg->text_len = text_len;
 353         memcpy(log_dict(msg), dict, dict_len);
 354         msg->dict_len = dict_len;
 355         msg->facility = facility;
 356         msg->level = level & 7;
 357         msg->flags = flags & 0x1f;
 358         if (ts_nsec > 0)
 359                 msg->ts_nsec = ts_nsec;
 360         else
 361                 msg->ts_nsec = local_clock();
 362         memset(log_dict(msg) + dict_len, 0, pad_len);
 363         msg->len = sizeof(struct log) + text_len + dict_len + pad_len;
 364
 365         /* insert message */
 366         log_next_idx += msg->len;
 367         log_next_seq++;
 368 }
 369
 370 #ifdef CONFIG_SECURITY_DMESG_RESTRICT
 371 int dmesg_restrict = 1;
 372 #else
 373 int dmesg_restrict;
 374 #endif
 375
 376 static int syslog_action_restricted(int type)
 377 {
 378         if (dmesg_restrict)
 379                 return 1;
 380         /*
 381          * Unless restricted, we allow "read all" and "get buffer size"
 382          * for everybody.
 383          */
 384         return type != SYSLOG_ACTION_READ_ALL &&
 385                type != SYSLOG_ACTION_SIZE_BUFFER;
 386 }
 387
 388 static int check_syslog_permissions(int type, bool from_file)
 389 {
 390         /*
 391          * If this is from /proc/kmsg and we've already opened it, then we've
 392          * already done the capabilities checks at open time.
 393          */
 394         if (from_file && type != SYSLOG_ACTION_OPEN)
 395                 return 0;
 396
 397         if (syslog_action_restricted(type)) {
 398                 if (capable(CAP_SYSLOG))
 399                         return 0;
 400                 /*
 401                  * For historical reasons, accept CAP_SYS_ADMIN too, with
 402                  * a warning.
 403                  */
 404                 if (capable(CAP_SYS_ADMIN)) {
 405                         pr_warn_once("%s (%d): Attempt to access syslog with "
 406                                      "CAP_SYS_ADMIN but no CAP_SYSLOG "
 407                                      "(deprecated).\n",
 408                                  current->comm, task_pid_nr(current));
 409                         return 0;
 410                 }
 411                 return -EPERM;
 412         }
 413         return security_syslog(type);
 414 }
 415
 416
 417 /* /dev/kmsg - userspace message inject/listen interface */
 418 struct devkmsg_user {
 419         u64 seq;
 420         u32 idx;
 421         enum log_flags prev;
 422         struct mutex lock;
 423         char buf[8192];
 424 };
 425
 426 static ssize_t devkmsg_writev(struct kiocb *iocb, const struct iovec *iv,
 427                               unsigned long count, loff_t pos)
 428 {
 429         char *buf, *line;
 430         int i;
 431         int level = default_message_loglevel;
 432         int facility = 1;       /* LOG_USER */
 433         size_t len = iov_length(iv, count);
 434         ssize_t ret = len;
 435
 436         if (len > LOG_LINE_MAX)
 437                 return -EINVAL;
 438         buf = kmalloc(len+1, GFP_KERNEL);
 439         if (buf == NULL)
 440                 return -ENOMEM;
 441
 442         line = buf;
 443         for (i = 0; i < count; i++) {
 444                 if (copy_from_user(line, iv[i].iov_base, iv[i].iov_len)) {
 445                         ret = -EFAULT;
 446                         goto out;
 447                 }
 448                 line += iv[i].iov_len;
 449         }
 450
 451         /*
 452          * Extract and skip the syslog prefix <[0-9]*>. Coming from userspace
 453          * the decimal value represents 32bit, the lower 3 bit are the log
 454          * level, the rest are the log facility.
 455          *
 456          * If no prefix or no userspace facility is specified, we
 457          * enforce LOG_USER, to be able to reliably distinguish
 458          * kernel-generated messages from userspace-injected ones.
 459          */
 460         line = buf;
 461         if (line[0] == '<') {
 462                 char *endp = NULL;
 463
 464                 i = simple_strtoul(line+1, &endp, 10);
 465                 if (endp && endp[0] == '>') {
 466                         level = i & 7;
 467                         if (i >> 3)
 468                                 facility = i >> 3;
 469                         endp++;
 470                         len -= endp - line;
 471                         line = endp;
 472                 }
 473         }
 474         line[len] = '\0';
 475
 476         printk_emit(facility, level, NULL, 0, "%s", line);
 477 out:
 478         kfree(buf);
 479         return ret;
 480 }
 481
 482 static ssize_t devkmsg_read(struct file *file, char __user *buf,
 483                             size_t count, loff_t *ppos)
 484 {
 485         struct devkmsg_user *user = file->private_data;
 486         struct log *msg;
 487         u64 ts_usec;
 488         size_t i;
 489         char cont = '-';
 490         size_t len;
 491         ssize_t ret;
 492
 493         if (!user)
 494                 return -EBADF;
 495
 496         ret = mutex_lock_interruptible(&user->lock);
 497         if (ret)
 498                 return ret;
 499         raw_spin_lock_irq(&logbuf_lock);
 500         while (user->seq == log_next_seq) {
 501                 if (file->f_flags & O_NONBLOCK) {
 502                         ret = -EAGAIN;
 503                         raw_spin_unlock_irq(&logbuf_lock);
 504                         goto out;
 505                 }
 506
 507                 raw_spin_unlock_irq(&logbuf_lock);
 508                 ret = wait_event_interruptible(log_wait,
 509                                                user->seq != log_next_seq);
 510                 if (ret)
 511                         goto out;
 512                 raw_spin_lock_irq(&logbuf_lock);
 513         }
 514
 515         if (user->seq < log_first_seq) {
 516                 /* our last seen message is gone, return error and reset */
 517                 user->idx = log_first_idx;
 518                 user->seq = log_first_seq;
 519                 ret = -EPIPE;
 520                 raw_spin_unlock_irq(&logbuf_lock);
 521                 goto out;
 522         }
 523
 524         msg = log_from_idx(user->idx);
 525         ts_usec = msg->ts_nsec;
 526         do_div(ts_usec, 1000);
 527
 528         /*
 529          * If we couldn't merge continuation line fragments during the print,
 530          * export the stored flags to allow an optional external merge of the
 531          * records. Merging the records isn't always neccessarily correct, like
 532          * when we hit a race during printing. In most cases though, it produces
 533          * better readable output. 'c' in the record flags mark the first
 534          * fragment of a line, '+' the following.
 535          */
 536         if (msg->flags & LOG_CONT && !(user->prev & LOG_CONT))
 537                 cont = 'c';
 538         else if ((msg->flags & LOG_CONT) ||
 539                  ((user->prev & LOG_CONT) && !(msg->flags & LOG_PREFIX)))
 540                 cont = '+';
 541
 542         len = sprintf(user->buf, "%u,%llu,%llu,%c;",
 543                       (msg->facility << 3) | msg->level,
 544                       user->seq, ts_usec, cont);
 545         user->prev = msg->flags;
 546
 547         /* escape non-printable characters */
 548         for (i = 0; i < msg->text_len; i++) {
 549                 unsigned char c = log_text(msg)[i];
 550
 551                 if (c < ' ' || c >= 127 || c == '\\')
 552                         len += sprintf(user->buf + len, "\\x%02x", c);
 553                 else
 554                         user->buf[len++] = c;
 555         }
 556         user->buf[len++] = '\n';
 557
 558         if (msg->dict_len) {
 559                 bool line = true;
 560
 561                 for (i = 0; i < msg->dict_len; i++) {
 562                         unsigned char c = log_dict(msg)[i];
 563
 564                         if (line) {
 565                                 user->buf[len++] = ' ';
 566                                 line = false;
 567                         }
 568
 569                         if (c == '\0') {
 570                                 user->buf[len++] = '\n';
 571                                 line = true;
 572                                 continue;
 573                         }
 574
 575                         if (c < ' ' || c >= 127 || c == '\\') {
 576                                 len += sprintf(user->buf + len, "\\x%02x", c);
 577                                 continue;
 578                         }
 579
 580                         user->buf[len++] = c;
 581                 }
 582                 user->buf[len++] = '\n';
 583         }
 584
 585         user->idx = log_next(user->idx);
 586         user->seq++;
 587         raw_spin_unlock_irq(&logbuf_lock);
 588
 589         if (len > count) {
 590                 ret = -EINVAL;
 591                 goto out;
 592         }
 593
 594         if (copy_to_user(buf, user->buf, len)) {
 595                 ret = -EFAULT;
 596                 goto out;
 597         }
 598         ret = len;
 599 out:
 600         mutex_unlock(&user->lock);
 601         return ret;
 602 }
 603
 604 static loff_t devkmsg_llseek(struct file *file, loff_t offset, int whence)
 605 {
 606         struct devkmsg_user *user = file->private_data;
 607         loff_t ret = 0;
 608
 609         if (!user)
 610                 return -EBADF;
 611         if (offset)
 612                 return -ESPIPE;
 613
 614         raw_spin_lock_irq(&logbuf_lock);
 615         switch (whence) {
 616         case SEEK_SET:
 617                 /* the first record */
 618                 user->idx = log_first_idx;
 619                 user->seq = log_first_seq;
 620                 break;
 621         case SEEK_DATA:
 622                 /*
 623                  * The first record after the last SYSLOG_ACTION_CLEAR,
 624                  * like issued by 'dmesg -c'. Reading /dev/kmsg itself
 625                  * changes no global state, and does not clear anything.
 626                  */
 627                 user->idx = clear_idx;
 628                 user->seq = clear_seq;
 629                 break;
 630         case SEEK_END:
 631                 /* after the last record */
 632                 user->idx = log_next_idx;
 633                 user->seq = log_next_seq;
 634                 break;
 635         default:
 636                 ret = -EINVAL;
 637         }
 638         raw_spin_unlock_irq(&logbuf_lock);
 639         return ret;
 640 }
 641
 642 static unsigned int devkmsg_poll(struct file *file, poll_table *wait)
 643 {
 644         struct devkmsg_user *user = file->private_data;
 645         int ret = 0;
 646
 647         if (!user)
 648                 return POLLERR|POLLNVAL;
 649
 650         poll_wait(file, &log_wait, wait);
 651
 652         raw_spin_lock_irq(&logbuf_lock);
 653         if (user->seq < log_next_seq) {
 654                 /* return error when data has vanished underneath us */
 655                 if (user->seq < log_first_seq)
 656                         ret = POLLIN|POLLRDNORM|POLLERR|POLLPRI;
 657                 else
 658                         ret = POLLIN|POLLRDNORM;
 659         }
 660         raw_spin_unlock_irq(&logbuf_lock);
 661
 662         return ret;
 663 }
 664
 665 static int devkmsg_open(struct inode *inode, struct file *file)
 666 {
 667         struct devkmsg_user *user;
 668         int err;
 669
 670         /* write-only does not need any file context */
 671         if ((file->f_flags & O_ACCMODE) == O_WRONLY)
 672                 return 0;
 673
 674         err = check_syslog_permissions(SYSLOG_ACTION_READ_ALL,
 675                                        SYSLOG_FROM_READER);
 676         if (err)
 677                 return err;
 678
 679         user = kmalloc(sizeof(struct devkmsg_user), GFP_KERNEL);
 680         if (!user)
 681                 return -ENOMEM;
 682
 683         mutex_init(&user->lock);
 684
 685         raw_spin_lock_irq(&logbuf_lock);
 686         user->idx = log_first_idx;
 687         user->seq = log_first_seq;
 688         raw_spin_unlock_irq(&logbuf_lock);
 689
 690         file->private_data = user;
 691         return 0;
 692 }
 693
 694 static int devkmsg_release(struct inode *inode, struct file *file)
 695 {
 696         struct devkmsg_user *user = file->private_data;
 697
 698         if (!user)
 699                 return 0;
 700
 701         mutex_destroy(&user->lock);
 702         kfree(user);
 703         return 0;
 704 }
 705
 706 const struct file_operations kmsg_fops = {
 707         .open = devkmsg_open,
 708         .read = devkmsg_read,
 709         .aio_write = devkmsg_writev,
 710         .llseek = devkmsg_llseek,
 711         .poll = devkmsg_poll,
 712         .release = devkmsg_release,
 713 };
 714
 715 #ifdef CONFIG_KEXEC
 716 /*
 717  * This appends the listed symbols to /proc/vmcoreinfo
 718  *
 719  * /proc/vmcoreinfo is used by various utiilties, like crash and makedumpfile to
 720  * obtain access to symbols that are otherwise very difficult to locate.  These
 721  * symbols are specifically used so that utilities can access and extract the
 722  * dmesg log from a vmcore file after a crash.
 723  */
 724 void log_buf_kexec_setup(void)
 725 {
 726         VMCOREINFO_SYMBOL(log_buf);
 727         VMCOREINFO_SYMBOL(log_buf_len);
 728         VMCOREINFO_SYMBOL(log_first_idx);
 729         VMCOREINFO_SYMBOL(log_next_idx);
 730         /*
 731          * Export struct log size and field offsets. User space tools can
 732          * parse it and detect any changes to structure down the line.
 733          */
 734         VMCOREINFO_STRUCT_SIZE(log);
 735         VMCOREINFO_OFFSET(log, ts_nsec);
 736         VMCOREINFO_OFFSET(log, len);
 737         VMCOREINFO_OFFSET(log, text_len);
 738         VMCOREINFO_OFFSET(log, dict_len);
 739 }
 740 #endif
 741
 742 /* requested log_buf_len from kernel cmdline */
 743 static unsigned long __initdata new_log_buf_len;
 744
 745 /* save requested log_buf_len since it's too early to process it */
 746 static int __init log_buf_len_setup(char *str)
 747 {
 748         unsigned size = memparse(str, &str);
 749
 750         if (size)
 751                 size = roundup_pow_of_two(size);
 752         if (size > log_buf_len)
 753                 new_log_buf_len = size;
 754
 755         return 0;
 756 }
 757 early_param("log_buf_len", log_buf_len_setup);
 758
 759 void __init setup_log_buf(int early)
 760 {
 761         unsigned long flags;
 762         char *new_log_buf;
 763         int free;
 764
 765         if (!new_log_buf_len)
 766                 return;
 767
 768         if (early) {
 769                 unsigned long mem;
 770
 771                 mem = memblock_alloc(new_log_buf_len, PAGE_SIZE);
 772                 if (!mem)
 773                         return;
 774                 new_log_buf = __va(mem);
 775         } else {
 776                 new_log_buf = alloc_bootmem_nopanic(new_log_buf_len);
 777         }
 778
 779         if (unlikely(!new_log_buf)) {
 780                 pr_err("log_buf_len: %ld bytes not available\n",
 781                         new_log_buf_len);
 782                 return;
 783         }
 784
 785         raw_spin_lock_irqsave(&logbuf_lock, flags);
 786         log_buf_len = new_log_buf_len;
 787         log_buf = new_log_buf;
 788         new_log_buf_len = 0;
 789         free = __LOG_BUF_LEN - log_next_idx;
 790         memcpy(log_buf, __log_buf, __LOG_BUF_LEN);
 791         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
 792
 793         pr_info("log_buf_len: %d\n", log_buf_len);
 794         pr_info("early log buf free: %d(%d%%)\n",
 795                 free, (free * 100) / __LOG_BUF_LEN);
 796 }
 797
 798 static bool __read_mostly ignore_loglevel;
 799
 800 static int __init ignore_loglevel_setup(char *str)
 801 {
 802         ignore_loglevel = 1;
 803         printk(KERN_INFO "debug: ignoring loglevel setting.\n");
 804
 805         return 0;
 806 }
 807
 808 early_param("ignore_loglevel", ignore_loglevel_setup);
 809 module_param(ignore_loglevel, bool, S_IRUGO | S_IWUSR);
 810 MODULE_PARM_DESC(ignore_loglevel, "ignore loglevel setting, to"
 811         "print all kernel messages to the console.");
 812
 813 #ifdef CONFIG_BOOT_PRINTK_DELAY
 814
 815 static int boot_delay; /* msecs delay after each printk during bootup */
 816 static unsigned long long loops_per_msec;       /* based on boot_delay */
 817
 818 static int __init boot_delay_setup(char *str)
 819 {
 820         unsigned long lpj;
 821
 822         lpj = preset_lpj ? preset_lpj : 1000000;        /* some guess */
 823         loops_per_msec = (unsigned long long)lpj / 1000 * HZ;
 824
 825         get_option(&str, &boot_delay);
 826         if (boot_delay > 10 * 1000)
 827                 boot_delay = 0;
 828
 829         pr_debug("boot_delay: %u, preset_lpj: %ld, lpj: %lu, "
 830                 "HZ: %d, loops_per_msec: %llu\n",
 831                 boot_delay, preset_lpj, lpj, HZ, loops_per_msec);
 832         return 1;
 833 }
 834 __setup("boot_delay=", boot_delay_setup);
 835
 836 static void boot_delay_msec(int level)
 837 {
 838         unsigned long long k;
 839         unsigned long timeout;
 840
 841         if ((boot_delay == 0 || system_state != SYSTEM_BOOTING)
 842                 || (level >= console_loglevel && !ignore_loglevel)) {
 843                 return;
 844         }
 845
 846         k = (unsigned long long)loops_per_msec * boot_delay;
 847
 848         timeout = jiffies + msecs_to_jiffies(boot_delay);
 849         while (k) {
 850                 k--;
 851                 cpu_relax();
 852                 /*
 853                  * use (volatile) jiffies to prevent
 854                  * compiler reduction; loop termination via jiffies
 855                  * is secondary and may or may not happen.
 856                  */
 857                 if (time_after(jiffies, timeout))
 858                         break;
 859                 touch_nmi_watchdog();
 860         }
 861 }
 862 #else
 863 static inline void boot_delay_msec(int level)
 864 {
 865 }
 866 #endif
 867
 868 #if defined(CONFIG_PRINTK_TIME)
 869 static bool printk_time = 1;
 870 #else
 871 static bool printk_time;
 872 #endif
 873 module_param_named(time, printk_time, bool, S_IRUGO | S_IWUSR);
 874
 875 static size_t print_time(u64 ts, char *buf)
 876 {
 877         unsigned long rem_nsec;
 878
 879         if (!printk_time)
 880                 return 0;
 881
 882         rem_nsec = do_div(ts, 1000000000);
 883
 884         if (!buf)
 885                 return snprintf(NULL, 0, "[%5lu.000000] ", (unsigned long)ts);
 886
 887         return sprintf(buf, "[%5lu.%06lu] ",
 888                        (unsigned long)ts, rem_nsec / 1000);
 889 }
 890
 891 static size_t print_prefix(const struct log *msg, bool syslog, char *buf)
 892 {
 893         size_t len = 0;
 894         unsigned int prefix = (msg->facility << 3) | msg->level;
 895
 896         if (syslog) {
 897                 if (buf) {
 898                         len += sprintf(buf, "<%u>", prefix);
 899                 } else {
 900                         len += 3;
 901                         if (prefix > 999)
 902                                 len += 3;
 903                         else if (prefix > 99)
 904                                 len += 2;
 905                         else if (prefix > 9)
 906                                 len++;
 907                 }
 908         }
 909
 910         len += print_time(msg->ts_nsec, buf ? buf + len : NULL);
 911         return len;
 912 }
 913
 914 static size_t msg_print_text(const struct log *msg, enum log_flags prev,
 915                              bool syslog, char *buf, size_t size)
 916 {
 917         const char *text = log_text(msg);
 918         size_t text_size = msg->text_len;
 919         bool prefix = true;
 920         bool newline = true;
 921         size_t len = 0;
 922
 923         if ((prev & LOG_CONT) && !(msg->flags & LOG_PREFIX))
 924                 prefix = false;
 925
 926         if (msg->flags & LOG_CONT) {
 927                 if ((prev & LOG_CONT) && !(prev & LOG_NEWLINE))
 928                         prefix = false;
 929
 930                 if (!(msg->flags & LOG_NEWLINE))
 931                         newline = false;
 932         }
 933
 934         do {
 935                 const char *next = memchr(text, '\n', text_size);
 936                 size_t text_len;
 937
 938                 if (next) {
 939                         text_len = next - text;
 940                         next++;
 941                         text_size -= next - text;
 942                 } else {
 943                         text_len = text_size;
 944                 }
 945
 946                 if (buf) {
 947                         if (print_prefix(msg, syslog, NULL) +
 948                             text_len + 1 >= size - len)
 949                                 break;
 950
 951                         if (prefix)
 952                                 len += print_prefix(msg, syslog, buf + len);
 953                         memcpy(buf + len, text, text_len);
 954                         len += text_len;
 955                         if (next || newline)
 956                                 buf[len++] = '\n';
 957                 } else {
 958                         /* SYSLOG_ACTION_* buffer size only calculation */
 959                         if (prefix)
 960                                 len += print_prefix(msg, syslog, NULL);
 961                         len += text_len;
 962                         if (next || newline)
 963                                 len++;
 964                 }
 965
 966                 prefix = true;
 967                 text = next;
 968         } while (text);
 969
 970         return len;
 971 }
 972
 973 static int syslog_print(char __user *buf, int size)
 974 {
 975         char *text;
 976         struct log *msg;
 977         int len = 0;
 978
 979         text = kmalloc(LOG_LINE_MAX + PREFIX_MAX, GFP_KERNEL);
 980         if (!text)
 981                 return -ENOMEM;
 982
 983         while (size > 0) {
 984                 size_t n;
 985                 size_t skip;
 986
 987                 raw_spin_lock_irq(&logbuf_lock);
 988                 if (syslog_seq < log_first_seq) {
 989                         /* messages are gone, move to first one */
 990                         syslog_seq = log_first_seq;
 991                         syslog_idx = log_first_idx;
 992                         syslog_prev = 0;
 993                         syslog_partial = 0;
 994                 }
 995                 if (syslog_seq == log_next_seq) {
 996                         raw_spin_unlock_irq(&logbuf_lock);
 997                         break;
 998                 }
 999
1000                 skip = syslog_partial;
1001                 msg = log_from_idx(syslog_idx);
1002                 n = msg_print_text(msg, syslog_prev, true, text,
1003                                    LOG_LINE_MAX + PREFIX_MAX);
1004                 if (n - syslog_partial <= size) {
1005                         /* message fits into buffer, move forward */
1006                         syslog_idx = log_next(syslog_idx);
1007                         syslog_seq++;
1008                         syslog_prev = msg->flags;
1009                         n -= syslog_partial;
1010                         syslog_partial = 0;
1011                 } else if (!len){
1012                         /* partial read(), remember position */
1013                         n = size;
1014                         syslog_partial += n;
1015                 } else
1016                         n = 0;
1017                 raw_spin_unlock_irq(&logbuf_lock);
1018
1019                 if (!n)
1020                         break;
1021
1022                 if (copy_to_user(buf, text + skip, n)) {
1023                         if (!len)
1024                                 len = -EFAULT;
1025                         break;
1026                 }
1027
1028                 len += n;
1029                 size -= n;
1030                 buf += n;
1031         }
1032
1033         kfree(text);
1034         return len;
1035 }
1036
1037 static int syslog_print_all(char __user *buf, int size, bool clear)
1038 {
1039         char *text;
1040         int len = 0;
1041
1042         text = kmalloc(LOG_LINE_MAX + PREFIX_MAX, GFP_KERNEL);
1043         if (!text)
1044                 return -ENOMEM;
1045
1046         raw_spin_lock_irq(&logbuf_lock);
1047         if (buf) {
1048                 u64 next_seq;
1049                 u64 seq;
1050                 u32 idx;
1051                 enum log_flags prev;
1052
1053                 if (clear_seq < log_first_seq) {
1054                         /* messages are gone, move to first available one */
1055                         clear_seq = log_first_seq;
1056                         clear_idx = log_first_idx;
1057                 }
1058
1059                 /*
1060                  * Find first record that fits, including all following records,
1061                  * into the user-provided buffer for this dump.
1062                  */
1063                 seq = clear_seq;
1064                 idx = clear_idx;
1065                 prev = 0;
1066                 while (seq < log_next_seq) {
1067                         struct log *msg = log_from_idx(idx);
1068
1069                         len += msg_print_text(msg, prev, true, NULL, 0);
1070                         prev = msg->flags;
1071                         idx = log_next(idx);
1072                         seq++;
1073                 }
1074
1075                 /* move first record forward until length fits into the buffer */
1076                 seq = clear_seq;
1077                 idx = clear_idx;
1078                 prev = 0;
1079                 while (len > size && seq < log_next_seq) {
1080                         struct log *msg = log_from_idx(idx);
1081
1082                         len -= msg_print_text(msg, prev, true, NULL, 0);
1083                         prev = msg->flags;
1084                         idx = log_next(idx);
1085                         seq++;
1086                 }
1087
1088                 /* last message fitting into this dump */
1089                 next_seq = log_next_seq;
1090
1091                 len = 0;
1092                 prev = 0;
1093                 while (len >= 0 && seq < next_seq) {
1094                         struct log *msg = log_from_idx(idx);
1095                         int textlen;
1096
1097                         textlen = msg_print_text(msg, prev, true, text,
1098                                                  LOG_LINE_MAX + PREFIX_MAX);
1099                         if (textlen < 0) {
1100                                 len = textlen;
1101                                 break;
1102                         }
1103                         idx = log_next(idx);
1104                         seq++;
1105                         prev = msg->flags;
1106
1107                         raw_spin_unlock_irq(&logbuf_lock);
1108                         if (copy_to_user(buf + len, text, textlen))
1109                                 len = -EFAULT;
1110                         else
1111                                 len += textlen;
1112                         raw_spin_lock_irq(&logbuf_lock);
1113
1114                         if (seq < log_first_seq) {
1115                                 /* messages are gone, move to next one */
1116                                 seq = log_first_seq;
1117                                 idx = log_first_idx;
1118                                 prev = 0;
1119                         }
1120                 }
1121         }
1122
1123         if (clear) {
1124                 clear_seq = log_next_seq;
1125                 clear_idx = log_next_idx;
1126         }
1127         raw_spin_unlock_irq(&logbuf_lock);
1128
1129         kfree(text);
1130         return len;
1131 }
1132
1133 int do_syslog(int type, char __user *buf, int len, bool from_file)
1134 {
1135         bool clear = false;
1136         static int saved_console_loglevel = -1;
1137         int error;
1138
1139         error = check_syslog_permissions(type, from_file);
1140         if (error)
1141                 goto out;
1142
1143         error = security_syslog(type);
1144         if (error)
1145                 return error;
1146
1147         switch (type) {
1148         case SYSLOG_ACTION_CLOSE:       /* Close log */
1149                 break;
1150         case SYSLOG_ACTION_OPEN:        /* Open log */
1151                 break;
1152         case SYSLOG_ACTION_READ:        /* Read from log */
1153                 error = -EINVAL;
1154                 if (!buf || len < 0)
1155                         goto out;
1156                 error = 0;
1157                 if (!len)
1158                         goto out;
1159                 if (!access_ok(VERIFY_WRITE, buf, len)) {
1160                         error = -EFAULT;
1161                         goto out;
1162                 }
1163                 error = wait_event_interruptible(log_wait,
1164                                                  syslog_seq != log_next_seq);
1165                 if (error)
1166                         goto out;
1167                 error = syslog_print(buf, len);
1168                 break;
1169         /* Read/clear last kernel messages */
1170         case SYSLOG_ACTION_READ_CLEAR:
1171                 clear = true;
1172                 /* FALL THRU */
1173         /* Read last kernel messages */
1174         case SYSLOG_ACTION_READ_ALL:
1175                 error = -EINVAL;
1176                 if (!buf || len < 0)
1177                         goto out;
1178                 error = 0;
1179                 if (!len)
1180                         goto out;
1181                 if (!access_ok(VERIFY_WRITE, buf, len)) {
1182                         error = -EFAULT;
1183                         goto out;
1184                 }
1185                 error = syslog_print_all(buf, len, clear);
1186                 break;
1187         /* Clear ring buffer */
1188         case SYSLOG_ACTION_CLEAR:
1189                 syslog_print_all(NULL, 0, true);
1190                 break;
1191         /* Disable logging to console */
1192         case SYSLOG_ACTION_CONSOLE_OFF:
1193                 if (saved_console_loglevel == -1)
1194                         saved_console_loglevel = console_loglevel;
1195                 console_loglevel = minimum_console_loglevel;
1196                 break;
1197         /* Enable logging to console */
1198         case SYSLOG_ACTION_CONSOLE_ON:
1199                 if (saved_console_loglevel != -1) {
1200                         console_loglevel = saved_console_loglevel;
1201                         saved_console_loglevel = -1;
1202                 }
1203                 break;
1204         /* Set level of messages printed to console */
1205         case SYSLOG_ACTION_CONSOLE_LEVEL:
1206                 error = -EINVAL;
1207                 if (len < 1 || len > 8)
1208                         goto out;
1209                 if (len < minimum_console_loglevel)
1210                         len = minimum_console_loglevel;
1211                 console_loglevel = len;
1212                 /* Implicitly re-enable logging to console */
1213                 saved_console_loglevel = -1;
1214                 error = 0;
1215                 break;
1216         /* Number of chars in the log buffer */
1217         case SYSLOG_ACTION_SIZE_UNREAD:
1218                 raw_spin_lock_irq(&logbuf_lock);
1219                 if (syslog_seq < log_first_seq) {
1220                         /* messages are gone, move to first one */
1221                         syslog_seq = log_first_seq;
1222                         syslog_idx = log_first_idx;
1223                         syslog_prev = 0;
1224                         syslog_partial = 0;
1225                 }
1226                 if (from_file) {
1227                         /*
1228                          * Short-cut for poll(/"proc/kmsg") which simply checks
1229                          * for pending data, not the size; return the count of
1230                          * records, not the length.
1231                          */
1232                         error = log_next_idx - syslog_idx;
1233                 } else {
1234                         u64 seq = syslog_seq;
1235                         u32 idx = syslog_idx;
1236                         enum log_flags prev = syslog_prev;
1237
1238                         error = 0;
1239                         while (seq < log_next_seq) {
1240                                 struct log *msg = log_from_idx(idx);
1241
1242                                 error += msg_print_text(msg, prev, true, NULL, 0);
1243                                 idx = log_next(idx);
1244                                 seq++;
1245                                 prev = msg->flags;
1246                         }
1247                         error -= syslog_partial;
1248                 }
1249                 raw_spin_unlock_irq(&logbuf_lock);
1250                 break;
1251         /* Size of the log buffer */
1252         case SYSLOG_ACTION_SIZE_BUFFER:
1253                 error = log_buf_len;
1254                 break;
1255         default:
1256                 error = -EINVAL;
1257                 break;
1258         }
1259 out:
1260         return error;
1261 }
1262
1263 SYSCALL_DEFINE3(syslog, int, type, char __user *, buf, int, len)
1264 {
1265         return do_syslog(type, buf, len, SYSLOG_FROM_READER);
1266 }
1267
1268 /*
1269  * Call the console drivers, asking them to write out
1270  * log_buf[start] to log_buf[end - 1].
1271  * The console_lock must be held.
1272  */
1273 static void call_console_drivers(int level, const char *text, size_t len)
1274 {
1275         struct console *con;
1276
1277         trace_console(text, len);
1278
1279         if (level >= console_loglevel && !ignore_loglevel)
1280                 return;
1281         if (!console_drivers)
1282                 return;
1283
1284         for_each_console(con) {
1285                 if (exclusive_console && con != exclusive_console)
1286                         continue;
1287                 if (!(con->flags & CON_ENABLED))
1288                         continue;
1289                 if (!con->write)
1290                         continue;
1291                 if (!cpu_online(smp_processor_id()) &&
1292                     !(con->flags & CON_ANYTIME))
1293                         continue;
1294                 con->write(con, text, len);
1295         }
1296 }
1297
1298 /*
1299  * Zap console related locks when oopsing. Only zap at most once
1300  * every 10 seconds, to leave time for slow consoles to print a
1301  * full oops.
1302  */
1303 static void zap_locks(void)
1304 {
1305         static unsigned long oops_timestamp;
1306
1307         if (time_after_eq(jiffies, oops_timestamp) &&
1308                         !time_after(jiffies, oops_timestamp + 30 * HZ))
1309                 return;
1310
1311         oops_timestamp = jiffies;
1312
1313         debug_locks_off();
1314         /* If a crash is occurring, make sure we can't deadlock */
1315         raw_spin_lock_init(&logbuf_lock);
1316         /* And make sure that we print immediately */
1317         sema_init(&console_sem, 1);
1318 }
1319
1320 /* Check if we have any console registered that can be called early in boot. */
1321 static int have_callable_console(void)
1322 {
1323         struct console *con;
1324
1325         for_each_console(con)
1326                 if (con->flags & CON_ANYTIME)
1327                         return 1;
1328
1329         return 0;
1330 }
1331
1332 /*
1333  * Can we actually use the console at this time on this cpu?
1334  *
1335  * Console drivers may assume that per-cpu resources have
1336  * been allocated. So unless they're explicitly marked as
1337  * being able to cope (CON_ANYTIME) don't call them until
1338  * this CPU is officially up.
1339  */
1340 static inline int can_use_console(unsigned int cpu)
1341 {
1342         return cpu_online(cpu) || have_callable_console();
1343 }
1344
1345 /*
1346  * Try to get console ownership to actually show the kernel
1347  * messages from a 'printk'. Return true (and with the
1348  * console_lock held, and 'console_locked' set) if it
1349  * is successful, false otherwise.
1350  *
1351  * This gets called with the 'logbuf_lock' spinlock held and
1352  * interrupts disabled. It should return with 'lockbuf_lock'
1353  * released but interrupts still disabled.
1354  */
1355 static int console_trylock_for_printk(unsigned int cpu)
1356         __releases(&logbuf_lock)
1357 {
1358         int retval = 0, wake = 0;
1359
1360         if (console_trylock()) {
1361                 retval = 1;
1362
1363                 /*
1364                  * If we can't use the console, we need to release
1365                  * the console semaphore by hand to avoid flushing
1366                  * the buffer. We need to hold the console semaphore
1367                  * in order to do this test safely.
1368                  */
1369                 if (!can_use_console(cpu)) {
1370                         console_locked = 0;
1371                         wake = 1;
1372                         retval = 0;
1373                 }
1374         }
1375         logbuf_cpu = UINT_MAX;
1376         if (wake)
1377                 up(&console_sem);
1378         raw_spin_unlock(&logbuf_lock);
1379         return retval;
1380 }
1381
1382 int printk_delay_msec __read_mostly;
1383
1384 static inline void printk_delay(void)
1385 {
1386         if (unlikely(printk_delay_msec)) {
1387                 int m = printk_delay_msec;
1388
1389                 while (m--) {
1390                         mdelay(1);
1391                         touch_nmi_watchdog();
1392                 }
1393         }
1394 }
1395
1396 /*
1397  * Continuation lines are buffered, and not committed to the record buffer
1398  * until the line is complete, or a race forces it. The line fragments
1399  * though, are printed immediately to the consoles to ensure everything has
1400  * reached the console in case of a kernel crash.
1401  */
1402 static struct cont {
1403         char buf[LOG_LINE_MAX];
1404         size_t len;                     /* length == 0 means unused buffer */
1405         size_t cons;                    /* bytes written to console */
1406         struct task_struct *owner;      /* task of first print*/
1407         u64 ts_nsec;                    /* time of first print */
1408         u8 level;                       /* log level of first message */
1409         u8 facility;                    /* log level of first message */
1410         enum log_flags flags;           /* prefix, newline flags */
1411         bool flushed:1;                 /* buffer sealed and committed */
1412 } cont;
1413
1414 static void cont_flush(enum log_flags flags)
1415 {
1416         if (cont.flushed)
1417                 return;
1418         if (cont.len == 0)
1419                 return;
1420
1421         if (cont.cons) {
1422                 /*
1423                  * If a fragment of this line was directly flushed to the
1424                  * console; wait for the console to pick up the rest of the
1425                  * line. LOG_NOCONS suppresses a duplicated output.
1426                  */
1427                 log_store(cont.facility, cont.level, flags | LOG_NOCONS,
1428                           cont.ts_nsec, NULL, 0, cont.buf, cont.len);
1429                 cont.flags = flags;
1430                 cont.flushed = true;
1431         } else {
1432                 /*
1433                  * If no fragment of this line ever reached the console,
1434                  * just submit it to the store and free the buffer.
1435                  */
1436                 log_store(cont.facility, cont.level, flags, 0,
1437                           NULL, 0, cont.buf, cont.len);
1438                 cont.len = 0;
1439         }
1440 }
1441
1442 static bool cont_add(int facility, int level, const char *text, size_t len)
1443 {
1444         if (cont.len && cont.flushed)
1445                 return false;
1446
1447         if (cont.len + len > sizeof(cont.buf)) {
1448                 /* the line gets too long, split it up in separate records */
1449                 cont_flush(LOG_CONT);
1450                 return false;
1451         }
1452
1453         if (!cont.len) {
1454                 cont.facility = facility;
1455                 cont.level = level;
1456                 cont.owner = current;
1457                 cont.ts_nsec = local_clock();
1458                 cont.flags = 0;
1459                 cont.cons = 0;
1460                 cont.flushed = false;
1461         }
1462
1463         memcpy(cont.buf + cont.len, text, len);
1464         cont.len += len;
1465
1466         if (cont.len > (sizeof(cont.buf) * 80) / 100)
1467                 cont_flush(LOG_CONT);
1468
1469         return true;
1470 }
1471
1472 static size_t cont_print_text(char *text, size_t size)
1473 {
1474         size_t textlen = 0;
1475         size_t len;
1476
1477         if (cont.cons == 0 && (console_prev & LOG_NEWLINE)) {
1478                 textlen += print_time(cont.ts_nsec, text);
1479                 size -= textlen;
1480         }
1481
1482         len = cont.len - cont.cons;
1483         if (len > 0) {
1484                 if (len+1 > size)
1485                         len = size-1;
1486                 memcpy(text + textlen, cont.buf + cont.cons, len);
1487                 textlen += len;
1488                 cont.cons = cont.len;
1489         }
1490
1491         if (cont.flushed) {
1492                 if (cont.flags & LOG_NEWLINE)
1493                         text[textlen++] = '\n';
1494                 /* got everything, release buffer */
1495                 cont.len = 0;
1496         }
1497         return textlen;
1498 }
1499
1500 asmlinkage int vprintk_emit(int facility, int level,
1501                             const char *dict, size_t dictlen,
1502                             const char *fmt, va_list args)
1503 {
1504         static int recursion_bug;
1505         static char textbuf[LOG_LINE_MAX];
1506         char *text = textbuf;
1507         size_t text_len;
1508         enum log_flags lflags = 0;
1509         unsigned long flags;
1510         int this_cpu;
1511         int printed_len = 0;
1512
1513         boot_delay_msec(level);
1514         printk_delay();
1515
1516         /* This stops the holder of console_sem just where we want him */
1517         local_irq_save(flags);
1518         this_cpu = smp_processor_id();
1519
1520         /*
1521          * Ouch, printk recursed into itself!
1522          */
1523         if (unlikely(logbuf_cpu == this_cpu)) {
1524                 /*
1525                  * If a crash is occurring during printk() on this CPU,
1526                  * then try to get the crash message out but make sure
1527                  * we can't deadlock. Otherwise just return to avoid the
1528                  * recursion and return - but flag the recursion so that
1529                  * it can be printed at the next appropriate moment:
1530                  */
1531                 if (!oops_in_progress && !lockdep_recursing(current)) {
1532                         recursion_bug = 1;
1533                         goto out_restore_irqs;
1534                 }
1535                 zap_locks();
1536         }
1537
1538         lockdep_off();
1539         raw_spin_lock(&logbuf_lock);
1540         logbuf_cpu = this_cpu;
1541
1542         if (recursion_bug) {
1543                 static const char recursion_msg[] =
1544                         "BUG: recent printk recursion!";
1545
1546                 recursion_bug = 0;
1547                 printed_len += strlen(recursion_msg);
1548                 /* emit KERN_CRIT message */
1549                 log_store(0, 2, LOG_PREFIX|LOG_NEWLINE, 0,
1550                           NULL, 0, recursion_msg, printed_len);
1551         }
1552
1553         /*
1554          * The printf needs to come first; we need the syslog
1555          * prefix which might be passed-in as a parameter.
1556          */
1557         text_len = vscnprintf(text, sizeof(textbuf), fmt, args);
1558
1559         /* mark and strip a trailing newline */
1560         if (text_len && text[text_len-1] == '\n') {
1561                 text_len--;
1562                 lflags |= LOG_NEWLINE;
1563         }
1564
1565         /* strip kernel syslog prefix and extract log level or control flags */
1566         if (facility == 0) {
1567                 int kern_level = printk_get_level(text);
1568
1569                 if (kern_level) {
1570                         const char *end_of_header = printk_skip_level(text);
1571                         switch (kern_level) {
1572                         case '0' ... '7':
1573                                 if (level == -1)
1574                                         level = kern_level - '0';
1575                         case 'd':       /* KERN_DEFAULT */
1576                                 lflags |= LOG_PREFIX;
1577                         case 'c':       /* KERN_CONT */
1578                                 break;
1579                         }
1580                         text_len -= end_of_header - text;
1581                         text = (char *)end_of_header;
1582                 }
1583         }
1584
1585 #ifdef CONFIG_EARLY_PRINTK_DIRECT
1586         printascii(text);
1587 #endif
1588
1589         if (level == -1)
1590                 level = default_message_loglevel;
1591
1592         if (dict)
1593                 lflags |= LOG_PREFIX|LOG_NEWLINE;
1594
1595         if (!(lflags & LOG_NEWLINE)) {
1596                 /*
1597                  * Flush the conflicting buffer. An earlier newline was missing,
1598                  * or another task also prints continuation lines.
1599                  */
1600                 if (cont.len && (lflags & LOG_PREFIX || cont.owner != current))
1601                         cont_flush(LOG_NEWLINE);
1602
1603                 /* buffer line if possible, otherwise store it right away */
1604                 if (!cont_add(facility, level, text, text_len))
1605                         log_store(facility, level, lflags | LOG_CONT, 0,
1606                                   dict, dictlen, text, text_len);
1607         } else {
1608                 bool stored = false;
1609
1610                 /*
1611                  * If an earlier newline was missing and it was the same task,
1612                  * either merge it with the current buffer and flush, or if
1613                  * there was a race with interrupts (prefix == true) then just
1614                  * flush it out and store this line separately.
1615                  */
1616                 if (cont.len && cont.owner == current) {
1617                         if (!(lflags & LOG_PREFIX))
1618                                 stored = cont_add(facility, level, text, text_len);
1619                         cont_flush(LOG_NEWLINE);
1620                 }
1621
1622                 if (!stored)
1623                         log_store(facility, level, lflags, 0,
1624                                   dict, dictlen, text, text_len);
1625         }
1626         printed_len += text_len;
1627
1628         /*
1629          * Try to acquire and then immediately release the console semaphore.
1630          * The release will print out buffers and wake up /dev/kmsg and syslog()
1631          * users.
1632          *
1633          * The console_trylock_for_printk() function will release 'logbuf_lock'
1634          * regardless of whether it actually gets the console semaphore or not.
1635          */
1636         if (console_trylock_for_printk(this_cpu))
1637                 console_unlock();
1638
1639         lockdep_on();
1640 out_restore_irqs:
1641         local_irq_restore(flags);
1642
1643         return printed_len;
1644 }
1645 EXPORT_SYMBOL(vprintk_emit);
1646
1647 asmlinkage int vprintk(const char *fmt, va_list args)
1648 {
1649         return vprintk_emit(0, -1, NULL, 0, fmt, args);
1650 }
1651 EXPORT_SYMBOL(vprintk);
1652
1653 asmlinkage int printk_emit(int facility, int level,
1654                            const char *dict, size_t dictlen,
1655                            const char *fmt, ...)
1656 {
1657         va_list args;
1658         int r;
1659
1660         va_start(args, fmt);
1661         r = vprintk_emit(facility, level, dict, dictlen, fmt, args);
1662         va_end(args);
1663
1664         return r;
1665 }
1666 EXPORT_SYMBOL(printk_emit);
1667
1668 /**
1669  * printk - print a kernel message
1670  * @fmt: format string
1671  *
1672  * This is printk(). It can be called from any context. We want it to work.
1673  *
1674  * We try to grab the console_lock. If we succeed, it's easy - we log the
1675  * output and call the console drivers.  If we fail to get the semaphore, we
1676  * place the output into the log buffer and return. The current holder of
1677  * the console_sem will notice the new output in console_unlock(); and will
1678  * send it to the consoles before releasing the lock.
1679  *
1680  * One effect of this deferred printing is that code which calls printk() and
1681  * then changes console_loglevel may break. This is because console_loglevel
1682  * is inspected when the actual printing occurs.
1683  *
1684  * See also:
1685  * printf(3)
1686  *
1687  * See the vsnprintf() documentation for format string extensions over C99.
1688  */
1689 asmlinkage int printk(const char *fmt, ...)
1690 {
1691         va_list args;
1692         int r;
1693
1694 #ifdef CONFIG_KGDB_KDB
1695         if (unlikely(kdb_trap_printk)) {
1696                 va_start(args, fmt);
1697                 r = vkdb_printf(fmt, args);
1698                 va_end(args);
1699                 return r;
1700         }
1701 #endif
1702         va_start(args, fmt);
1703         r = vprintk_emit(0, -1, NULL, 0, fmt, args);
1704         va_end(args);
1705
1706         return r;
1707 }
1708 EXPORT_SYMBOL(printk);
1709
1710 #else /* CONFIG_PRINTK */
1711
1712 #define LOG_LINE_MAX            0
1713 #define PREFIX_MAX              0
1714 #define LOG_LINE_MAX 0
1715 static u64 syslog_seq;
1716 static u32 syslog_idx;
1717 static u64 console_seq;
1718 static u32 console_idx;
1719 static enum log_flags syslog_prev;
1720 static u64 log_first_seq;
1721 static u32 log_first_idx;
1722 static u64 log_next_seq;
1723 static enum log_flags console_prev;
1724 static struct cont {
1725         size_t len;
1726         size_t cons;
1727         u8 level;
1728         bool flushed:1;
1729 } cont;
1730 static struct log *log_from_idx(u32 idx) { return NULL; }
1731 static u32 log_next(u32 idx) { return 0; }
1732 static void call_console_drivers(int level, const char *text, size_t len) {}
1733 static size_t msg_print_text(const struct log *msg, enum log_flags prev,
1734                              bool syslog, char *buf, size_t size) { return 0; }
1735 static size_t cont_print_text(char *text, size_t size) { return 0; }
1736
1737 #endif /* CONFIG_PRINTK */
1738
1739 #ifdef CONFIG_EARLY_PRINTK
1740 struct console *early_console;
1741
1742 void early_vprintk(const char *fmt, va_list ap)
1743 {
1744         if (early_console) {
1745                 char buf[512];
1746                 int n = vscnprintf(buf, sizeof(buf), fmt, ap);
1747
1748                 early_console->write(early_console, buf, n);
1749         }
1750 }
1751
1752 asmlinkage void early_printk(const char *fmt, ...)
1753 {
1754         va_list ap;
1755
1756         va_start(ap, fmt);
1757         early_vprintk(fmt, ap);
1758         va_end(ap);
1759 }
1760 #endif
1761
1762 static int __add_preferred_console(char *name, int idx, char *options,
1763                                    char *brl_options)
1764 {
1765         struct console_cmdline *c;
1766         int i;
1767
1768         /*
1769          *      See if this tty is not yet registered, and
1770          *      if we have a slot free.
1771          */
1772         for (i = 0; i < MAX_CMDLINECONSOLES && console_cmdline[i].name[0]; i++)
1773                 if (strcmp(console_cmdline[i].name, name) == 0 &&
1774                           console_cmdline[i].index == idx) {
1775                                 if (!brl_options)
1776                                         selected_console = i;
1777                                 return 0;
1778                 }
1779         if (i == MAX_CMDLINECONSOLES)
1780                 return -E2BIG;
1781         if (!brl_options)
1782                 selected_console = i;
1783         c = &console_cmdline[i];
1784         strlcpy(c->name, name, sizeof(c->name));
1785         c->options = options;
1786 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
1787         c->brl_options = brl_options;
1788 #endif
1789         c->index = idx;
1790         return 0;
1791 }
1792 /*
1793  * Set up a list of consoles.  Called from init/main.c
1794  */
1795 static int __init console_setup(char *str)
1796 {
1797         char buf[sizeof(console_cmdline[0].name) + 4]; /* 4 for index */
1798         char *s, *options, *brl_options = NULL;
1799         int idx;
1800
1801 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
1802         if (!memcmp(str, "brl,", 4)) {
1803                 brl_options = "";
1804                 str += 4;
1805         } else if (!memcmp(str, "brl=", 4)) {
1806                 brl_options = str + 4;
1807                 str = strchr(brl_options, ',');
1808                 if (!str) {
1809                         printk(KERN_ERR "need port name after brl=\n");
1810                         return 1;
1811                 }
1812                 *(str++) = 0;
1813         }
1814 #endif
1815
1816         /*
1817          * Decode str into name, index, options.
1818          */
1819         if (str[0] >= '0' && str[0] <= '9') {
1820                 strcpy(buf, "ttyS");
1821                 strncpy(buf + 4, str, sizeof(buf) - 5);
1822         } else {
1823                 strncpy(buf, str, sizeof(buf) - 1);
1824         }
1825         buf[sizeof(buf) - 1] = 0;
1826         if ((options = strchr(str, ',')) != NULL)
1827                 *(options++) = 0;
1828 #ifdef __sparc__
1829         if (!strcmp(str, "ttya"))
1830                 strcpy(buf, "ttyS0");
1831         if (!strcmp(str, "ttyb"))
1832                 strcpy(buf, "ttyS1");
1833 #endif
1834         for (s = buf; *s; s++)
1835                 if ((*s >= '0' && *s <= '9') || *s == ',')
1836                         break;
1837         idx = simple_strtoul(s, NULL, 10);
1838         *s = 0;
1839
1840         __add_preferred_console(buf, idx, options, brl_options);
1841         console_set_on_cmdline = 1;
1842         return 1;
1843 }
1844 __setup("console=", console_setup);
1845
1846 /**
1847  * add_preferred_console - add a device to the list of preferred consoles.
1848  * @name: device name
1849  * @idx: device index
1850  * @options: options for this console
1851  *
1852  * The last preferred console added will be used for kernel messages
1853  * and stdin/out/err for init.  Normally this is used by console_setup
1854  * above to handle user-supplied console arguments; however it can also
1855  * be used by arch-specific code either to override the user or more
1856  * commonly to provide a default console (ie from PROM variables) when
1857  * the user has not supplied one.
1858  */
1859 int add_preferred_console(char *name, int idx, char *options)
1860 {
1861         return __add_preferred_console(name, idx, options, NULL);
1862 }
1863
1864 int update_console_cmdline(char *name, int idx, char *name_new, int idx_new, char *options)
1865 {
1866         struct console_cmdline *c;
1867         int i;
1868
1869         for (i = 0; i < MAX_CMDLINECONSOLES && console_cmdline[i].name[0]; i++)
1870                 if (strcmp(console_cmdline[i].name, name) == 0 &&
1871                           console_cmdline[i].index == idx) {
1872                                 c = &console_cmdline[i];
1873                                 strlcpy(c->name, name_new, sizeof(c->name));
1874                                 c->name[sizeof(c->name) - 1] = 0;
1875                                 c->options = options;
1876                                 c->index = idx_new;
1877                                 return i;
1878                 }
1879         /* not found */
1880         return -1;
1881 }
1882
1883 bool console_suspend_enabled = 1;
1884 EXPORT_SYMBOL(console_suspend_enabled);
1885
1886 static int __init console_suspend_disable(char *str)
1887 {
1888         console_suspend_enabled = 0;
1889         return 1;
1890 }
1891 __setup("no_console_suspend", console_suspend_disable);
1892 module_param_named(console_suspend, console_suspend_enabled,
1893                 bool, S_IRUGO | S_IWUSR);
1894 MODULE_PARM_DESC(console_suspend, "suspend console during suspend"
1895         " and hibernate operations");
1896
1897 /**
1898  * suspend_console - suspend the console subsystem
1899  *
1900  * This disables printk() while we go into suspend states
1901  */
1902 void suspend_console(void)
1903 {
1904         if (!console_suspend_enabled)
1905                 return;
1906         printk("Suspending console(s) (use no_console_suspend to debug)\n");
1907         console_lock();
1908         console_suspended = 1;
1909         up(&console_sem);
1910 }
1911
1912 void resume_console(void)
1913 {
1914         if (!console_suspend_enabled)
1915                 return;
1916         down(&console_sem);
1917         console_suspended = 0;
1918         console_unlock();
1919 }
1920
1921 /**
1922  * console_cpu_notify - print deferred console messages after CPU hotplug
1923  * @self: notifier struct
1924  * @action: CPU hotplug event
1925  * @hcpu: unused
1926  *
1927  * If printk() is called from a CPU that is not online yet, the messages
1928  * will be spooled but will not show up on the console.  This function is
1929  * called when a new CPU comes online (or fails to come up), and ensures
1930  * that any such output gets printed.
1931  */
1932 static int __cpuinit console_cpu_notify(struct notifier_block *self,
1933         unsigned long action, void *hcpu)
1934 {
1935         switch (action) {
1936         case CPU_ONLINE:
1937         case CPU_DEAD:
1938         case CPU_DOWN_FAILED:
1939         case CPU_UP_CANCELED:
1940                 console_lock();
1941                 console_unlock();
1942         }
1943         return NOTIFY_OK;
1944 }
1945
1946 /**
1947  * console_lock - lock the console system for exclusive use.
1948  *
1949  * Acquires a lock which guarantees that the caller has
1950  * exclusive access to the console system and the console_drivers list.
1951  *
1952  * Can sleep, returns nothing.
1953  */
1954 void console_lock(void)
1955 {
1956         might_sleep();
1957
1958         down(&console_sem);
1959         if (console_suspended)
1960                 return;
1961         console_locked = 1;
1962         console_may_schedule = 1;
1963         mutex_acquire(&console_lock_dep_map, 0, 0, _RET_IP_);
1964 }
1965 EXPORT_SYMBOL(console_lock);
1966
1967 /**
1968  * console_trylock - try to lock the console system for exclusive use.
1969  *
1970  * Tried to acquire a lock which guarantees that the caller has
1971  * exclusive access to the console system and the console_drivers list.
1972  *
1973  * returns 1 on success, and 0 on failure to acquire the lock.
1974  */
1975 int console_trylock(void)
1976 {
1977         if (down_trylock(&console_sem))
1978                 return 0;
1979         if (console_suspended) {
1980                 up(&console_sem);
1981                 return 0;
1982         }
1983         console_locked = 1;
1984         console_may_schedule = 0;
1985         mutex_acquire(&console_lock_dep_map, 0, 1, _RET_IP_);
1986         return 1;
1987 }
1988 EXPORT_SYMBOL(console_trylock);
1989
1990 int is_console_locked(void)
1991 {
1992         return console_locked;
1993 }
1994
1995 static void console_cont_flush(char *text, size_t size)
1996 {
1997         unsigned long flags;
1998         size_t len;
1999
2000         raw_spin_lock_irqsave(&logbuf_lock, flags);
2001
2002         if (!cont.len)
2003                 goto out;
2004
2005         /*
2006          * We still queue earlier records, likely because the console was
2007          * busy. The earlier ones need to be printed before this one, we
2008          * did not flush any fragment so far, so just let it queue up.
2009          */
2010         if (console_seq < log_next_seq && !cont.cons)
2011                 goto out;
2012
2013         len = cont_print_text(text, size);
2014         raw_spin_unlock(&logbuf_lock);
2015         stop_critical_timings();
2016         call_console_drivers(cont.level, text, len);
2017         start_critical_timings();
2018         local_irq_restore(flags);
2019         return;
2020 out:
2021         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2022 }
2023
2024 /**
2025  * console_unlock - unlock the console system
2026  *
2027  * Releases the console_lock which the caller holds on the console system
2028  * and the console driver list.
2029  *
2030  * While the console_lock was held, console output may have been buffered
2031  * by printk().  If this is the case, console_unlock(); emits
2032  * the output prior to releasing the lock.
2033  *
2034  * If there is output waiting, we wake /dev/kmsg and syslog() users.
2035  *
2036  * console_unlock(); may be called from any context.
2037  */
2038 void console_unlock(void)
2039 {
2040         static char text[LOG_LINE_MAX + PREFIX_MAX];
2041         static u64 seen_seq;
2042         unsigned long flags;
2043         bool wake_klogd = false;
2044         bool retry;
2045
2046         if (console_suspended) {
2047                 up(&console_sem);
2048                 return;
2049         }
2050
2051         console_may_schedule = 0;
2052
2053         /* flush buffered message fragment immediately to console */
2054         console_cont_flush(text, sizeof(text));
2055 again:
2056         for (;;) {
2057                 struct log *msg;
2058                 size_t len;
2059                 int level;
2060
2061                 raw_spin_lock_irqsave(&logbuf_lock, flags);
2062                 if (seen_seq != log_next_seq) {
2063                         wake_klogd = true;
2064                         seen_seq = log_next_seq;
2065                 }
2066
2067                 if (console_seq < log_first_seq) {
2068                         /* messages are gone, move to first one */
2069                         console_seq = log_first_seq;
2070                         console_idx = log_first_idx;
2071                         console_prev = 0;
2072                 }
2073 skip:
2074                 if (console_seq == log_next_seq)
2075                         break;
2076
2077                 msg = log_from_idx(console_idx);
2078                 if (msg->flags & LOG_NOCONS) {
2079                         /*
2080                          * Skip record we have buffered and already printed
2081                          * directly to the console when we received it.
2082                          */
2083                         console_idx = log_next(console_idx);
2084                         console_seq++;
2085                         /*
2086                          * We will get here again when we register a new
2087                          * CON_PRINTBUFFER console. Clear the flag so we
2088                          * will properly dump everything later.
2089                          */
2090                         msg->flags &= ~LOG_NOCONS;
2091                         console_prev = msg->flags;
2092                         goto skip;
2093                 }
2094
2095                 level = msg->level;
2096                 len = msg_print_text(msg, console_prev, false,
2097                                      text, sizeof(text));
2098                 console_idx = log_next(console_idx);
2099                 console_seq++;
2100                 console_prev = msg->flags;
2101                 raw_spin_unlock(&logbuf_lock);
2102
2103                 stop_critical_timings();        /* don't trace print latency */
2104                 call_console_drivers(level, text, len);
2105                 start_critical_timings();
2106                 local_irq_restore(flags);
2107         }
2108         console_locked = 0;
2109         mutex_release(&console_lock_dep_map, 1, _RET_IP_);
2110
2111         /* Release the exclusive_console once it is used */
2112         if (unlikely(exclusive_console))
2113                 exclusive_console = NULL;
2114
2115         raw_spin_unlock(&logbuf_lock);
2116
2117         up(&console_sem);
2118
2119         /*
2120          * Someone could have filled up the buffer again, so re-check if there's
2121          * something to flush. In case we cannot trylock the console_sem again,
2122          * there's a new owner and the console_unlock() from them will do the
2123          * flush, no worries.
2124          */
2125         raw_spin_lock(&logbuf_lock);
2126         retry = console_seq != log_next_seq;
2127         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2128
2129         if (retry && console_trylock())
2130                 goto again;
2131
2132         if (wake_klogd)
2133                 wake_up_klogd();
2134 }
2135 EXPORT_SYMBOL(console_unlock);
2136
2137 /**
2138  * console_conditional_schedule - yield the CPU if required
2139  *
2140  * If the console code is currently allowed to sleep, and
2141  * if this CPU should yield the CPU to another task, do
2142  * so here.
2143  *
2144  * Must be called within console_lock();.
2145  */
2146 void __sched console_conditional_schedule(void)
2147 {
2148         if (console_may_schedule)
2149                 cond_resched();
2150 }
2151 EXPORT_SYMBOL(console_conditional_schedule);
2152
2153 void console_unblank(void)
2154 {
2155         struct console *c;
2156
2157         /*
2158          * console_unblank can no longer be called in interrupt context unless
2159          * oops_in_progress is set to 1..
2160          */
2161         if (oops_in_progress) {
2162                 if (down_trylock(&console_sem) != 0)
2163                         return;
2164         } else
2165                 console_lock();
2166
2167         console_locked = 1;
2168         console_may_schedule = 0;
2169         for_each_console(c)
2170                 if ((c->flags & CON_ENABLED) && c->unblank)
2171                         c->unblank();
2172         console_unlock();
2173 }
2174
2175 /*
2176  * Return the console tty driver structure and its associated index
2177  */
2178 struct tty_driver *console_device(int *index)
2179 {
2180         struct console *c;
2181         struct tty_driver *driver = NULL;
2182
2183         console_lock();
2184         for_each_console(c) {
2185                 if (!c->device)
2186                         continue;
2187                 driver = c->device(c, index);
2188                 if (driver)
2189                         break;
2190         }
2191         console_unlock();
2192         return driver;
2193 }
2194
2195 /*
2196  * Prevent further output on the passed console device so that (for example)
2197  * serial drivers can disable console output before suspending a port, and can
2198  * re-enable output afterwards.
2199  */
2200 void console_stop(struct console *console)
2201 {
2202         console_lock();
2203         console->flags &= ~CON_ENABLED;
2204         console_unlock();
2205 }
2206 EXPORT_SYMBOL(console_stop);
2207
2208 void console_start(struct console *console)
2209 {
2210         console_lock();
2211         console->flags |= CON_ENABLED;
2212         console_unlock();
2213 }
2214 EXPORT_SYMBOL(console_start);
2215
2216 static int __read_mostly keep_bootcon;
2217
2218 static int __init keep_bootcon_setup(char *str)
2219 {
2220         keep_bootcon = 1;
2221         printk(KERN_INFO "debug: skip boot console de-registration.\n");
2222
2223         return 0;
2224 }
2225
2226 early_param("keep_bootcon", keep_bootcon_setup);
2227
2228 /*
2229  * The console driver calls this routine during kernel initialization
2230  * to register the console printing procedure with printk() and to
2231  * print any messages that were printed by the kernel before the
2232  * console driver was initialized.
2233  *
2234  * This can happen pretty early during the boot process (because of
2235  * early_printk) - sometimes before setup_arch() completes - be careful
2236  * of what kernel features are used - they may not be initialised yet.
2237  *
2238  * There are two types of consoles - bootconsoles (early_printk) and
2239  * "real" consoles (everything which is not a bootconsole) which are
2240  * handled differently.
2241  *  - Any number of bootconsoles can be registered at any time.
2242  *  - As soon as a "real" console is registered, all bootconsoles
2243  *    will be unregistered automatically.
2244  *  - Once a "real" console is registered, any attempt to register a
2245  *    bootconsoles will be rejected
2246  */
2247 void register_console(struct console *newcon)
2248 {
2249         int i;
2250         unsigned long flags;
2251         struct console *bcon = NULL;
2252
2253         /*
2254          * before we register a new CON_BOOT console, make sure we don't
2255          * already have a valid console
2256          */
2257         if (console_drivers && newcon->flags & CON_BOOT) {
2258                 /* find the last or real console */
2259                 for_each_console(bcon) {
2260                         if (!(bcon->flags & CON_BOOT)) {
2261                                 printk(KERN_INFO "Too late to register bootconsole %s%d\n",
2262                                         newcon->name, newcon->index);
2263                                 return;
2264                         }
2265                 }
2266         }
2267
2268         if (console_drivers && console_drivers->flags & CON_BOOT)
2269                 bcon = console_drivers;
2270
2271         if (preferred_console < 0 || bcon || !console_drivers)
2272                 preferred_console = selected_console;
2273
2274         if (newcon->early_setup)
2275                 newcon->early_setup();
2276
2277         /*
2278          *      See if we want to use this console driver. If we
2279          *      didn't select a console we take the first one
2280          *      that registers here.
2281          */
2282         if (preferred_console < 0) {
2283                 if (newcon->index < 0)
2284                         newcon->index = 0;
2285                 if (newcon->setup == NULL ||
2286                     newcon->setup(newcon, NULL) == 0) {
2287                         newcon->flags |= CON_ENABLED;
2288                         if (newcon->device) {
2289                                 newcon->flags |= CON_CONSDEV;
2290                                 preferred_console = 0;
2291                         }
2292                 }
2293         }
2294
2295         /*
2296          *      See if this console matches one we selected on
2297          *      the command line.
2298          */
2299         for (i = 0; i < MAX_CMDLINECONSOLES && console_cmdline[i].name[0];
2300                         i++) {
2301                 if (strcmp(console_cmdline[i].name, newcon->name) != 0)
2302                         continue;
2303                 if (newcon->index >= 0 &&
2304                     newcon->index != console_cmdline[i].index)
2305                         continue;
2306                 if (newcon->index < 0)
2307                         newcon->index = console_cmdline[i].index;
2308 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
2309                 if (console_cmdline[i].brl_options) {
2310                         newcon->flags |= CON_BRL;
2311                         braille_register_console(newcon,
2312                                         console_cmdline[i].index,
2313                                         console_cmdline[i].options,
2314                                         console_cmdline[i].brl_options);
2315                         return;
2316                 }
2317 #endif
2318                 if (newcon->setup &&
2319                     newcon->setup(newcon, console_cmdline[i].options) != 0)
2320                         break;
2321                 newcon->flags |= CON_ENABLED;
2322                 newcon->index = console_cmdline[i].index;
2323                 if (i == selected_console) {
2324                         newcon->flags |= CON_CONSDEV;
2325                         preferred_console = selected_console;
2326                 }
2327                 break;
2328         }
2329
2330         if (!(newcon->flags & CON_ENABLED))
2331                 return;
2332
2333         /*
2334          * If we have a bootconsole, and are switching to a real console,
2335          * don't print everything out again, since when the boot console, and
2336          * the real console are the same physical device, it's annoying to
2337          * see the beginning boot messages twice
2338          */
2339         if (bcon && ((newcon->flags & (CON_CONSDEV | CON_BOOT)) == CON_CONSDEV))
2340                 newcon->flags &= ~CON_PRINTBUFFER;
2341
2342         /*
2343          *      Put this console in the list - keep the
2344          *      preferred driver at the head of the list.
2345          */
2346         console_lock();
2347         if ((newcon->flags & CON_CONSDEV) || console_drivers == NULL) {
2348                 newcon->next = console_drivers;
2349                 console_drivers = newcon;
2350                 if (newcon->next)
2351                         newcon->next->flags &= ~CON_CONSDEV;
2352         } else {
2353                 newcon->next = console_drivers->next;
2354                 console_drivers->next = newcon;
2355         }
2356         if (newcon->flags & CON_PRINTBUFFER) {
2357                 /*
2358                  * console_unlock(); will print out the buffered messages
2359                  * for us.
2360                  */
2361                 raw_spin_lock_irqsave(&logbuf_lock, flags);
2362                 console_seq = syslog_seq;
2363                 console_idx = syslog_idx;
2364                 console_prev = syslog_prev;
2365                 raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2366                 /*
2367                  * We're about to replay the log buffer.  Only do this to the
2368                  * just-registered console to avoid excessive message spam to
2369                  * the already-registered consoles.
2370                  */
2371                 exclusive_console = newcon;
2372         }
2373         console_unlock();
2374         console_sysfs_notify();
2375
2376         /*
2377          * By unregistering the bootconsoles after we enable the real console
2378          * we get the "console xxx enabled" message on all the consoles -
2379          * boot consoles, real consoles, etc - this is to ensure that end
2380          * users know there might be something in the kernel's log buffer that
2381          * went to the bootconsole (that they do not see on the real console)
2382          */
2383         if (bcon &&
2384             ((newcon->flags & (CON_CONSDEV | CON_BOOT)) == CON_CONSDEV) &&
2385             !keep_bootcon) {
2386                 /* we need to iterate through twice, to make sure we print
2387                  * everything out, before we unregister the console(s)
2388                  */
2389                 printk(KERN_INFO "console [%s%d] enabled, bootconsole disabled\n",
2390                         newcon->name, newcon->index);
2391                 for_each_console(bcon)
2392                         if (bcon->flags & CON_BOOT)
2393                                 unregister_console(bcon);
2394         } else {
2395                 printk(KERN_INFO "%sconsole [%s%d] enabled\n",
2396                         (newcon->flags & CON_BOOT) ? "boot" : "" ,
2397                         newcon->name, newcon->index);
2398         }
2399 }
2400 EXPORT_SYMBOL(register_console);
2401
2402 int unregister_console(struct console *console)
2403 {
2404         struct console *a, *b;
2405         int res = 1;
2406
2407 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
2408         if (console->flags & CON_BRL)
2409                 return braille_unregister_console(console);
2410 #endif
2411
2412         console_lock();
2413         if (console_drivers == console) {
2414                 console_drivers=console->next;
2415                 res = 0;
2416         } else if (console_drivers) {
2417                 for (a=console_drivers->next, b=console_drivers ;
2418                      a; b=a, a=b->next) {
2419                         if (a == console) {
2420                                 b->next = a->next;
2421                                 res = 0;
2422                                 break;
2423                         }
2424                 }
2425         }
2426
2427         /*
2428          * If this isn't the last console and it has CON_CONSDEV set, we
2429          * need to set it on the next preferred console.
2430          */
2431         if (console_drivers != NULL && console->flags & CON_CONSDEV)
2432                 console_drivers->flags |= CON_CONSDEV;
2433
2434         console_unlock();
2435         console_sysfs_notify();
2436         return res;
2437 }
2438 EXPORT_SYMBOL(unregister_console);
2439
2440 static int __init printk_late_init(void)
2441 {
2442         struct console *con;
2443
2444         for_each_console(con) {
2445                 if (!keep_bootcon && con->flags & CON_BOOT) {
2446                         printk(KERN_INFO "turn off boot console %s%d\n",
2447                                 con->name, con->index);
2448                         unregister_console(con);
2449                 }
2450         }
2451         hotcpu_notifier(console_cpu_notify, 0);
2452         return 0;
2453 }
2454 late_initcall(printk_late_init);
2455
2456 #if defined CONFIG_PRINTK
2457 /*
2458  * Delayed printk version, for scheduler-internal messages:
2459  */
2460 #define PRINTK_BUF_SIZE         512
2461
2462 #define PRINTK_PENDING_WAKEUP   0x01
2463 #define PRINTK_PENDING_SCHED    0x02
2464
2465 static DEFINE_PER_CPU(int, printk_pending);
2466 static DEFINE_PER_CPU(char [PRINTK_BUF_SIZE], printk_sched_buf);
2467
2468 static void wake_up_klogd_work_func(struct irq_work *irq_work)
2469 {
2470         int pending = __this_cpu_xchg(printk_pending, 0);
2471
2472         if (pending & PRINTK_PENDING_SCHED) {
2473                 char *buf = __get_cpu_var(printk_sched_buf);
2474                 printk(KERN_WARNING "[sched_delayed] %s", buf);
2475         }
2476
2477         if (pending & PRINTK_PENDING_WAKEUP)
2478                 wake_up_interruptible(&log_wait);
2479 }
2480
2481 static DEFINE_PER_CPU(struct irq_work, wake_up_klogd_work) = {
2482         .func = wake_up_klogd_work_func,
2483         .flags = IRQ_WORK_LAZY,
2484 };
2485
2486 void wake_up_klogd(void)
2487 {
2488         preempt_disable();
2489         if (waitqueue_active(&log_wait)) {
2490                 this_cpu_or(printk_pending, PRINTK_PENDING_WAKEUP);
2491                 irq_work_queue(&__get_cpu_var(wake_up_klogd_work));
2492         }
2493         preempt_enable();
2494 }
2495
2496 int printk_sched(const char *fmt, ...)
2497 {
2498         unsigned long flags;
2499         va_list args;
2500         char *buf;
2501         int r;
2502
2503         local_irq_save(flags);
2504         buf = __get_cpu_var(printk_sched_buf);
2505
2506         va_start(args, fmt);
2507         r = vsnprintf(buf, PRINTK_BUF_SIZE, fmt, args);
2508         va_end(args);
2509
2510         __this_cpu_or(printk_pending, PRINTK_PENDING_SCHED);
2511         irq_work_queue(&__get_cpu_var(wake_up_klogd_work));
2512         local_irq_restore(flags);
2513
2514         return r;
2515 }
2516
2517 /*
2518  * printk rate limiting, lifted from the networking subsystem.
2519  *
2520  * This enforces a rate limit: not more than 10 kernel messages
2521  * every 5s to make a denial-of-service attack impossible.
2522  */
2523 DEFINE_RATELIMIT_STATE(printk_ratelimit_state, 5 * HZ, 10);
2524
2525 int __printk_ratelimit(const char *func)
2526 {
2527         return ___ratelimit(&printk_ratelimit_state, func);
2528 }
2529 EXPORT_SYMBOL(__printk_ratelimit);
2530
2531 /**
2532  * printk_timed_ratelimit - caller-controlled printk ratelimiting
2533  * @caller_jiffies: pointer to caller's state
2534  * @interval_msecs: minimum interval between prints
2535  *
2536  * printk_timed_ratelimit() returns true if more than @interval_msecs
2537  * milliseconds have elapsed since the last time printk_timed_ratelimit()
2538  * returned true.
2539  */
2540 bool printk_timed_ratelimit(unsigned long *caller_jiffies,
2541                         unsigned int interval_msecs)
2542 {
2543         if (*caller_jiffies == 0
2544                         || !time_in_range(jiffies, *caller_jiffies,
2545                                         *caller_jiffies
2546                                         + msecs_to_jiffies(interval_msecs))) {
2547                 *caller_jiffies = jiffies;
2548                 return true;
2549         }
2550         return false;
2551 }
2552 EXPORT_SYMBOL(printk_timed_ratelimit);
2553
2554 static DEFINE_SPINLOCK(dump_list_lock);
2555 static LIST_HEAD(dump_list);
2556
2557 /**
2558  * kmsg_dump_register - register a kernel log dumper.
2559  * @dumper: pointer to the kmsg_dumper structure
2560  *
2561  * Adds a kernel log dumper to the system. The dump callback in the
2562  * structure will be called when the kernel oopses or panics and must be
2563  * set. Returns zero on success and %-EINVAL or %-EBUSY otherwise.
2564  */
2565 int kmsg_dump_register(struct kmsg_dumper *dumper)
2566 {
2567         unsigned long flags;
2568         int err = -EBUSY;
2569
2570         /* The dump callback needs to be set */
2571         if (!dumper->dump)
2572                 return -EINVAL;
2573
2574         spin_lock_irqsave(&dump_list_lock, flags);
2575         /* Don't allow registering multiple times */
2576         if (!dumper->registered) {
2577                 dumper->registered = 1;
2578                 list_add_tail_rcu(&dumper->list, &dump_list);
2579                 err = 0;
2580         }
2581         spin_unlock_irqrestore(&dump_list_lock, flags);
2582
2583         return err;
2584 }
2585 EXPORT_SYMBOL_GPL(kmsg_dump_register);
2586
2587 /**
2588  * kmsg_dump_unregister - unregister a kmsg dumper.
2589  * @dumper: pointer to the kmsg_dumper structure
2590  *
2591  * Removes a dump device from the system. Returns zero on success and
2592  * %-EINVAL otherwise.
2593  */
2594 int kmsg_dump_unregister(struct kmsg_dumper *dumper)
2595 {
2596         unsigned long flags;
2597         int err = -EINVAL;
2598
2599         spin_lock_irqsave(&dump_list_lock, flags);
2600         if (dumper->registered) {
2601                 dumper->registered = 0;
2602                 list_del_rcu(&dumper->list);
2603                 err = 0;
2604         }
2605         spin_unlock_irqrestore(&dump_list_lock, flags);
2606         synchronize_rcu();
2607
2608         return err;
2609 }
2610 EXPORT_SYMBOL_GPL(kmsg_dump_unregister);
2611
2612 static bool always_kmsg_dump;
2613 module_param_named(always_kmsg_dump, always_kmsg_dump, bool, S_IRUGO | S_IWUSR);
2614
2615 /**
2616  * kmsg_dump - dump kernel log to kernel message dumpers.
2617  * @reason: the reason (oops, panic etc) for dumping
2618  *
2619  * Call each of the registered dumper's dump() callback, which can
2620  * retrieve the kmsg records with kmsg_dump_get_line() or
2621  * kmsg_dump_get_buffer().
2622  */
2623 void kmsg_dump(enum kmsg_dump_reason reason)
2624 {
2625         struct kmsg_dumper *dumper;
2626         unsigned long flags;
2627
2628         if ((reason > KMSG_DUMP_OOPS) && !always_kmsg_dump)
2629                 return;
2630
2631         rcu_read_lock();
2632         list_for_each_entry_rcu(dumper, &dump_list, list) {
2633                 if (dumper->max_reason && reason > dumper->max_reason)
2634                         continue;
2635
2636                 /* initialize iterator with data about the stored records */
2637                 dumper->active = true;
2638
2639                 raw_spin_lock_irqsave(&logbuf_lock, flags);
2640                 dumper->cur_seq = clear_seq;
2641                 dumper->cur_idx = clear_idx;
2642                 dumper->next_seq = log_next_seq;
2643                 dumper->next_idx = log_next_idx;
2644                 raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2645
2646                 /* invoke dumper which will iterate over records */
2647                 dumper->dump(dumper, reason);
2648
2649                 /* reset iterator */
2650                 dumper->active = false;
2651         }
2652         rcu_read_unlock();
2653 }
2654
2655 /**
2656  * kmsg_dump_get_line_nolock - retrieve one kmsg log line (unlocked version)
2657  * @dumper: registered kmsg dumper
2658  * @syslog: include the "<4>" prefixes
2659  * @line: buffer to copy the line to
2660  * @size: maximum size of the buffer
2661  * @len: length of line placed into buffer
2662  *
2663  * Start at the beginning of the kmsg buffer, with the oldest kmsg
2664  * record, and copy one record into the provided buffer.
2665  *
2666  * Consecutive calls will return the next available record moving
2667  * towards the end of the buffer with the youngest messages.
2668  *
2669  * A return value of FALSE indicates that there are no more records to
2670  * read.
2671  *
2672  * The function is similar to kmsg_dump_get_line(), but grabs no locks.
2673  */
2674 bool kmsg_dump_get_line_nolock(struct kmsg_dumper *dumper, bool syslog,
2675                                char *line, size_t size, size_t *len)
2676 {
2677         struct log *msg;
2678         size_t l = 0;
2679         bool ret = false;
2680
2681         if (!dumper->active)
2682                 goto out;
2683
2684         if (dumper->cur_seq < log_first_seq) {
2685                 /* messages are gone, move to first available one */
2686                 dumper->cur_seq = log_first_seq;
2687                 dumper->cur_idx = log_first_idx;
2688         }
2689
2690         /* last entry */
2691         if (dumper->cur_seq >= log_next_seq)
2692                 goto out;
2693
2694         msg = log_from_idx(dumper->cur_idx);
2695         l = msg_print_text(msg, 0, syslog, line, size);
2696
2697         dumper->cur_idx = log_next(dumper->cur_idx);
2698         dumper->cur_seq++;
2699         ret = true;
2700 out:
2701         if (len)
2702                 *len = l;
2703         return ret;
2704 }
2705
2706 /**
2707  * kmsg_dump_get_line - retrieve one kmsg log line
2708  * @dumper: registered kmsg dumper
2709  * @syslog: include the "<4>" prefixes
2710  * @line: buffer to copy the line to
2711  * @size: maximum size of the buffer
2712  * @len: length of line placed into buffer
2713  *
2714  * Start at the beginning of the kmsg buffer, with the oldest kmsg
2715  * record, and copy one record into the provided buffer.
2716  *
2717  * Consecutive calls will return the next available record moving
2718  * towards the end of the buffer with the youngest messages.
2719  *
2720  * A return value of FALSE indicates that there are no more records to
2721  * read.
2722  */
2723 bool kmsg_dump_get_line(struct kmsg_dumper *dumper, bool syslog,
2724                         char *line, size_t size, size_t *len)
2725 {
2726         unsigned long flags;
2727         bool ret;
2728
2729         raw_spin_lock_irqsave(&logbuf_lock, flags);
2730         ret = kmsg_dump_get_line_nolock(dumper, syslog, line, size, len);
2731         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2732
2733         return ret;
2734 }
2735 EXPORT_SYMBOL_GPL(kmsg_dump_get_line);
2736
2737 /**
2738  * kmsg_dump_get_buffer - copy kmsg log lines
2739  * @dumper: registered kmsg dumper
2740  * @syslog: include the "<4>" prefixes
2741  * @buf: buffer to copy the line to
2742  * @size: maximum size of the buffer
2743  * @len: length of line placed into buffer
2744  *
2745  * Start at the end of the kmsg buffer and fill the provided buffer
2746  * with as many of the the *youngest* kmsg records that fit into it.
2747  * If the buffer is large enough, all available kmsg records will be
2748  * copied with a single call.
2749  *
2750  * Consecutive calls will fill the buffer with the next block of
2751  * available older records, not including the earlier retrieved ones.
2752  *
2753  * A return value of FALSE indicates that there are no more records to
2754  * read.
2755  */
2756 bool kmsg_dump_get_buffer(struct kmsg_dumper *dumper, bool syslog,
2757                           char *buf, size_t size, size_t *len)
2758 {
2759         unsigned long flags;
2760         u64 seq;
2761         u32 idx;
2762         u64 next_seq;
2763         u32 next_idx;
2764         enum log_flags prev;
2765         size_t l = 0;
2766         bool ret = false;
2767
2768         if (!dumper->active)
2769                 goto out;
2770
2771         raw_spin_lock_irqsave(&logbuf_lock, flags);
2772         if (dumper->cur_seq < log_first_seq) {
2773                 /* messages are gone, move to first available one */
2774                 dumper->cur_seq = log_first_seq;
2775                 dumper->cur_idx = log_first_idx;
2776         }
2777
2778         /* last entry */
2779         if (dumper->cur_seq >= dumper->next_seq) {
2780                 raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2781                 goto out;
2782         }
2783
2784         /* calculate length of entire buffer */
2785         seq = dumper->cur_seq;
2786         idx = dumper->cur_idx;
2787         prev = 0;
2788         while (seq < dumper->next_seq) {
2789                 struct log *msg = log_from_idx(idx);
2790
2791                 l += msg_print_text(msg, prev, true, NULL, 0);
2792                 idx = log_next(idx);
2793                 seq++;
2794                 prev = msg->flags;
2795         }
2796
2797         /* move first record forward until length fits into the buffer */
2798         seq = dumper->cur_seq;
2799         idx = dumper->cur_idx;
2800         prev = 0;
2801         while (l > size && seq < dumper->next_seq) {
2802                 struct log *msg = log_from_idx(idx);
2803
2804                 l -= msg_print_text(msg, prev, true, NULL, 0);
2805                 idx = log_next(idx);
2806                 seq++;
2807                 prev = msg->flags;
2808         }
2809
2810         /* last message in next interation */
2811         next_seq = seq;
2812         next_idx = idx;
2813
2814         l = 0;
2815         prev = 0;
2816         while (seq < dumper->next_seq) {
2817                 struct log *msg = log_from_idx(idx);
2818
2819                 l += msg_print_text(msg, prev, syslog, buf + l, size - l);
2820                 idx = log_next(idx);
2821                 seq++;
2822                 prev = msg->flags;
2823         }
2824
2825         dumper->next_seq = next_seq;
2826         dumper->next_idx = next_idx;
2827         ret = true;
2828         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2829 out:
2830         if (len)
2831                 *len = l;
2832         return ret;
2833 }
2834 EXPORT_SYMBOL_GPL(kmsg_dump_get_buffer);
2835
2836 /**
2837  * kmsg_dump_rewind_nolock - reset the interator (unlocked version)
2838  * @dumper: registered kmsg dumper
2839  *
2840  * Reset the dumper's iterator so that kmsg_dump_get_line() and
2841  * kmsg_dump_get_buffer() can be called again and used multiple
2842  * times within the same dumper.dump() callback.
2843  *
2844  * The function is similar to kmsg_dump_rewind(), but grabs no locks.
2845  */
2846 void kmsg_dump_rewind_nolock(struct kmsg_dumper *dumper)
2847 {
2848         dumper->cur_seq = clear_seq;
2849         dumper->cur_idx = clear_idx;
2850         dumper->next_seq = log_next_seq;
2851         dumper->next_idx = log_next_idx;
2852 }
2853
2854 /**
2855  * kmsg_dump_rewind - reset the interator
2856  * @dumper: registered kmsg dumper
2857  *
2858  * Reset the dumper's iterator so that kmsg_dump_get_line() and
2859  * kmsg_dump_get_buffer() can be called again and used multiple
2860  * times within the same dumper.dump() callback.
2861  */
2862 void kmsg_dump_rewind(struct kmsg_dumper *dumper)
2863 {
2864         unsigned long flags;
2865
2866         raw_spin_lock_irqsave(&logbuf_lock, flags);
2867         kmsg_dump_rewind_nolock(dumper);
2868         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2869 }
2870 EXPORT_SYMBOL_GPL(kmsg_dump_rewind);
2871
2872 static char dump_stack_arch_desc_str[128];
2873
2874 /**
2875  * dump_stack_set_arch_desc - set arch-specific str to show with task dumps
2876  * @fmt: printf-style format string
2877  * @...: arguments for the format string
2878  *
2879  * The configured string will be printed right after utsname during task
2880  * dumps.  Usually used to add arch-specific system identifiers.  If an
2881  * arch wants to make use of such an ID string, it should initialize this
2882  * as soon as possible during boot.
2883  */
2884 void __init dump_stack_set_arch_desc(const char *fmt, ...)
2885 {
2886         va_list args;
2887
2888         va_start(args, fmt);
2889         vsnprintf(dump_stack_arch_desc_str, sizeof(dump_stack_arch_desc_str),
2890                   fmt, args);
2891         va_end(args);
2892 }
2893
2894 /**
2895  * dump_stack_print_info - print generic debug info for dump_stack()
2896  * @log_lvl: log level
2897  *
2898  * Arch-specific dump_stack() implementations can use this function to
2899  * print out the same debug information as the generic dump_stack().
2900  */
2901 void dump_stack_print_info(const char *log_lvl)
2902 {
2903         printk("%sCPU: %d PID: %d Comm: %.20s %s %s %.*s\n",
2904                log_lvl, raw_smp_processor_id(), current->pid, current->comm,
2905                print_tainted(), init_utsname()->release,
2906                (int)strcspn(init_utsname()->version, " "),
2907                init_utsname()->version);
2908
2909         if (dump_stack_arch_desc_str[0] != '\0')
2910                 printk("%sHardware name: %s\n",
2911                        log_lvl, dump_stack_arch_desc_str);
2912
2913         print_worker_info(log_lvl, current);
2914 }
2915
2916 /**
2917  * show_regs_print_info - print generic debug info for show_regs()
2918  * @log_lvl: log level
2919  *
2920  * show_regs() implementations can use this function to print out generic
2921  * debug information.
2922  */
2923 void show_regs_print_info(const char *log_lvl)
2924 {
2925         dump_stack_print_info(log_lvl);
2926
2927         printk("%stask: %p ti: %p task.ti: %p\n",
2928                log_lvl, current, current_thread_info(),
2929                task_thread_info(current));
2930 }
2931
2932 #endif