Merge remote-tracking branch 'lsk/v3.10/topic/gator' into linux-linaro-lsk
[firefly-linux-kernel-4.4.55.git] / drivers / tty / serial / atmel_serial.c
1 /*
2  *  Driver for Atmel AT91 / AT32 Serial ports
3  *  Copyright (C) 2003 Rick Bronson
4  *
5  *  Based on drivers/char/serial_sa1100.c, by Deep Blue Solutions Ltd.
6  *  Based on drivers/char/serial.c, by Linus Torvalds, Theodore Ts'o.
7  *
8  *  DMA support added by Chip Coldwell.
9  *
10  * This program is free software; you can redistribute it and/or modify
11  * it under the terms of the GNU General Public License as published by
12  * the Free Software Foundation; either version 2 of the License, or
13  * (at your option) any later version.
14  *
15  * This program is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  * GNU General Public License for more details.
19  *
20  * You should have received a copy of the GNU General Public License
21  * along with this program; if not, write to the Free Software
22  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
23  *
24  */
25 #include <linux/module.h>
26 #include <linux/tty.h>
27 #include <linux/ioport.h>
28 #include <linux/slab.h>
29 #include <linux/init.h>
30 #include <linux/serial.h>
31 #include <linux/clk.h>
32 #include <linux/console.h>
33 #include <linux/sysrq.h>
34 #include <linux/tty_flip.h>
35 #include <linux/platform_device.h>
36 #include <linux/of.h>
37 #include <linux/of_device.h>
38 #include <linux/dma-mapping.h>
39 #include <linux/atmel_pdc.h>
40 #include <linux/atmel_serial.h>
41 #include <linux/uaccess.h>
42 #include <linux/pinctrl/consumer.h>
43 #include <linux/platform_data/atmel.h>
44
45 #include <asm/io.h>
46 #include <asm/ioctls.h>
47
48 #ifdef CONFIG_ARM
49 #include <mach/cpu.h>
50 #include <asm/gpio.h>
51 #endif
52
53 #define PDC_BUFFER_SIZE         512
54 /* Revisit: We should calculate this based on the actual port settings */
55 #define PDC_RX_TIMEOUT          (3 * 10)                /* 3 bytes */
56
57 #if defined(CONFIG_SERIAL_ATMEL_CONSOLE) && defined(CONFIG_MAGIC_SYSRQ)
58 #define SUPPORT_SYSRQ
59 #endif
60
61 #include <linux/serial_core.h>
62
63 static void atmel_start_rx(struct uart_port *port);
64 static void atmel_stop_rx(struct uart_port *port);
65
66 #ifdef CONFIG_SERIAL_ATMEL_TTYAT
67
68 /* Use device name ttyAT, major 204 and minor 154-169.  This is necessary if we
69  * should coexist with the 8250 driver, such as if we have an external 16C550
70  * UART. */
71 #define SERIAL_ATMEL_MAJOR      204
72 #define MINOR_START             154
73 #define ATMEL_DEVICENAME        "ttyAT"
74
75 #else
76
77 /* Use device name ttyS, major 4, minor 64-68.  This is the usual serial port
78  * name, but it is legally reserved for the 8250 driver. */
79 #define SERIAL_ATMEL_MAJOR      TTY_MAJOR
80 #define MINOR_START             64
81 #define ATMEL_DEVICENAME        "ttyS"
82
83 #endif
84
85 #define ATMEL_ISR_PASS_LIMIT    256
86
87 /* UART registers. CR is write-only, hence no GET macro */
88 #define UART_PUT_CR(port,v)     __raw_writel(v, (port)->membase + ATMEL_US_CR)
89 #define UART_GET_MR(port)       __raw_readl((port)->membase + ATMEL_US_MR)
90 #define UART_PUT_MR(port,v)     __raw_writel(v, (port)->membase + ATMEL_US_MR)
91 #define UART_PUT_IER(port,v)    __raw_writel(v, (port)->membase + ATMEL_US_IER)
92 #define UART_PUT_IDR(port,v)    __raw_writel(v, (port)->membase + ATMEL_US_IDR)
93 #define UART_GET_IMR(port)      __raw_readl((port)->membase + ATMEL_US_IMR)
94 #define UART_GET_CSR(port)      __raw_readl((port)->membase + ATMEL_US_CSR)
95 #define UART_GET_CHAR(port)     __raw_readl((port)->membase + ATMEL_US_RHR)
96 #define UART_PUT_CHAR(port,v)   __raw_writel(v, (port)->membase + ATMEL_US_THR)
97 #define UART_GET_BRGR(port)     __raw_readl((port)->membase + ATMEL_US_BRGR)
98 #define UART_PUT_BRGR(port,v)   __raw_writel(v, (port)->membase + ATMEL_US_BRGR)
99 #define UART_PUT_RTOR(port,v)   __raw_writel(v, (port)->membase + ATMEL_US_RTOR)
100 #define UART_PUT_TTGR(port, v)  __raw_writel(v, (port)->membase + ATMEL_US_TTGR)
101
102  /* PDC registers */
103 #define UART_PUT_PTCR(port,v)   __raw_writel(v, (port)->membase + ATMEL_PDC_PTCR)
104 #define UART_GET_PTSR(port)     __raw_readl((port)->membase + ATMEL_PDC_PTSR)
105
106 #define UART_PUT_RPR(port,v)    __raw_writel(v, (port)->membase + ATMEL_PDC_RPR)
107 #define UART_GET_RPR(port)      __raw_readl((port)->membase + ATMEL_PDC_RPR)
108 #define UART_PUT_RCR(port,v)    __raw_writel(v, (port)->membase + ATMEL_PDC_RCR)
109 #define UART_PUT_RNPR(port,v)   __raw_writel(v, (port)->membase + ATMEL_PDC_RNPR)
110 #define UART_PUT_RNCR(port,v)   __raw_writel(v, (port)->membase + ATMEL_PDC_RNCR)
111
112 #define UART_PUT_TPR(port,v)    __raw_writel(v, (port)->membase + ATMEL_PDC_TPR)
113 #define UART_PUT_TCR(port,v)    __raw_writel(v, (port)->membase + ATMEL_PDC_TCR)
114 #define UART_GET_TCR(port)      __raw_readl((port)->membase + ATMEL_PDC_TCR)
115
116 static int (*atmel_open_hook)(struct uart_port *);
117 static void (*atmel_close_hook)(struct uart_port *);
118
119 struct atmel_dma_buffer {
120         unsigned char   *buf;
121         dma_addr_t      dma_addr;
122         unsigned int    dma_size;
123         unsigned int    ofs;
124 };
125
126 struct atmel_uart_char {
127         u16             status;
128         u16             ch;
129 };
130
131 #define ATMEL_SERIAL_RINGSIZE 1024
132
133 /*
134  * We wrap our port structure around the generic uart_port.
135  */
136 struct atmel_uart_port {
137         struct uart_port        uart;           /* uart */
138         struct clk              *clk;           /* uart clock */
139         int                     may_wakeup;     /* cached value of device_may_wakeup for times we need to disable it */
140         u32                     backup_imr;     /* IMR saved during suspend */
141         int                     break_active;   /* break being received */
142
143         short                   use_dma_rx;     /* enable PDC receiver */
144         short                   pdc_rx_idx;     /* current PDC RX buffer */
145         struct atmel_dma_buffer pdc_rx[2];      /* PDC receier */
146
147         short                   use_dma_tx;     /* enable PDC transmitter */
148         struct atmel_dma_buffer pdc_tx;         /* PDC transmitter */
149
150         struct tasklet_struct   tasklet;
151         unsigned int            irq_status;
152         unsigned int            irq_status_prev;
153
154         struct circ_buf         rx_ring;
155
156         struct serial_rs485     rs485;          /* rs485 settings */
157         unsigned int            tx_done_mask;
158 };
159
160 static struct atmel_uart_port atmel_ports[ATMEL_MAX_UART];
161 static DECLARE_BITMAP(atmel_ports_in_use, ATMEL_MAX_UART);
162
163 #ifdef SUPPORT_SYSRQ
164 static struct console atmel_console;
165 #endif
166
167 #if defined(CONFIG_OF)
168 static const struct of_device_id atmel_serial_dt_ids[] = {
169         { .compatible = "atmel,at91rm9200-usart" },
170         { .compatible = "atmel,at91sam9260-usart" },
171         { /* sentinel */ }
172 };
173
174 MODULE_DEVICE_TABLE(of, atmel_serial_dt_ids);
175 #endif
176
177 static inline struct atmel_uart_port *
178 to_atmel_uart_port(struct uart_port *uart)
179 {
180         return container_of(uart, struct atmel_uart_port, uart);
181 }
182
183 #ifdef CONFIG_SERIAL_ATMEL_PDC
184 static bool atmel_use_dma_rx(struct uart_port *port)
185 {
186         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
187
188         return atmel_port->use_dma_rx;
189 }
190
191 static bool atmel_use_dma_tx(struct uart_port *port)
192 {
193         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
194
195         return atmel_port->use_dma_tx;
196 }
197 #else
198 static bool atmel_use_dma_rx(struct uart_port *port)
199 {
200         return false;
201 }
202
203 static bool atmel_use_dma_tx(struct uart_port *port)
204 {
205         return false;
206 }
207 #endif
208
209 /* Enable or disable the rs485 support */
210 void atmel_config_rs485(struct uart_port *port, struct serial_rs485 *rs485conf)
211 {
212         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
213         unsigned int mode;
214         unsigned long flags;
215
216         spin_lock_irqsave(&port->lock, flags);
217
218         /* Disable interrupts */
219         UART_PUT_IDR(port, atmel_port->tx_done_mask);
220
221         mode = UART_GET_MR(port);
222
223         /* Resetting serial mode to RS232 (0x0) */
224         mode &= ~ATMEL_US_USMODE;
225
226         atmel_port->rs485 = *rs485conf;
227
228         if (rs485conf->flags & SER_RS485_ENABLED) {
229                 dev_dbg(port->dev, "Setting UART to RS485\n");
230                 atmel_port->tx_done_mask = ATMEL_US_TXEMPTY;
231                 if ((rs485conf->delay_rts_after_send) > 0)
232                         UART_PUT_TTGR(port, rs485conf->delay_rts_after_send);
233                 mode |= ATMEL_US_USMODE_RS485;
234         } else {
235                 dev_dbg(port->dev, "Setting UART to RS232\n");
236                 if (atmel_use_dma_tx(port))
237                         atmel_port->tx_done_mask = ATMEL_US_ENDTX |
238                                 ATMEL_US_TXBUFE;
239                 else
240                         atmel_port->tx_done_mask = ATMEL_US_TXRDY;
241         }
242         UART_PUT_MR(port, mode);
243
244         /* Enable interrupts */
245         UART_PUT_IER(port, atmel_port->tx_done_mask);
246
247         spin_unlock_irqrestore(&port->lock, flags);
248
249 }
250
251 /*
252  * Return TIOCSER_TEMT when transmitter FIFO and Shift register is empty.
253  */
254 static u_int atmel_tx_empty(struct uart_port *port)
255 {
256         return (UART_GET_CSR(port) & ATMEL_US_TXEMPTY) ? TIOCSER_TEMT : 0;
257 }
258
259 /*
260  * Set state of the modem control output lines
261  */
262 static void atmel_set_mctrl(struct uart_port *port, u_int mctrl)
263 {
264         unsigned int control = 0;
265         unsigned int mode;
266         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
267
268 #ifdef CONFIG_ARCH_AT91RM9200
269         if (cpu_is_at91rm9200()) {
270                 /*
271                  * AT91RM9200 Errata #39: RTS0 is not internally connected
272                  * to PA21. We need to drive the pin manually.
273                  */
274                 if (port->mapbase == AT91RM9200_BASE_US0) {
275                         if (mctrl & TIOCM_RTS)
276                                 at91_set_gpio_value(AT91_PIN_PA21, 0);
277                         else
278                                 at91_set_gpio_value(AT91_PIN_PA21, 1);
279                 }
280         }
281 #endif
282
283         if (mctrl & TIOCM_RTS)
284                 control |= ATMEL_US_RTSEN;
285         else
286                 control |= ATMEL_US_RTSDIS;
287
288         if (mctrl & TIOCM_DTR)
289                 control |= ATMEL_US_DTREN;
290         else
291                 control |= ATMEL_US_DTRDIS;
292
293         UART_PUT_CR(port, control);
294
295         /* Local loopback mode? */
296         mode = UART_GET_MR(port) & ~ATMEL_US_CHMODE;
297         if (mctrl & TIOCM_LOOP)
298                 mode |= ATMEL_US_CHMODE_LOC_LOOP;
299         else
300                 mode |= ATMEL_US_CHMODE_NORMAL;
301
302         /* Resetting serial mode to RS232 (0x0) */
303         mode &= ~ATMEL_US_USMODE;
304
305         if (atmel_port->rs485.flags & SER_RS485_ENABLED) {
306                 dev_dbg(port->dev, "Setting UART to RS485\n");
307                 if ((atmel_port->rs485.delay_rts_after_send) > 0)
308                         UART_PUT_TTGR(port,
309                                         atmel_port->rs485.delay_rts_after_send);
310                 mode |= ATMEL_US_USMODE_RS485;
311         } else {
312                 dev_dbg(port->dev, "Setting UART to RS232\n");
313         }
314         UART_PUT_MR(port, mode);
315 }
316
317 /*
318  * Get state of the modem control input lines
319  */
320 static u_int atmel_get_mctrl(struct uart_port *port)
321 {
322         unsigned int status, ret = 0;
323
324         status = UART_GET_CSR(port);
325
326         /*
327          * The control signals are active low.
328          */
329         if (!(status & ATMEL_US_DCD))
330                 ret |= TIOCM_CD;
331         if (!(status & ATMEL_US_CTS))
332                 ret |= TIOCM_CTS;
333         if (!(status & ATMEL_US_DSR))
334                 ret |= TIOCM_DSR;
335         if (!(status & ATMEL_US_RI))
336                 ret |= TIOCM_RI;
337
338         return ret;
339 }
340
341 /*
342  * Stop transmitting.
343  */
344 static void atmel_stop_tx(struct uart_port *port)
345 {
346         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
347
348         if (atmel_use_dma_tx(port)) {
349                 /* disable PDC transmit */
350                 UART_PUT_PTCR(port, ATMEL_PDC_TXTDIS);
351         }
352         /* Disable interrupts */
353         UART_PUT_IDR(port, atmel_port->tx_done_mask);
354
355         if ((atmel_port->rs485.flags & SER_RS485_ENABLED) &&
356             !(atmel_port->rs485.flags & SER_RS485_RX_DURING_TX))
357                 atmel_start_rx(port);
358 }
359
360 /*
361  * Start transmitting.
362  */
363 static void atmel_start_tx(struct uart_port *port)
364 {
365         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
366
367         if (atmel_use_dma_tx(port)) {
368                 if (UART_GET_PTSR(port) & ATMEL_PDC_TXTEN)
369                         /* The transmitter is already running.  Yes, we
370                            really need this.*/
371                         return;
372
373                 if ((atmel_port->rs485.flags & SER_RS485_ENABLED) &&
374                     !(atmel_port->rs485.flags & SER_RS485_RX_DURING_TX))
375                         atmel_stop_rx(port);
376
377                 /* re-enable PDC transmit */
378                 UART_PUT_PTCR(port, ATMEL_PDC_TXTEN);
379         }
380         /* Enable interrupts */
381         UART_PUT_IER(port, atmel_port->tx_done_mask);
382 }
383
384 /*
385  * start receiving - port is in process of being opened.
386  */
387 static void atmel_start_rx(struct uart_port *port)
388 {
389         UART_PUT_CR(port, ATMEL_US_RSTSTA);  /* reset status and receiver */
390
391         UART_PUT_CR(port, ATMEL_US_RXEN);
392
393         if (atmel_use_dma_rx(port)) {
394                 /* enable PDC controller */
395                 UART_PUT_IER(port, ATMEL_US_ENDRX | ATMEL_US_TIMEOUT |
396                         port->read_status_mask);
397                 UART_PUT_PTCR(port, ATMEL_PDC_RXTEN);
398         } else {
399                 UART_PUT_IER(port, ATMEL_US_RXRDY);
400         }
401 }
402
403 /*
404  * Stop receiving - port is in process of being closed.
405  */
406 static void atmel_stop_rx(struct uart_port *port)
407 {
408         UART_PUT_CR(port, ATMEL_US_RXDIS);
409
410         if (atmel_use_dma_rx(port)) {
411                 /* disable PDC receive */
412                 UART_PUT_PTCR(port, ATMEL_PDC_RXTDIS);
413                 UART_PUT_IDR(port, ATMEL_US_ENDRX | ATMEL_US_TIMEOUT |
414                         port->read_status_mask);
415         } else {
416                 UART_PUT_IDR(port, ATMEL_US_RXRDY);
417         }
418 }
419
420 /*
421  * Enable modem status interrupts
422  */
423 static void atmel_enable_ms(struct uart_port *port)
424 {
425         UART_PUT_IER(port, ATMEL_US_RIIC | ATMEL_US_DSRIC
426                         | ATMEL_US_DCDIC | ATMEL_US_CTSIC);
427 }
428
429 /*
430  * Control the transmission of a break signal
431  */
432 static void atmel_break_ctl(struct uart_port *port, int break_state)
433 {
434         if (break_state != 0)
435                 UART_PUT_CR(port, ATMEL_US_STTBRK);     /* start break */
436         else
437                 UART_PUT_CR(port, ATMEL_US_STPBRK);     /* stop break */
438 }
439
440 /*
441  * Stores the incoming character in the ring buffer
442  */
443 static void
444 atmel_buffer_rx_char(struct uart_port *port, unsigned int status,
445                      unsigned int ch)
446 {
447         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
448         struct circ_buf *ring = &atmel_port->rx_ring;
449         struct atmel_uart_char *c;
450
451         if (!CIRC_SPACE(ring->head, ring->tail, ATMEL_SERIAL_RINGSIZE))
452                 /* Buffer overflow, ignore char */
453                 return;
454
455         c = &((struct atmel_uart_char *)ring->buf)[ring->head];
456         c->status       = status;
457         c->ch           = ch;
458
459         /* Make sure the character is stored before we update head. */
460         smp_wmb();
461
462         ring->head = (ring->head + 1) & (ATMEL_SERIAL_RINGSIZE - 1);
463 }
464
465 /*
466  * Deal with parity, framing and overrun errors.
467  */
468 static void atmel_pdc_rxerr(struct uart_port *port, unsigned int status)
469 {
470         /* clear error */
471         UART_PUT_CR(port, ATMEL_US_RSTSTA);
472
473         if (status & ATMEL_US_RXBRK) {
474                 /* ignore side-effect */
475                 status &= ~(ATMEL_US_PARE | ATMEL_US_FRAME);
476                 port->icount.brk++;
477         }
478         if (status & ATMEL_US_PARE)
479                 port->icount.parity++;
480         if (status & ATMEL_US_FRAME)
481                 port->icount.frame++;
482         if (status & ATMEL_US_OVRE)
483                 port->icount.overrun++;
484 }
485
486 /*
487  * Characters received (called from interrupt handler)
488  */
489 static void atmel_rx_chars(struct uart_port *port)
490 {
491         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
492         unsigned int status, ch;
493
494         status = UART_GET_CSR(port);
495         while (status & ATMEL_US_RXRDY) {
496                 ch = UART_GET_CHAR(port);
497
498                 /*
499                  * note that the error handling code is
500                  * out of the main execution path
501                  */
502                 if (unlikely(status & (ATMEL_US_PARE | ATMEL_US_FRAME
503                                        | ATMEL_US_OVRE | ATMEL_US_RXBRK)
504                              || atmel_port->break_active)) {
505
506                         /* clear error */
507                         UART_PUT_CR(port, ATMEL_US_RSTSTA);
508
509                         if (status & ATMEL_US_RXBRK
510                             && !atmel_port->break_active) {
511                                 atmel_port->break_active = 1;
512                                 UART_PUT_IER(port, ATMEL_US_RXBRK);
513                         } else {
514                                 /*
515                                  * This is either the end-of-break
516                                  * condition or we've received at
517                                  * least one character without RXBRK
518                                  * being set. In both cases, the next
519                                  * RXBRK will indicate start-of-break.
520                                  */
521                                 UART_PUT_IDR(port, ATMEL_US_RXBRK);
522                                 status &= ~ATMEL_US_RXBRK;
523                                 atmel_port->break_active = 0;
524                         }
525                 }
526
527                 atmel_buffer_rx_char(port, status, ch);
528                 status = UART_GET_CSR(port);
529         }
530
531         tasklet_schedule(&atmel_port->tasklet);
532 }
533
534 /*
535  * Transmit characters (called from tasklet with TXRDY interrupt
536  * disabled)
537  */
538 static void atmel_tx_chars(struct uart_port *port)
539 {
540         struct circ_buf *xmit = &port->state->xmit;
541         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
542
543         if (port->x_char && UART_GET_CSR(port) & atmel_port->tx_done_mask) {
544                 UART_PUT_CHAR(port, port->x_char);
545                 port->icount.tx++;
546                 port->x_char = 0;
547         }
548         if (uart_circ_empty(xmit) || uart_tx_stopped(port))
549                 return;
550
551         while (UART_GET_CSR(port) & atmel_port->tx_done_mask) {
552                 UART_PUT_CHAR(port, xmit->buf[xmit->tail]);
553                 xmit->tail = (xmit->tail + 1) & (UART_XMIT_SIZE - 1);
554                 port->icount.tx++;
555                 if (uart_circ_empty(xmit))
556                         break;
557         }
558
559         if (uart_circ_chars_pending(xmit) < WAKEUP_CHARS)
560                 uart_write_wakeup(port);
561
562         if (!uart_circ_empty(xmit))
563                 /* Enable interrupts */
564                 UART_PUT_IER(port, atmel_port->tx_done_mask);
565 }
566
567 /*
568  * receive interrupt handler.
569  */
570 static void
571 atmel_handle_receive(struct uart_port *port, unsigned int pending)
572 {
573         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
574
575         if (atmel_use_dma_rx(port)) {
576                 /*
577                  * PDC receive. Just schedule the tasklet and let it
578                  * figure out the details.
579                  *
580                  * TODO: We're not handling error flags correctly at
581                  * the moment.
582                  */
583                 if (pending & (ATMEL_US_ENDRX | ATMEL_US_TIMEOUT)) {
584                         UART_PUT_IDR(port, (ATMEL_US_ENDRX
585                                                 | ATMEL_US_TIMEOUT));
586                         tasklet_schedule(&atmel_port->tasklet);
587                 }
588
589                 if (pending & (ATMEL_US_RXBRK | ATMEL_US_OVRE |
590                                 ATMEL_US_FRAME | ATMEL_US_PARE))
591                         atmel_pdc_rxerr(port, pending);
592         }
593
594         /* Interrupt receive */
595         if (pending & ATMEL_US_RXRDY)
596                 atmel_rx_chars(port);
597         else if (pending & ATMEL_US_RXBRK) {
598                 /*
599                  * End of break detected. If it came along with a
600                  * character, atmel_rx_chars will handle it.
601                  */
602                 UART_PUT_CR(port, ATMEL_US_RSTSTA);
603                 UART_PUT_IDR(port, ATMEL_US_RXBRK);
604                 atmel_port->break_active = 0;
605         }
606 }
607
608 /*
609  * transmit interrupt handler. (Transmit is IRQF_NODELAY safe)
610  */
611 static void
612 atmel_handle_transmit(struct uart_port *port, unsigned int pending)
613 {
614         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
615
616         if (pending & atmel_port->tx_done_mask) {
617                 /* Either PDC or interrupt transmission */
618                 UART_PUT_IDR(port, atmel_port->tx_done_mask);
619                 tasklet_schedule(&atmel_port->tasklet);
620         }
621 }
622
623 /*
624  * status flags interrupt handler.
625  */
626 static void
627 atmel_handle_status(struct uart_port *port, unsigned int pending,
628                     unsigned int status)
629 {
630         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
631
632         if (pending & (ATMEL_US_RIIC | ATMEL_US_DSRIC | ATMEL_US_DCDIC
633                                 | ATMEL_US_CTSIC)) {
634                 atmel_port->irq_status = status;
635                 tasklet_schedule(&atmel_port->tasklet);
636         }
637 }
638
639 /*
640  * Interrupt handler
641  */
642 static irqreturn_t atmel_interrupt(int irq, void *dev_id)
643 {
644         struct uart_port *port = dev_id;
645         unsigned int status, pending, pass_counter = 0;
646
647         do {
648                 status = UART_GET_CSR(port);
649                 pending = status & UART_GET_IMR(port);
650                 if (!pending)
651                         break;
652
653                 atmel_handle_receive(port, pending);
654                 atmel_handle_status(port, pending, status);
655                 atmel_handle_transmit(port, pending);
656         } while (pass_counter++ < ATMEL_ISR_PASS_LIMIT);
657
658         return pass_counter ? IRQ_HANDLED : IRQ_NONE;
659 }
660
661 /*
662  * Called from tasklet with ENDTX and TXBUFE interrupts disabled.
663  */
664 static void atmel_tx_dma(struct uart_port *port)
665 {
666         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
667         struct circ_buf *xmit = &port->state->xmit;
668         struct atmel_dma_buffer *pdc = &atmel_port->pdc_tx;
669         int count;
670
671         /* nothing left to transmit? */
672         if (UART_GET_TCR(port))
673                 return;
674
675         xmit->tail += pdc->ofs;
676         xmit->tail &= UART_XMIT_SIZE - 1;
677
678         port->icount.tx += pdc->ofs;
679         pdc->ofs = 0;
680
681         /* more to transmit - setup next transfer */
682
683         /* disable PDC transmit */
684         UART_PUT_PTCR(port, ATMEL_PDC_TXTDIS);
685
686         if (!uart_circ_empty(xmit) && !uart_tx_stopped(port)) {
687                 dma_sync_single_for_device(port->dev,
688                                            pdc->dma_addr,
689                                            pdc->dma_size,
690                                            DMA_TO_DEVICE);
691
692                 count = CIRC_CNT_TO_END(xmit->head, xmit->tail, UART_XMIT_SIZE);
693                 pdc->ofs = count;
694
695                 UART_PUT_TPR(port, pdc->dma_addr + xmit->tail);
696                 UART_PUT_TCR(port, count);
697                 /* re-enable PDC transmit */
698                 UART_PUT_PTCR(port, ATMEL_PDC_TXTEN);
699                 /* Enable interrupts */
700                 UART_PUT_IER(port, atmel_port->tx_done_mask);
701         } else {
702                 if ((atmel_port->rs485.flags & SER_RS485_ENABLED) &&
703                     !(atmel_port->rs485.flags & SER_RS485_RX_DURING_TX)) {
704                         /* DMA done, stop TX, start RX for RS485 */
705                         atmel_start_rx(port);
706                 }
707         }
708
709         if (uart_circ_chars_pending(xmit) < WAKEUP_CHARS)
710                 uart_write_wakeup(port);
711 }
712
713 static void atmel_rx_from_ring(struct uart_port *port)
714 {
715         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
716         struct circ_buf *ring = &atmel_port->rx_ring;
717         unsigned int flg;
718         unsigned int status;
719
720         while (ring->head != ring->tail) {
721                 struct atmel_uart_char c;
722
723                 /* Make sure c is loaded after head. */
724                 smp_rmb();
725
726                 c = ((struct atmel_uart_char *)ring->buf)[ring->tail];
727
728                 ring->tail = (ring->tail + 1) & (ATMEL_SERIAL_RINGSIZE - 1);
729
730                 port->icount.rx++;
731                 status = c.status;
732                 flg = TTY_NORMAL;
733
734                 /*
735                  * note that the error handling code is
736                  * out of the main execution path
737                  */
738                 if (unlikely(status & (ATMEL_US_PARE | ATMEL_US_FRAME
739                                        | ATMEL_US_OVRE | ATMEL_US_RXBRK))) {
740                         if (status & ATMEL_US_RXBRK) {
741                                 /* ignore side-effect */
742                                 status &= ~(ATMEL_US_PARE | ATMEL_US_FRAME);
743
744                                 port->icount.brk++;
745                                 if (uart_handle_break(port))
746                                         continue;
747                         }
748                         if (status & ATMEL_US_PARE)
749                                 port->icount.parity++;
750                         if (status & ATMEL_US_FRAME)
751                                 port->icount.frame++;
752                         if (status & ATMEL_US_OVRE)
753                                 port->icount.overrun++;
754
755                         status &= port->read_status_mask;
756
757                         if (status & ATMEL_US_RXBRK)
758                                 flg = TTY_BREAK;
759                         else if (status & ATMEL_US_PARE)
760                                 flg = TTY_PARITY;
761                         else if (status & ATMEL_US_FRAME)
762                                 flg = TTY_FRAME;
763                 }
764
765
766                 if (uart_handle_sysrq_char(port, c.ch))
767                         continue;
768
769                 uart_insert_char(port, status, ATMEL_US_OVRE, c.ch, flg);
770         }
771
772         /*
773          * Drop the lock here since it might end up calling
774          * uart_start(), which takes the lock.
775          */
776         spin_unlock(&port->lock);
777         tty_flip_buffer_push(&port->state->port);
778         spin_lock(&port->lock);
779 }
780
781 static void atmel_rx_from_dma(struct uart_port *port)
782 {
783         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
784         struct tty_port *tport = &port->state->port;
785         struct atmel_dma_buffer *pdc;
786         int rx_idx = atmel_port->pdc_rx_idx;
787         unsigned int head;
788         unsigned int tail;
789         unsigned int count;
790
791         do {
792                 /* Reset the UART timeout early so that we don't miss one */
793                 UART_PUT_CR(port, ATMEL_US_STTTO);
794
795                 pdc = &atmel_port->pdc_rx[rx_idx];
796                 head = UART_GET_RPR(port) - pdc->dma_addr;
797                 tail = pdc->ofs;
798
799                 /* If the PDC has switched buffers, RPR won't contain
800                  * any address within the current buffer. Since head
801                  * is unsigned, we just need a one-way comparison to
802                  * find out.
803                  *
804                  * In this case, we just need to consume the entire
805                  * buffer and resubmit it for DMA. This will clear the
806                  * ENDRX bit as well, so that we can safely re-enable
807                  * all interrupts below.
808                  */
809                 head = min(head, pdc->dma_size);
810
811                 if (likely(head != tail)) {
812                         dma_sync_single_for_cpu(port->dev, pdc->dma_addr,
813                                         pdc->dma_size, DMA_FROM_DEVICE);
814
815                         /*
816                          * head will only wrap around when we recycle
817                          * the DMA buffer, and when that happens, we
818                          * explicitly set tail to 0. So head will
819                          * always be greater than tail.
820                          */
821                         count = head - tail;
822
823                         tty_insert_flip_string(tport, pdc->buf + pdc->ofs,
824                                                 count);
825
826                         dma_sync_single_for_device(port->dev, pdc->dma_addr,
827                                         pdc->dma_size, DMA_FROM_DEVICE);
828
829                         port->icount.rx += count;
830                         pdc->ofs = head;
831                 }
832
833                 /*
834                  * If the current buffer is full, we need to check if
835                  * the next one contains any additional data.
836                  */
837                 if (head >= pdc->dma_size) {
838                         pdc->ofs = 0;
839                         UART_PUT_RNPR(port, pdc->dma_addr);
840                         UART_PUT_RNCR(port, pdc->dma_size);
841
842                         rx_idx = !rx_idx;
843                         atmel_port->pdc_rx_idx = rx_idx;
844                 }
845         } while (head >= pdc->dma_size);
846
847         /*
848          * Drop the lock here since it might end up calling
849          * uart_start(), which takes the lock.
850          */
851         spin_unlock(&port->lock);
852         tty_flip_buffer_push(tport);
853         spin_lock(&port->lock);
854
855         UART_PUT_IER(port, ATMEL_US_ENDRX | ATMEL_US_TIMEOUT);
856 }
857
858 /*
859  * tasklet handling tty stuff outside the interrupt handler.
860  */
861 static void atmel_tasklet_func(unsigned long data)
862 {
863         struct uart_port *port = (struct uart_port *)data;
864         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
865         unsigned int status;
866         unsigned int status_change;
867
868         /* The interrupt handler does not take the lock */
869         spin_lock(&port->lock);
870
871         if (atmel_use_dma_tx(port))
872                 atmel_tx_dma(port);
873         else
874                 atmel_tx_chars(port);
875
876         status = atmel_port->irq_status;
877         status_change = status ^ atmel_port->irq_status_prev;
878
879         if (status_change & (ATMEL_US_RI | ATMEL_US_DSR
880                                 | ATMEL_US_DCD | ATMEL_US_CTS)) {
881                 /* TODO: All reads to CSR will clear these interrupts! */
882                 if (status_change & ATMEL_US_RI)
883                         port->icount.rng++;
884                 if (status_change & ATMEL_US_DSR)
885                         port->icount.dsr++;
886                 if (status_change & ATMEL_US_DCD)
887                         uart_handle_dcd_change(port, !(status & ATMEL_US_DCD));
888                 if (status_change & ATMEL_US_CTS)
889                         uart_handle_cts_change(port, !(status & ATMEL_US_CTS));
890
891                 wake_up_interruptible(&port->state->port.delta_msr_wait);
892
893                 atmel_port->irq_status_prev = status;
894         }
895
896         if (atmel_use_dma_rx(port))
897                 atmel_rx_from_dma(port);
898         else
899                 atmel_rx_from_ring(port);
900
901         spin_unlock(&port->lock);
902 }
903
904 /*
905  * Perform initialization and enable port for reception
906  */
907 static int atmel_startup(struct uart_port *port)
908 {
909         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
910         struct tty_struct *tty = port->state->port.tty;
911         int retval;
912
913         /*
914          * Ensure that no interrupts are enabled otherwise when
915          * request_irq() is called we could get stuck trying to
916          * handle an unexpected interrupt
917          */
918         UART_PUT_IDR(port, -1);
919
920         /*
921          * Allocate the IRQ
922          */
923         retval = request_irq(port->irq, atmel_interrupt, IRQF_SHARED,
924                         tty ? tty->name : "atmel_serial", port);
925         if (retval) {
926                 printk("atmel_serial: atmel_startup - Can't get irq\n");
927                 return retval;
928         }
929
930         /*
931          * Initialize DMA (if necessary)
932          */
933         if (atmel_use_dma_rx(port)) {
934                 int i;
935
936                 for (i = 0; i < 2; i++) {
937                         struct atmel_dma_buffer *pdc = &atmel_port->pdc_rx[i];
938
939                         pdc->buf = kmalloc(PDC_BUFFER_SIZE, GFP_KERNEL);
940                         if (pdc->buf == NULL) {
941                                 if (i != 0) {
942                                         dma_unmap_single(port->dev,
943                                                 atmel_port->pdc_rx[0].dma_addr,
944                                                 PDC_BUFFER_SIZE,
945                                                 DMA_FROM_DEVICE);
946                                         kfree(atmel_port->pdc_rx[0].buf);
947                                 }
948                                 free_irq(port->irq, port);
949                                 return -ENOMEM;
950                         }
951                         pdc->dma_addr = dma_map_single(port->dev,
952                                                        pdc->buf,
953                                                        PDC_BUFFER_SIZE,
954                                                        DMA_FROM_DEVICE);
955                         pdc->dma_size = PDC_BUFFER_SIZE;
956                         pdc->ofs = 0;
957                 }
958
959                 atmel_port->pdc_rx_idx = 0;
960
961                 UART_PUT_RPR(port, atmel_port->pdc_rx[0].dma_addr);
962                 UART_PUT_RCR(port, PDC_BUFFER_SIZE);
963
964                 UART_PUT_RNPR(port, atmel_port->pdc_rx[1].dma_addr);
965                 UART_PUT_RNCR(port, PDC_BUFFER_SIZE);
966         }
967         if (atmel_use_dma_tx(port)) {
968                 struct atmel_dma_buffer *pdc = &atmel_port->pdc_tx;
969                 struct circ_buf *xmit = &port->state->xmit;
970
971                 pdc->buf = xmit->buf;
972                 pdc->dma_addr = dma_map_single(port->dev,
973                                                pdc->buf,
974                                                UART_XMIT_SIZE,
975                                                DMA_TO_DEVICE);
976                 pdc->dma_size = UART_XMIT_SIZE;
977                 pdc->ofs = 0;
978         }
979
980         /*
981          * If there is a specific "open" function (to register
982          * control line interrupts)
983          */
984         if (atmel_open_hook) {
985                 retval = atmel_open_hook(port);
986                 if (retval) {
987                         free_irq(port->irq, port);
988                         return retval;
989                 }
990         }
991
992         /* Save current CSR for comparison in atmel_tasklet_func() */
993         atmel_port->irq_status_prev = UART_GET_CSR(port);
994         atmel_port->irq_status = atmel_port->irq_status_prev;
995
996         /*
997          * Finally, enable the serial port
998          */
999         UART_PUT_CR(port, ATMEL_US_RSTSTA | ATMEL_US_RSTRX);
1000         /* enable xmit & rcvr */
1001         UART_PUT_CR(port, ATMEL_US_TXEN | ATMEL_US_RXEN);
1002
1003         if (atmel_use_dma_rx(port)) {
1004                 /* set UART timeout */
1005                 UART_PUT_RTOR(port, PDC_RX_TIMEOUT);
1006                 UART_PUT_CR(port, ATMEL_US_STTTO);
1007
1008                 UART_PUT_IER(port, ATMEL_US_ENDRX | ATMEL_US_TIMEOUT);
1009                 /* enable PDC controller */
1010                 UART_PUT_PTCR(port, ATMEL_PDC_RXTEN);
1011         } else {
1012                 /* enable receive only */
1013                 UART_PUT_IER(port, ATMEL_US_RXRDY);
1014         }
1015
1016         return 0;
1017 }
1018
1019 /*
1020  * Disable the port
1021  */
1022 static void atmel_shutdown(struct uart_port *port)
1023 {
1024         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
1025
1026         /*
1027          * Clear out any scheduled tasklets before
1028          * we destroy the buffers
1029          */
1030         tasklet_kill(&atmel_port->tasklet);
1031
1032         /*
1033          * Ensure everything is stopped and
1034          * disable all interrupts, port and break condition.
1035          */
1036         atmel_stop_rx(port);
1037         atmel_stop_tx(port);
1038
1039         UART_PUT_CR(port, ATMEL_US_RSTSTA);
1040         UART_PUT_IDR(port, -1);
1041
1042
1043         /*
1044          * Shut-down the DMA.
1045          */
1046         if (atmel_use_dma_rx(port)) {
1047                 int i;
1048
1049                 for (i = 0; i < 2; i++) {
1050                         struct atmel_dma_buffer *pdc = &atmel_port->pdc_rx[i];
1051
1052                         dma_unmap_single(port->dev,
1053                                          pdc->dma_addr,
1054                                          pdc->dma_size,
1055                                          DMA_FROM_DEVICE);
1056                         kfree(pdc->buf);
1057                 }
1058         }
1059         if (atmel_use_dma_tx(port)) {
1060                 struct atmel_dma_buffer *pdc = &atmel_port->pdc_tx;
1061
1062                 dma_unmap_single(port->dev,
1063                                  pdc->dma_addr,
1064                                  pdc->dma_size,
1065                                  DMA_TO_DEVICE);
1066         }
1067
1068         /*
1069          * Free the interrupt
1070          */
1071         free_irq(port->irq, port);
1072
1073         /*
1074          * If there is a specific "close" function (to unregister
1075          * control line interrupts)
1076          */
1077         if (atmel_close_hook)
1078                 atmel_close_hook(port);
1079 }
1080
1081 /*
1082  * Flush any TX data submitted for DMA. Called when the TX circular
1083  * buffer is reset.
1084  */
1085 static void atmel_flush_buffer(struct uart_port *port)
1086 {
1087         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
1088
1089         if (atmel_use_dma_tx(port)) {
1090                 UART_PUT_TCR(port, 0);
1091                 atmel_port->pdc_tx.ofs = 0;
1092         }
1093 }
1094
1095 /*
1096  * Power / Clock management.
1097  */
1098 static void atmel_serial_pm(struct uart_port *port, unsigned int state,
1099                             unsigned int oldstate)
1100 {
1101         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
1102
1103         switch (state) {
1104         case 0:
1105                 /*
1106                  * Enable the peripheral clock for this serial port.
1107                  * This is called on uart_open() or a resume event.
1108                  */
1109                 clk_enable(atmel_port->clk);
1110
1111                 /* re-enable interrupts if we disabled some on suspend */
1112                 UART_PUT_IER(port, atmel_port->backup_imr);
1113                 break;
1114         case 3:
1115                 /* Back up the interrupt mask and disable all interrupts */
1116                 atmel_port->backup_imr = UART_GET_IMR(port);
1117                 UART_PUT_IDR(port, -1);
1118
1119                 /*
1120                  * Disable the peripheral clock for this serial port.
1121                  * This is called on uart_close() or a suspend event.
1122                  */
1123                 clk_disable(atmel_port->clk);
1124                 break;
1125         default:
1126                 printk(KERN_ERR "atmel_serial: unknown pm %d\n", state);
1127         }
1128 }
1129
1130 /*
1131  * Change the port parameters
1132  */
1133 static void atmel_set_termios(struct uart_port *port, struct ktermios *termios,
1134                               struct ktermios *old)
1135 {
1136         unsigned long flags;
1137         unsigned int mode, imr, quot, baud;
1138         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
1139
1140         /* Get current mode register */
1141         mode = UART_GET_MR(port) & ~(ATMEL_US_USCLKS | ATMEL_US_CHRL
1142                                         | ATMEL_US_NBSTOP | ATMEL_US_PAR
1143                                         | ATMEL_US_USMODE);
1144
1145         baud = uart_get_baud_rate(port, termios, old, 0, port->uartclk / 16);
1146         quot = uart_get_divisor(port, baud);
1147
1148         if (quot > 65535) {     /* BRGR is 16-bit, so switch to slower clock */
1149                 quot /= 8;
1150                 mode |= ATMEL_US_USCLKS_MCK_DIV8;
1151         }
1152
1153         /* byte size */
1154         switch (termios->c_cflag & CSIZE) {
1155         case CS5:
1156                 mode |= ATMEL_US_CHRL_5;
1157                 break;
1158         case CS6:
1159                 mode |= ATMEL_US_CHRL_6;
1160                 break;
1161         case CS7:
1162                 mode |= ATMEL_US_CHRL_7;
1163                 break;
1164         default:
1165                 mode |= ATMEL_US_CHRL_8;
1166                 break;
1167         }
1168
1169         /* stop bits */
1170         if (termios->c_cflag & CSTOPB)
1171                 mode |= ATMEL_US_NBSTOP_2;
1172
1173         /* parity */
1174         if (termios->c_cflag & PARENB) {
1175                 /* Mark or Space parity */
1176                 if (termios->c_cflag & CMSPAR) {
1177                         if (termios->c_cflag & PARODD)
1178                                 mode |= ATMEL_US_PAR_MARK;
1179                         else
1180                                 mode |= ATMEL_US_PAR_SPACE;
1181                 } else if (termios->c_cflag & PARODD)
1182                         mode |= ATMEL_US_PAR_ODD;
1183                 else
1184                         mode |= ATMEL_US_PAR_EVEN;
1185         } else
1186                 mode |= ATMEL_US_PAR_NONE;
1187
1188         /* hardware handshake (RTS/CTS) */
1189         if (termios->c_cflag & CRTSCTS)
1190                 mode |= ATMEL_US_USMODE_HWHS;
1191         else
1192                 mode |= ATMEL_US_USMODE_NORMAL;
1193
1194         spin_lock_irqsave(&port->lock, flags);
1195
1196         port->read_status_mask = ATMEL_US_OVRE;
1197         if (termios->c_iflag & INPCK)
1198                 port->read_status_mask |= (ATMEL_US_FRAME | ATMEL_US_PARE);
1199         if (termios->c_iflag & (BRKINT | PARMRK))
1200                 port->read_status_mask |= ATMEL_US_RXBRK;
1201
1202         if (atmel_use_dma_rx(port))
1203                 /* need to enable error interrupts */
1204                 UART_PUT_IER(port, port->read_status_mask);
1205
1206         /*
1207          * Characters to ignore
1208          */
1209         port->ignore_status_mask = 0;
1210         if (termios->c_iflag & IGNPAR)
1211                 port->ignore_status_mask |= (ATMEL_US_FRAME | ATMEL_US_PARE);
1212         if (termios->c_iflag & IGNBRK) {
1213                 port->ignore_status_mask |= ATMEL_US_RXBRK;
1214                 /*
1215                  * If we're ignoring parity and break indicators,
1216                  * ignore overruns too (for real raw support).
1217                  */
1218                 if (termios->c_iflag & IGNPAR)
1219                         port->ignore_status_mask |= ATMEL_US_OVRE;
1220         }
1221         /* TODO: Ignore all characters if CREAD is set.*/
1222
1223         /* update the per-port timeout */
1224         uart_update_timeout(port, termios->c_cflag, baud);
1225
1226         /*
1227          * save/disable interrupts. The tty layer will ensure that the
1228          * transmitter is empty if requested by the caller, so there's
1229          * no need to wait for it here.
1230          */
1231         imr = UART_GET_IMR(port);
1232         UART_PUT_IDR(port, -1);
1233
1234         /* disable receiver and transmitter */
1235         UART_PUT_CR(port, ATMEL_US_TXDIS | ATMEL_US_RXDIS);
1236
1237         /* Resetting serial mode to RS232 (0x0) */
1238         mode &= ~ATMEL_US_USMODE;
1239
1240         if (atmel_port->rs485.flags & SER_RS485_ENABLED) {
1241                 dev_dbg(port->dev, "Setting UART to RS485\n");
1242                 if ((atmel_port->rs485.delay_rts_after_send) > 0)
1243                         UART_PUT_TTGR(port,
1244                                         atmel_port->rs485.delay_rts_after_send);
1245                 mode |= ATMEL_US_USMODE_RS485;
1246         } else {
1247                 dev_dbg(port->dev, "Setting UART to RS232\n");
1248         }
1249
1250         /* set the parity, stop bits and data size */
1251         UART_PUT_MR(port, mode);
1252
1253         /* set the baud rate */
1254         UART_PUT_BRGR(port, quot);
1255         UART_PUT_CR(port, ATMEL_US_RSTSTA | ATMEL_US_RSTRX);
1256         UART_PUT_CR(port, ATMEL_US_TXEN | ATMEL_US_RXEN);
1257
1258         /* restore interrupts */
1259         UART_PUT_IER(port, imr);
1260
1261         /* CTS flow-control and modem-status interrupts */
1262         if (UART_ENABLE_MS(port, termios->c_cflag))
1263                 port->ops->enable_ms(port);
1264
1265         spin_unlock_irqrestore(&port->lock, flags);
1266 }
1267
1268 static void atmel_set_ldisc(struct uart_port *port, int new)
1269 {
1270         if (new == N_PPS) {
1271                 port->flags |= UPF_HARDPPS_CD;
1272                 atmel_enable_ms(port);
1273         } else {
1274                 port->flags &= ~UPF_HARDPPS_CD;
1275         }
1276 }
1277
1278 /*
1279  * Return string describing the specified port
1280  */
1281 static const char *atmel_type(struct uart_port *port)
1282 {
1283         return (port->type == PORT_ATMEL) ? "ATMEL_SERIAL" : NULL;
1284 }
1285
1286 /*
1287  * Release the memory region(s) being used by 'port'.
1288  */
1289 static void atmel_release_port(struct uart_port *port)
1290 {
1291         struct platform_device *pdev = to_platform_device(port->dev);
1292         int size = pdev->resource[0].end - pdev->resource[0].start + 1;
1293
1294         release_mem_region(port->mapbase, size);
1295
1296         if (port->flags & UPF_IOREMAP) {
1297                 iounmap(port->membase);
1298                 port->membase = NULL;
1299         }
1300 }
1301
1302 /*
1303  * Request the memory region(s) being used by 'port'.
1304  */
1305 static int atmel_request_port(struct uart_port *port)
1306 {
1307         struct platform_device *pdev = to_platform_device(port->dev);
1308         int size = pdev->resource[0].end - pdev->resource[0].start + 1;
1309
1310         if (!request_mem_region(port->mapbase, size, "atmel_serial"))
1311                 return -EBUSY;
1312
1313         if (port->flags & UPF_IOREMAP) {
1314                 port->membase = ioremap(port->mapbase, size);
1315                 if (port->membase == NULL) {
1316                         release_mem_region(port->mapbase, size);
1317                         return -ENOMEM;
1318                 }
1319         }
1320
1321         return 0;
1322 }
1323
1324 /*
1325  * Configure/autoconfigure the port.
1326  */
1327 static void atmel_config_port(struct uart_port *port, int flags)
1328 {
1329         if (flags & UART_CONFIG_TYPE) {
1330                 port->type = PORT_ATMEL;
1331                 atmel_request_port(port);
1332         }
1333 }
1334
1335 /*
1336  * Verify the new serial_struct (for TIOCSSERIAL).
1337  */
1338 static int atmel_verify_port(struct uart_port *port, struct serial_struct *ser)
1339 {
1340         int ret = 0;
1341         if (ser->type != PORT_UNKNOWN && ser->type != PORT_ATMEL)
1342                 ret = -EINVAL;
1343         if (port->irq != ser->irq)
1344                 ret = -EINVAL;
1345         if (ser->io_type != SERIAL_IO_MEM)
1346                 ret = -EINVAL;
1347         if (port->uartclk / 16 != ser->baud_base)
1348                 ret = -EINVAL;
1349         if ((void *)port->mapbase != ser->iomem_base)
1350                 ret = -EINVAL;
1351         if (port->iobase != ser->port)
1352                 ret = -EINVAL;
1353         if (ser->hub6 != 0)
1354                 ret = -EINVAL;
1355         return ret;
1356 }
1357
1358 #ifdef CONFIG_CONSOLE_POLL
1359 static int atmel_poll_get_char(struct uart_port *port)
1360 {
1361         while (!(UART_GET_CSR(port) & ATMEL_US_RXRDY))
1362                 cpu_relax();
1363
1364         return UART_GET_CHAR(port);
1365 }
1366
1367 static void atmel_poll_put_char(struct uart_port *port, unsigned char ch)
1368 {
1369         while (!(UART_GET_CSR(port) & ATMEL_US_TXRDY))
1370                 cpu_relax();
1371
1372         UART_PUT_CHAR(port, ch);
1373 }
1374 #endif
1375
1376 static int
1377 atmel_ioctl(struct uart_port *port, unsigned int cmd, unsigned long arg)
1378 {
1379         struct serial_rs485 rs485conf;
1380
1381         switch (cmd) {
1382         case TIOCSRS485:
1383                 if (copy_from_user(&rs485conf, (struct serial_rs485 *) arg,
1384                                         sizeof(rs485conf)))
1385                         return -EFAULT;
1386
1387                 atmel_config_rs485(port, &rs485conf);
1388                 break;
1389
1390         case TIOCGRS485:
1391                 if (copy_to_user((struct serial_rs485 *) arg,
1392                                         &(to_atmel_uart_port(port)->rs485),
1393                                         sizeof(rs485conf)))
1394                         return -EFAULT;
1395                 break;
1396
1397         default:
1398                 return -ENOIOCTLCMD;
1399         }
1400         return 0;
1401 }
1402
1403
1404
1405 static struct uart_ops atmel_pops = {
1406         .tx_empty       = atmel_tx_empty,
1407         .set_mctrl      = atmel_set_mctrl,
1408         .get_mctrl      = atmel_get_mctrl,
1409         .stop_tx        = atmel_stop_tx,
1410         .start_tx       = atmel_start_tx,
1411         .stop_rx        = atmel_stop_rx,
1412         .enable_ms      = atmel_enable_ms,
1413         .break_ctl      = atmel_break_ctl,
1414         .startup        = atmel_startup,
1415         .shutdown       = atmel_shutdown,
1416         .flush_buffer   = atmel_flush_buffer,
1417         .set_termios    = atmel_set_termios,
1418         .set_ldisc      = atmel_set_ldisc,
1419         .type           = atmel_type,
1420         .release_port   = atmel_release_port,
1421         .request_port   = atmel_request_port,
1422         .config_port    = atmel_config_port,
1423         .verify_port    = atmel_verify_port,
1424         .pm             = atmel_serial_pm,
1425         .ioctl          = atmel_ioctl,
1426 #ifdef CONFIG_CONSOLE_POLL
1427         .poll_get_char  = atmel_poll_get_char,
1428         .poll_put_char  = atmel_poll_put_char,
1429 #endif
1430 };
1431
1432 static void atmel_of_init_port(struct atmel_uart_port *atmel_port,
1433                                          struct device_node *np)
1434 {
1435         u32 rs485_delay[2];
1436
1437         /* DMA/PDC usage specification */
1438         if (of_get_property(np, "atmel,use-dma-rx", NULL))
1439                 atmel_port->use_dma_rx  = 1;
1440         else
1441                 atmel_port->use_dma_rx  = 0;
1442         if (of_get_property(np, "atmel,use-dma-tx", NULL))
1443                 atmel_port->use_dma_tx  = 1;
1444         else
1445                 atmel_port->use_dma_tx  = 0;
1446
1447         /* rs485 properties */
1448         if (of_property_read_u32_array(np, "rs485-rts-delay",
1449                                             rs485_delay, 2) == 0) {
1450                 struct serial_rs485 *rs485conf = &atmel_port->rs485;
1451
1452                 rs485conf->delay_rts_before_send = rs485_delay[0];
1453                 rs485conf->delay_rts_after_send = rs485_delay[1];
1454                 rs485conf->flags = 0;
1455
1456                 if (of_get_property(np, "rs485-rx-during-tx", NULL))
1457                         rs485conf->flags |= SER_RS485_RX_DURING_TX;
1458
1459                 if (of_get_property(np, "linux,rs485-enabled-at-boot-time", NULL))
1460                         rs485conf->flags |= SER_RS485_ENABLED;
1461         }
1462 }
1463
1464 /*
1465  * Configure the port from the platform device resource info.
1466  */
1467 static void atmel_init_port(struct atmel_uart_port *atmel_port,
1468                                       struct platform_device *pdev)
1469 {
1470         struct uart_port *port = &atmel_port->uart;
1471         struct atmel_uart_data *pdata = pdev->dev.platform_data;
1472
1473         if (pdev->dev.of_node) {
1474                 atmel_of_init_port(atmel_port, pdev->dev.of_node);
1475         } else {
1476                 atmel_port->use_dma_rx  = pdata->use_dma_rx;
1477                 atmel_port->use_dma_tx  = pdata->use_dma_tx;
1478                 atmel_port->rs485       = pdata->rs485;
1479         }
1480
1481         port->iotype            = UPIO_MEM;
1482         port->flags             = UPF_BOOT_AUTOCONF;
1483         port->ops               = &atmel_pops;
1484         port->fifosize          = 1;
1485         port->dev               = &pdev->dev;
1486         port->mapbase   = pdev->resource[0].start;
1487         port->irq       = pdev->resource[1].start;
1488
1489         tasklet_init(&atmel_port->tasklet, atmel_tasklet_func,
1490                         (unsigned long)port);
1491
1492         memset(&atmel_port->rx_ring, 0, sizeof(atmel_port->rx_ring));
1493
1494         if (pdata && pdata->regs) {
1495                 /* Already mapped by setup code */
1496                 port->membase = pdata->regs;
1497         } else {
1498                 port->flags     |= UPF_IOREMAP;
1499                 port->membase   = NULL;
1500         }
1501
1502         /* for console, the clock could already be configured */
1503         if (!atmel_port->clk) {
1504                 atmel_port->clk = clk_get(&pdev->dev, "usart");
1505                 clk_enable(atmel_port->clk);
1506                 port->uartclk = clk_get_rate(atmel_port->clk);
1507                 clk_disable(atmel_port->clk);
1508                 /* only enable clock when USART is in use */
1509         }
1510
1511         /* Use TXEMPTY for interrupt when rs485 else TXRDY or ENDTX|TXBUFE */
1512         if (atmel_port->rs485.flags & SER_RS485_ENABLED)
1513                 atmel_port->tx_done_mask = ATMEL_US_TXEMPTY;
1514         else if (atmel_use_dma_tx(port)) {
1515                 port->fifosize = PDC_BUFFER_SIZE;
1516                 atmel_port->tx_done_mask = ATMEL_US_ENDTX | ATMEL_US_TXBUFE;
1517         } else {
1518                 atmel_port->tx_done_mask = ATMEL_US_TXRDY;
1519         }
1520 }
1521
1522 struct platform_device *atmel_default_console_device;   /* the serial console device */
1523
1524 #ifdef CONFIG_SERIAL_ATMEL_CONSOLE
1525 static void atmel_console_putchar(struct uart_port *port, int ch)
1526 {
1527         while (!(UART_GET_CSR(port) & ATMEL_US_TXRDY))
1528                 cpu_relax();
1529         UART_PUT_CHAR(port, ch);
1530 }
1531
1532 /*
1533  * Interrupts are disabled on entering
1534  */
1535 static void atmel_console_write(struct console *co, const char *s, u_int count)
1536 {
1537         struct uart_port *port = &atmel_ports[co->index].uart;
1538         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
1539         unsigned int status, imr;
1540         unsigned int pdc_tx;
1541
1542         /*
1543          * First, save IMR and then disable interrupts
1544          */
1545         imr = UART_GET_IMR(port);
1546         UART_PUT_IDR(port, ATMEL_US_RXRDY | atmel_port->tx_done_mask);
1547
1548         /* Store PDC transmit status and disable it */
1549         pdc_tx = UART_GET_PTSR(port) & ATMEL_PDC_TXTEN;
1550         UART_PUT_PTCR(port, ATMEL_PDC_TXTDIS);
1551
1552         uart_console_write(port, s, count, atmel_console_putchar);
1553
1554         /*
1555          * Finally, wait for transmitter to become empty
1556          * and restore IMR
1557          */
1558         do {
1559                 status = UART_GET_CSR(port);
1560         } while (!(status & ATMEL_US_TXRDY));
1561
1562         /* Restore PDC transmit status */
1563         if (pdc_tx)
1564                 UART_PUT_PTCR(port, ATMEL_PDC_TXTEN);
1565
1566         /* set interrupts back the way they were */
1567         UART_PUT_IER(port, imr);
1568 }
1569
1570 /*
1571  * If the port was already initialised (eg, by a boot loader),
1572  * try to determine the current setup.
1573  */
1574 static void __init atmel_console_get_options(struct uart_port *port, int *baud,
1575                                              int *parity, int *bits)
1576 {
1577         unsigned int mr, quot;
1578
1579         /*
1580          * If the baud rate generator isn't running, the port wasn't
1581          * initialized by the boot loader.
1582          */
1583         quot = UART_GET_BRGR(port) & ATMEL_US_CD;
1584         if (!quot)
1585                 return;
1586
1587         mr = UART_GET_MR(port) & ATMEL_US_CHRL;
1588         if (mr == ATMEL_US_CHRL_8)
1589                 *bits = 8;
1590         else
1591                 *bits = 7;
1592
1593         mr = UART_GET_MR(port) & ATMEL_US_PAR;
1594         if (mr == ATMEL_US_PAR_EVEN)
1595                 *parity = 'e';
1596         else if (mr == ATMEL_US_PAR_ODD)
1597                 *parity = 'o';
1598
1599         /*
1600          * The serial core only rounds down when matching this to a
1601          * supported baud rate. Make sure we don't end up slightly
1602          * lower than one of those, as it would make us fall through
1603          * to a much lower baud rate than we really want.
1604          */
1605         *baud = port->uartclk / (16 * (quot - 1));
1606 }
1607
1608 static int __init atmel_console_setup(struct console *co, char *options)
1609 {
1610         struct uart_port *port = &atmel_ports[co->index].uart;
1611         int baud = 115200;
1612         int bits = 8;
1613         int parity = 'n';
1614         int flow = 'n';
1615
1616         if (port->membase == NULL) {
1617                 /* Port not initialized yet - delay setup */
1618                 return -ENODEV;
1619         }
1620
1621         clk_enable(atmel_ports[co->index].clk);
1622
1623         UART_PUT_IDR(port, -1);
1624         UART_PUT_CR(port, ATMEL_US_RSTSTA | ATMEL_US_RSTRX);
1625         UART_PUT_CR(port, ATMEL_US_TXEN | ATMEL_US_RXEN);
1626
1627         if (options)
1628                 uart_parse_options(options, &baud, &parity, &bits, &flow);
1629         else
1630                 atmel_console_get_options(port, &baud, &parity, &bits);
1631
1632         return uart_set_options(port, co, baud, parity, bits, flow);
1633 }
1634
1635 static struct uart_driver atmel_uart;
1636
1637 static struct console atmel_console = {
1638         .name           = ATMEL_DEVICENAME,
1639         .write          = atmel_console_write,
1640         .device         = uart_console_device,
1641         .setup          = atmel_console_setup,
1642         .flags          = CON_PRINTBUFFER,
1643         .index          = -1,
1644         .data           = &atmel_uart,
1645 };
1646
1647 #define ATMEL_CONSOLE_DEVICE    (&atmel_console)
1648
1649 /*
1650  * Early console initialization (before VM subsystem initialized).
1651  */
1652 static int __init atmel_console_init(void)
1653 {
1654         if (atmel_default_console_device) {
1655                 struct atmel_uart_data *pdata =
1656                         atmel_default_console_device->dev.platform_data;
1657                 int id = pdata->num;
1658                 struct atmel_uart_port *port = &atmel_ports[id];
1659
1660                 port->backup_imr = 0;
1661                 port->uart.line = id;
1662
1663                 add_preferred_console(ATMEL_DEVICENAME, id, NULL);
1664                 atmel_init_port(port, atmel_default_console_device);
1665                 register_console(&atmel_console);
1666         }
1667
1668         return 0;
1669 }
1670
1671 console_initcall(atmel_console_init);
1672
1673 /*
1674  * Late console initialization.
1675  */
1676 static int __init atmel_late_console_init(void)
1677 {
1678         if (atmel_default_console_device
1679             && !(atmel_console.flags & CON_ENABLED))
1680                 register_console(&atmel_console);
1681
1682         return 0;
1683 }
1684
1685 core_initcall(atmel_late_console_init);
1686
1687 static inline bool atmel_is_console_port(struct uart_port *port)
1688 {
1689         return port->cons && port->cons->index == port->line;
1690 }
1691
1692 #else
1693 #define ATMEL_CONSOLE_DEVICE    NULL
1694
1695 static inline bool atmel_is_console_port(struct uart_port *port)
1696 {
1697         return false;
1698 }
1699 #endif
1700
1701 static struct uart_driver atmel_uart = {
1702         .owner          = THIS_MODULE,
1703         .driver_name    = "atmel_serial",
1704         .dev_name       = ATMEL_DEVICENAME,
1705         .major          = SERIAL_ATMEL_MAJOR,
1706         .minor          = MINOR_START,
1707         .nr             = ATMEL_MAX_UART,
1708         .cons           = ATMEL_CONSOLE_DEVICE,
1709 };
1710
1711 #ifdef CONFIG_PM
1712 static bool atmel_serial_clk_will_stop(void)
1713 {
1714 #ifdef CONFIG_ARCH_AT91
1715         return at91_suspend_entering_slow_clock();
1716 #else
1717         return false;
1718 #endif
1719 }
1720
1721 static int atmel_serial_suspend(struct platform_device *pdev,
1722                                 pm_message_t state)
1723 {
1724         struct uart_port *port = platform_get_drvdata(pdev);
1725         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
1726
1727         if (atmel_is_console_port(port) && console_suspend_enabled) {
1728                 /* Drain the TX shifter */
1729                 while (!(UART_GET_CSR(port) & ATMEL_US_TXEMPTY))
1730                         cpu_relax();
1731         }
1732
1733         /* we can not wake up if we're running on slow clock */
1734         atmel_port->may_wakeup = device_may_wakeup(&pdev->dev);
1735         if (atmel_serial_clk_will_stop())
1736                 device_set_wakeup_enable(&pdev->dev, 0);
1737
1738         uart_suspend_port(&atmel_uart, port);
1739
1740         return 0;
1741 }
1742
1743 static int atmel_serial_resume(struct platform_device *pdev)
1744 {
1745         struct uart_port *port = platform_get_drvdata(pdev);
1746         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
1747
1748         uart_resume_port(&atmel_uart, port);
1749         device_set_wakeup_enable(&pdev->dev, atmel_port->may_wakeup);
1750
1751         return 0;
1752 }
1753 #else
1754 #define atmel_serial_suspend NULL
1755 #define atmel_serial_resume NULL
1756 #endif
1757
1758 static int atmel_serial_probe(struct platform_device *pdev)
1759 {
1760         struct atmel_uart_port *port;
1761         struct device_node *np = pdev->dev.of_node;
1762         struct atmel_uart_data *pdata = pdev->dev.platform_data;
1763         void *data;
1764         int ret = -ENODEV;
1765         struct pinctrl *pinctrl;
1766
1767         BUILD_BUG_ON(ATMEL_SERIAL_RINGSIZE & (ATMEL_SERIAL_RINGSIZE - 1));
1768
1769         if (np)
1770                 ret = of_alias_get_id(np, "serial");
1771         else
1772                 if (pdata)
1773                         ret = pdata->num;
1774
1775         if (ret < 0)
1776                 /* port id not found in platform data nor device-tree aliases:
1777                  * auto-enumerate it */
1778                 ret = find_first_zero_bit(atmel_ports_in_use, ATMEL_MAX_UART);
1779
1780         if (ret >= ATMEL_MAX_UART) {
1781                 ret = -ENODEV;
1782                 goto err;
1783         }
1784
1785         if (test_and_set_bit(ret, atmel_ports_in_use)) {
1786                 /* port already in use */
1787                 ret = -EBUSY;
1788                 goto err;
1789         }
1790
1791         port = &atmel_ports[ret];
1792         port->backup_imr = 0;
1793         port->uart.line = ret;
1794
1795         atmel_init_port(port, pdev);
1796
1797         pinctrl = devm_pinctrl_get_select_default(&pdev->dev);
1798         if (IS_ERR(pinctrl)) {
1799                 ret = PTR_ERR(pinctrl);
1800                 goto err;
1801         }
1802
1803         if (!atmel_use_dma_rx(&port->uart)) {
1804                 ret = -ENOMEM;
1805                 data = kmalloc(sizeof(struct atmel_uart_char)
1806                                 * ATMEL_SERIAL_RINGSIZE, GFP_KERNEL);
1807                 if (!data)
1808                         goto err_alloc_ring;
1809                 port->rx_ring.buf = data;
1810         }
1811
1812         ret = uart_add_one_port(&atmel_uart, &port->uart);
1813         if (ret)
1814                 goto err_add_port;
1815
1816 #ifdef CONFIG_SERIAL_ATMEL_CONSOLE
1817         if (atmel_is_console_port(&port->uart)
1818                         && ATMEL_CONSOLE_DEVICE->flags & CON_ENABLED) {
1819                 /*
1820                  * The serial core enabled the clock for us, so undo
1821                  * the clk_enable() in atmel_console_setup()
1822                  */
1823                 clk_disable(port->clk);
1824         }
1825 #endif
1826
1827         device_init_wakeup(&pdev->dev, 1);
1828         platform_set_drvdata(pdev, port);
1829
1830         if (port->rs485.flags & SER_RS485_ENABLED) {
1831                 UART_PUT_MR(&port->uart, ATMEL_US_USMODE_NORMAL);
1832                 UART_PUT_CR(&port->uart, ATMEL_US_RTSEN);
1833         }
1834
1835         return 0;
1836
1837 err_add_port:
1838         kfree(port->rx_ring.buf);
1839         port->rx_ring.buf = NULL;
1840 err_alloc_ring:
1841         if (!atmel_is_console_port(&port->uart)) {
1842                 clk_put(port->clk);
1843                 port->clk = NULL;
1844         }
1845 err:
1846         return ret;
1847 }
1848
1849 static int atmel_serial_remove(struct platform_device *pdev)
1850 {
1851         struct uart_port *port = platform_get_drvdata(pdev);
1852         struct atmel_uart_port *atmel_port = to_atmel_uart_port(port);
1853         int ret = 0;
1854
1855         device_init_wakeup(&pdev->dev, 0);
1856         platform_set_drvdata(pdev, NULL);
1857
1858         ret = uart_remove_one_port(&atmel_uart, port);
1859
1860         tasklet_kill(&atmel_port->tasklet);
1861         kfree(atmel_port->rx_ring.buf);
1862
1863         /* "port" is allocated statically, so we shouldn't free it */
1864
1865         clear_bit(port->line, atmel_ports_in_use);
1866
1867         clk_put(atmel_port->clk);
1868
1869         return ret;
1870 }
1871
1872 static struct platform_driver atmel_serial_driver = {
1873         .probe          = atmel_serial_probe,
1874         .remove         = atmel_serial_remove,
1875         .suspend        = atmel_serial_suspend,
1876         .resume         = atmel_serial_resume,
1877         .driver         = {
1878                 .name   = "atmel_usart",
1879                 .owner  = THIS_MODULE,
1880                 .of_match_table = of_match_ptr(atmel_serial_dt_ids),
1881         },
1882 };
1883
1884 static int __init atmel_serial_init(void)
1885 {
1886         int ret;
1887
1888         ret = uart_register_driver(&atmel_uart);
1889         if (ret)
1890                 return ret;
1891
1892         ret = platform_driver_register(&atmel_serial_driver);
1893         if (ret)
1894                 uart_unregister_driver(&atmel_uart);
1895
1896         return ret;
1897 }
1898
1899 static void __exit atmel_serial_exit(void)
1900 {
1901         platform_driver_unregister(&atmel_serial_driver);
1902         uart_unregister_driver(&atmel_uart);
1903 }
1904
1905 module_init(atmel_serial_init);
1906 module_exit(atmel_serial_exit);
1907
1908 MODULE_AUTHOR("Rick Bronson");
1909 MODULE_DESCRIPTION("Atmel AT91 / AT32 serial port driver");
1910 MODULE_LICENSE("GPL");
1911 MODULE_ALIAS("platform:atmel_usart");