drivers/usb/gadget/function/u_ether.c

   1 /*
   2  * u_ether.c -- Ethernet-over-USB link layer utilities for Gadget stack
   3  *
   4  * Copyright (C) 2003-2005,2008 David Brownell
   5  * Copyright (C) 2003-2004 Robert Schwebel, Benedikt Spranger
   6  * Copyright (C) 2008 Nokia Corporation
   7  *
   8  * This program is free software; you can redistribute it and/or modify
   9  * it under the terms of the GNU General Public License as published by
  10  * the Free Software Foundation; either version 2 of the License, or
  11  * (at your option) any later version.
  12  */
  13
  14 /* #define VERBOSE_DEBUG */
  15
  16 #include <linux/kernel.h>
  17 #include <linux/module.h>
  18 #include <linux/gfp.h>
  19 #include <linux/device.h>
  20 #include <linux/ctype.h>
  21 #include <linux/etherdevice.h>
  22 #include <linux/ethtool.h>
  23 #include <linux/if_vlan.h>
  24
  25 #include "u_ether.h"
  26
  27
  28 /*
  29  * This component encapsulates the Ethernet link glue needed to provide
  30  * one (!) network link through the USB gadget stack, normally "usb0".
  31  *
  32  * The control and data models are handled by the function driver which
  33  * connects to this code; such as CDC Ethernet (ECM or EEM),
  34  * "CDC Subset", or RNDIS.  That includes all descriptor and endpoint
  35  * management.
  36  *
  37  * Link level addressing is handled by this component using module
  38  * parameters; if no such parameters are provided, random link level
  39  * addresses are used.  Each end of the link uses one address.  The
  40  * host end address is exported in various ways, and is often recorded
  41  * in configuration databases.
  42  *
  43  * The driver which assembles each configuration using such a link is
  44  * responsible for ensuring that each configuration includes at most one
  45  * instance of is network link.  (The network layer provides ways for
  46  * this single "physical" link to be used by multiple virtual links.)
  47  */
  48
  49 #define UETH__VERSION   "29-May-2008"
  50
  51 /* Experiments show that both Linux and Windows hosts allow up to 16k
  52  * frame sizes. Set the max size to 15k+52 to prevent allocating 32k
  53  * blocks and still have efficient handling. */
  54 #define GETHER_MAX_ETH_FRAME_LEN 15412
  55
  56 static struct workqueue_struct  *uether_wq;
  57
  58 struct eth_dev {
  59         /* lock is held while accessing port_usb
  60          */
  61         spinlock_t              lock;
  62         struct gether           *port_usb;
  63
  64         struct net_device       *net;
  65         struct usb_gadget       *gadget;
  66
  67         spinlock_t              req_lock;       /* guard {rx,tx}_reqs */
  68         struct list_head        tx_reqs, rx_reqs;
  69         unsigned                tx_qlen;
  70 /* Minimum number of TX USB request queued to UDC */
  71 #define TX_REQ_THRESHOLD        5
  72         int                     no_tx_req_used;
  73         int                     tx_skb_hold_count;
  74         u32                     tx_req_bufsize;
  75
  76         struct sk_buff_head     rx_frames;
  77
  78         unsigned                qmult;
  79
  80         unsigned                header_len;
  81         unsigned                ul_max_pkts_per_xfer;
  82         unsigned                dl_max_pkts_per_xfer;
  83         struct sk_buff          *(*wrap)(struct gether *, struct sk_buff *skb);
  84         int                     (*unwrap)(struct gether *,
  85                                                 struct sk_buff *skb,
  86                                                 struct sk_buff_head *list);
  87
  88         struct work_struct      work;
  89         struct work_struct      rx_work;
  90
  91         unsigned long           todo;
  92 #define WORK_RX_MEMORY          0
  93
  94         bool                    zlp;
  95         u8                      host_mac[ETH_ALEN];
  96         u8                      dev_mac[ETH_ALEN];
  97 };
  98
  99 /*-------------------------------------------------------------------------*/
 100
 101 #define RX_EXTRA        20      /* bytes guarding against rx overflows */
 102
 103 #define DEFAULT_QLEN    2       /* double buffering by default */
 104
 105 /* for dual-speed hardware, use deeper queues at high/super speed */
 106 static inline int qlen(struct usb_gadget *gadget, unsigned qmult)
 107 {
 108         if (gadget_is_dualspeed(gadget) && (gadget->speed == USB_SPEED_HIGH ||
 109                                             gadget->speed == USB_SPEED_SUPER))
 110                 return qmult * DEFAULT_QLEN;
 111         else
 112                 return DEFAULT_QLEN;
 113 }
 114
 115 /*-------------------------------------------------------------------------*/
 116
 117 /* REVISIT there must be a better way than having two sets
 118  * of debug calls ...
 119  */
 120
 121 #undef DBG
 122 #undef VDBG
 123 #undef ERROR
 124 #undef INFO
 125
 126 #define xprintk(d, level, fmt, args...) \
 127         printk(level "%s: " fmt , (d)->net->name , ## args)
 128
 129 #ifdef DEBUG
 130 #undef DEBUG
 131 #define DBG(dev, fmt, args...) \
 132         xprintk(dev , KERN_DEBUG , fmt , ## args)
 133 #else
 134 #define DBG(dev, fmt, args...) \
 135         do { } while (0)
 136 #endif /* DEBUG */
 137
 138 #ifdef VERBOSE_DEBUG
 139 #define VDBG    DBG
 140 #else
 141 #define VDBG(dev, fmt, args...) \
 142         do { } while (0)
 143 #endif /* DEBUG */
 144
 145 #define ERROR(dev, fmt, args...) \
 146         xprintk(dev , KERN_ERR , fmt , ## args)
 147 #define INFO(dev, fmt, args...) \
 148         xprintk(dev , KERN_INFO , fmt , ## args)
 149
 150 /*-------------------------------------------------------------------------*/
 151
 152 /* NETWORK DRIVER HOOKUP (to the layer above this driver) */
 153
 154 static int ueth_change_mtu(struct net_device *net, int new_mtu)
 155 {
 156         struct eth_dev  *dev = netdev_priv(net);
 157         unsigned long   flags;
 158         int             status = 0;
 159
 160         /* don't change MTU on "live" link (peer won't know) */
 161         spin_lock_irqsave(&dev->lock, flags);
 162         if (dev->port_usb)
 163                 status = -EBUSY;
 164         else if (new_mtu <= ETH_HLEN || new_mtu > GETHER_MAX_ETH_FRAME_LEN)
 165                 status = -ERANGE;
 166         else
 167                 net->mtu = new_mtu;
 168         spin_unlock_irqrestore(&dev->lock, flags);
 169
 170         return status;
 171 }
 172
 173 static void eth_get_drvinfo(struct net_device *net, struct ethtool_drvinfo *p)
 174 {
 175         struct eth_dev *dev = netdev_priv(net);
 176
 177         strlcpy(p->driver, "g_ether", sizeof(p->driver));
 178         strlcpy(p->version, UETH__VERSION, sizeof(p->version));
 179         strlcpy(p->fw_version, dev->gadget->name, sizeof(p->fw_version));
 180         strlcpy(p->bus_info, dev_name(&dev->gadget->dev), sizeof(p->bus_info));
 181 }
 182
 183 /* REVISIT can also support:
 184  *   - WOL (by tracking suspends and issuing remote wakeup)
 185  *   - msglevel (implies updated messaging)
 186  *   - ... probably more ethtool ops
 187  */
 188
 189 static const struct ethtool_ops ops = {
 190         .get_drvinfo = eth_get_drvinfo,
 191         .get_link = ethtool_op_get_link,
 192 };
 193
 194 static void defer_kevent(struct eth_dev *dev, int flag)
 195 {
 196         if (test_and_set_bit(flag, &dev->todo))
 197                 return;
 198         if (!schedule_work(&dev->work))
 199                 ERROR(dev, "kevent %d may have been dropped\n", flag);
 200         else
 201                 DBG(dev, "kevent %d scheduled\n", flag);
 202 }
 203
 204 static void rx_complete(struct usb_ep *ep, struct usb_request *req);
 205
 206 static int
 207 rx_submit(struct eth_dev *dev, struct usb_request *req, gfp_t gfp_flags)
 208 {
 209         struct sk_buff  *skb;
 210         int             retval = -ENOMEM;
 211         size_t          size = 0;
 212         struct usb_ep   *out;
 213         unsigned long   flags;
 214
 215         spin_lock_irqsave(&dev->lock, flags);
 216         if (dev->port_usb)
 217                 out = dev->port_usb->out_ep;
 218         else
 219                 out = NULL;
 220         spin_unlock_irqrestore(&dev->lock, flags);
 221
 222         if (!out)
 223                 return -ENOTCONN;
 224
 225
 226         /* Padding up to RX_EXTRA handles minor disagreements with host.
 227          * Normally we use the USB "terminate on short read" convention;
 228          * so allow up to (N*maxpacket), since that memory is normally
 229          * already allocated.  Some hardware doesn't deal well with short
 230          * reads (e.g. DMA must be N*maxpacket), so for now don't trim a
 231          * byte off the end (to force hardware errors on overflow).
 232          *
 233          * RNDIS uses internal framing, and explicitly allows senders to
 234          * pad to end-of-packet.  That's potentially nice for speed, but
 235          * means receivers can't recover lost synch on their own (because
 236          * new packets don't only start after a short RX).
 237          */
 238         size += sizeof(struct ethhdr) + dev->net->mtu + RX_EXTRA;
 239         size += dev->port_usb->header_len;
 240         size += out->maxpacket - 1;
 241         size -= size % out->maxpacket;
 242
 243         if (dev->ul_max_pkts_per_xfer)
 244                 size *= dev->ul_max_pkts_per_xfer;
 245
 246         if (dev->port_usb->is_fixed)
 247                 size = max_t(size_t, size, dev->port_usb->fixed_out_len);
 248
 249         DBG(dev, "%s: size: %zd\n", __func__, size);
 250         skb = alloc_skb(size + NET_IP_ALIGN, gfp_flags);
 251         if (skb == NULL) {
 252                 DBG(dev, "no rx skb\n");
 253                 goto enomem;
 254         }
 255
 256         /* Some platforms perform better when IP packets are aligned,
 257          * but on at least one, checksumming fails otherwise.  Note:
 258          * RNDIS headers involve variable numbers of LE32 values.
 259          */
 260         skb_reserve(skb, NET_IP_ALIGN);
 261
 262         req->buf = skb->data;
 263         req->length = size;
 264         req->complete = rx_complete;
 265         req->context = skb;
 266
 267         retval = usb_ep_queue(out, req, gfp_flags);
 268         if (retval == -ENOMEM)
 269 enomem:
 270                 defer_kevent(dev, WORK_RX_MEMORY);
 271         if (retval) {
 272                 DBG(dev, "rx submit --> %d\n", retval);
 273                 if (skb)
 274                         dev_kfree_skb_any(skb);
 275         }
 276         return retval;
 277 }
 278
 279 static void rx_complete(struct usb_ep *ep, struct usb_request *req)
 280 {
 281         struct sk_buff  *skb = req->context;
 282         struct eth_dev  *dev = ep->driver_data;
 283         int             status = req->status;
 284         bool            queue = 0;
 285
 286         switch (status) {
 287
 288         /* normal completion */
 289         case 0:
 290                 skb_put(skb, req->actual);
 291
 292                 if (dev->unwrap) {
 293                         unsigned long   flags;
 294
 295                         spin_lock_irqsave(&dev->lock, flags);
 296                         if (dev->port_usb) {
 297                                 status = dev->unwrap(dev->port_usb,
 298                                                         skb,
 299                                                         &dev->rx_frames);
 300                                 if (status == -EINVAL)
 301                                         dev->net->stats.rx_errors++;
 302                                 else if (status == -EOVERFLOW)
 303                                         dev->net->stats.rx_over_errors++;
 304                         } else {
 305                                 dev_kfree_skb_any(skb);
 306                                 status = -ENOTCONN;
 307                         }
 308                         spin_unlock_irqrestore(&dev->lock, flags);
 309                 } else {
 310                         skb_queue_tail(&dev->rx_frames, skb);
 311                 }
 312                 if (!status)
 313                         queue = 1;
 314                 break;
 315
 316         /* software-driven interface shutdown */
 317         case -ECONNRESET:               /* unlink */
 318         case -ESHUTDOWN:                /* disconnect etc */
 319                 VDBG(dev, "rx shutdown, code %d\n", status);
 320                 goto quiesce;
 321
 322         /* for hardware automagic (such as pxa) */
 323         case -ECONNABORTED:             /* endpoint reset */
 324                 DBG(dev, "rx %s reset\n", ep->name);
 325                 defer_kevent(dev, WORK_RX_MEMORY);
 326 quiesce:
 327                 dev_kfree_skb_any(skb);
 328                 goto clean;
 329
 330         /* data overrun */
 331         case -EOVERFLOW:
 332                 dev->net->stats.rx_over_errors++;
 333                 /* FALLTHROUGH */
 334
 335         default:
 336                 queue = 1;
 337                 dev_kfree_skb_any(skb);
 338                 dev->net->stats.rx_errors++;
 339                 DBG(dev, "rx status %d\n", status);
 340                 break;
 341         }
 342
 343 clean:
 344         spin_lock(&dev->req_lock);
 345         list_add(&req->list, &dev->rx_reqs);
 346         spin_unlock(&dev->req_lock);
 347
 348         if (queue)
 349                 queue_work(uether_wq, &dev->rx_work);
 350 }
 351
 352 static int prealloc(struct list_head *list, struct usb_ep *ep, unsigned n)
 353 {
 354         unsigned                i;
 355         struct usb_request      *req;
 356
 357         if (!n)
 358                 return -ENOMEM;
 359
 360         /* queue/recycle up to N requests */
 361         i = n;
 362         list_for_each_entry(req, list, list) {
 363                 if (i-- == 0)
 364                         goto extra;
 365         }
 366         while (i--) {
 367                 req = usb_ep_alloc_request(ep, GFP_ATOMIC);
 368                 if (!req)
 369                         return list_empty(list) ? -ENOMEM : 0;
 370                 list_add(&req->list, list);
 371         }
 372         return 0;
 373
 374 extra:
 375         /* free extras */
 376         for (;;) {
 377                 struct list_head        *next;
 378
 379                 next = req->list.next;
 380                 list_del(&req->list);
 381                 usb_ep_free_request(ep, req);
 382
 383                 if (next == list)
 384                         break;
 385
 386                 req = container_of(next, struct usb_request, list);
 387         }
 388         return 0;
 389 }
 390
 391 static int alloc_requests(struct eth_dev *dev, struct gether *link, unsigned n)
 392 {
 393         int     status;
 394
 395         spin_lock(&dev->req_lock);
 396         status = prealloc(&dev->tx_reqs, link->in_ep, n);
 397         if (status < 0)
 398                 goto fail;
 399         status = prealloc(&dev->rx_reqs, link->out_ep, n);
 400         if (status < 0)
 401                 goto fail;
 402         goto done;
 403 fail:
 404         DBG(dev, "can't alloc requests\n");
 405 done:
 406         spin_unlock(&dev->req_lock);
 407         return status;
 408 }
 409
 410 static void rx_fill(struct eth_dev *dev, gfp_t gfp_flags)
 411 {
 412         struct usb_request      *req;
 413         unsigned long           flags;
 414         int                     req_cnt = 0;
 415
 416         /* fill unused rxq slots with some skb */
 417         spin_lock_irqsave(&dev->req_lock, flags);
 418         while (!list_empty(&dev->rx_reqs)) {
 419                 /* break the nexus of continuous completion and re-submission*/
 420                 if (++req_cnt > qlen(dev->gadget, dev->qmult))
 421                         break;
 422
 423                 req = container_of(dev->rx_reqs.next,
 424                                 struct usb_request, list);
 425                 list_del_init(&req->list);
 426                 spin_unlock_irqrestore(&dev->req_lock, flags);
 427
 428                 if (rx_submit(dev, req, gfp_flags) < 0) {
 429                         spin_lock_irqsave(&dev->req_lock, flags);
 430                         list_add(&req->list, &dev->rx_reqs);
 431                         spin_unlock_irqrestore(&dev->req_lock, flags);
 432                         defer_kevent(dev, WORK_RX_MEMORY);
 433                         return;
 434                 }
 435
 436                 spin_lock_irqsave(&dev->req_lock, flags);
 437         }
 438         spin_unlock_irqrestore(&dev->req_lock, flags);
 439 }
 440
 441 static void process_rx_w(struct work_struct *work)
 442 {
 443         struct eth_dev  *dev = container_of(work, struct eth_dev, rx_work);
 444         struct sk_buff  *skb;
 445         int             status = 0;
 446
 447         if (!dev->port_usb)
 448                 return;
 449
 450         while ((skb = skb_dequeue(&dev->rx_frames))) {
 451                 if (status < 0
 452                                 || ETH_HLEN > skb->len
 453                                 || skb->len > ETH_FRAME_LEN) {
 454                         dev->net->stats.rx_errors++;
 455                         dev->net->stats.rx_length_errors++;
 456                         DBG(dev, "rx length %d\n", skb->len);
 457                         dev_kfree_skb_any(skb);
 458                         continue;
 459                 }
 460                 skb->protocol = eth_type_trans(skb, dev->net);
 461                 dev->net->stats.rx_packets++;
 462                 dev->net->stats.rx_bytes += skb->len;
 463
 464                 status = netif_rx_ni(skb);
 465         }
 466
 467         if (netif_running(dev->net))
 468                 rx_fill(dev, GFP_KERNEL);
 469 }
 470
 471 static void eth_work(struct work_struct *work)
 472 {
 473         struct eth_dev  *dev = container_of(work, struct eth_dev, work);
 474
 475         if (test_and_clear_bit(WORK_RX_MEMORY, &dev->todo)) {
 476                 if (netif_running(dev->net))
 477                         rx_fill(dev, GFP_KERNEL);
 478         }
 479
 480         if (dev->todo)
 481                 DBG(dev, "work done, flags = 0x%lx\n", dev->todo);
 482 }
 483
 484 static void tx_complete(struct usb_ep *ep, struct usb_request *req)
 485 {
 486         struct sk_buff  *skb = req->context;
 487         struct eth_dev  *dev = ep->driver_data;
 488         struct net_device *net = dev->net;
 489         struct usb_request *new_req;
 490         struct usb_ep *in;
 491         int length;
 492         int retval;
 493
 494         switch (req->status) {
 495         default:
 496                 dev->net->stats.tx_errors++;
 497                 VDBG(dev, "tx err %d\n", req->status);
 498                 /* FALLTHROUGH */
 499         case -ECONNRESET:               /* unlink */
 500         case -ESHUTDOWN:                /* disconnect etc */
 501                 break;
 502         case 0:
 503                 if (!req->zero)
 504                         dev->net->stats.tx_bytes += req->length-1;
 505                 else
 506                         dev->net->stats.tx_bytes += req->length;
 507         }
 508         dev->net->stats.tx_packets++;
 509
 510         spin_lock(&dev->req_lock);
 511         list_add_tail(&req->list, &dev->tx_reqs);
 512
 513         if (dev->port_usb->multi_pkt_xfer) {
 514                 dev->no_tx_req_used--;
 515                 req->length = 0;
 516                 in = dev->port_usb->in_ep;
 517
 518                 if (!list_empty(&dev->tx_reqs)) {
 519                         new_req = container_of(dev->tx_reqs.next,
 520                                         struct usb_request, list);
 521                         list_del(&new_req->list);
 522                         spin_unlock(&dev->req_lock);
 523                         if (new_req->length > 0) {
 524                                 length = new_req->length;
 525
 526                                 /* NCM requires no zlp if transfer is
 527                                  * dwNtbInMaxSize */
 528                                 if (dev->port_usb->is_fixed &&
 529                                         length == dev->port_usb->fixed_in_len &&
 530                                         (length % in->maxpacket) == 0)
 531                                         new_req->zero = 0;
 532                                 else
 533                                         new_req->zero = 1;
 534
 535                                 /* use zlp framing on tx for strict CDC-Ether
 536                                  * conformance, though any robust network rx
 537                                  * path ignores extra padding. and some hardware
 538                                  * doesn't like to write zlps.
 539                                  */
 540                                 if (new_req->zero && !dev->zlp &&
 541                                                 (length % in->maxpacket) == 0) {
 542                                         new_req->zero = 0;
 543                                         length++;
 544                                 }
 545
 546                                 new_req->length = length;
 547                                 retval = usb_ep_queue(in, new_req, GFP_ATOMIC);
 548                                 switch (retval) {
 549                                 default:
 550                                         DBG(dev, "tx queue err %d\n", retval);
 551                                         break;
 552                                 case 0:
 553                                         spin_lock(&dev->req_lock);
 554                                         dev->no_tx_req_used++;
 555                                         spin_unlock(&dev->req_lock);
 556                                         net->trans_start = jiffies;
 557                                 }
 558                         } else {
 559                                 spin_lock(&dev->req_lock);
 560                                 list_add(&new_req->list, &dev->tx_reqs);
 561                                 spin_unlock(&dev->req_lock);
 562                         }
 563                 } else {
 564                         spin_unlock(&dev->req_lock);
 565                 }
 566         } else {
 567                 spin_unlock(&dev->req_lock);
 568                 dev_kfree_skb_any(skb);
 569         }
 570
 571         if (netif_carrier_ok(dev->net))
 572                 netif_wake_queue(dev->net);
 573 }
 574
 575 static inline int is_promisc(u16 cdc_filter)
 576 {
 577         return cdc_filter & USB_CDC_PACKET_TYPE_PROMISCUOUS;
 578 }
 579
 580 static void alloc_tx_buffer(struct eth_dev *dev)
 581 {
 582         struct list_head        *act;
 583         struct usb_request      *req;
 584
 585         dev->tx_req_bufsize = (dev->dl_max_pkts_per_xfer *
 586                                 (dev->net->mtu
 587                                 + sizeof(struct ethhdr)
 588                                 /* size of rndis_packet_msg_type */
 589                                 + 44
 590                                 + 22));
 591
 592         list_for_each(act, &dev->tx_reqs) {
 593                 req = container_of(act, struct usb_request, list);
 594                 if (!req->buf)
 595                         req->buf = kmalloc(dev->tx_req_bufsize,
 596                                                 GFP_ATOMIC);
 597         }
 598 }
 599
 600 static netdev_tx_t eth_start_xmit(struct sk_buff *skb,
 601                                         struct net_device *net)
 602 {
 603         struct eth_dev          *dev = netdev_priv(net);
 604         int                     length = 0;
 605         int                     retval;
 606         struct usb_request      *req = NULL;
 607         unsigned long           flags;
 608         struct usb_ep           *in;
 609         u16                     cdc_filter;
 610
 611         spin_lock_irqsave(&dev->lock, flags);
 612         if (dev->port_usb) {
 613                 in = dev->port_usb->in_ep;
 614                 cdc_filter = dev->port_usb->cdc_filter;
 615         } else {
 616                 in = NULL;
 617                 cdc_filter = 0;
 618         }
 619         spin_unlock_irqrestore(&dev->lock, flags);
 620
 621         if (skb && !in) {
 622                 dev_kfree_skb_any(skb);
 623                 return NETDEV_TX_OK;
 624         }
 625
 626         /* Allocate memory for tx_reqs to support multi packet transfer */
 627         if (dev->port_usb->multi_pkt_xfer && !dev->tx_req_bufsize)
 628                 alloc_tx_buffer(dev);
 629
 630         /* apply outgoing CDC or RNDIS filters */
 631         if (skb && !is_promisc(cdc_filter)) {
 632                 u8              *dest = skb->data;
 633
 634                 if (is_multicast_ether_addr(dest)) {
 635                         u16     type;
 636
 637                         /* ignores USB_CDC_PACKET_TYPE_MULTICAST and host
 638                          * SET_ETHERNET_MULTICAST_FILTERS requests
 639                          */
 640                         if (is_broadcast_ether_addr(dest))
 641                                 type = USB_CDC_PACKET_TYPE_BROADCAST;
 642                         else
 643                                 type = USB_CDC_PACKET_TYPE_ALL_MULTICAST;
 644                         if (!(cdc_filter & type)) {
 645                                 dev_kfree_skb_any(skb);
 646                                 return NETDEV_TX_OK;
 647                         }
 648                 }
 649                 /* ignores USB_CDC_PACKET_TYPE_DIRECTED */
 650         }
 651
 652         spin_lock_irqsave(&dev->req_lock, flags);
 653         /*
 654          * this freelist can be empty if an interrupt triggered disconnect()
 655          * and reconfigured the gadget (shutting down this queue) after the
 656          * network stack decided to xmit but before we got the spinlock.
 657          */
 658         if (list_empty(&dev->tx_reqs)) {
 659                 spin_unlock_irqrestore(&dev->req_lock, flags);
 660                 return NETDEV_TX_BUSY;
 661         }
 662
 663         req = container_of(dev->tx_reqs.next, struct usb_request, list);
 664         list_del(&req->list);
 665
 666         /* temporarily stop TX queue when the freelist empties */
 667         if (list_empty(&dev->tx_reqs))
 668                 netif_stop_queue(net);
 669         spin_unlock_irqrestore(&dev->req_lock, flags);
 670
 671         /* no buffer copies needed, unless the network stack did it
 672          * or the hardware can't use skb buffers.
 673          * or there's not enough space for extra headers we need
 674          */
 675         if (dev->wrap) {
 676                 unsigned long   flags;
 677
 678                 spin_lock_irqsave(&dev->lock, flags);
 679                 if (dev->port_usb)
 680                         skb = dev->wrap(dev->port_usb, skb);
 681                 spin_unlock_irqrestore(&dev->lock, flags);
 682                 if (!skb) {
 683                         /* Multi frame CDC protocols may store the frame for
 684                          * later which is not a dropped frame.
 685                          */
 686                         if (dev->port_usb->supports_multi_frame)
 687                                 goto multiframe;
 688                         goto drop;
 689                 }
 690         }
 691
 692         spin_lock_irqsave(&dev->req_lock, flags);
 693         dev->tx_skb_hold_count++;
 694         spin_unlock_irqrestore(&dev->req_lock, flags);
 695
 696         if (dev->port_usb->multi_pkt_xfer) {
 697                 memcpy(req->buf + req->length, skb->data, skb->len);
 698                 req->length = req->length + skb->len;
 699                 length = req->length;
 700                 dev_kfree_skb_any(skb);
 701
 702                 spin_lock_irqsave(&dev->req_lock, flags);
 703                 if (dev->tx_skb_hold_count < dev->dl_max_pkts_per_xfer) {
 704                         if (dev->no_tx_req_used > TX_REQ_THRESHOLD) {
 705                                 list_add(&req->list, &dev->tx_reqs);
 706                                 spin_unlock_irqrestore(&dev->req_lock, flags);
 707                                 goto success;
 708                         }
 709                 }
 710
 711                 dev->no_tx_req_used++;
 712                 spin_unlock_irqrestore(&dev->req_lock, flags);
 713
 714                 spin_lock_irqsave(&dev->lock, flags);
 715                 dev->tx_skb_hold_count = 0;
 716                 spin_unlock_irqrestore(&dev->lock, flags);
 717         } else {
 718                 length = skb->len;
 719                 req->buf = skb->data;
 720                 req->context = skb;
 721         }
 722
 723         req->complete = tx_complete;
 724
 725         /* NCM requires no zlp if transfer is dwNtbInMaxSize */
 726         if (dev->port_usb->is_fixed &&
 727             length == dev->port_usb->fixed_in_len &&
 728             (length % in->maxpacket) == 0)
 729                 req->zero = 0;
 730         else
 731                 req->zero = 1;
 732
 733         /* use zlp framing on tx for strict CDC-Ether conformance,
 734          * though any robust network rx path ignores extra padding.
 735          * and some hardware doesn't like to write zlps.
 736          */
 737         if (req->zero && !dev->zlp && (length % in->maxpacket) == 0) {
 738                 req->zero = 0;
 739                 length++;
 740         }
 741
 742         req->length = length;
 743
 744         /* throttle highspeed IRQ rate back slightly */
 745         if (gadget_is_dualspeed(dev->gadget) &&
 746                          (dev->gadget->speed == USB_SPEED_HIGH)) {
 747                 dev->tx_qlen++;
 748                 if (dev->tx_qlen == (dev->qmult/2)) {
 749                         req->no_interrupt = 0;
 750                         dev->tx_qlen = 0;
 751                 } else {
 752                         req->no_interrupt = 1;
 753                 }
 754         } else {
 755                 req->no_interrupt = 0;
 756         }
 757
 758         retval = usb_ep_queue(in, req, GFP_ATOMIC);
 759         switch (retval) {
 760         default:
 761                 DBG(dev, "tx queue err %d\n", retval);
 762                 break;
 763         case 0:
 764                 net->trans_start = jiffies;
 765         }
 766
 767         if (retval) {
 768                 if (!dev->port_usb->multi_pkt_xfer)
 769                         dev_kfree_skb_any(skb);
 770 drop:
 771                 dev->net->stats.tx_dropped++;
 772 multiframe:
 773                 spin_lock_irqsave(&dev->req_lock, flags);
 774                 if (list_empty(&dev->tx_reqs))
 775                         netif_start_queue(net);
 776                 list_add(&req->list, &dev->tx_reqs);
 777                 spin_unlock_irqrestore(&dev->req_lock, flags);
 778         }
 779 success:
 780         return NETDEV_TX_OK;
 781 }
 782
 783 /*-------------------------------------------------------------------------*/
 784
 785 static void eth_start(struct eth_dev *dev, gfp_t gfp_flags)
 786 {
 787         DBG(dev, "%s\n", __func__);
 788
 789         /* fill the rx queue */
 790         rx_fill(dev, gfp_flags);
 791
 792         /* and open the tx floodgates */
 793         dev->tx_qlen = 0;
 794         netif_wake_queue(dev->net);
 795 }
 796
 797 static int eth_open(struct net_device *net)
 798 {
 799         struct eth_dev  *dev = netdev_priv(net);
 800         struct gether   *link;
 801
 802         DBG(dev, "%s\n", __func__);
 803         if (netif_carrier_ok(dev->net))
 804                 eth_start(dev, GFP_KERNEL);
 805
 806         spin_lock_irq(&dev->lock);
 807         link = dev->port_usb;
 808         if (link && link->open)
 809                 link->open(link);
 810         spin_unlock_irq(&dev->lock);
 811
 812         return 0;
 813 }
 814
 815 static int eth_stop(struct net_device *net)
 816 {
 817         struct eth_dev  *dev = netdev_priv(net);
 818         unsigned long   flags;
 819
 820         VDBG(dev, "%s\n", __func__);
 821         netif_stop_queue(net);
 822
 823         DBG(dev, "stop stats: rx/tx %ld/%ld, errs %ld/%ld\n",
 824                 dev->net->stats.rx_packets, dev->net->stats.tx_packets,
 825                 dev->net->stats.rx_errors, dev->net->stats.tx_errors
 826                 );
 827
 828         /* ensure there are no more active requests */
 829         spin_lock_irqsave(&dev->lock, flags);
 830         if (dev->port_usb) {
 831                 struct gether   *link = dev->port_usb;
 832                 const struct usb_endpoint_descriptor *in;
 833                 const struct usb_endpoint_descriptor *out;
 834
 835                 if (link->close)
 836                         link->close(link);
 837
 838                 /* NOTE:  we have no abort-queue primitive we could use
 839                  * to cancel all pending I/O.  Instead, we disable then
 840                  * reenable the endpoints ... this idiom may leave toggle
 841                  * wrong, but that's a self-correcting error.
 842                  *
 843                  * REVISIT:  we *COULD* just let the transfers complete at
 844                  * their own pace; the network stack can handle old packets.
 845                  * For the moment we leave this here, since it works.
 846                  */
 847                 in = link->in_ep->desc;
 848                 out = link->out_ep->desc;
 849                 usb_ep_disable(link->in_ep);
 850                 usb_ep_disable(link->out_ep);
 851                 if (netif_carrier_ok(net)) {
 852                         DBG(dev, "host still using in/out endpoints\n");
 853                         link->in_ep->desc = in;
 854                         link->out_ep->desc = out;
 855                         usb_ep_enable(link->in_ep);
 856                         usb_ep_enable(link->out_ep);
 857                 }
 858         }
 859         spin_unlock_irqrestore(&dev->lock, flags);
 860
 861         return 0;
 862 }
 863
 864 /*-------------------------------------------------------------------------*/
 865
 866 static u8 host_ethaddr[ETH_ALEN];
 867
 868 static int get_ether_addr(const char *str, u8 *dev_addr)
 869 {
 870         if (str) {
 871                 unsigned        i;
 872
 873                 for (i = 0; i < 6; i++) {
 874                         unsigned char num;
 875
 876                         if ((*str == '.') || (*str == ':'))
 877                                 str++;
 878                         num = hex_to_bin(*str++) << 4;
 879                         num |= hex_to_bin(*str++);
 880                         dev_addr [i] = num;
 881                 }
 882                 if (is_valid_ether_addr(dev_addr))
 883                         return 0;
 884         }
 885         eth_random_addr(dev_addr);
 886         return 1;
 887 }
 888
 889 static int get_ether_addr_str(u8 dev_addr[ETH_ALEN], char *str, int len)
 890 {
 891         if (len < 18)
 892                 return -EINVAL;
 893
 894         snprintf(str, len, "%pM", dev_addr);
 895         return 18;
 896 }
 897
 898 static int get_host_ether_addr(u8 *str, u8 *dev_addr)
 899 {
 900         memcpy(dev_addr, str, ETH_ALEN);
 901         if (is_valid_ether_addr(dev_addr))
 902                 return 0;
 903
 904         random_ether_addr(dev_addr);
 905         memcpy(str, dev_addr, ETH_ALEN);
 906         return 1;
 907 }
 908
 909 static const struct net_device_ops eth_netdev_ops = {
 910         .ndo_open               = eth_open,
 911         .ndo_stop               = eth_stop,
 912         .ndo_start_xmit         = eth_start_xmit,
 913         .ndo_change_mtu         = ueth_change_mtu,
 914         .ndo_set_mac_address    = eth_mac_addr,
 915         .ndo_validate_addr      = eth_validate_addr,
 916 };
 917
 918 static struct device_type gadget_type = {
 919         .name   = "gadget",
 920 };
 921
 922 /**
 923  * gether_setup_name - initialize one ethernet-over-usb link
 924  * @g: gadget to associated with these links
 925  * @ethaddr: NULL, or a buffer in which the ethernet address of the
 926  *      host side of the link is recorded
 927  * @netname: name for network device (for example, "usb")
 928  * Context: may sleep
 929  *
 930  * This sets up the single network link that may be exported by a
 931  * gadget driver using this framework.  The link layer addresses are
 932  * set up using module parameters.
 933  *
 934  * Returns an eth_dev pointer on success, or an ERR_PTR on failure.
 935  */
 936 struct eth_dev *gether_setup_name(struct usb_gadget *g,
 937                 const char *dev_addr, const char *host_addr,
 938                 u8 ethaddr[ETH_ALEN], unsigned qmult, const char *netname)
 939 {
 940         struct eth_dev          *dev;
 941         struct net_device       *net;
 942         int                     status;
 943
 944         net = alloc_etherdev(sizeof *dev);
 945         if (!net)
 946                 return ERR_PTR(-ENOMEM);
 947
 948         dev = netdev_priv(net);
 949         spin_lock_init(&dev->lock);
 950         spin_lock_init(&dev->req_lock);
 951         INIT_WORK(&dev->work, eth_work);
 952         INIT_WORK(&dev->rx_work, process_rx_w);
 953         INIT_LIST_HEAD(&dev->tx_reqs);
 954         INIT_LIST_HEAD(&dev->rx_reqs);
 955
 956         skb_queue_head_init(&dev->rx_frames);
 957
 958         /* network device setup */
 959         dev->net = net;
 960         dev->qmult = qmult;
 961         snprintf(net->name, sizeof(net->name), "%s%%d", netname);
 962
 963         if (get_ether_addr(dev_addr, net->dev_addr))
 964                 dev_warn(&g->dev,
 965                         "using random %s ethernet address\n", "self");
 966
 967         if (get_host_ether_addr(host_ethaddr, dev->host_mac))
 968                 dev_warn(&g->dev, "using random %s ethernet address\n", "host");
 969         else
 970                 dev_warn(&g->dev, "using previous %s ethernet address\n", "host");
 971
 972         if (ethaddr)
 973                 memcpy(ethaddr, dev->host_mac, ETH_ALEN);
 974
 975         net->netdev_ops = &eth_netdev_ops;
 976
 977         net->ethtool_ops = &ops;
 978
 979         dev->gadget = g;
 980         SET_NETDEV_DEV(net, &g->dev);
 981         SET_NETDEV_DEVTYPE(net, &gadget_type);
 982
 983         status = register_netdev(net);
 984         if (status < 0) {
 985                 dev_dbg(&g->dev, "register_netdev failed, %d\n", status);
 986                 free_netdev(net);
 987                 dev = ERR_PTR(status);
 988         } else {
 989                 INFO(dev, "MAC %pM\n", net->dev_addr);
 990                 INFO(dev, "HOST MAC %pM\n", dev->host_mac);
 991
 992                 /*
 993                  * two kinds of host-initiated state changes:
 994                  *  - iff DATA transfer is active, carrier is "on"
 995                  *  - tx queueing enabled if open *and* carrier is "on"
 996                  */
 997                 netif_carrier_off(net);
 998         }
 999
1000         return dev;
1001 }
1002 EXPORT_SYMBOL_GPL(gether_setup_name);
1003
1004 struct net_device *gether_setup_name_default(const char *netname)
1005 {
1006         struct net_device       *net;
1007         struct eth_dev          *dev;
1008
1009         net = alloc_etherdev(sizeof(*dev));
1010         if (!net)
1011                 return ERR_PTR(-ENOMEM);
1012
1013         dev = netdev_priv(net);
1014         spin_lock_init(&dev->lock);
1015         spin_lock_init(&dev->req_lock);
1016         INIT_WORK(&dev->work, eth_work);
1017         INIT_LIST_HEAD(&dev->tx_reqs);
1018         INIT_LIST_HEAD(&dev->rx_reqs);
1019
1020         skb_queue_head_init(&dev->rx_frames);
1021
1022         /* network device setup */
1023         dev->net = net;
1024         dev->qmult = QMULT_DEFAULT;
1025         snprintf(net->name, sizeof(net->name), "%s%%d", netname);
1026
1027         eth_random_addr(dev->dev_mac);
1028         pr_warn("using random %s ethernet address\n", "self");
1029         eth_random_addr(dev->host_mac);
1030         pr_warn("using random %s ethernet address\n", "host");
1031
1032         net->netdev_ops = &eth_netdev_ops;
1033
1034         net->ethtool_ops = &ops;
1035         SET_NETDEV_DEVTYPE(net, &gadget_type);
1036
1037         return net;
1038 }
1039 EXPORT_SYMBOL_GPL(gether_setup_name_default);
1040
1041 int gether_register_netdev(struct net_device *net)
1042 {
1043         struct eth_dev *dev;
1044         struct usb_gadget *g;
1045         struct sockaddr sa;
1046         int status;
1047
1048         if (!net->dev.parent)
1049                 return -EINVAL;
1050         dev = netdev_priv(net);
1051         g = dev->gadget;
1052         status = register_netdev(net);
1053         if (status < 0) {
1054                 dev_dbg(&g->dev, "register_netdev failed, %d\n", status);
1055                 return status;
1056         } else {
1057                 INFO(dev, "HOST MAC %pM\n", dev->host_mac);
1058
1059                 /* two kinds of host-initiated state changes:
1060                  *  - iff DATA transfer is active, carrier is "on"
1061                  *  - tx queueing enabled if open *and* carrier is "on"
1062                  */
1063                 netif_carrier_off(net);
1064         }
1065         sa.sa_family = net->type;
1066         memcpy(sa.sa_data, dev->dev_mac, ETH_ALEN);
1067         rtnl_lock();
1068         status = dev_set_mac_address(net, &sa);
1069         rtnl_unlock();
1070         if (status)
1071                 pr_warn("cannot set self ethernet address: %d\n", status);
1072         else
1073                 INFO(dev, "MAC %pM\n", dev->dev_mac);
1074
1075         return status;
1076 }
1077 EXPORT_SYMBOL_GPL(gether_register_netdev);
1078
1079 void gether_set_gadget(struct net_device *net, struct usb_gadget *g)
1080 {
1081         struct eth_dev *dev;
1082
1083         dev = netdev_priv(net);
1084         dev->gadget = g;
1085         SET_NETDEV_DEV(net, &g->dev);
1086 }
1087 EXPORT_SYMBOL_GPL(gether_set_gadget);
1088
1089 int gether_set_dev_addr(struct net_device *net, const char *dev_addr)
1090 {
1091         struct eth_dev *dev;
1092         u8 new_addr[ETH_ALEN];
1093
1094         dev = netdev_priv(net);
1095         if (get_ether_addr(dev_addr, new_addr))
1096                 return -EINVAL;
1097         memcpy(dev->dev_mac, new_addr, ETH_ALEN);
1098         return 0;
1099 }
1100 EXPORT_SYMBOL_GPL(gether_set_dev_addr);
1101
1102 int gether_get_dev_addr(struct net_device *net, char *dev_addr, int len)
1103 {
1104         struct eth_dev *dev;
1105
1106         dev = netdev_priv(net);
1107         return get_ether_addr_str(dev->dev_mac, dev_addr, len);
1108 }
1109 EXPORT_SYMBOL_GPL(gether_get_dev_addr);
1110
1111 int gether_set_host_addr(struct net_device *net, const char *host_addr)
1112 {
1113         struct eth_dev *dev;
1114         u8 new_addr[ETH_ALEN];
1115
1116         dev = netdev_priv(net);
1117         if (get_ether_addr(host_addr, new_addr))
1118                 return -EINVAL;
1119         memcpy(dev->host_mac, new_addr, ETH_ALEN);
1120         return 0;
1121 }
1122 EXPORT_SYMBOL_GPL(gether_set_host_addr);
1123
1124 int gether_get_host_addr(struct net_device *net, char *host_addr, int len)
1125 {
1126         struct eth_dev *dev;
1127
1128         dev = netdev_priv(net);
1129         return get_ether_addr_str(dev->host_mac, host_addr, len);
1130 }
1131 EXPORT_SYMBOL_GPL(gether_get_host_addr);
1132
1133 int gether_get_host_addr_cdc(struct net_device *net, char *host_addr, int len)
1134 {
1135         struct eth_dev *dev;
1136
1137         if (len < 13)
1138                 return -EINVAL;
1139
1140         dev = netdev_priv(net);
1141         snprintf(host_addr, len, "%pm", dev->host_mac);
1142
1143         return strlen(host_addr);
1144 }
1145 EXPORT_SYMBOL_GPL(gether_get_host_addr_cdc);
1146
1147 void gether_get_host_addr_u8(struct net_device *net, u8 host_mac[ETH_ALEN])
1148 {
1149         struct eth_dev *dev;
1150
1151         dev = netdev_priv(net);
1152         memcpy(host_mac, dev->host_mac, ETH_ALEN);
1153 }
1154 EXPORT_SYMBOL_GPL(gether_get_host_addr_u8);
1155
1156 void gether_set_qmult(struct net_device *net, unsigned qmult)
1157 {
1158         struct eth_dev *dev;
1159
1160         dev = netdev_priv(net);
1161         dev->qmult = qmult;
1162 }
1163 EXPORT_SYMBOL_GPL(gether_set_qmult);
1164
1165 unsigned gether_get_qmult(struct net_device *net)
1166 {
1167         struct eth_dev *dev;
1168
1169         dev = netdev_priv(net);
1170         return dev->qmult;
1171 }
1172 EXPORT_SYMBOL_GPL(gether_get_qmult);
1173
1174 int gether_get_ifname(struct net_device *net, char *name, int len)
1175 {
1176         rtnl_lock();
1177         strlcpy(name, netdev_name(net), len);
1178         rtnl_unlock();
1179         return strlen(name);
1180 }
1181 EXPORT_SYMBOL_GPL(gether_get_ifname);
1182
1183 /**
1184  * gether_cleanup - remove Ethernet-over-USB device
1185  * Context: may sleep
1186  *
1187  * This is called to free all resources allocated by @gether_setup().
1188  */
1189 void gether_cleanup(struct eth_dev *dev)
1190 {
1191         if (!dev)
1192                 return;
1193
1194         unregister_netdev(dev->net);
1195         flush_work(&dev->work);
1196         free_netdev(dev->net);
1197 }
1198 EXPORT_SYMBOL_GPL(gether_cleanup);
1199
1200 /**
1201  * gether_connect - notify network layer that USB link is active
1202  * @link: the USB link, set up with endpoints, descriptors matching
1203  *      current device speed, and any framing wrapper(s) set up.
1204  * Context: irqs blocked
1205  *
1206  * This is called to activate endpoints and let the network layer know
1207  * the connection is active ("carrier detect").  It may cause the I/O
1208  * queues to open and start letting network packets flow, but will in
1209  * any case activate the endpoints so that they respond properly to the
1210  * USB host.
1211  *
1212  * Verify net_device pointer returned using IS_ERR().  If it doesn't
1213  * indicate some error code (negative errno), ep->driver_data values
1214  * have been overwritten.
1215  */
1216 struct net_device *gether_connect(struct gether *link)
1217 {
1218         struct eth_dev          *dev = link->ioport;
1219         int                     result = 0;
1220
1221         if (!dev)
1222                 return ERR_PTR(-EINVAL);
1223
1224         link->in_ep->driver_data = dev;
1225         result = usb_ep_enable(link->in_ep);
1226         if (result != 0) {
1227                 DBG(dev, "enable %s --> %d\n",
1228                         link->in_ep->name, result);
1229                 goto fail0;
1230         }
1231
1232         link->out_ep->driver_data = dev;
1233         result = usb_ep_enable(link->out_ep);
1234         if (result != 0) {
1235                 DBG(dev, "enable %s --> %d\n",
1236                         link->out_ep->name, result);
1237                 goto fail1;
1238         }
1239
1240         if (result == 0)
1241                 result = alloc_requests(dev, link, qlen(dev->gadget,
1242                                         dev->qmult));
1243
1244         if (result == 0) {
1245                 dev->zlp = link->is_zlp_ok;
1246                 DBG(dev, "qlen %d\n", qlen(dev->gadget, dev->qmult));
1247
1248                 dev->header_len = link->header_len;
1249                 dev->unwrap = link->unwrap;
1250                 dev->wrap = link->wrap;
1251                 dev->ul_max_pkts_per_xfer = link->ul_max_pkts_per_xfer;
1252                 dev->dl_max_pkts_per_xfer = link->dl_max_pkts_per_xfer;
1253
1254                 spin_lock(&dev->lock);
1255                 dev->tx_skb_hold_count = 0;
1256                 dev->no_tx_req_used = 0;
1257                 dev->tx_req_bufsize = 0;
1258                 dev->port_usb = link;
1259                 if (netif_running(dev->net)) {
1260                         if (link->open)
1261                                 link->open(link);
1262                 } else {
1263                         if (link->close)
1264                                 link->close(link);
1265                 }
1266                 spin_unlock(&dev->lock);
1267
1268                 netif_carrier_on(dev->net);
1269                 if (netif_running(dev->net))
1270                         eth_start(dev, GFP_ATOMIC);
1271
1272         /* on error, disable any endpoints  */
1273         } else {
1274                 (void) usb_ep_disable(link->out_ep);
1275 fail1:
1276                 (void) usb_ep_disable(link->in_ep);
1277         }
1278 fail0:
1279         /* caller is responsible for cleanup on error */
1280         if (result < 0)
1281                 return ERR_PTR(result);
1282         return dev->net;
1283 }
1284 EXPORT_SYMBOL_GPL(gether_connect);
1285
1286 /**
1287  * gether_disconnect - notify network layer that USB link is inactive
1288  * @link: the USB link, on which gether_connect() was called
1289  * Context: irqs blocked
1290  *
1291  * This is called to deactivate endpoints and let the network layer know
1292  * the connection went inactive ("no carrier").
1293  *
1294  * On return, the state is as if gether_connect() had never been called.
1295  * The endpoints are inactive, and accordingly without active USB I/O.
1296  * Pointers to endpoint descriptors and endpoint private data are nulled.
1297  */
1298 void gether_disconnect(struct gether *link)
1299 {
1300         struct eth_dev          *dev = link->ioport;
1301         struct usb_request      *req;
1302         struct sk_buff          *skb;
1303
1304         WARN_ON(!dev);
1305         if (!dev)
1306                 return;
1307
1308         DBG(dev, "%s\n", __func__);
1309
1310         netif_stop_queue(dev->net);
1311         netif_carrier_off(dev->net);
1312
1313         /* disable endpoints, forcing (synchronous) completion
1314          * of all pending i/o.  then free the request objects
1315          * and forget about the endpoints.
1316          */
1317         usb_ep_disable(link->in_ep);
1318         spin_lock(&dev->req_lock);
1319         while (!list_empty(&dev->tx_reqs)) {
1320                 req = container_of(dev->tx_reqs.next,
1321                                         struct usb_request, list);
1322                 list_del(&req->list);
1323
1324                 spin_unlock(&dev->req_lock);
1325                 if (link->multi_pkt_xfer)
1326                         kfree(req->buf);
1327                 usb_ep_free_request(link->in_ep, req);
1328                 spin_lock(&dev->req_lock);
1329         }
1330         spin_unlock(&dev->req_lock);
1331         link->in_ep->desc = NULL;
1332
1333         usb_ep_disable(link->out_ep);
1334         spin_lock(&dev->req_lock);
1335         while (!list_empty(&dev->rx_reqs)) {
1336                 req = container_of(dev->rx_reqs.next,
1337                                         struct usb_request, list);
1338                 list_del(&req->list);
1339
1340                 spin_unlock(&dev->req_lock);
1341                 usb_ep_free_request(link->out_ep, req);
1342                 spin_lock(&dev->req_lock);
1343         }
1344         spin_unlock(&dev->req_lock);
1345
1346         spin_lock(&dev->rx_frames.lock);
1347         while ((skb = __skb_dequeue(&dev->rx_frames)))
1348                 dev_kfree_skb_any(skb);
1349         spin_unlock(&dev->rx_frames.lock);
1350
1351         link->out_ep->desc = NULL;
1352
1353         /* finish forgetting about this USB link episode */
1354         dev->header_len = 0;
1355         dev->unwrap = NULL;
1356         dev->wrap = NULL;
1357
1358         spin_lock(&dev->lock);
1359         dev->port_usb = NULL;
1360         spin_unlock(&dev->lock);
1361 }
1362 EXPORT_SYMBOL_GPL(gether_disconnect);
1363
1364 static int __init gether_init(void)
1365 {
1366         uether_wq  = create_singlethread_workqueue("uether");
1367         if (!uether_wq) {
1368                 pr_err("%s: Unable to create workqueue: uether\n", __func__);
1369                 return -ENOMEM;
1370         }
1371         return 0;
1372 }
1373 module_init(gether_init);
1374
1375 static void __exit gether_exit(void)
1376 {
1377         destroy_workqueue(uether_wq);
1378
1379 }
1380 module_exit(gether_exit);
1381 MODULE_AUTHOR("David Brownell");
1382 MODULE_DESCRIPTION("ethernet over USB driver");
1383 MODULE_LICENSE("GPL v2");