net/openvswitch/vport.c

   1 /*
   2  * Copyright (c) 2007-2014 Nicira, Inc.
   3  *
   4  * This program is free software; you can redistribute it and/or
   5  * modify it under the terms of version 2 of the GNU General Public
   6  * License as published by the Free Software Foundation.
   7  *
   8  * This program is distributed in the hope that it will be useful, but
   9  * WITHOUT ANY WARRANTY; without even the implied warranty of
  10  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  11  * General Public License for more details.
  12  *
  13  * You should have received a copy of the GNU General Public License
  14  * along with this program; if not, write to the Free Software
  15  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
  16  * 02110-1301, USA
  17  */
  18
  19 #include <linux/etherdevice.h>
  20 #include <linux/if.h>
  21 #include <linux/if_vlan.h>
  22 #include <linux/jhash.h>
  23 #include <linux/kernel.h>
  24 #include <linux/list.h>
  25 #include <linux/mutex.h>
  26 #include <linux/percpu.h>
  27 #include <linux/rcupdate.h>
  28 #include <linux/rtnetlink.h>
  29 #include <linux/compat.h>
  30 #include <net/net_namespace.h>
  31 #include <linux/module.h>
  32
  33 #include "datapath.h"
  34 #include "vport.h"
  35 #include "vport-internal_dev.h"
  36
  37 static LIST_HEAD(vport_ops_list);
  38
  39 /* Protected by RCU read lock for reading, ovs_mutex for writing. */
  40 static struct hlist_head *dev_table;
  41 #define VPORT_HASH_BUCKETS 1024
  42
  43 /**
  44  *      ovs_vport_init - initialize vport subsystem
  45  *
  46  * Called at module load time to initialize the vport subsystem.
  47  */
  48 int ovs_vport_init(void)
  49 {
  50         dev_table = kzalloc(VPORT_HASH_BUCKETS * sizeof(struct hlist_head),
  51                             GFP_KERNEL);
  52         if (!dev_table)
  53                 return -ENOMEM;
  54
  55         return 0;
  56 }
  57
  58 /**
  59  *      ovs_vport_exit - shutdown vport subsystem
  60  *
  61  * Called at module exit time to shutdown the vport subsystem.
  62  */
  63 void ovs_vport_exit(void)
  64 {
  65         kfree(dev_table);
  66 }
  67
  68 static struct hlist_head *hash_bucket(const struct net *net, const char *name)
  69 {
  70         unsigned int hash = jhash(name, strlen(name), (unsigned long) net);
  71         return &dev_table[hash & (VPORT_HASH_BUCKETS - 1)];
  72 }
  73
  74 int ovs_vport_ops_register(struct vport_ops *ops)
  75 {
  76         int err = -EEXIST;
  77         struct vport_ops *o;
  78
  79         ovs_lock();
  80         list_for_each_entry(o, &vport_ops_list, list)
  81                 if (ops->type == o->type)
  82                         goto errout;
  83
  84         list_add_tail(&ops->list, &vport_ops_list);
  85         err = 0;
  86 errout:
  87         ovs_unlock();
  88         return err;
  89 }
  90 EXPORT_SYMBOL_GPL(ovs_vport_ops_register);
  91
  92 void ovs_vport_ops_unregister(struct vport_ops *ops)
  93 {
  94         ovs_lock();
  95         list_del(&ops->list);
  96         ovs_unlock();
  97 }
  98 EXPORT_SYMBOL_GPL(ovs_vport_ops_unregister);
  99
 100 /**
 101  *      ovs_vport_locate - find a port that has already been created
 102  *
 103  * @name: name of port to find
 104  *
 105  * Must be called with ovs or RCU read lock.
 106  */
 107 struct vport *ovs_vport_locate(const struct net *net, const char *name)
 108 {
 109         struct hlist_head *bucket = hash_bucket(net, name);
 110         struct vport *vport;
 111
 112         hlist_for_each_entry_rcu(vport, bucket, hash_node)
 113                 if (!strcmp(name, ovs_vport_name(vport)) &&
 114                     net_eq(ovs_dp_get_net(vport->dp), net))
 115                         return vport;
 116
 117         return NULL;
 118 }
 119
 120 /**
 121  *      ovs_vport_alloc - allocate and initialize new vport
 122  *
 123  * @priv_size: Size of private data area to allocate.
 124  * @ops: vport device ops
 125  *
 126  * Allocate and initialize a new vport defined by @ops.  The vport will contain
 127  * a private data area of size @priv_size that can be accessed using
 128  * vport_priv().  vports that are no longer needed should be released with
 129  * vport_free().
 130  */
 131 struct vport *ovs_vport_alloc(int priv_size, const struct vport_ops *ops,
 132                           const struct vport_parms *parms)
 133 {
 134         struct vport *vport;
 135         size_t alloc_size;
 136
 137         alloc_size = sizeof(struct vport);
 138         if (priv_size) {
 139                 alloc_size = ALIGN(alloc_size, VPORT_ALIGN);
 140                 alloc_size += priv_size;
 141         }
 142
 143         vport = kzalloc(alloc_size, GFP_KERNEL);
 144         if (!vport)
 145                 return ERR_PTR(-ENOMEM);
 146
 147         vport->dp = parms->dp;
 148         vport->port_no = parms->port_no;
 149         vport->ops = ops;
 150         INIT_HLIST_NODE(&vport->dp_hash_node);
 151
 152         if (ovs_vport_set_upcall_portids(vport, parms->upcall_portids)) {
 153                 kfree(vport);
 154                 return ERR_PTR(-EINVAL);
 155         }
 156
 157         return vport;
 158 }
 159 EXPORT_SYMBOL_GPL(ovs_vport_alloc);
 160
 161 /**
 162  *      ovs_vport_free - uninitialize and free vport
 163  *
 164  * @vport: vport to free
 165  *
 166  * Frees a vport allocated with vport_alloc() when it is no longer needed.
 167  *
 168  * The caller must ensure that an RCU grace period has passed since the last
 169  * time @vport was in a datapath.
 170  */
 171 void ovs_vport_free(struct vport *vport)
 172 {
 173         /* vport is freed from RCU callback or error path, Therefore
 174          * it is safe to use raw dereference.
 175          */
 176         kfree(rcu_dereference_raw(vport->upcall_portids));
 177         kfree(vport);
 178 }
 179 EXPORT_SYMBOL_GPL(ovs_vport_free);
 180
 181 static struct vport_ops *ovs_vport_lookup(const struct vport_parms *parms)
 182 {
 183         struct vport_ops *ops;
 184
 185         list_for_each_entry(ops, &vport_ops_list, list)
 186                 if (ops->type == parms->type)
 187                         return ops;
 188
 189         return NULL;
 190 }
 191
 192 /**
 193  *      ovs_vport_add - add vport device (for kernel callers)
 194  *
 195  * @parms: Information about new vport.
 196  *
 197  * Creates a new vport with the specified configuration (which is dependent on
 198  * device type).  ovs_mutex must be held.
 199  */
 200 struct vport *ovs_vport_add(const struct vport_parms *parms)
 201 {
 202         struct vport_ops *ops;
 203         struct vport *vport;
 204
 205         ops = ovs_vport_lookup(parms);
 206         if (ops) {
 207                 struct hlist_head *bucket;
 208
 209                 if (!try_module_get(ops->owner))
 210                         return ERR_PTR(-EAFNOSUPPORT);
 211
 212                 vport = ops->create(parms);
 213                 if (IS_ERR(vport)) {
 214                         module_put(ops->owner);
 215                         return vport;
 216                 }
 217
 218                 bucket = hash_bucket(ovs_dp_get_net(vport->dp),
 219                                      ovs_vport_name(vport));
 220                 hlist_add_head_rcu(&vport->hash_node, bucket);
 221                 return vport;
 222         }
 223
 224         /* Unlock to attempt module load and return -EAGAIN if load
 225          * was successful as we need to restart the port addition
 226          * workflow.
 227          */
 228         ovs_unlock();
 229         request_module("vport-type-%d", parms->type);
 230         ovs_lock();
 231
 232         if (!ovs_vport_lookup(parms))
 233                 return ERR_PTR(-EAFNOSUPPORT);
 234         else
 235                 return ERR_PTR(-EAGAIN);
 236 }
 237
 238 /**
 239  *      ovs_vport_set_options - modify existing vport device (for kernel callers)
 240  *
 241  * @vport: vport to modify.
 242  * @options: New configuration.
 243  *
 244  * Modifies an existing device with the specified configuration (which is
 245  * dependent on device type).  ovs_mutex must be held.
 246  */
 247 int ovs_vport_set_options(struct vport *vport, struct nlattr *options)
 248 {
 249         if (!vport->ops->set_options)
 250                 return -EOPNOTSUPP;
 251         return vport->ops->set_options(vport, options);
 252 }
 253
 254 /**
 255  *      ovs_vport_del - delete existing vport device
 256  *
 257  * @vport: vport to delete.
 258  *
 259  * Detaches @vport from its datapath and destroys it.  It is possible to fail
 260  * for reasons such as lack of memory.  ovs_mutex must be held.
 261  */
 262 void ovs_vport_del(struct vport *vport)
 263 {
 264         ASSERT_OVSL();
 265
 266         hlist_del_rcu(&vport->hash_node);
 267         module_put(vport->ops->owner);
 268         vport->ops->destroy(vport);
 269 }
 270
 271 /**
 272  *      ovs_vport_get_stats - retrieve device stats
 273  *
 274  * @vport: vport from which to retrieve the stats
 275  * @stats: location to store stats
 276  *
 277  * Retrieves transmit, receive, and error stats for the given device.
 278  *
 279  * Must be called with ovs_mutex or rcu_read_lock.
 280  */
 281 void ovs_vport_get_stats(struct vport *vport, struct ovs_vport_stats *stats)
 282 {
 283         struct net_device *dev = vport->dev;
 284         int i;
 285
 286         memset(stats, 0, sizeof(*stats));
 287         stats->rx_errors  = dev->stats.rx_errors;
 288         stats->tx_errors  = dev->stats.tx_errors;
 289         stats->tx_dropped = dev->stats.tx_dropped;
 290         stats->rx_dropped = dev->stats.rx_dropped;
 291
 292         stats->rx_dropped += atomic_long_read(&dev->rx_dropped);
 293         stats->tx_dropped += atomic_long_read(&dev->tx_dropped);
 294
 295         for_each_possible_cpu(i) {
 296                 const struct pcpu_sw_netstats *percpu_stats;
 297                 struct pcpu_sw_netstats local_stats;
 298                 unsigned int start;
 299
 300                 percpu_stats = per_cpu_ptr(dev->tstats, i);
 301
 302                 do {
 303                         start = u64_stats_fetch_begin_irq(&percpu_stats->syncp);
 304                         local_stats = *percpu_stats;
 305                 } while (u64_stats_fetch_retry_irq(&percpu_stats->syncp, start));
 306
 307                 stats->rx_bytes         += local_stats.rx_bytes;
 308                 stats->rx_packets       += local_stats.rx_packets;
 309                 stats->tx_bytes         += local_stats.tx_bytes;
 310                 stats->tx_packets       += local_stats.tx_packets;
 311         }
 312 }
 313
 314 /**
 315  *      ovs_vport_get_options - retrieve device options
 316  *
 317  * @vport: vport from which to retrieve the options.
 318  * @skb: sk_buff where options should be appended.
 319  *
 320  * Retrieves the configuration of the given device, appending an
 321  * %OVS_VPORT_ATTR_OPTIONS attribute that in turn contains nested
 322  * vport-specific attributes to @skb.
 323  *
 324  * Returns 0 if successful, -EMSGSIZE if @skb has insufficient room, or another
 325  * negative error code if a real error occurred.  If an error occurs, @skb is
 326  * left unmodified.
 327  *
 328  * Must be called with ovs_mutex or rcu_read_lock.
 329  */
 330 int ovs_vport_get_options(const struct vport *vport, struct sk_buff *skb)
 331 {
 332         struct nlattr *nla;
 333         int err;
 334
 335         if (!vport->ops->get_options)
 336                 return 0;
 337
 338         nla = nla_nest_start(skb, OVS_VPORT_ATTR_OPTIONS);
 339         if (!nla)
 340                 return -EMSGSIZE;
 341
 342         err = vport->ops->get_options(vport, skb);
 343         if (err) {
 344                 nla_nest_cancel(skb, nla);
 345                 return err;
 346         }
 347
 348         nla_nest_end(skb, nla);
 349         return 0;
 350 }
 351
 352 /**
 353  *      ovs_vport_set_upcall_portids - set upcall portids of @vport.
 354  *
 355  * @vport: vport to modify.
 356  * @ids: new configuration, an array of port ids.
 357  *
 358  * Sets the vport's upcall_portids to @ids.
 359  *
 360  * Returns 0 if successful, -EINVAL if @ids is zero length or cannot be parsed
 361  * as an array of U32.
 362  *
 363  * Must be called with ovs_mutex.
 364  */
 365 int ovs_vport_set_upcall_portids(struct vport *vport, const struct nlattr *ids)
 366 {
 367         struct vport_portids *old, *vport_portids;
 368
 369         if (!nla_len(ids) || nla_len(ids) % sizeof(u32))
 370                 return -EINVAL;
 371
 372         old = ovsl_dereference(vport->upcall_portids);
 373
 374         vport_portids = kmalloc(sizeof(*vport_portids) + nla_len(ids),
 375                                 GFP_KERNEL);
 376         if (!vport_portids)
 377                 return -ENOMEM;
 378
 379         vport_portids->n_ids = nla_len(ids) / sizeof(u32);
 380         vport_portids->rn_ids = reciprocal_value(vport_portids->n_ids);
 381         nla_memcpy(vport_portids->ids, ids, nla_len(ids));
 382
 383         rcu_assign_pointer(vport->upcall_portids, vport_portids);
 384
 385         if (old)
 386                 kfree_rcu(old, rcu);
 387         return 0;
 388 }
 389
 390 /**
 391  *      ovs_vport_get_upcall_portids - get the upcall_portids of @vport.
 392  *
 393  * @vport: vport from which to retrieve the portids.
 394  * @skb: sk_buff where portids should be appended.
 395  *
 396  * Retrieves the configuration of the given vport, appending the
 397  * %OVS_VPORT_ATTR_UPCALL_PID attribute which is the array of upcall
 398  * portids to @skb.
 399  *
 400  * Returns 0 if successful, -EMSGSIZE if @skb has insufficient room.
 401  * If an error occurs, @skb is left unmodified.  Must be called with
 402  * ovs_mutex or rcu_read_lock.
 403  */
 404 int ovs_vport_get_upcall_portids(const struct vport *vport,
 405                                  struct sk_buff *skb)
 406 {
 407         struct vport_portids *ids;
 408
 409         ids = rcu_dereference_ovsl(vport->upcall_portids);
 410
 411         if (vport->dp->user_features & OVS_DP_F_VPORT_PIDS)
 412                 return nla_put(skb, OVS_VPORT_ATTR_UPCALL_PID,
 413                                ids->n_ids * sizeof(u32), (void *)ids->ids);
 414         else
 415                 return nla_put_u32(skb, OVS_VPORT_ATTR_UPCALL_PID, ids->ids[0]);
 416 }
 417
 418 /**
 419  *      ovs_vport_find_upcall_portid - find the upcall portid to send upcall.
 420  *
 421  * @vport: vport from which the missed packet is received.
 422  * @skb: skb that the missed packet was received.
 423  *
 424  * Uses the skb_get_hash() to select the upcall portid to send the
 425  * upcall.
 426  *
 427  * Returns the portid of the target socket.  Must be called with rcu_read_lock.
 428  */
 429 u32 ovs_vport_find_upcall_portid(const struct vport *vport, struct sk_buff *skb)
 430 {
 431         struct vport_portids *ids;
 432         u32 ids_index;
 433         u32 hash;
 434
 435         ids = rcu_dereference(vport->upcall_portids);
 436
 437         if (ids->n_ids == 1 && ids->ids[0] == 0)
 438                 return 0;
 439
 440         hash = skb_get_hash(skb);
 441         ids_index = hash - ids->n_ids * reciprocal_divide(hash, ids->rn_ids);
 442         return ids->ids[ids_index];
 443 }
 444
 445 /**
 446  *      ovs_vport_receive - pass up received packet to the datapath for processing
 447  *
 448  * @vport: vport that received the packet
 449  * @skb: skb that was received
 450  * @tun_key: tunnel (if any) that carried packet
 451  *
 452  * Must be called with rcu_read_lock.  The packet cannot be shared and
 453  * skb->data should point to the Ethernet header.
 454  */
 455 int ovs_vport_receive(struct vport *vport, struct sk_buff *skb,
 456                       const struct ip_tunnel_info *tun_info)
 457 {
 458         struct sw_flow_key key;
 459         int error;
 460
 461         OVS_CB(skb)->input_vport = vport;
 462         OVS_CB(skb)->mru = 0;
 463         /* Extract flow from 'skb' into 'key'. */
 464         error = ovs_flow_key_extract(tun_info, skb, &key);
 465         if (unlikely(error)) {
 466                 kfree_skb(skb);
 467                 return error;
 468         }
 469         ovs_dp_process_packet(skb, &key);
 470         return 0;
 471 }
 472 EXPORT_SYMBOL_GPL(ovs_vport_receive);
 473
 474 static void free_vport_rcu(struct rcu_head *rcu)
 475 {
 476         struct vport *vport = container_of(rcu, struct vport, rcu);
 477
 478         ovs_vport_free(vport);
 479 }
 480
 481 void ovs_vport_deferred_free(struct vport *vport)
 482 {
 483         if (!vport)
 484                 return;
 485
 486         call_rcu(&vport->rcu, free_vport_rcu);
 487 }
 488 EXPORT_SYMBOL_GPL(ovs_vport_deferred_free);
 489
 490 int ovs_tunnel_get_egress_info(struct dp_upcall_info *upcall,
 491                                struct net *net,
 492                                struct sk_buff *skb,
 493                                u8 ipproto,
 494                                __be16 tp_src,
 495                                __be16 tp_dst)
 496 {
 497         struct ip_tunnel_info *egress_tun_info = upcall->egress_tun_info;
 498         const struct ip_tunnel_info *tun_info = skb_tunnel_info(skb);
 499         const struct ip_tunnel_key *tun_key;
 500         u32 skb_mark = skb->mark;
 501         struct rtable *rt;
 502         struct flowi4 fl;
 503
 504         if (unlikely(!tun_info))
 505                 return -EINVAL;
 506         if (ip_tunnel_info_af(tun_info) != AF_INET)
 507                 return -EINVAL;
 508
 509         tun_key = &tun_info->key;
 510
 511         /* Route lookup to get srouce IP address.
 512          * The process may need to be changed if the corresponding process
 513          * in vports ops changed.
 514          */
 515         rt = ovs_tunnel_route_lookup(net, tun_key, skb_mark, &fl, ipproto);
 516         if (IS_ERR(rt))
 517                 return PTR_ERR(rt);
 518
 519         ip_rt_put(rt);
 520
 521         /* Generate egress_tun_info based on tun_info,
 522          * saddr, tp_src and tp_dst
 523          */
 524         ip_tunnel_key_init(&egress_tun_info->key,
 525                            fl.saddr, tun_key->u.ipv4.dst,
 526                            tun_key->tos,
 527                            tun_key->ttl,
 528                            tp_src, tp_dst,
 529                            tun_key->tun_id,
 530                            tun_key->tun_flags);
 531         egress_tun_info->options_len = tun_info->options_len;
 532         egress_tun_info->mode = tun_info->mode;
 533         upcall->egress_tun_opts = ip_tunnel_info_opts(egress_tun_info);
 534         return 0;
 535 }
 536 EXPORT_SYMBOL_GPL(ovs_tunnel_get_egress_info);
 537
 538 int ovs_vport_get_egress_tun_info(struct vport *vport, struct sk_buff *skb,
 539                                   struct dp_upcall_info *upcall)
 540 {
 541         /* get_egress_tun_info() is only implemented on tunnel ports. */
 542         if (unlikely(!vport->ops->get_egress_tun_info))
 543                 return -EINVAL;
 544
 545         return vport->ops->get_egress_tun_info(vport, skb, upcall);
 546 }