folly/io/async/AsyncSocket.h

   1 /*
   2  * Copyright 2014 Facebook, Inc.
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *   http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 #pragma once
  18
  19 #include <sys/types.h>
  20 #include <sys/socket.h>
  21 #include <glog/logging.h>
  22 #include <folly/SocketAddress.h>
  23 #include <folly/io/ShutdownSocketSet.h>
  24 #include <folly/io/IOBuf.h>
  25 #include <folly/io/async/AsyncTimeout.h>
  26 #include <folly/io/async/AsyncSocketException.h>
  27 #include <folly/io/async/AsyncTransport.h>
  28 #include <folly/io/async/EventHandler.h>
  29 #include <folly/io/async/DelayedDestruction.h>
  30
  31 #include <memory>
  32 #include <map>
  33
  34 namespace folly {
  35
  36 /**
  37  * A class for performing asynchronous I/O on a socket.
  38  *
  39  * AsyncSocket allows users to asynchronously wait for data on a socket, and
  40  * to asynchronously send data.
  41  *
  42  * The APIs for reading and writing are intentionally asymmetric.  Waiting for
  43  * data to read is a persistent API: a callback is installed, and is notified
  44  * whenever new data is available.  It continues to be notified of new events
  45  * until it is uninstalled.
  46  *
  47  * AsyncSocket does not provide read timeout functionality, because it
  48  * typically cannot determine when the timeout should be active.  Generally, a
  49  * timeout should only be enabled when processing is blocked waiting on data
  50  * from the remote endpoint.  For server sockets, the timeout should not be
  51  * active if the server is currently processing one or more outstanding
  52  * requests for this socket.  For client sockets, the timeout should not be
  53  * active if there are no requests pending on the socket.  Additionally, if a
  54  * client has multiple pending requests, it will ususally want a separate
  55  * timeout for each request, rather than a single read timeout.
  56  *
  57  * The write API is fairly intuitive: a user can request to send a block of
  58  * data, and a callback will be informed once the entire block has been
  59  * transferred to the kernel, or on error.  AsyncSocket does provide a send
  60  * timeout, since most callers want to give up if the remote end stops
  61  * responding and no further progress can be made sending the data.
  62  */
  63
  64 class AsyncSocket : virtual public AsyncTransportWrapper {
  65  public:
  66   typedef std::unique_ptr<AsyncSocket, Destructor> UniquePtr;
  67
  68   class ConnectCallback {
  69    public:
  70     virtual ~ConnectCallback() {}
  71
  72     /**
  73      * connectSuccess() will be invoked when the connection has been
  74      * successfully established.
  75      */
  76     virtual void connectSuccess() noexcept = 0;
  77
  78     /**
  79      * connectErr() will be invoked if the connection attempt fails.
  80      *
  81      * @param ex        An exception describing the error that occurred.
  82      */
  83     virtual void connectErr(const AsyncSocketException& ex)
  84       noexcept = 0;
  85   };
  86
  87   explicit AsyncSocket();
  88   /**
  89    * Create a new unconnected AsyncSocket.
  90    *
  91    * connect() must later be called on this socket to establish a connection.
  92    */
  93   explicit AsyncSocket(EventBase* evb);
  94
  95   void setShutdownSocketSet(ShutdownSocketSet* ss);
  96
  97   /**
  98    * Create a new AsyncSocket and begin the connection process.
  99    *
 100    * @param evb             EventBase that will manage this socket.
 101    * @param address         The address to connect to.
 102    * @param connectTimeout  Optional timeout in milliseconds for the connection
 103    *                        attempt.
 104    */
 105   AsyncSocket(EventBase* evb,
 106                const folly::SocketAddress& address,
 107                uint32_t connectTimeout = 0);
 108
 109   /**
 110    * Create a new AsyncSocket and begin the connection process.
 111    *
 112    * @param evb             EventBase that will manage this socket.
 113    * @param ip              IP address to connect to (dotted-quad).
 114    * @param port            Destination port in host byte order.
 115    * @param connectTimeout  Optional timeout in milliseconds for the connection
 116    *                        attempt.
 117    */
 118   AsyncSocket(EventBase* evb,
 119                const std::string& ip,
 120                uint16_t port,
 121                uint32_t connectTimeout = 0);
 122
 123   /**
 124    * Create a AsyncSocket from an already connected socket file descriptor.
 125    *
 126    * Note that while AsyncSocket enables TCP_NODELAY for sockets it creates
 127    * when connecting, it does not change the socket options when given an
 128    * existing file descriptor.  If callers want TCP_NODELAY enabled when using
 129    * this version of the constructor, they need to explicitly call
 130    * setNoDelay(true) after the constructor returns.
 131    *
 132    * @param evb EventBase that will manage this socket.
 133    * @param fd  File descriptor to take over (should be a connected socket).
 134    */
 135   AsyncSocket(EventBase* evb, int fd);
 136
 137   /**
 138    * Helper function to create a shared_ptr<AsyncSocket>.
 139    *
 140    * This passes in the correct destructor object, since AsyncSocket's
 141    * destructor is protected and cannot be invoked directly.
 142    */
 143   static std::shared_ptr<AsyncSocket> newSocket(EventBase* evb) {
 144     return std::shared_ptr<AsyncSocket>(new AsyncSocket(evb),
 145                                            Destructor());
 146   }
 147
 148   /**
 149    * Helper function to create a shared_ptr<AsyncSocket>.
 150    */
 151   static std::shared_ptr<AsyncSocket> newSocket(
 152       EventBase* evb,
 153       const folly::SocketAddress& address,
 154       uint32_t connectTimeout = 0) {
 155     return std::shared_ptr<AsyncSocket>(
 156         new AsyncSocket(evb, address, connectTimeout),
 157         Destructor());
 158   }
 159
 160   /**
 161    * Helper function to create a shared_ptr<AsyncSocket>.
 162    */
 163   static std::shared_ptr<AsyncSocket> newSocket(
 164       EventBase* evb,
 165       const std::string& ip,
 166       uint16_t port,
 167       uint32_t connectTimeout = 0) {
 168     return std::shared_ptr<AsyncSocket>(
 169         new AsyncSocket(evb, ip, port, connectTimeout),
 170         Destructor());
 171   }
 172
 173   /**
 174    * Helper function to create a shared_ptr<AsyncSocket>.
 175    */
 176   static std::shared_ptr<AsyncSocket> newSocket(EventBase* evb, int fd) {
 177     return std::shared_ptr<AsyncSocket>(new AsyncSocket(evb, fd),
 178                                            Destructor());
 179   }
 180
 181   /**
 182    * Destroy the socket.
 183    *
 184    * AsyncSocket::destroy() must be called to destroy the socket.
 185    * The normal destructor is private, and should not be invoked directly.
 186    * This prevents callers from deleting a AsyncSocket while it is invoking a
 187    * callback.
 188    */
 189   virtual void destroy();
 190
 191   /**
 192    * Get the EventBase used by this socket.
 193    */
 194   EventBase* getEventBase() const override {
 195     return eventBase_;
 196   }
 197
 198   /**
 199    * Get the file descriptor used by the AsyncSocket.
 200    */
 201   virtual int getFd() const {
 202     return fd_;
 203   }
 204
 205   /**
 206    * Extract the file descriptor from the AsyncSocket.
 207    *
 208    * This will immediately cause any installed callbacks to be invoked with an
 209    * error.  The AsyncSocket may no longer be used after the file descriptor
 210    * has been extracted.
 211    *
 212    * Returns the file descriptor.  The caller assumes ownership of the
 213    * descriptor, and it will not be closed when the AsyncSocket is destroyed.
 214    */
 215   virtual int detachFd();
 216
 217   /**
 218    * Uniquely identifies a handle to a socket option value. Each
 219    * combination of level and option name corresponds to one socket
 220    * option value.
 221    */
 222   class OptionKey {
 223    public:
 224     bool operator<(const OptionKey& other) const {
 225       if (level == other.level) {
 226         return optname < other.optname;
 227       }
 228       return level < other.level;
 229     }
 230     int apply(int fd, int val) const {
 231       return setsockopt(fd, level, optname, &val, sizeof(val));
 232     }
 233     int level;
 234     int optname;
 235   };
 236
 237   // Maps from a socket option key to its value
 238   typedef std::map<OptionKey, int> OptionMap;
 239
 240   static const OptionMap emptyOptionMap;
 241   static const folly::SocketAddress anyAddress;
 242
 243   /**
 244    * Initiate a connection.
 245    *
 246    * @param callback  The callback to inform when the connection attempt
 247    *                  completes.
 248    * @param address   The address to connect to.
 249    * @param timeout   A timeout value, in milliseconds.  If the connection
 250    *                  does not succeed within this period,
 251    *                  callback->connectError() will be invoked.
 252    */
 253   virtual void connect(ConnectCallback* callback,
 254                const folly::SocketAddress& address,
 255                int timeout = 0,
 256                const OptionMap &options = emptyOptionMap,
 257                const folly::SocketAddress& bindAddr = anyAddress
 258                ) noexcept;
 259   void connect(ConnectCallback* callback, const std::string& ip, uint16_t port,
 260                int timeout = 00,
 261                const OptionMap &options = emptyOptionMap) noexcept;
 262
 263   /**
 264    * If a connect request is in-flight, cancels it and closes the socket
 265    * immediately. Otherwise, this is a no-op.
 266    *
 267    * This does not invoke any connection related callbacks. Call this to
 268    * prevent any connect callback while cleaning up, etc.
 269    */
 270   void cancelConnect();
 271
 272   /**
 273    * Set the send timeout.
 274    *
 275    * If write requests do not make any progress for more than the specified
 276    * number of milliseconds, fail all pending writes and close the socket.
 277    *
 278    * If write requests are currently pending when setSendTimeout() is called,
 279    * the timeout interval is immediately restarted using the new value.
 280    *
 281    * (See the comments for AsyncSocket for an explanation of why AsyncSocket
 282    * provides setSendTimeout() but not setRecvTimeout().)
 283    *
 284    * @param milliseconds  The timeout duration, in milliseconds.  If 0, no
 285    *                      timeout will be used.
 286    */
 287   void setSendTimeout(uint32_t milliseconds) override;
 288
 289   /**
 290    * Get the send timeout.
 291    *
 292    * @return Returns the current send timeout, in milliseconds.  A return value
 293    *         of 0 indicates that no timeout is set.
 294    */
 295   uint32_t getSendTimeout() const override {
 296     return sendTimeout_;
 297   }
 298
 299   /**
 300    * Set the maximum number of reads to execute from the underlying
 301    * socket each time the EventBase detects that new ingress data is
 302    * available. The default is unlimited, but callers can use this method
 303    * to limit the amount of data read from the socket per event loop
 304    * iteration.
 305    *
 306    * @param maxReads  Maximum number of reads per data-available event;
 307    *                  a value of zero means unlimited.
 308    */
 309   void setMaxReadsPerEvent(uint16_t maxReads) {
 310     maxReadsPerEvent_ = maxReads;
 311   }
 312
 313   /**
 314    * Get the maximum number of reads this object will execute from
 315    * the underlying socket each time the EventBase detects that new
 316    * ingress data is available.
 317    *
 318    * @returns Maximum number of reads per data-available event; a value
 319    *          of zero means unlimited.
 320    */
 321   uint16_t getMaxReadsPerEvent() const {
 322     return maxReadsPerEvent_;
 323   }
 324
 325   // Read and write methods
 326   void setReadCB(ReadCallback* callback) override;
 327   ReadCallback* getReadCallback() const override;
 328
 329   void write(WriteCallback* callback, const void* buf, size_t bytes,
 330              WriteFlags flags = WriteFlags::NONE) override;
 331   void writev(WriteCallback* callback, const iovec* vec, size_t count,
 332               WriteFlags flags = WriteFlags::NONE) override;
 333   void writeChain(WriteCallback* callback,
 334                   std::unique_ptr<folly::IOBuf>&& buf,
 335                   WriteFlags flags = WriteFlags::NONE) override;
 336
 337   // Methods inherited from AsyncTransport
 338   void close() override;
 339   void closeNow() override;
 340   void closeWithReset() override;
 341   void shutdownWrite() override;
 342   void shutdownWriteNow() override;
 343
 344   bool readable() const override;
 345   bool isPending() const override;
 346   virtual bool hangup() const;
 347   bool good() const override;
 348   bool error() const override;
 349   void attachEventBase(EventBase* eventBase) override;
 350   void detachEventBase() override;
 351   bool isDetachable() const override;
 352
 353   void getLocalAddress(
 354     folly::SocketAddress* address) const override;
 355   void getPeerAddress(
 356     folly::SocketAddress* address) const override;
 357
 358   bool isEorTrackingEnabled() const override { return false; }
 359
 360   void setEorTracking(bool track) override {}
 361
 362   bool connecting() const override {
 363     return (state_ == StateEnum::CONNECTING);
 364   }
 365
 366   size_t getAppBytesWritten() const override {
 367     return appBytesWritten_;
 368   }
 369
 370   size_t getRawBytesWritten() const override {
 371     return getAppBytesWritten();
 372   }
 373
 374   size_t getAppBytesReceived() const override {
 375     return appBytesReceived_;
 376   }
 377
 378   size_t getRawBytesReceived() const override {
 379     return getAppBytesReceived();
 380   }
 381
 382   // Methods controlling socket options
 383
 384   /**
 385    * Force writes to be transmitted immediately.
 386    *
 387    * This controls the TCP_NODELAY socket option.  When enabled, TCP segments
 388    * are sent as soon as possible, even if it is not a full frame of data.
 389    * When disabled, the data may be buffered briefly to try and wait for a full
 390    * frame of data.
 391    *
 392    * By default, TCP_NODELAY is enabled for AsyncSocket objects.
 393    *
 394    * This method will fail if the socket is not currently open.
 395    *
 396    * @return Returns 0 if the TCP_NODELAY flag was successfully updated,
 397    *         or a non-zero errno value on error.
 398    */
 399   int setNoDelay(bool noDelay);
 400
 401
 402   /**
 403    * Set the FD_CLOEXEC flag so that the socket will be closed if the program
 404    * later forks and execs.
 405    */
 406   void setCloseOnExec();
 407
 408   /*
 409    * Set the Flavor of Congestion Control to be used for this Socket
 410    * Please check '/lib/modules/<kernel>/kernel/net/ipv4' for tcp_*.ko
 411    * first to make sure the module is available for plugging in
 412    * Alternatively you can choose from net.ipv4.tcp_allowed_congestion_control
 413    */
 414   int setCongestionFlavor(const std::string &cname);
 415
 416   /*
 417    * Forces ACKs to be sent immediately
 418    *
 419    * @return Returns 0 if the TCP_QUICKACK flag was successfully updated,
 420    *         or a non-zero errno value on error.
 421    */
 422   int setQuickAck(bool quickack);
 423
 424   /**
 425    * Set the send bufsize
 426    */
 427   int setSendBufSize(size_t bufsize);
 428
 429   /**
 430    * Set the recv bufsize
 431    */
 432   int setRecvBufSize(size_t bufsize);
 433
 434   /**
 435    * Sets a specific tcp personality
 436    * Available only on kernels 3.2 and greater
 437    */
 438   #define SO_SET_NAMESPACE        41
 439   int setTCPProfile(int profd);
 440
 441
 442   /**
 443    * Generic API for reading a socket option.
 444    *
 445    * @param level     same as the "level" parameter in getsockopt().
 446    * @param optname   same as the "optname" parameter in getsockopt().
 447    * @param optval    pointer to the variable in which the option value should
 448    *                  be returned.
 449    * @param optlen    value-result argument, initially containing the size of
 450    *                  the buffer pointed to by optval, and modified on return
 451    *                  to indicate the actual size of the value returned.
 452    * @return          same as the return value of getsockopt().
 453    */
 454   template <typename T>
 455   int getSockOpt(int level, int optname, T* optval, socklen_t* optlen) {
 456     return getsockopt(fd_, level, optname, (void*) optval, optlen);
 457   }
 458
 459   /**
 460    * Generic API for setting a socket option.
 461    *
 462    * @param level     same as the "level" parameter in getsockopt().
 463    * @param optname   same as the "optname" parameter in getsockopt().
 464    * @param optval    the option value to set.
 465    * @return          same as the return value of setsockopt().
 466    */
 467   template <typename T>
 468   int setSockOpt(int  level,  int  optname,  const T *optval) {
 469     return setsockopt(fd_, level, optname, optval, sizeof(T));
 470   }
 471
 472   enum class StateEnum : uint8_t {
 473     UNINIT,
 474     CONNECTING,
 475     ESTABLISHED,
 476     CLOSED,
 477     ERROR
 478   };
 479
 480  protected:
 481   enum ReadResultEnum {
 482     READ_EOF = 0,
 483     READ_ERROR = -1,
 484     READ_BLOCKING = -2,
 485   };
 486
 487   /**
 488    * Protected destructor.
 489    *
 490    * Users of AsyncSocket must never delete it directly.  Instead, invoke
 491    * destroy() instead.  (See the documentation in DelayedDestruction.h for
 492    * more details.)
 493    */
 494   ~AsyncSocket();
 495
 496   friend std::ostream& operator << (std::ostream& os, const StateEnum& state);
 497
 498   enum ShutdownFlags {
 499     /// shutdownWrite() called, but we are still waiting on writes to drain
 500     SHUT_WRITE_PENDING = 0x01,
 501     /// writes have been completely shut down
 502     SHUT_WRITE = 0x02,
 503     /**
 504      * Reads have been shutdown.
 505      *
 506      * At the moment we don't distinguish between remote read shutdown
 507      * (received EOF from the remote end) and local read shutdown.  We can
 508      * only receive EOF when a read callback is set, and we immediately inform
 509      * it of the EOF.  Therefore there doesn't seem to be any reason to have a
 510      * separate state of "received EOF but the local side may still want to
 511      * read".
 512      *
 513      * We also don't currently provide any API for only shutting down the read
 514      * side of a socket.  (This is a no-op as far as TCP is concerned, anyway.)
 515      */
 516     SHUT_READ = 0x04,
 517   };
 518
 519   class WriteRequest;
 520
 521   class WriteTimeout : public AsyncTimeout {
 522    public:
 523     WriteTimeout(AsyncSocket* socket, EventBase* eventBase)
 524       : AsyncTimeout(eventBase)
 525       , socket_(socket) {}
 526
 527     virtual void timeoutExpired() noexcept {
 528       socket_->timeoutExpired();
 529     }
 530
 531    private:
 532     AsyncSocket* socket_;
 533   };
 534
 535   class IoHandler : public EventHandler {
 536    public:
 537     IoHandler(AsyncSocket* socket, EventBase* eventBase)
 538       : EventHandler(eventBase, -1)
 539       , socket_(socket) {}
 540     IoHandler(AsyncSocket* socket, EventBase* eventBase, int fd)
 541       : EventHandler(eventBase, fd)
 542       , socket_(socket) {}
 543
 544     virtual void handlerReady(uint16_t events) noexcept {
 545       socket_->ioReady(events);
 546     }
 547
 548    private:
 549     AsyncSocket* socket_;
 550   };
 551
 552   void init();
 553
 554   // event notification methods
 555   void ioReady(uint16_t events) noexcept;
 556   virtual void checkForImmediateRead() noexcept;
 557   virtual void handleInitialReadWrite() noexcept;
 558   virtual void handleRead() noexcept;
 559   virtual void handleWrite() noexcept;
 560   virtual void handleConnect() noexcept;
 561   void timeoutExpired() noexcept;
 562
 563   /**
 564    * Attempt to read from the socket.
 565    *
 566    * @param buf      The buffer to read data into.
 567    * @param buflen   The length of the buffer.
 568    *
 569    * @return Returns the number of bytes read, or READ_EOF on EOF, or
 570    * READ_ERROR on error, or READ_BLOCKING if the operation will
 571    * block.
 572    */
 573   virtual ssize_t performRead(void* buf, size_t buflen);
 574
 575   /**
 576    * Populate an iovec array from an IOBuf and attempt to write it.
 577    *
 578    * @param callback Write completion/error callback.
 579    * @param vec      Target iovec array; caller retains ownership.
 580    * @param count    Number of IOBufs to write, beginning at start of buf.
 581    * @param buf      Chain of iovecs.
 582    * @param flags    set of flags for the underlying write calls, like cork
 583    */
 584   void writeChainImpl(WriteCallback* callback, iovec* vec,
 585                       size_t count, std::unique_ptr<folly::IOBuf>&& buf,
 586                       WriteFlags flags);
 587
 588   /**
 589    * Write as much data as possible to the socket without blocking,
 590    * and queue up any leftover data to send when the socket can
 591    * handle writes again.
 592    *
 593    * @param callback The callback to invoke when the write is completed.
 594    * @param vec      Array of buffers to write; this method will make a
 595    *                 copy of the vector (but not the buffers themselves)
 596    *                 if the write has to be completed asynchronously.
 597    * @param count    Number of elements in vec.
 598    * @param buf      The IOBuf that manages the buffers referenced by
 599    *                 vec, or a pointer to nullptr if the buffers are not
 600    *                 associated with an IOBuf.  Note that ownership of
 601    *                 the IOBuf is transferred here; upon completion of
 602    *                 the write, the AsyncSocket deletes the IOBuf.
 603    * @param flags    Set of write flags.
 604    */
 605   void writeImpl(WriteCallback* callback, const iovec* vec, size_t count,
 606                  std::unique_ptr<folly::IOBuf>&& buf,
 607                  WriteFlags flags = WriteFlags::NONE);
 608
 609   /**
 610    * Attempt to write to the socket.
 611    *
 612    * @param vec             The iovec array pointing to the buffers to write.
 613    * @param count           The length of the iovec array.
 614    * @param flags           Set of write flags.
 615    * @param countWritten    On return, the value pointed to by this parameter
 616    *                          will contain the number of iovec entries that were
 617    *                          fully written.
 618    * @param partialWritten  On return, the value pointed to by this parameter
 619    *                          will contain the number of bytes written in the
 620    *                          partially written iovec entry.
 621    *
 622    * @return Returns the total number of bytes written, or -1 on error.  If no
 623    *     data can be written immediately, 0 is returned.
 624    */
 625   virtual ssize_t performWrite(const iovec* vec, uint32_t count,
 626                                WriteFlags flags, uint32_t* countWritten,
 627                                uint32_t* partialWritten);
 628
 629   bool updateEventRegistration();
 630
 631   /**
 632    * Update event registration.
 633    *
 634    * @param enable Flags of events to enable. Set it to 0 if no events
 635    * need to be enabled in this call.
 636    * @param disable Flags of events
 637    * to disable. Set it to 0 if no events need to be disabled in this
 638    * call.
 639    *
 640    * @return true iff the update is successful.
 641    */
 642   bool updateEventRegistration(uint16_t enable, uint16_t disable);
 643
 644   // Actually close the file descriptor and set it to -1 so we don't
 645   // accidentally close it again.
 646   void doClose();
 647
 648   // error handling methods
 649   void startFail();
 650   void finishFail();
 651   void fail(const char* fn, const AsyncSocketException& ex);
 652   void failConnect(const char* fn, const AsyncSocketException& ex);
 653   void failRead(const char* fn, const AsyncSocketException& ex);
 654   void failWrite(const char* fn, WriteCallback* callback, size_t bytesWritten,
 655                  const AsyncSocketException& ex);
 656   void failWrite(const char* fn, const AsyncSocketException& ex);
 657   void failAllWrites(const AsyncSocketException& ex);
 658   void invalidState(ConnectCallback* callback);
 659   void invalidState(ReadCallback* callback);
 660   void invalidState(WriteCallback* callback);
 661
 662   std::string withAddr(const std::string& s);
 663
 664   StateEnum state_;                     ///< StateEnum describing current state
 665   uint8_t shutdownFlags_;               ///< Shutdown state (ShutdownFlags)
 666   uint16_t eventFlags_;                 ///< EventBase::HandlerFlags settings
 667   int fd_;                              ///< The socket file descriptor
 668   mutable
 669     folly::SocketAddress addr_;    ///< The address we tried to connect to
 670   uint32_t sendTimeout_;                ///< The send timeout, in milliseconds
 671   uint16_t maxReadsPerEvent_;           ///< Max reads per event loop iteration
 672   EventBase* eventBase_;               ///< The EventBase
 673   WriteTimeout writeTimeout_;           ///< A timeout for connect and write
 674   IoHandler ioHandler_;                 ///< A EventHandler to monitor the fd
 675
 676   ConnectCallback* connectCallback_;    ///< ConnectCallback
 677   ReadCallback* readCallback_;          ///< ReadCallback
 678   WriteRequest* writeReqHead_;          ///< Chain of WriteRequests
 679   WriteRequest* writeReqTail_;          ///< End of WriteRequest chain
 680   ShutdownSocketSet* shutdownSocketSet_;
 681   size_t appBytesReceived_;             ///< Num of bytes received from socket
 682   size_t appBytesWritten_;              ///< Num of bytes written to socket
 683 };
 684
 685
 686 } // folly