Fix asan test crashes
[folly.git] / folly / io / async / AsyncSocket.h
1 /*
2  * Copyright 2015 Facebook, Inc.
3  *
4  * Licensed under the Apache License, Version 2.0 (the "License");
5  * you may not use this file except in compliance with the License.
6  * You may obtain a copy of the License at
7  *
8  *   http://www.apache.org/licenses/LICENSE-2.0
9  *
10  * Unless required by applicable law or agreed to in writing, software
11  * distributed under the License is distributed on an "AS IS" BASIS,
12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13  * See the License for the specific language governing permissions and
14  * limitations under the License.
15  */
16
17 #pragma once
18
19 #include <sys/types.h>
20 #include <sys/socket.h>
21 #include <glog/logging.h>
22 #include <folly/SocketAddress.h>
23 #include <folly/io/ShutdownSocketSet.h>
24 #include <folly/io/IOBuf.h>
25 #include <folly/io/async/AsyncTimeout.h>
26 #include <folly/io/async/AsyncSocketException.h>
27 #include <folly/io/async/AsyncTransport.h>
28 #include <folly/io/async/EventHandler.h>
29 #include <folly/io/async/DelayedDestruction.h>
30
31 #include <memory>
32 #include <map>
33
34 namespace folly {
35
36 /**
37  * A class for performing asynchronous I/O on a socket.
38  *
39  * AsyncSocket allows users to asynchronously wait for data on a socket, and
40  * to asynchronously send data.
41  *
42  * The APIs for reading and writing are intentionally asymmetric.  Waiting for
43  * data to read is a persistent API: a callback is installed, and is notified
44  * whenever new data is available.  It continues to be notified of new events
45  * until it is uninstalled.
46  *
47  * AsyncSocket does not provide read timeout functionality, because it
48  * typically cannot determine when the timeout should be active.  Generally, a
49  * timeout should only be enabled when processing is blocked waiting on data
50  * from the remote endpoint.  For server sockets, the timeout should not be
51  * active if the server is currently processing one or more outstanding
52  * requests for this socket.  For client sockets, the timeout should not be
53  * active if there are no requests pending on the socket.  Additionally, if a
54  * client has multiple pending requests, it will ususally want a separate
55  * timeout for each request, rather than a single read timeout.
56  *
57  * The write API is fairly intuitive: a user can request to send a block of
58  * data, and a callback will be informed once the entire block has been
59  * transferred to the kernel, or on error.  AsyncSocket does provide a send
60  * timeout, since most callers want to give up if the remote end stops
61  * responding and no further progress can be made sending the data.
62  */
63
64 class AsyncSocket : virtual public AsyncTransportWrapper {
65  public:
66   typedef std::unique_ptr<AsyncSocket, Destructor> UniquePtr;
67
68   class ConnectCallback {
69    public:
70     virtual ~ConnectCallback() {}
71
72     /**
73      * connectSuccess() will be invoked when the connection has been
74      * successfully established.
75      */
76     virtual void connectSuccess() noexcept = 0;
77
78     /**
79      * connectErr() will be invoked if the connection attempt fails.
80      *
81      * @param ex        An exception describing the error that occurred.
82      */
83     virtual void connectErr(const AsyncSocketException& ex)
84       noexcept = 0;
85   };
86
87   explicit AsyncSocket();
88   /**
89    * Create a new unconnected AsyncSocket.
90    *
91    * connect() must later be called on this socket to establish a connection.
92    */
93   explicit AsyncSocket(EventBase* evb);
94
95   void setShutdownSocketSet(ShutdownSocketSet* ss);
96
97   /**
98    * Create a new AsyncSocket and begin the connection process.
99    *
100    * @param evb             EventBase that will manage this socket.
101    * @param address         The address to connect to.
102    * @param connectTimeout  Optional timeout in milliseconds for the connection
103    *                        attempt.
104    */
105   AsyncSocket(EventBase* evb,
106                const folly::SocketAddress& address,
107                uint32_t connectTimeout = 0);
108
109   /**
110    * Create a new AsyncSocket and begin the connection process.
111    *
112    * @param evb             EventBase that will manage this socket.
113    * @param ip              IP address to connect to (dotted-quad).
114    * @param port            Destination port in host byte order.
115    * @param connectTimeout  Optional timeout in milliseconds for the connection
116    *                        attempt.
117    */
118   AsyncSocket(EventBase* evb,
119                const std::string& ip,
120                uint16_t port,
121                uint32_t connectTimeout = 0);
122
123   /**
124    * Create a AsyncSocket from an already connected socket file descriptor.
125    *
126    * Note that while AsyncSocket enables TCP_NODELAY for sockets it creates
127    * when connecting, it does not change the socket options when given an
128    * existing file descriptor.  If callers want TCP_NODELAY enabled when using
129    * this version of the constructor, they need to explicitly call
130    * setNoDelay(true) after the constructor returns.
131    *
132    * @param evb EventBase that will manage this socket.
133    * @param fd  File descriptor to take over (should be a connected socket).
134    */
135   AsyncSocket(EventBase* evb, int fd);
136
137   /**
138    * Helper function to create a shared_ptr<AsyncSocket>.
139    *
140    * This passes in the correct destructor object, since AsyncSocket's
141    * destructor is protected and cannot be invoked directly.
142    */
143   static std::shared_ptr<AsyncSocket> newSocket(EventBase* evb) {
144     return std::shared_ptr<AsyncSocket>(new AsyncSocket(evb),
145                                            Destructor());
146   }
147
148   /**
149    * Helper function to create a shared_ptr<AsyncSocket>.
150    */
151   static std::shared_ptr<AsyncSocket> newSocket(
152       EventBase* evb,
153       const folly::SocketAddress& address,
154       uint32_t connectTimeout = 0) {
155     return std::shared_ptr<AsyncSocket>(
156         new AsyncSocket(evb, address, connectTimeout),
157         Destructor());
158   }
159
160   /**
161    * Helper function to create a shared_ptr<AsyncSocket>.
162    */
163   static std::shared_ptr<AsyncSocket> newSocket(
164       EventBase* evb,
165       const std::string& ip,
166       uint16_t port,
167       uint32_t connectTimeout = 0) {
168     return std::shared_ptr<AsyncSocket>(
169         new AsyncSocket(evb, ip, port, connectTimeout),
170         Destructor());
171   }
172
173   /**
174    * Helper function to create a shared_ptr<AsyncSocket>.
175    */
176   static std::shared_ptr<AsyncSocket> newSocket(EventBase* evb, int fd) {
177     return std::shared_ptr<AsyncSocket>(new AsyncSocket(evb, fd),
178                                            Destructor());
179   }
180
181   /**
182    * Destroy the socket.
183    *
184    * AsyncSocket::destroy() must be called to destroy the socket.
185    * The normal destructor is private, and should not be invoked directly.
186    * This prevents callers from deleting a AsyncSocket while it is invoking a
187    * callback.
188    */
189   virtual void destroy() override;
190
191   /**
192    * Get the EventBase used by this socket.
193    */
194   EventBase* getEventBase() const override {
195     return eventBase_;
196   }
197
198   /**
199    * Get the file descriptor used by the AsyncSocket.
200    */
201   virtual int getFd() const {
202     return fd_;
203   }
204
205   /**
206    * Extract the file descriptor from the AsyncSocket.
207    *
208    * This will immediately cause any installed callbacks to be invoked with an
209    * error.  The AsyncSocket may no longer be used after the file descriptor
210    * has been extracted.
211    *
212    * Returns the file descriptor.  The caller assumes ownership of the
213    * descriptor, and it will not be closed when the AsyncSocket is destroyed.
214    */
215   virtual int detachFd();
216
217   /**
218    * Uniquely identifies a handle to a socket option value. Each
219    * combination of level and option name corresponds to one socket
220    * option value.
221    */
222   class OptionKey {
223    public:
224     bool operator<(const OptionKey& other) const {
225       if (level == other.level) {
226         return optname < other.optname;
227       }
228       return level < other.level;
229     }
230     int apply(int fd, int val) const {
231       return setsockopt(fd, level, optname, &val, sizeof(val));
232     }
233     int level;
234     int optname;
235   };
236
237   // Maps from a socket option key to its value
238   typedef std::map<OptionKey, int> OptionMap;
239
240   static const OptionMap emptyOptionMap;
241   static const folly::SocketAddress& anyAddress();
242
243   /**
244    * Initiate a connection.
245    *
246    * @param callback  The callback to inform when the connection attempt
247    *                  completes.
248    * @param address   The address to connect to.
249    * @param timeout   A timeout value, in milliseconds.  If the connection
250    *                  does not succeed within this period,
251    *                  callback->connectError() will be invoked.
252    */
253   virtual void connect(ConnectCallback* callback,
254                const folly::SocketAddress& address,
255                int timeout = 0,
256                const OptionMap &options = emptyOptionMap,
257                const folly::SocketAddress& bindAddr = anyAddress()
258                ) noexcept;
259   void connect(ConnectCallback* callback, const std::string& ip, uint16_t port,
260                int timeout = 00,
261                const OptionMap &options = emptyOptionMap) noexcept;
262
263   /**
264    * If a connect request is in-flight, cancels it and closes the socket
265    * immediately. Otherwise, this is a no-op.
266    *
267    * This does not invoke any connection related callbacks. Call this to
268    * prevent any connect callback while cleaning up, etc.
269    */
270   void cancelConnect();
271
272   /**
273    * Set the send timeout.
274    *
275    * If write requests do not make any progress for more than the specified
276    * number of milliseconds, fail all pending writes and close the socket.
277    *
278    * If write requests are currently pending when setSendTimeout() is called,
279    * the timeout interval is immediately restarted using the new value.
280    *
281    * (See the comments for AsyncSocket for an explanation of why AsyncSocket
282    * provides setSendTimeout() but not setRecvTimeout().)
283    *
284    * @param milliseconds  The timeout duration, in milliseconds.  If 0, no
285    *                      timeout will be used.
286    */
287   void setSendTimeout(uint32_t milliseconds) override;
288
289   /**
290    * Get the send timeout.
291    *
292    * @return Returns the current send timeout, in milliseconds.  A return value
293    *         of 0 indicates that no timeout is set.
294    */
295   uint32_t getSendTimeout() const override {
296     return sendTimeout_;
297   }
298
299   /**
300    * Set the maximum number of reads to execute from the underlying
301    * socket each time the EventBase detects that new ingress data is
302    * available. The default is unlimited, but callers can use this method
303    * to limit the amount of data read from the socket per event loop
304    * iteration.
305    *
306    * @param maxReads  Maximum number of reads per data-available event;
307    *                  a value of zero means unlimited.
308    */
309   void setMaxReadsPerEvent(uint16_t maxReads) {
310     maxReadsPerEvent_ = maxReads;
311   }
312
313   /**
314    * Get the maximum number of reads this object will execute from
315    * the underlying socket each time the EventBase detects that new
316    * ingress data is available.
317    *
318    * @returns Maximum number of reads per data-available event; a value
319    *          of zero means unlimited.
320    */
321   uint16_t getMaxReadsPerEvent() const {
322     return maxReadsPerEvent_;
323   }
324
325   // Read and write methods
326   void setReadCB(ReadCallback* callback) override;
327   ReadCallback* getReadCallback() const override;
328
329   void write(WriteCallback* callback, const void* buf, size_t bytes,
330              WriteFlags flags = WriteFlags::NONE) override;
331   void writev(WriteCallback* callback, const iovec* vec, size_t count,
332               WriteFlags flags = WriteFlags::NONE) override;
333   void writeChain(WriteCallback* callback,
334                   std::unique_ptr<folly::IOBuf>&& buf,
335                   WriteFlags flags = WriteFlags::NONE) override;
336
337   // Methods inherited from AsyncTransport
338   void close() override;
339   void closeNow() override;
340   void closeWithReset() override;
341   void shutdownWrite() override;
342   void shutdownWriteNow() override;
343
344   bool readable() const override;
345   bool isPending() const override;
346   virtual bool hangup() const;
347   bool good() const override;
348   bool error() const override;
349   void attachEventBase(EventBase* eventBase) override;
350   void detachEventBase() override;
351   bool isDetachable() const override;
352
353   void getLocalAddress(
354     folly::SocketAddress* address) const override;
355   void getPeerAddress(
356     folly::SocketAddress* address) const override;
357
358   bool isEorTrackingEnabled() const override { return false; }
359
360   void setEorTracking(bool track) override {}
361
362   bool connecting() const override {
363     return (state_ == StateEnum::CONNECTING);
364   }
365
366   size_t getAppBytesWritten() const override {
367     return appBytesWritten_;
368   }
369
370   size_t getRawBytesWritten() const override {
371     return getAppBytesWritten();
372   }
373
374   size_t getAppBytesReceived() const override {
375     return appBytesReceived_;
376   }
377
378   size_t getRawBytesReceived() const override {
379     return getAppBytesReceived();
380   }
381
382   // Methods controlling socket options
383
384   /**
385    * Force writes to be transmitted immediately.
386    *
387    * This controls the TCP_NODELAY socket option.  When enabled, TCP segments
388    * are sent as soon as possible, even if it is not a full frame of data.
389    * When disabled, the data may be buffered briefly to try and wait for a full
390    * frame of data.
391    *
392    * By default, TCP_NODELAY is enabled for AsyncSocket objects.
393    *
394    * This method will fail if the socket is not currently open.
395    *
396    * @return Returns 0 if the TCP_NODELAY flag was successfully updated,
397    *         or a non-zero errno value on error.
398    */
399   int setNoDelay(bool noDelay);
400
401
402   /**
403    * Set the FD_CLOEXEC flag so that the socket will be closed if the program
404    * later forks and execs.
405    */
406   void setCloseOnExec();
407
408   /*
409    * Set the Flavor of Congestion Control to be used for this Socket
410    * Please check '/lib/modules/<kernel>/kernel/net/ipv4' for tcp_*.ko
411    * first to make sure the module is available for plugging in
412    * Alternatively you can choose from net.ipv4.tcp_allowed_congestion_control
413    */
414   int setCongestionFlavor(const std::string &cname);
415
416   /*
417    * Forces ACKs to be sent immediately
418    *
419    * @return Returns 0 if the TCP_QUICKACK flag was successfully updated,
420    *         or a non-zero errno value on error.
421    */
422   int setQuickAck(bool quickack);
423
424   /**
425    * Set the send bufsize
426    */
427   int setSendBufSize(size_t bufsize);
428
429   /**
430    * Set the recv bufsize
431    */
432   int setRecvBufSize(size_t bufsize);
433
434   /**
435    * Sets a specific tcp personality
436    * Available only on kernels 3.2 and greater
437    */
438   #define SO_SET_NAMESPACE        41
439   int setTCPProfile(int profd);
440
441
442   /**
443    * Generic API for reading a socket option.
444    *
445    * @param level     same as the "level" parameter in getsockopt().
446    * @param optname   same as the "optname" parameter in getsockopt().
447    * @param optval    pointer to the variable in which the option value should
448    *                  be returned.
449    * @param optlen    value-result argument, initially containing the size of
450    *                  the buffer pointed to by optval, and modified on return
451    *                  to indicate the actual size of the value returned.
452    * @return          same as the return value of getsockopt().
453    */
454   template <typename T>
455   int getSockOpt(int level, int optname, T* optval, socklen_t* optlen) {
456     return getsockopt(fd_, level, optname, (void*) optval, optlen);
457   }
458
459   /**
460    * Generic API for setting a socket option.
461    *
462    * @param level     same as the "level" parameter in getsockopt().
463    * @param optname   same as the "optname" parameter in getsockopt().
464    * @param optval    the option value to set.
465    * @return          same as the return value of setsockopt().
466    */
467   template <typename T>
468   int setSockOpt(int  level,  int  optname,  const T *optval) {
469     return setsockopt(fd_, level, optname, optval, sizeof(T));
470   }
471
472   enum class StateEnum : uint8_t {
473     UNINIT,
474     CONNECTING,
475     ESTABLISHED,
476     CLOSED,
477     ERROR
478   };
479
480  protected:
481   enum ReadResultEnum {
482     READ_EOF = 0,
483     READ_ERROR = -1,
484     READ_BLOCKING = -2,
485   };
486
487   /**
488    * Protected destructor.
489    *
490    * Users of AsyncSocket must never delete it directly.  Instead, invoke
491    * destroy() instead.  (See the documentation in DelayedDestruction.h for
492    * more details.)
493    */
494   ~AsyncSocket();
495
496   friend std::ostream& operator << (std::ostream& os, const StateEnum& state);
497
498   enum ShutdownFlags {
499     /// shutdownWrite() called, but we are still waiting on writes to drain
500     SHUT_WRITE_PENDING = 0x01,
501     /// writes have been completely shut down
502     SHUT_WRITE = 0x02,
503     /**
504      * Reads have been shutdown.
505      *
506      * At the moment we don't distinguish between remote read shutdown
507      * (received EOF from the remote end) and local read shutdown.  We can
508      * only receive EOF when a read callback is set, and we immediately inform
509      * it of the EOF.  Therefore there doesn't seem to be any reason to have a
510      * separate state of "received EOF but the local side may still want to
511      * read".
512      *
513      * We also don't currently provide any API for only shutting down the read
514      * side of a socket.  (This is a no-op as far as TCP is concerned, anyway.)
515      */
516     SHUT_READ = 0x04,
517   };
518
519   class WriteRequest;
520   class BytesWriteRequest;
521
522   class WriteTimeout : public AsyncTimeout {
523    public:
524     WriteTimeout(AsyncSocket* socket, EventBase* eventBase)
525       : AsyncTimeout(eventBase)
526       , socket_(socket) {}
527
528     virtual void timeoutExpired() noexcept {
529       socket_->timeoutExpired();
530     }
531
532    private:
533     AsyncSocket* socket_;
534   };
535
536   class IoHandler : public EventHandler {
537    public:
538     IoHandler(AsyncSocket* socket, EventBase* eventBase)
539       : EventHandler(eventBase, -1)
540       , socket_(socket) {}
541     IoHandler(AsyncSocket* socket, EventBase* eventBase, int fd)
542       : EventHandler(eventBase, fd)
543       , socket_(socket) {}
544
545     virtual void handlerReady(uint16_t events) noexcept {
546       socket_->ioReady(events);
547     }
548
549    private:
550     AsyncSocket* socket_;
551   };
552
553   void init();
554
555   class ImmediateReadCB : public folly::EventBase::LoopCallback {
556    public:
557     explicit ImmediateReadCB(AsyncSocket* socket) : socket_(socket) {}
558     void runLoopCallback() noexcept override {
559       DestructorGuard dg(socket_);
560       socket_->checkForImmediateRead();
561     }
562    private:
563     AsyncSocket* socket_;
564   };
565
566   /**
567    * Schedule checkForImmediateRead to be executed in the next loop
568    * iteration.
569    */
570   void scheduleImmediateRead() noexcept {
571     if (good()) {
572       eventBase_->runInLoop(&immediateReadHandler_);
573     }
574   }
575
576   // event notification methods
577   void ioReady(uint16_t events) noexcept;
578   virtual void checkForImmediateRead() noexcept;
579   virtual void handleInitialReadWrite() noexcept;
580   virtual void handleRead() noexcept;
581   virtual void handleWrite() noexcept;
582   virtual void handleConnect() noexcept;
583   void timeoutExpired() noexcept;
584
585   /**
586    * Attempt to read from the socket.
587    *
588    * @param buf      The buffer to read data into.
589    * @param buflen   The length of the buffer.
590    *
591    * @return Returns the number of bytes read, or READ_EOF on EOF, or
592    * READ_ERROR on error, or READ_BLOCKING if the operation will
593    * block.
594    */
595   virtual ssize_t performRead(void* buf, size_t buflen);
596
597   /**
598    * Populate an iovec array from an IOBuf and attempt to write it.
599    *
600    * @param callback Write completion/error callback.
601    * @param vec      Target iovec array; caller retains ownership.
602    * @param count    Number of IOBufs to write, beginning at start of buf.
603    * @param buf      Chain of iovecs.
604    * @param flags    set of flags for the underlying write calls, like cork
605    */
606   void writeChainImpl(WriteCallback* callback, iovec* vec,
607                       size_t count, std::unique_ptr<folly::IOBuf>&& buf,
608                       WriteFlags flags);
609
610   /**
611    * Write as much data as possible to the socket without blocking,
612    * and queue up any leftover data to send when the socket can
613    * handle writes again.
614    *
615    * @param callback The callback to invoke when the write is completed.
616    * @param vec      Array of buffers to write; this method will make a
617    *                 copy of the vector (but not the buffers themselves)
618    *                 if the write has to be completed asynchronously.
619    * @param count    Number of elements in vec.
620    * @param buf      The IOBuf that manages the buffers referenced by
621    *                 vec, or a pointer to nullptr if the buffers are not
622    *                 associated with an IOBuf.  Note that ownership of
623    *                 the IOBuf is transferred here; upon completion of
624    *                 the write, the AsyncSocket deletes the IOBuf.
625    * @param flags    Set of write flags.
626    */
627   void writeImpl(WriteCallback* callback, const iovec* vec, size_t count,
628                  std::unique_ptr<folly::IOBuf>&& buf,
629                  WriteFlags flags = WriteFlags::NONE);
630
631   /**
632    * Attempt to write to the socket.
633    *
634    * @param vec             The iovec array pointing to the buffers to write.
635    * @param count           The length of the iovec array.
636    * @param flags           Set of write flags.
637    * @param countWritten    On return, the value pointed to by this parameter
638    *                          will contain the number of iovec entries that were
639    *                          fully written.
640    * @param partialWritten  On return, the value pointed to by this parameter
641    *                          will contain the number of bytes written in the
642    *                          partially written iovec entry.
643    *
644    * @return Returns the total number of bytes written, or -1 on error.  If no
645    *     data can be written immediately, 0 is returned.
646    */
647   virtual ssize_t performWrite(const iovec* vec, uint32_t count,
648                                WriteFlags flags, uint32_t* countWritten,
649                                uint32_t* partialWritten);
650
651   bool updateEventRegistration();
652
653   /**
654    * Update event registration.
655    *
656    * @param enable Flags of events to enable. Set it to 0 if no events
657    * need to be enabled in this call.
658    * @param disable Flags of events
659    * to disable. Set it to 0 if no events need to be disabled in this
660    * call.
661    *
662    * @return true iff the update is successful.
663    */
664   bool updateEventRegistration(uint16_t enable, uint16_t disable);
665
666   // Actually close the file descriptor and set it to -1 so we don't
667   // accidentally close it again.
668   void doClose();
669
670   // error handling methods
671   void startFail();
672   void finishFail();
673   void fail(const char* fn, const AsyncSocketException& ex);
674   void failConnect(const char* fn, const AsyncSocketException& ex);
675   void failRead(const char* fn, const AsyncSocketException& ex);
676   void failWrite(const char* fn, WriteCallback* callback, size_t bytesWritten,
677                  const AsyncSocketException& ex);
678   void failWrite(const char* fn, const AsyncSocketException& ex);
679   void failAllWrites(const AsyncSocketException& ex);
680   void invalidState(ConnectCallback* callback);
681   void invalidState(ReadCallback* callback);
682   void invalidState(WriteCallback* callback);
683
684   std::string withAddr(const std::string& s);
685
686   StateEnum state_;                     ///< StateEnum describing current state
687   uint8_t shutdownFlags_;               ///< Shutdown state (ShutdownFlags)
688   uint16_t eventFlags_;                 ///< EventBase::HandlerFlags settings
689   int fd_;                              ///< The socket file descriptor
690   mutable
691     folly::SocketAddress addr_;    ///< The address we tried to connect to
692   uint32_t sendTimeout_;                ///< The send timeout, in milliseconds
693   uint16_t maxReadsPerEvent_;           ///< Max reads per event loop iteration
694   EventBase* eventBase_;               ///< The EventBase
695   WriteTimeout writeTimeout_;           ///< A timeout for connect and write
696   IoHandler ioHandler_;                 ///< A EventHandler to monitor the fd
697   ImmediateReadCB immediateReadHandler_; ///< LoopCallback for checking read
698
699   ConnectCallback* connectCallback_;    ///< ConnectCallback
700   ReadCallback* readCallback_;          ///< ReadCallback
701   WriteRequest* writeReqHead_;          ///< Chain of WriteRequests
702   WriteRequest* writeReqTail_;          ///< End of WriteRequest chain
703   ShutdownSocketSet* shutdownSocketSet_;
704   size_t appBytesReceived_;             ///< Num of bytes received from socket
705   size_t appBytesWritten_;              ///< Num of bytes written to socket
706 };
707
708
709 } // folly