folly/io/IOBufQueue.h

   1 /*
   2  * Copyright 2013 Facebook, Inc.
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *   http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 #ifndef FOLLY_IO_IOBUF_QUEUE_H
  18 #define FOLLY_IO_IOBUF_QUEUE_H
  19
  20 #include "folly/io/IOBuf.h"
  21
  22 #include <stdexcept>
  23 #include <string>
  24
  25 namespace folly {
  26
  27 /**
  28  * An IOBufQueue encapsulates a chain of IOBufs and provides
  29  * convenience functions to append data to the back of the chain
  30  * and remove data from the front.
  31  *
  32  * You may also prepend data into the headroom of the first buffer in the
  33  * chain, if any.
  34  */
  35 class IOBufQueue {
  36  public:
  37   struct Options {
  38     Options() : cacheChainLength(false) { }
  39     bool cacheChainLength;
  40   };
  41
  42   /**
  43    * Commonly used Options, currently the only possible value other than
  44    * the default.
  45    */
  46   static Options cacheChainLength() {
  47     Options options;
  48     options.cacheChainLength = true;
  49     return options;
  50   }
  51
  52   explicit IOBufQueue(const Options& options = Options());
  53
  54   /**
  55    * Return a space to prepend bytes and the amount of headroom available.
  56    */
  57   std::pair<void*, uint32_t> headroom();
  58
  59   /**
  60    * Indicate that n bytes from the headroom have been used.
  61    */
  62   void markPrepended(uint32_t n);
  63
  64   /**
  65    * Prepend an existing range; throws std::overflow_error if not enough
  66    * room.
  67    */
  68   void prepend(const void* buf, uint32_t n);
  69
  70   /**
  71    * Add a buffer or buffer chain to the end of this queue. The
  72    * queue takes ownership of buf.
  73    */
  74   void append(std::unique_ptr<folly::IOBuf>&& buf);
  75
  76   /**
  77    * Add a queue to the end of this queue. The queue takes ownership of
  78    * all buffers from the other queue.
  79    */
  80   void append(IOBufQueue& other);
  81   void append(IOBufQueue&& other) {
  82     append(other);  // call lvalue reference overload, above
  83   }
  84
  85   /**
  86    * Copy len bytes, starting at buf, to the end of this queue.
  87    * The caller retains ownership of the source data.
  88    */
  89   void append(const void* buf, size_t len);
  90
  91   /**
  92    * Copy a string to the end of this queue.
  93    * The caller retains ownership of the source data.
  94    */
  95   void append(const std::string& buf) {
  96     append(buf.data(), buf.length());
  97   }
  98
  99   /**
 100    * Append a chain of IOBuf objects that point to consecutive regions
 101    * within buf.
 102    *
 103    * Just like IOBuf::wrapBuffer, this should only be used when the caller
 104    * knows ahead of time and can ensure that all IOBuf objects that will point
 105    * to this buffer will be destroyed before the buffer itself is destroyed;
 106    * all other caveats from wrapBuffer also apply.
 107    *
 108    * Every buffer except for the last will wrap exactly blockSize bytes.
 109    * Importantly, this method may be used to wrap buffers larger than 4GB.
 110    */
 111   void wrapBuffer(const void* buf, size_t len,
 112                   uint32_t blockSize=(1U << 31));  // default block size: 2GB
 113
 114   /**
 115    * Obtain a writable block of contiguous bytes at the end of this
 116    * queue, allocating more space if necessary.  The amount of space
 117    * reserved will be at least min.  If min contiguous space is not
 118    * available at the end of the queue, and IOBuf with size newAllocationSize
 119    * is appended to the chain and returned.  The actual available space
 120    * may be larger than newAllocationSize, but will be truncated to max,
 121    * if specified.
 122    *
 123    * If the caller subsequently writes anything into the returned space,
 124    * it must call the postallocate() method.
 125    *
 126    * @return The starting address of the block and the length in bytes.
 127    *
 128    * @note The point of the preallocate()/postallocate() mechanism is
 129    *       to support I/O APIs such as Thrift's TAsyncSocket::ReadCallback
 130    *       that request a buffer from the application and then, in a later
 131    *       callback, tell the application how much of the buffer they've
 132    *       filled with data.
 133    */
 134   std::pair<void*,uint32_t> preallocate(
 135     uint32_t min, uint32_t newAllocationSize,
 136     uint32_t max = std::numeric_limits<uint32_t>::max());
 137
 138   /**
 139    * Tell the queue that the caller has written data into the first n
 140    * bytes provided by the previous preallocate() call.
 141    *
 142    * @note n should be less than or equal to the size returned by
 143    *       preallocate().  If n is zero, the caller may skip the call
 144    *       to postallocate().  If n is nonzero, the caller must not
 145    *       invoke any other non-const methods on this IOBufQueue between
 146    *       the call to preallocate and the call to postallocate().
 147    */
 148   void postallocate(uint32_t n);
 149
 150   /**
 151    * Obtain a writable block of n contiguous bytes, allocating more space
 152    * if necessary, and mark it as used.  The caller can fill it later.
 153    */
 154   void* allocate(uint32_t n) {
 155     void* p = preallocate(n, n).first;
 156     postallocate(n);
 157     return p;
 158   }
 159
 160   /**
 161    * Split off the first n bytes of the queue into a separate IOBuf chain,
 162    * and transfer ownership of the new chain to the caller.  The IOBufQueue
 163    * retains ownership of everything after the split point.
 164    *
 165    * @warning If the split point lies in the middle of some IOBuf within
 166    *          the chain, this function may, as an implementation detail,
 167    *          clone that IOBuf.
 168    *
 169    * @throws std::underflow_error if n exceeds the number of bytes
 170    *         in the queue.
 171    */
 172   std::unique_ptr<folly::IOBuf> split(size_t n);
 173
 174   /**
 175    * Similar to IOBuf::trimStart, but works on the whole queue.  Will
 176    * pop off buffers that have been completely trimmed.
 177    */
 178   void trimStart(size_t amount);
 179
 180   /**
 181    * Similar to IOBuf::trimEnd, but works on the whole queue.  Will
 182    * pop off buffers that have been completely trimmed.
 183    */
 184   void trimEnd(size_t amount);
 185
 186   /**
 187    * Transfer ownership of the queue's entire IOBuf chain to the caller.
 188    */
 189   std::unique_ptr<folly::IOBuf> move() {
 190     chainLength_ = 0;
 191     return std::move(head_);
 192   }
 193
 194   /**
 195    * Access
 196    */
 197   const folly::IOBuf* front() const {
 198     return head_.get();
 199   }
 200
 201   /**
 202    * Total chain length, only valid if cacheLength was specified in the
 203    * constructor.
 204    */
 205   size_t chainLength() const {
 206     if (!options_.cacheChainLength) {
 207       throw std::invalid_argument("IOBufQueue: chain length not cached");
 208     }
 209     return chainLength_;
 210   }
 211
 212   const Options& options() const {
 213     return options_;
 214   }
 215
 216   /** Movable */
 217   IOBufQueue(IOBufQueue&&);
 218   IOBufQueue& operator=(IOBufQueue&&);
 219
 220  private:
 221   static const size_t kChainLengthNotCached = (size_t)-1;
 222   /** Not copyable */
 223   IOBufQueue(const IOBufQueue&) = delete;
 224   IOBufQueue& operator=(const IOBufQueue&) = delete;
 225
 226   Options options_;
 227   size_t chainLength_;
 228   /** Everything that has been appended but not yet discarded or moved out */
 229   std::unique_ptr<folly::IOBuf> head_;
 230 };
 231
 232 } // folly
 233
 234 #endif // FOLLY_IO_IOBUF_QUEUE_H