folly/experimental/io/test/IOBufCursorTest.cpp

   1 /*
   2  * Copyright 2012 Facebook, Inc.
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *   http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 #include "folly/experimental/io/IOBuf.h"
  18
  19 #include <gflags/gflags.h>
  20 #include <boost/random.hpp>
  21 #include <gtest/gtest.h>
  22 #include "folly/Benchmark.h"
  23 #include "folly/Range.h"
  24 #include "folly/experimental/io/Cursor.h"
  25
  26 DECLARE_bool(benchmark);
  27
  28 using folly::IOBuf;
  29 using std::unique_ptr;
  30 using namespace folly::io;
  31
  32 TEST(IOBuf, RWCursor) {
  33   unique_ptr<IOBuf> iobuf1(IOBuf::create(20));
  34   iobuf1->append(20);
  35   unique_ptr<IOBuf> iobuf2(IOBuf::create(20));
  36   iobuf2->append(20);
  37
  38   IOBuf* iob2ptr = iobuf2.get();
  39   iobuf1->prependChain(std::move(iobuf2));
  40
  41   EXPECT_TRUE(iobuf1->isChained());
  42
  43   RWPrivateCursor wcursor(iobuf1.get());
  44   Cursor rcursor(iobuf1.get());
  45   wcursor.writeLE((uint64_t)1);
  46   wcursor.writeLE((uint64_t)1);
  47   wcursor.writeLE((uint64_t)1);
  48   wcursor.write((uint8_t)1);
  49
  50   EXPECT_EQ(1, rcursor.readLE<uint64_t>());
  51   rcursor.skip(8);
  52   EXPECT_EQ(1, rcursor.readLE<uint32_t>());
  53   rcursor.skip(0);
  54   EXPECT_EQ(0, rcursor.read<uint8_t>());
  55   EXPECT_EQ(0, rcursor.read<uint8_t>());
  56   EXPECT_EQ(0, rcursor.read<uint8_t>());
  57   EXPECT_EQ(0, rcursor.read<uint8_t>());
  58   EXPECT_EQ(1, rcursor.read<uint8_t>());
  59 }
  60
  61 TEST(IOBuf, skip) {
  62   unique_ptr<IOBuf> iobuf1(IOBuf::create(20));
  63   iobuf1->append(20);
  64   RWPrivateCursor wcursor(iobuf1.get());
  65   wcursor.write((uint8_t)1);
  66   wcursor.write((uint8_t)2);
  67   Cursor cursor(iobuf1.get());
  68   cursor.skip(1);
  69   EXPECT_EQ(2, cursor.read<uint8_t>());
  70 }
  71
  72 TEST(IOBuf, reset) {
  73   unique_ptr<IOBuf> iobuf1(IOBuf::create(20));
  74   iobuf1->append(20);
  75   RWPrivateCursor wcursor(iobuf1.get());
  76   wcursor.write((uint8_t)1);
  77   wcursor.write((uint8_t)2);
  78   wcursor.reset(iobuf1.get());
  79   EXPECT_EQ(1, wcursor.read<uint8_t>());
  80 }
  81
  82 TEST(IOBuf, copy_assign_convert) {
  83   unique_ptr<IOBuf> iobuf1(IOBuf::create(20));
  84   iobuf1->append(20);
  85   RWPrivateCursor wcursor(iobuf1.get());
  86   RWPrivateCursor cursor2(wcursor);
  87   RWPrivateCursor cursor3(iobuf1.get());
  88
  89   wcursor.write((uint8_t)1);
  90   cursor3 = wcursor;
  91   wcursor.write((uint8_t)2);
  92   Cursor cursor4(wcursor);
  93   RWPrivateCursor cursor5(wcursor);
  94   wcursor.write((uint8_t)3);
  95
  96   EXPECT_EQ(1, cursor2.read<uint8_t>());
  97   EXPECT_EQ(2, cursor3.read<uint8_t>());
  98   EXPECT_EQ(3, cursor4.read<uint8_t>());
  99 }
 100
 101 TEST(IOBuf, overloading) {
 102   unique_ptr<IOBuf> iobuf1(IOBuf::create(20));
 103   iobuf1->append(20);
 104   RWPrivateCursor wcursor(iobuf1.get());
 105   wcursor += 1;
 106   wcursor.write((uint8_t)1);
 107   Cursor cursor(iobuf1.get());
 108   cursor += 1;
 109   EXPECT_EQ(1, cursor.read<uint8_t>());
 110 }
 111
 112 TEST(IOBuf, endian) {
 113   unique_ptr<IOBuf> iobuf1(IOBuf::create(20));
 114   iobuf1->append(20);
 115   RWPrivateCursor wcursor(iobuf1.get());
 116   Cursor rcursor(iobuf1.get());
 117   uint16_t v = 1;
 118   int16_t vu = -1;
 119   wcursor.writeBE(v);
 120   wcursor.writeBE(vu);
 121   // Try a couple combinations to ensure they were generated correctly
 122   wcursor.writeBE(vu);
 123   wcursor.writeLE(vu);
 124   wcursor.writeLE(vu);
 125   wcursor.writeLE(v);
 126   EXPECT_EQ(v, rcursor.readBE<uint16_t>());
 127 }
 128
 129 TEST(IOBuf, Cursor) {
 130   unique_ptr<IOBuf> iobuf1(IOBuf::create(1));
 131   iobuf1->append(1);
 132   RWPrivateCursor c(iobuf1.get());
 133   c.write((uint8_t)40); // OK
 134   try {
 135     c.write((uint8_t)10); // Bad write, checked should except.
 136     EXPECT_EQ(true, false);
 137   } catch (...) {
 138   }
 139 }
 140
 141 TEST(IOBuf, UnshareCursor) {
 142   uint8_t buf = 0;
 143   unique_ptr<IOBuf> iobuf1(IOBuf::wrapBuffer(&buf, 1));
 144   unique_ptr<IOBuf> iobuf2(IOBuf::wrapBuffer(&buf, 1));
 145   RWUnshareCursor c1(iobuf1.get());
 146   RWUnshareCursor c2(iobuf2.get());
 147
 148   c1.write((uint8_t)10); // This should duplicate the two buffers.
 149   uint8_t t = c2.read<uint8_t>();
 150   EXPECT_EQ(0, t);
 151
 152   iobuf1 = IOBuf::wrapBuffer(&buf, 1);
 153   iobuf2 = IOBuf::wrapBuffer(&buf, 1);
 154   RWPrivateCursor c3(iobuf1.get());
 155   RWPrivateCursor c4(iobuf2.get());
 156
 157   c3.write((uint8_t)10); // This should _not_ duplicate the two buffers.
 158   t = c4.read<uint8_t>();
 159   EXPECT_EQ(10, t);
 160 }
 161
 162 namespace {
 163 void append(std::unique_ptr<IOBuf>& buf, folly::StringPiece data) {
 164   EXPECT_LE(data.size(), buf->tailroom());
 165   memcpy(buf->writableData(), data.data(), data.size());
 166   buf->append(data.size());
 167 }
 168
 169 void append(Appender& appender, folly::StringPiece data) {
 170   appender.push(reinterpret_cast<const uint8_t*>(data.data()), data.size());
 171 }
 172
 173 std::string toString(const IOBuf& buf) {
 174   std::string str;
 175   Cursor cursor(&buf);
 176   std::pair<const uint8_t*, size_t> p;
 177   while ((p = cursor.peek()).second) {
 178     str.append(reinterpret_cast<const char*>(p.first), p.second);
 179     cursor.skip(p.second);
 180   }
 181   return str;
 182 }
 183
 184 }  // namespace
 185
 186 TEST(IOBuf, PullAndPeek) {
 187   std::unique_ptr<IOBuf> iobuf1(IOBuf::create(10));
 188   append(iobuf1, "he");
 189   std::unique_ptr<IOBuf> iobuf2(IOBuf::create(10));
 190   append(iobuf2, "llo ");
 191   std::unique_ptr<IOBuf> iobuf3(IOBuf::create(10));
 192   append(iobuf3, "world");
 193   iobuf1->prependChain(std::move(iobuf2));
 194   iobuf1->prependChain(std::move(iobuf3));
 195   EXPECT_EQ(3, iobuf1->countChainElements());
 196   EXPECT_EQ(11, iobuf1->computeChainDataLength());
 197
 198   char buf[12];
 199   memset(buf, 0, sizeof(buf));
 200   Cursor(iobuf1.get()).pull(buf, 11);
 201   EXPECT_EQ("hello world", std::string(buf));
 202
 203   memset(buf, 0, sizeof(buf));
 204   EXPECT_EQ(11, Cursor(iobuf1.get()).pullAtMost(buf, 20));
 205   EXPECT_EQ("hello world", std::string(buf));
 206
 207   EXPECT_THROW({Cursor(iobuf1.get()).pull(buf, 20);},
 208                std::out_of_range);
 209
 210   {
 211     RWPrivateCursor cursor(iobuf1.get());
 212     auto p = cursor.peek();
 213     EXPECT_EQ("he", std::string(reinterpret_cast<const char*>(p.first),
 214                                 p.second));
 215     cursor.skip(p.second);
 216     p = cursor.peek();
 217     EXPECT_EQ("llo ", std::string(reinterpret_cast<const char*>(p.first),
 218                                   p.second));
 219     cursor.skip(p.second);
 220     p = cursor.peek();
 221     EXPECT_EQ("world", std::string(reinterpret_cast<const char*>(p.first),
 222                                    p.second));
 223     cursor.skip(p.second);
 224     EXPECT_EQ(3, iobuf1->countChainElements());
 225     EXPECT_EQ(11, iobuf1->computeChainDataLength());
 226   }
 227
 228   {
 229     RWPrivateCursor cursor(iobuf1.get());
 230     cursor.gather(11);
 231     auto p = cursor.peek();
 232     EXPECT_EQ("hello world", std::string(reinterpret_cast<const
 233                                          char*>(p.first), p.second));
 234     EXPECT_EQ(1, iobuf1->countChainElements());
 235     EXPECT_EQ(11, iobuf1->computeChainDataLength());
 236   }
 237 }
 238
 239 TEST(IOBuf, Appender) {
 240   std::unique_ptr<IOBuf> head(IOBuf::create(10));
 241   append(head, "hello");
 242
 243   Appender app(head.get(), 10);
 244   uint32_t cap = head->capacity();
 245   uint32_t len1 = app.length();
 246   EXPECT_EQ(cap - 5, len1);
 247   app.ensure(len1);  // won't grow
 248   EXPECT_EQ(len1, app.length());
 249   app.ensure(len1 + 1);  // will grow
 250   EXPECT_LE(len1 + 1, app.length());
 251
 252   append(app, " world");
 253   EXPECT_EQ("hello world", toString(*head));
 254 }
 255
 256 int benchmark_size = 1000;
 257 unique_ptr<IOBuf> iobuf_benchmark;
 258
 259 unique_ptr<IOBuf> iobuf_read_benchmark;
 260
 261 template <class CursClass>
 262 void runBenchmark() {
 263   CursClass c(iobuf_benchmark.get());
 264
 265   for(int i = 0; i < benchmark_size; i++) {
 266     c.write((uint8_t)0);
 267   }
 268 }
 269
 270 BENCHMARK(rwPrivateCursorBenchmark, iters) {
 271   while (--iters) {
 272     runBenchmark<RWPrivateCursor>();
 273   }
 274 }
 275
 276 BENCHMARK(rwUnshareCursorBenchmark, iters) {
 277   while (--iters) {
 278     runBenchmark<RWUnshareCursor>();
 279   }
 280 }
 281
 282
 283 BENCHMARK(cursorBenchmark, iters) {
 284   while (--iters) {
 285     Cursor c(iobuf_read_benchmark.get());
 286     for(int i = 0; i < benchmark_size ; i++) {
 287       c.read<uint8_t>();
 288     }
 289   }
 290 }
 291
 292 BENCHMARK(skipBenchmark, iters) {
 293   uint8_t buf;
 294   while (--iters) {
 295     Cursor c(iobuf_read_benchmark.get());
 296     for(int i = 0; i < benchmark_size ; i++) {
 297       c.peek();
 298       c.skip(1);
 299     }
 300   }
 301 }
 302
 303 // fbmake opt
 304 // _bin/folly/experimental/io/test/iobuf_cursor_test -benchmark
 305 //
 306 // Benchmark                               Iters   Total t    t/iter iter/sec
 307 // ---------------------------------------------------------------------------
 308 // rwPrivateCursorBenchmark               100000  142.9 ms  1.429 us  683.5 k
 309 // rwUnshareCursorBenchmark               100000  309.3 ms  3.093 us  315.7 k
 310 // cursorBenchmark                        100000  741.4 ms  7.414 us  131.7 k
 311 // skipBenchmark                          100000  738.9 ms  7.389 us  132.2 k
 312 //
 313 // uname -a:
 314 //
 315 // Linux dev2159.snc6.facebook.com 2.6.33-7_fbk15_104e4d0 #1 SMP
 316 // Tue Oct 19 22:40:30 PDT 2010 x86_64 x86_64 x86_64 GNU/Linux
 317 //
 318 // 72GB RAM, 2 CPUs (Intel(R) Xeon(R) CPU L5630  @ 2.13GHz)
 319 // hyperthreading disabled
 320
 321 int main(int argc, char** argv) {
 322   testing::InitGoogleTest(&argc, argv);
 323   google::ParseCommandLineFlags(&argc, &argv, true);
 324
 325   auto ret = RUN_ALL_TESTS();
 326
 327   if (ret == 0 && FLAGS_benchmark) {
 328     iobuf_benchmark = IOBuf::create(benchmark_size);
 329     iobuf_benchmark->append(benchmark_size);
 330
 331     iobuf_read_benchmark = IOBuf::create(1);
 332     for (int i = 0; i < benchmark_size; i++) {
 333       unique_ptr<IOBuf> iobuf2(IOBuf::create(1));
 334       iobuf2->append(1);
 335       iobuf_read_benchmark->prependChain(std::move(iobuf2));
 336     }
 337
 338     folly::runBenchmarks();
 339   }
 340
 341   return ret;
 342 }