folly/test/FormatTest.cpp

   1 /*
   2  * Copyright 2014 Facebook, Inc.
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *   http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 #include <folly/Format.h>
  18
  19 #include <glog/logging.h>
  20 #include <gflags/gflags.h>
  21 #include <gtest/gtest.h>
  22
  23 #include <folly/FBVector.h>
  24 #include <folly/FileUtil.h>
  25 #include <folly/dynamic.h>
  26 #include <folly/json.h>
  27
  28 #include <string>
  29
  30 using namespace folly;
  31
  32 template <class Uint>
  33 void compareOctal(Uint u) {
  34   char buf1[detail::kMaxOctalLength + 1];
  35   buf1[detail::kMaxOctalLength] = '\0';
  36   char* p = buf1 + detail::uintToOctal(buf1, detail::kMaxOctalLength, u);
  37
  38   char buf2[detail::kMaxOctalLength + 1];
  39   sprintf(buf2, "%jo", static_cast<uintmax_t>(u));
  40
  41   EXPECT_EQ(std::string(buf2), std::string(p));
  42 }
  43
  44 template <class Uint>
  45 void compareHex(Uint u) {
  46   char buf1[detail::kMaxHexLength + 1];
  47   buf1[detail::kMaxHexLength] = '\0';
  48   char* p = buf1 + detail::uintToHexLower(buf1, detail::kMaxHexLength, u);
  49
  50   char buf2[detail::kMaxHexLength + 1];
  51   sprintf(buf2, "%jx", static_cast<uintmax_t>(u));
  52
  53   EXPECT_EQ(std::string(buf2), std::string(p));
  54 }
  55
  56 template <class Uint>
  57 void compareBinary(Uint u) {
  58   char buf[detail::kMaxBinaryLength + 1];
  59   buf[detail::kMaxBinaryLength] = '\0';
  60   char* p = buf + detail::uintToBinary(buf, detail::kMaxBinaryLength, u);
  61
  62   std::string repr;
  63   if (u == 0) {
  64     repr = '0';
  65   } else {
  66     std::string tmp;
  67     for (; u; u >>= 1) {
  68       tmp.push_back(u & 1 ? '1' : '0');
  69     }
  70     repr.assign(tmp.rbegin(), tmp.rend());
  71   }
  72
  73   EXPECT_EQ(repr, std::string(p));
  74 }
  75
  76 TEST(Format, uintToOctal) {
  77   for (unsigned i = 0; i < (1u << 16) + 2; i++) {
  78     compareOctal(i);
  79   }
  80 }
  81
  82 TEST(Format, uintToHex) {
  83   for (unsigned i = 0; i < (1u << 16) + 2; i++) {
  84     compareHex(i);
  85   }
  86 }
  87
  88 TEST(Format, uintToBinary) {
  89   for (unsigned i = 0; i < (1u << 16) + 2; i++) {
  90     compareBinary(i);
  91   }
  92 }
  93
  94 TEST(Format, Simple) {
  95   EXPECT_EQ("hello", sformat("hello"));
  96   EXPECT_EQ("42", sformat("{}", 42));
  97   EXPECT_EQ("42 42", sformat("{0} {0}", 42));
  98   EXPECT_EQ("00042  23   42", sformat("{0:05} {1:3} {0:4}", 42, 23));
  99   EXPECT_EQ("hello world hello 42",
 100             sformat("{0} {1} {0} {2}", "hello", "world", 42));
 101   EXPECT_EQ("XXhelloXX", sformat("{:X^9}", "hello"));
 102   EXPECT_EQ("XXX42XXXX", sformat("{:X^9}", 42));
 103   EXPECT_EQ("-0xYYYY2a", sformat("{:Y=#9x}", -42));
 104   EXPECT_EQ("*", sformat("{}", '*'));
 105   EXPECT_EQ("42", sformat("{}", 42));
 106   EXPECT_EQ("0042", sformat("{:04}", 42));
 107
 108   EXPECT_EQ("hello  ", sformat("{:7}", "hello"));
 109   EXPECT_EQ("hello  ", sformat("{:<7}", "hello"));
 110   EXPECT_EQ("  hello", sformat("{:>7}", "hello"));
 111
 112   std::vector<int> v1 {10, 20, 30};
 113   EXPECT_EQ("0020", sformat("{0[1]:04}", v1));
 114   EXPECT_EQ("0020", svformat("{1:04}", v1));
 115   EXPECT_EQ("10 20", svformat("{} {}", v1));
 116
 117   const std::vector<int> v2 = v1;
 118   EXPECT_EQ("0020", sformat("{0[1]:04}", v2));
 119   EXPECT_EQ("0020", svformat("{1:04}", v2));
 120   EXPECT_THROW(sformat("{0[3]:04}", v2), std::out_of_range);
 121   EXPECT_THROW(svformat("{3:04}", v2), std::out_of_range);
 122   EXPECT_EQ("0020", sformat("{0[1]:04}", defaulted(v2, 42)));
 123   EXPECT_EQ("0020", svformat("{1:04}", defaulted(v2, 42)));
 124   EXPECT_EQ("0042", sformat("{0[3]:04}", defaulted(v2, 42)));
 125   EXPECT_EQ("0042", svformat("{3:04}", defaulted(v2, 42)));
 126
 127   const int p[] = {10, 20, 30};
 128   const int* q = p;
 129   EXPECT_EQ("0020", sformat("{0[1]:04}", p));
 130   EXPECT_EQ("0020", svformat("{1:04}", p));
 131   EXPECT_EQ("0020", sformat("{0[1]:04}", q));
 132   EXPECT_EQ("0020", svformat("{1:04}", q));
 133   EXPECT_NE("", sformat("{}", q));
 134
 135   EXPECT_EQ("0x", sformat("{}", p).substr(0, 2));
 136   EXPECT_EQ("10", svformat("{}", p));
 137   EXPECT_EQ("0x", sformat("{}", q).substr(0, 2));
 138   EXPECT_EQ("10", svformat("{}", q));
 139   q = nullptr;
 140   EXPECT_EQ("(null)", sformat("{}", q));
 141
 142   std::map<int, std::string> m { {10, "hello"}, {20, "world"} };
 143   EXPECT_EQ("worldXX", sformat("{[20]:X<7}", m));
 144   EXPECT_EQ("worldXX", svformat("{20:X<7}", m));
 145   EXPECT_THROW(sformat("{[42]:X<7}", m), std::out_of_range);
 146   EXPECT_THROW(svformat("{42:X<7}", m), std::out_of_range);
 147   EXPECT_EQ("worldXX", sformat("{[20]:X<7}", defaulted(m, "meow")));
 148   EXPECT_EQ("worldXX", svformat("{20:X<7}", defaulted(m, "meow")));
 149   EXPECT_EQ("meowXXX", sformat("{[42]:X<7}", defaulted(m, "meow")));
 150   EXPECT_EQ("meowXXX", svformat("{42:X<7}", defaulted(m, "meow")));
 151
 152   std::map<std::string, std::string> m2 { {"hello", "world"} };
 153   EXPECT_EQ("worldXX", sformat("{[hello]:X<7}", m2));
 154   EXPECT_EQ("worldXX", svformat("{hello:X<7}", m2));
 155   EXPECT_THROW(sformat("{[none]:X<7}", m2), std::out_of_range);
 156   EXPECT_THROW(svformat("{none:X<7}", m2), std::out_of_range);
 157   EXPECT_EQ("worldXX", sformat("{[hello]:X<7}", defaulted(m2, "meow")));
 158   EXPECT_EQ("worldXX", svformat("{hello:X<7}", defaulted(m2, "meow")));
 159   EXPECT_EQ("meowXXX", sformat("{[none]:X<7}", defaulted(m2, "meow")));
 160   EXPECT_EQ("meowXXX", svformat("{none:X<7}", defaulted(m2, "meow")));
 161
 162   // Test indexing in strings
 163   EXPECT_EQ("61 62", sformat("{0[0]:x} {0[1]:x}", "abcde"));
 164   EXPECT_EQ("61 62", svformat("{0:x} {1:x}", "abcde"));
 165   EXPECT_EQ("61 62", sformat("{0[0]:x} {0[1]:x}", std::string("abcde")));
 166   EXPECT_EQ("61 62", svformat("{0:x} {1:x}", std::string("abcde")));
 167
 168   // Test booleans
 169   EXPECT_EQ("true", sformat("{}", true));
 170   EXPECT_EQ("1", sformat("{:d}", true));
 171   EXPECT_EQ("false", sformat("{}", false));
 172   EXPECT_EQ("0", sformat("{:d}", false));
 173
 174   // Test pairs
 175   {
 176     std::pair<int, std::string> p {42, "hello"};
 177     EXPECT_EQ("    42 hello ", sformat("{0[0]:6} {0[1]:6}", p));
 178     EXPECT_EQ("    42 hello ", svformat("{:6} {:6}", p));
 179   }
 180
 181   // Test tuples
 182   {
 183     std::tuple<int, std::string, int> t { 42, "hello", 23 };
 184     EXPECT_EQ("    42 hello      23", sformat("{0[0]:6} {0[1]:6} {0[2]:6}", t));
 185     EXPECT_EQ("    42 hello      23", svformat("{:6} {:6} {:6}", t));
 186   }
 187
 188   // Test writing to stream
 189   std::ostringstream os;
 190   os << format("{} {}", 42, 23);
 191   EXPECT_EQ("42 23", os.str());
 192
 193   // Test appending to string
 194   std::string s;
 195   format(&s, "{} {}", 42, 23);
 196   format(&s, " hello {:X<7}", "world");
 197   EXPECT_EQ("42 23 hello worldXX", s);
 198
 199   // Test writing to FILE. I'd use open_memstream but that's not available
 200   // outside of Linux (even though it's in POSIX.1-2008).
 201   {
 202     int fds[2];
 203     CHECK_ERR(pipe(fds));
 204     SCOPE_EXIT { closeNoInt(fds[1]); };
 205     {
 206       FILE* fp = fdopen(fds[1], "wb");
 207       PCHECK(fp);
 208       SCOPE_EXIT { fclose(fp); };
 209       writeTo(fp, format("{} {}", 42, 23));  // <= 512 bytes (PIPE_BUF)
 210     }
 211
 212     char buf[512];
 213     ssize_t n = readFull(fds[0], buf, sizeof(buf));
 214     CHECK_GE(n, 0);
 215
 216     EXPECT_EQ("42 23", std::string(buf, n));
 217   }
 218 }
 219
 220 TEST(Format, Float) {
 221   double d = 1;
 222   EXPECT_EQ("1", sformat("{}", 1.0));
 223   EXPECT_EQ("0.1", sformat("{}", 0.1));
 224   EXPECT_EQ("0.01", sformat("{}", 0.01));
 225   EXPECT_EQ("0.001", sformat("{}", 0.001));
 226   EXPECT_EQ("0.0001", sformat("{}", 0.0001));
 227   EXPECT_EQ("1e-5", sformat("{}", 0.00001));
 228   EXPECT_EQ("1e-6", sformat("{}", 0.000001));
 229
 230   EXPECT_EQ("10", sformat("{}", 10.0));
 231   EXPECT_EQ("100", sformat("{}", 100.0));
 232   EXPECT_EQ("1000", sformat("{}", 1000.0));
 233   EXPECT_EQ("10000", sformat("{}", 10000.0));
 234   EXPECT_EQ("100000", sformat("{}", 100000.0));
 235   EXPECT_EQ("1e+6", sformat("{}", 1000000.0));
 236   EXPECT_EQ("1e+7", sformat("{}", 10000000.0));
 237
 238   EXPECT_EQ("1.00", sformat("{:.2f}", 1.0));
 239   EXPECT_EQ("0.10", sformat("{:.2f}", 0.1));
 240   EXPECT_EQ("0.01", sformat("{:.2f}", 0.01));
 241   EXPECT_EQ("0.00", sformat("{:.2f}", 0.001));
 242 }
 243
 244 TEST(Format, MultiLevel) {
 245   std::vector<std::map<std::string, std::string>> v = {
 246     {
 247       {"hello", "world"},
 248     },
 249   };
 250
 251   EXPECT_EQ("world", sformat("{[0.hello]}", v));
 252 }
 253
 254 TEST(Format, dynamic) {
 255   auto dyn = parseJson(
 256       "{\n"
 257       "  \"hello\": \"world\",\n"
 258       "  \"x\": [20, 30],\n"
 259       "  \"y\": {\"a\" : 42}\n"
 260       "}");
 261
 262   EXPECT_EQ("world", sformat("{0[hello]}", dyn));
 263   EXPECT_THROW(sformat("{0[none]}", dyn), std::out_of_range);
 264   EXPECT_EQ("world", sformat("{0[hello]}", defaulted(dyn, "meow")));
 265   EXPECT_EQ("meow", sformat("{0[none]}", defaulted(dyn, "meow")));
 266
 267   EXPECT_EQ("20", sformat("{0[x.0]}", dyn));
 268   EXPECT_THROW(sformat("{0[x.2]}", dyn), std::out_of_range);
 269
 270   // No support for "deep" defaulting (dyn["x"] is not defaulted)
 271   auto v = dyn.at("x");
 272   EXPECT_EQ("20", sformat("{0[0]}", v));
 273   EXPECT_THROW(sformat("{0[2]}", v), std::out_of_range);
 274   EXPECT_EQ("20", sformat("{0[0]}", defaulted(v, 42)));
 275   EXPECT_EQ("42", sformat("{0[2]}", defaulted(v, 42)));
 276
 277   EXPECT_EQ("42", sformat("{0[y.a]}", dyn));
 278
 279   EXPECT_EQ("(null)", sformat("{}", dynamic(nullptr)));
 280 }
 281
 282 namespace {
 283
 284 struct KeyValue {
 285   std::string key;
 286   int value;
 287 };
 288
 289 }  // namespace
 290
 291 namespace folly {
 292
 293 template <> class FormatValue<KeyValue> {
 294  public:
 295   explicit FormatValue(const KeyValue& kv) : kv_(kv) { }
 296
 297   template <class FormatCallback>
 298   void format(FormatArg& arg, FormatCallback& cb) const {
 299     format_value::formatFormatter(
 300         folly::format("<key={}, value={}>", kv_.key, kv_.value),
 301         arg, cb);
 302   }
 303
 304  private:
 305   const KeyValue& kv_;
 306 };
 307
 308 }  // namespace
 309
 310 TEST(Format, Custom) {
 311   KeyValue kv { "hello", 42 };
 312
 313   EXPECT_EQ("<key=hello, value=42>", sformat("{}", kv));
 314   EXPECT_EQ("<key=hello, value=42>", sformat("{:10}", kv));
 315   EXPECT_EQ("<key=hello", sformat("{:.10}", kv));
 316   EXPECT_EQ("<key=hello, value=42>XX", sformat("{:X<23}", kv));
 317   EXPECT_EQ("XX<key=hello, value=42>", sformat("{:X>23}", kv));
 318   EXPECT_EQ("<key=hello, value=42>", sformat("{0[0]}", &kv));
 319   EXPECT_NE("", sformat("{}", &kv));
 320 }
 321
 322 namespace {
 323
 324 struct Opaque {
 325   int k;
 326 };
 327
 328 } // namespace
 329
 330 TEST(Format, Unformatted) {
 331   Opaque o;
 332   EXPECT_NE("", sformat("{}", &o));
 333   EXPECT_DEATH(sformat("{0[0]}", &o), "No formatter available for this type");
 334   EXPECT_THROW(sformatChecked("{0[0]}", &o), std::invalid_argument);
 335 }
 336
 337 TEST(Format, Nested) {
 338   EXPECT_EQ("1 2 3 4", sformat("{} {} {}", 1, 2, format("{} {}", 3, 4)));
 339   //
 340   // not copyable, must hold temporary in scope instead.
 341   auto&& saved = format("{} {}", 3, 4);
 342   EXPECT_EQ("1 2 3 4", sformat("{} {} {}", 1, 2, saved));
 343 }
 344
 345 TEST(Format, OutOfBounds) {
 346   std::vector<int> ints{1, 2, 3, 4, 5};
 347   EXPECT_EQ("1 3 5", sformat("{0[0]} {0[2]} {0[4]}", ints));
 348   EXPECT_THROW(sformat("{[5]}", ints), std::out_of_range);
 349   EXPECT_THROW(sformatChecked("{[5]}", ints), std::out_of_range);
 350
 351   std::map<std::string, int> map{{"hello", 0}, {"world", 1}};
 352   EXPECT_EQ("hello = 0", sformat("hello = {[hello]}", map));
 353   EXPECT_THROW(sformat("{[nope]}", map), std::out_of_range);
 354   EXPECT_THROW(svformat("{nope}", map), std::out_of_range);
 355   EXPECT_THROW(svformatChecked("{nope}", map), std::out_of_range);
 356 }
 357
 358 TEST(Format, BogusFormatString) {
 359   // format() will crash the program if the format string is invalid.
 360   EXPECT_DEATH(sformat("}"), "single '}' in format string");
 361   EXPECT_DEATH(sformat("foo}bar"), "single '}' in format string");
 362   EXPECT_DEATH(sformat("foo{bar"), "missing ending '}'");
 363   EXPECT_DEATH(sformat("{[test]"), "missing ending '}'");
 364   EXPECT_DEATH(sformat("{-1.3}"), "argument index must be non-negative");
 365   EXPECT_DEATH(sformat("{1.3}", 0, 1, 2), "index not allowed");
 366   EXPECT_DEATH(sformat("{0} {} {1}", 0, 1, 2),
 367                "may not have both default and explicit arg indexes");
 368
 369   // formatChecked() should throw exceptions rather than crashing the program
 370   EXPECT_THROW(sformatChecked("}"), std::invalid_argument);
 371   EXPECT_THROW(sformatChecked("foo}bar"), std::invalid_argument);
 372   EXPECT_THROW(sformatChecked("foo{bar"), std::invalid_argument);
 373   EXPECT_THROW(sformatChecked("{[test]"), std::invalid_argument);
 374   EXPECT_THROW(sformatChecked("{-1.3}"), std::invalid_argument);
 375   EXPECT_THROW(sformatChecked("{1.3}", 0, 1, 2), std::invalid_argument);
 376   EXPECT_THROW(sformatChecked("{0} {} {1}", 0, 1, 2), std::invalid_argument);
 377
 378   // This one fails in detail::enforceWhitespace(), which throws
 379   // std::range_error
 380   EXPECT_DEATH(sformat("{0[test}"), "Non-whitespace: \\[");
 381   EXPECT_THROW(sformatChecked("{0[test}"), std::exception);
 382 }
 383
 384 template <bool containerMode, class... Args>
 385 class TestExtendingFormatter;
 386
 387 template <bool containerMode, class... Args>
 388 class TestExtendingFormatter
 389     : public BaseFormatter<TestExtendingFormatter<containerMode, Args...>,
 390                            containerMode,
 391                            Args...> {
 392  private:
 393   explicit TestExtendingFormatter(StringPiece& str, Args&&... args)
 394       : BaseFormatter<TestExtendingFormatter<containerMode, Args...>,
 395                       containerMode,
 396                       Args...>(str, std::forward<Args>(args)...) {}
 397
 398   template <size_t K, class Callback>
 399   void doFormatArg(FormatArg& arg, Callback& cb) const {
 400     std::string result;
 401     auto appender = [&result](StringPiece s) {
 402       result.append(s.data(), s.size());
 403     };
 404     std::get<K>(this->values_).format(arg, appender);
 405     result = sformat("{{{}}}", result);
 406     cb(StringPiece(result));
 407   }
 408
 409   friend class BaseFormatter<TestExtendingFormatter<containerMode, Args...>,
 410                              containerMode,
 411                              Args...>;
 412
 413   template <class... A>
 414   friend std::string texsformat(StringPiece fmt, A&&... arg);
 415 };
 416
 417 template <class... Args>
 418 std::string texsformat(StringPiece fmt, Args&&... args) {
 419   return TestExtendingFormatter<false, Args...>(
 420       fmt, std::forward<Args>(args)...).str();
 421 }
 422
 423 TEST(Format, Extending) {
 424   EXPECT_EQ(texsformat("I {} brackets", "love"), "I {love} brackets");
 425   EXPECT_EQ(texsformat("I {} nesting", sformat("really {}", "love")),
 426             "I {really love} nesting");
 427   EXPECT_EQ(
 428       sformat("I also {} nesting", texsformat("have an {} for", "affinity")),
 429       "I also have an {affinity} for nesting");
 430   EXPECT_EQ(texsformat("Extending {} in {}",
 431                        texsformat("a {}", "formatter"),
 432                        "another formatter"),
 433             "Extending {a {formatter}} in {another formatter}");
 434 }
 435
 436 int main(int argc, char *argv[]) {
 437   testing::InitGoogleTest(&argc, argv);
 438   gflags::ParseCommandLineFlags(&argc, &argv, true);
 439   return RUN_ALL_TESTS();
 440 }
 441