folly/test/JsonTest.cpp

   1 /*
   2  * Copyright 2016 Facebook, Inc.
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *   http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16 #include <limits>
  17 #include <strstream>
  18
  19 #include <boost/next_prior.hpp>
  20 #include <folly/json.h>
  21 #include <gtest/gtest.h>
  22
  23 using folly::dynamic;
  24 using folly::parseJson;
  25 using folly::toJson;
  26
  27 TEST(Json, Unicode) {
  28   auto val = parseJson("\"I \u2665 UTF-8\"");
  29   EXPECT_EQ("I \u2665 UTF-8", val.asString());
  30   val = parseJson("\"I \\u2665 UTF-8\"");
  31   EXPECT_EQ("I \u2665 UTF-8", val.asString());
  32   val = parseJson("\"I \U0001D11E playing in G-clef\"");
  33   EXPECT_EQ("I \U0001D11E playing in G-clef", val.asString());
  34
  35   val = parseJson("\"I \\uD834\\uDD1E playing in G-clef\"");
  36   EXPECT_EQ("I \U0001D11E playing in G-clef", val.asString());
  37 }
  38
  39 TEST(Json, Parse) {
  40   auto num = parseJson("12");
  41   EXPECT_TRUE(num.isInt());
  42   EXPECT_EQ(num, 12);
  43   num = parseJson("12e5");
  44   EXPECT_TRUE(num.isDouble());
  45   EXPECT_EQ(num, 12e5);
  46   auto numAs1 = num.asDouble();
  47   EXPECT_EQ(numAs1, 12e5);
  48   EXPECT_EQ(num, 12e5);
  49   EXPECT_EQ(num, 1200000);
  50
  51   auto largeNumber = parseJson("4611686018427387904");
  52   EXPECT_TRUE(largeNumber.isInt());
  53   EXPECT_EQ(largeNumber, 4611686018427387904L);
  54
  55   auto negative = parseJson("-123");
  56   EXPECT_EQ(negative, -123);
  57
  58   auto bfalse = parseJson("false");
  59   auto btrue = parseJson("true");
  60   EXPECT_EQ(bfalse, false);
  61   EXPECT_EQ(btrue, true);
  62
  63   auto null = parseJson("null");
  64   EXPECT_TRUE(null == nullptr);
  65
  66   auto doub1 = parseJson("12.0");
  67   auto doub2 = parseJson("12e2");
  68   EXPECT_EQ(doub1, 12.0);
  69   EXPECT_EQ(doub2, 12e2);
  70   EXPECT_EQ(std::numeric_limits<double>::infinity(),
  71             parseJson("Infinity").asDouble());
  72   EXPECT_EQ(-std::numeric_limits<double>::infinity(),
  73             parseJson("-Infinity").asDouble());
  74   EXPECT_TRUE(std::isnan(parseJson("NaN").asDouble()));
  75
  76   // case matters
  77   EXPECT_THROW(parseJson("infinity"), std::runtime_error);
  78   EXPECT_THROW(parseJson("inf"), std::runtime_error);
  79   EXPECT_THROW(parseJson("Inf"), std::runtime_error);
  80   EXPECT_THROW(parseJson("INF"), std::runtime_error);
  81   EXPECT_THROW(parseJson("nan"), std::runtime_error);
  82   EXPECT_THROW(parseJson("NAN"), std::runtime_error);
  83
  84   auto array = parseJson(
  85     "[12,false, false  , null , [12e4,32, [], 12]]");
  86   EXPECT_EQ(array.size(), 5);
  87   if (array.size() == 5) {
  88     EXPECT_EQ(boost::prior(array.end())->size(), 4);
  89   }
  90
  91   EXPECT_THROW(parseJson("\n[12,\n\nnotvalidjson"),
  92                std::runtime_error);
  93
  94   EXPECT_THROW(parseJson("12e2e2"),
  95                std::runtime_error);
  96
  97   EXPECT_THROW(parseJson("{\"foo\":12,\"bar\":42} \"something\""),
  98                std::runtime_error);
  99
 100   dynamic value = dynamic::object
 101     ("foo", "bar")
 102     ("junk", 12)
 103     ("another", 32.2)
 104     ("a",
 105       {
 106         dynamic::object("a", "b")
 107                        ("c", "d"),
 108         12.5,
 109         "Yo Dawg",
 110         { "heh" },
 111         nullptr
 112       }
 113     )
 114     ;
 115
 116   // Print then parse and get the same thing, hopefully.
 117   EXPECT_EQ(value, parseJson(toJson(value)));
 118
 119
 120   // Test an object with non-string values.
 121   dynamic something = parseJson(
 122     "{\"old_value\":40,\"changed\":true,\"opened\":false}");
 123   dynamic expected = dynamic::object
 124     ("old_value", 40)
 125     ("changed", true)
 126     ("opened", false);
 127   EXPECT_EQ(something, expected);
 128 }
 129
 130 TEST(Json, ParseTrailingComma) {
 131   folly::json::serialization_opts on, off;
 132   on.allow_trailing_comma = true;
 133   off.allow_trailing_comma = false;
 134
 135   dynamic arr { 1, 2 };
 136   EXPECT_EQ(arr, parseJson("[1, 2]", on));
 137   EXPECT_EQ(arr, parseJson("[1, 2,]", on));
 138   EXPECT_EQ(arr, parseJson("[1, 2, ]", on));
 139   EXPECT_EQ(arr, parseJson("[1, 2 , ]", on));
 140   EXPECT_EQ(arr, parseJson("[1, 2 ,]", on));
 141   EXPECT_THROW(parseJson("[1, 2,]", off), std::runtime_error);
 142
 143   dynamic obj = dynamic::object("a", 1);
 144   EXPECT_EQ(obj, parseJson("{\"a\": 1}", on));
 145   EXPECT_EQ(obj, parseJson("{\"a\": 1,}", on));
 146   EXPECT_EQ(obj, parseJson("{\"a\": 1, }", on));
 147   EXPECT_EQ(obj, parseJson("{\"a\": 1 , }", on));
 148   EXPECT_EQ(obj, parseJson("{\"a\": 1 ,}", on));
 149   EXPECT_THROW(parseJson("{\"a\":1,}", off), std::runtime_error);
 150 }
 151
 152 TEST(Json, BoolConversion) {
 153   EXPECT_TRUE(parseJson("42").asBool());
 154 }
 155
 156 TEST(Json, JavascriptSafe) {
 157   auto badDouble = (1ll << 63ll) + 1;
 158   dynamic badDyn = badDouble;
 159   EXPECT_EQ(folly::toJson(badDouble), folly::to<folly::fbstring>(badDouble));
 160   folly::json::serialization_opts opts;
 161   opts.javascript_safe = true;
 162   EXPECT_ANY_THROW(folly::json::serialize(badDouble, opts));
 163
 164   auto okDouble = 1ll << 63ll;
 165   dynamic okDyn = okDouble;
 166   EXPECT_EQ(folly::toJson(okDouble), folly::to<folly::fbstring>(okDouble));
 167 }
 168
 169 TEST(Json, Produce) {
 170   auto value = parseJson(R"( "f\"oo" )");
 171   EXPECT_EQ(toJson(value), R"("f\"oo")");
 172   value = parseJson("\"Control code: \001 \002 \x1f\"");
 173   EXPECT_EQ(toJson(value), R"("Control code: \u0001 \u0002 \u001f")");
 174
 175   // We're not allowed to have non-string keys in json.
 176   EXPECT_THROW(toJson(dynamic::object("abc", "xyz")(42.33, "asd")),
 177                std::runtime_error);
 178
 179   // Check Infinity/Nan
 180   folly::json::serialization_opts opts;
 181   opts.allow_nan_inf = true;
 182   EXPECT_EQ("Infinity",
 183             folly::json::serialize(parseJson("Infinity"), opts).toStdString());
 184   EXPECT_EQ("NaN",
 185             folly::json::serialize(parseJson("NaN"), opts).toStdString());
 186 }
 187
 188 TEST(Json, JsonEscape) {
 189   folly::json::serialization_opts opts;
 190   EXPECT_EQ(
 191     folly::json::serialize("\b\f\n\r\x01\t\\\"/\v\a", opts),
 192     R"("\b\f\n\r\u0001\t\\\"/\u000b\u0007")");
 193 }
 194
 195 TEST(Json, JsonNonAsciiEncoding) {
 196   folly::json::serialization_opts opts;
 197   opts.encode_non_ascii = true;
 198
 199   // simple tests
 200   EXPECT_EQ(folly::json::serialize("\x1f", opts), R"("\u001f")");
 201   EXPECT_EQ(folly::json::serialize("\xc2\xa2", opts), R"("\u00a2")");
 202   EXPECT_EQ(folly::json::serialize("\xe2\x82\xac", opts), R"("\u20ac")");
 203
 204   // multiple unicode encodings
 205   EXPECT_EQ(
 206     folly::json::serialize("\x1f\xe2\x82\xac", opts),
 207     R"("\u001f\u20ac")");
 208   EXPECT_EQ(
 209     folly::json::serialize("\x1f\xc2\xa2\xe2\x82\xac", opts),
 210     R"("\u001f\u00a2\u20ac")");
 211   EXPECT_EQ(
 212     folly::json::serialize("\xc2\x80\xef\xbf\xbf", opts),
 213     R"("\u0080\uffff")");
 214   EXPECT_EQ(
 215     folly::json::serialize("\xe0\xa0\x80\xdf\xbf", opts),
 216     R"("\u0800\u07ff")");
 217
 218   // first possible sequence of a certain length
 219   EXPECT_EQ(folly::json::serialize("\xc2\x80", opts), R"("\u0080")");
 220   EXPECT_EQ(folly::json::serialize("\xe0\xa0\x80", opts), R"("\u0800")");
 221
 222   // last possible sequence of a certain length
 223   EXPECT_EQ(folly::json::serialize("\xdf\xbf", opts), R"("\u07ff")");
 224   EXPECT_EQ(folly::json::serialize("\xef\xbf\xbf", opts), R"("\uffff")");
 225
 226   // other boundary conditions
 227   EXPECT_EQ(folly::json::serialize("\xed\x9f\xbf", opts), R"("\ud7ff")");
 228   EXPECT_EQ(folly::json::serialize("\xee\x80\x80", opts), R"("\ue000")");
 229   EXPECT_EQ(folly::json::serialize("\xef\xbf\xbd", opts), R"("\ufffd")");
 230
 231   // incomplete sequences
 232   EXPECT_ANY_THROW(folly::json::serialize("a\xed\x9f", opts));
 233   EXPECT_ANY_THROW(folly::json::serialize("b\xee\x80", opts));
 234   EXPECT_ANY_THROW(folly::json::serialize("c\xef\xbf", opts));
 235
 236   // impossible bytes
 237   EXPECT_ANY_THROW(folly::json::serialize("\xfe", opts));
 238   EXPECT_ANY_THROW(folly::json::serialize("\xff", opts));
 239
 240   // Sample overlong sequences
 241   EXPECT_ANY_THROW(folly::json::serialize("\xc0\xaf", opts));
 242   EXPECT_ANY_THROW(folly::json::serialize("\xe0\x80\xaf", opts));
 243
 244   // Maximum overlong sequences
 245   EXPECT_ANY_THROW(folly::json::serialize("\xc1\xbf", opts));
 246   EXPECT_ANY_THROW(folly::json::serialize("\x30\x9f\xbf", opts));
 247
 248   // illegal code positions
 249   EXPECT_ANY_THROW(folly::json::serialize("\xed\xa0\x80", opts));
 250   EXPECT_ANY_THROW(folly::json::serialize("\xed\xbf\xbf", opts));
 251
 252   // Overlong representation of NUL character
 253   EXPECT_ANY_THROW(folly::json::serialize("\xc0\x80", opts));
 254   EXPECT_ANY_THROW(folly::json::serialize("\xe0\x80\x80", opts));
 255
 256   // Longer than 3 byte encodings
 257   EXPECT_ANY_THROW(folly::json::serialize("\xf4\x8f\xbf\xbf", opts));
 258   EXPECT_ANY_THROW(folly::json::serialize("\xed\xaf\xbf\xed\xbf\xbf", opts));
 259 }
 260
 261 TEST(Json, UTF8Retention) {
 262
 263   // test retention with valid utf8 strings
 264   folly::fbstring input = "\u2665";
 265   folly::fbstring jsonInput = folly::toJson(input);
 266   folly::fbstring output = folly::parseJson(jsonInput).asString();
 267   folly::fbstring jsonOutput = folly::toJson(output);
 268
 269   EXPECT_EQ(input, output);
 270   EXPECT_EQ(jsonInput, jsonOutput);
 271
 272   // test retention with invalid utf8 - note that non-ascii chars are retained
 273   // as is, and no unicode encoding is attempted so no exception is thrown.
 274   EXPECT_EQ(
 275     folly::toJson("a\xe0\xa0\x80z\xc0\x80"),
 276     "\"a\xe0\xa0\x80z\xc0\x80\""
 277   );
 278 }
 279
 280 TEST(Json, UTF8EncodeNonAsciiRetention) {
 281
 282   folly::json::serialization_opts opts;
 283   opts.encode_non_ascii = true;
 284
 285   // test encode_non_ascii valid utf8 strings
 286   folly::fbstring input = "\u2665";
 287   folly::fbstring jsonInput = folly::json::serialize(input, opts);
 288   folly::fbstring output = folly::parseJson(jsonInput).asString();
 289   folly::fbstring jsonOutput = folly::json::serialize(output, opts);
 290
 291   EXPECT_EQ(input, output);
 292   EXPECT_EQ(jsonInput, jsonOutput);
 293
 294   // test encode_non_ascii with invalid utf8 - note that an attempt to encode
 295   // non-ascii to unicode will result is a utf8 validation and throw exceptions.
 296   EXPECT_ANY_THROW(folly::json::serialize("a\xe0\xa0\x80z\xc0\x80", opts));
 297   EXPECT_ANY_THROW(folly::json::serialize("a\xe0\xa0\x80z\xe0\x80\x80", opts));
 298 }
 299
 300 TEST(Json, UTF8Validation) {
 301   folly::json::serialization_opts opts;
 302   opts.validate_utf8 = true;
 303
 304   // test validate_utf8 valid utf8 strings - note that we only validate the
 305   // for utf8 but don't encode non-ascii to unicode so they are retained as is.
 306   EXPECT_EQ(folly::json::serialize("a\xc2\x80z", opts), "\"a\xc2\x80z\"");
 307   EXPECT_EQ(
 308     folly::json::serialize("a\xe0\xa0\x80z", opts),
 309     "\"a\xe0\xa0\x80z\"");
 310   EXPECT_EQ(
 311     folly::json::serialize("a\xe0\xa0\x80m\xc2\x80z", opts),
 312     "\"a\xe0\xa0\x80m\xc2\x80z\"");
 313
 314   // test validate_utf8 with invalid utf8
 315   EXPECT_ANY_THROW(folly::json::serialize("a\xe0\xa0\x80z\xc0\x80", opts));
 316   EXPECT_ANY_THROW(folly::json::serialize("a\xe0\xa0\x80z\xe0\x80\x80", opts));
 317
 318   opts.skip_invalid_utf8 = true;
 319   EXPECT_EQ(folly::json::serialize("a\xe0\xa0\x80z\xc0\x80", opts),
 320             "\"a\xe0\xa0\x80z\ufffd\ufffd\"");
 321   EXPECT_EQ(folly::json::serialize("a\xe0\xa0\x80z\xc0\x80\x80", opts),
 322             "\"a\xe0\xa0\x80z\ufffd\ufffd\ufffd\"");
 323   EXPECT_EQ(folly::json::serialize("z\xc0\x80z\xe0\xa0\x80", opts),
 324             "\"z\ufffd\ufffdz\xe0\xa0\x80\"");
 325
 326   opts.encode_non_ascii = true;
 327   EXPECT_EQ(folly::json::serialize("a\xe0\xa0\x80z\xc0\x80", opts),
 328             "\"a\\u0800z\\ufffd\\ufffd\"");
 329   EXPECT_EQ(folly::json::serialize("a\xe0\xa0\x80z\xc0\x80\x80", opts),
 330             "\"a\\u0800z\\ufffd\\ufffd\\ufffd\"");
 331   EXPECT_EQ(folly::json::serialize("z\xc0\x80z\xe0\xa0\x80", opts),
 332             "\"z\\ufffd\\ufffdz\\u0800\"");
 333
 334 }
 335
 336
 337 TEST(Json, ParseNonStringKeys) {
 338   // test string keys
 339   EXPECT_EQ("a", parseJson("{\"a\":[]}").items().begin()->first.asString());
 340
 341   // check that we don't allow non-string keys as this violates the
 342   // strict JSON spec (though it is emitted by the output of
 343   // folly::dynamic with operator <<).
 344   EXPECT_THROW(parseJson("{1:[]}"), std::runtime_error);
 345
 346   // check that we can parse colloquial JSON if the option is set
 347   folly::json::serialization_opts opts;
 348   opts.allow_non_string_keys = true;
 349
 350   auto val = parseJson("{1:[]}", opts);
 351   EXPECT_EQ(1, val.items().begin()->first.asInt());
 352
 353
 354   // test we can still read in strings
 355   auto sval = parseJson("{\"a\":[]}", opts);
 356   EXPECT_EQ("a", sval.items().begin()->first.asString());
 357
 358   // test we can read in doubles
 359   auto dval = parseJson("{1.5:[]}", opts);
 360   EXPECT_EQ(1.5, dval.items().begin()->first.asDouble());
 361 }
 362
 363 TEST(Json, ParseDoubleFallback) {
 364   // default behavior
 365   EXPECT_THROW(parseJson("{\"a\":847605071342477600000000000000}"),
 366       std::range_error);
 367   EXPECT_THROW(parseJson("{\"a\":-9223372036854775809}"),
 368       std::range_error);
 369   EXPECT_THROW(parseJson("{\"a\":9223372036854775808}"),
 370       std::range_error);
 371   EXPECT_EQ(std::numeric_limits<int64_t>::min(),
 372       parseJson("{\"a\":-9223372036854775808}").items().begin()
 373         ->second.asInt());
 374   EXPECT_EQ(std::numeric_limits<int64_t>::max(),
 375       parseJson("{\"a\":9223372036854775807}").items().begin()->second.asInt());
 376   // with double_fallback
 377   folly::json::serialization_opts opts;
 378   opts.double_fallback = true;
 379   EXPECT_EQ(847605071342477600000000000000.0,
 380       parseJson("{\"a\":847605071342477600000000000000}",
 381         opts).items().begin()->second.asDouble());
 382   EXPECT_EQ(847605071342477600000000000000.0,
 383       parseJson("{\"a\": 847605071342477600000000000000}",
 384         opts).items().begin()->second.asDouble());
 385   EXPECT_EQ(847605071342477600000000000000.0,
 386       parseJson("{\"a\":847605071342477600000000000000 }",
 387         opts).items().begin()->second.asDouble());
 388   EXPECT_EQ(847605071342477600000000000000.0,
 389       parseJson("{\"a\": 847605071342477600000000000000 }",
 390         opts).items().begin()->second.asDouble());
 391   EXPECT_EQ(std::numeric_limits<int64_t>::min(),
 392       parseJson("{\"a\":-9223372036854775808}",
 393         opts).items().begin()->second.asInt());
 394   EXPECT_EQ(std::numeric_limits<int64_t>::max(),
 395       parseJson("{\"a\":9223372036854775807}",
 396         opts).items().begin()->second.asInt());
 397   // show that some precision gets lost
 398   EXPECT_EQ(847605071342477612345678900000.0,
 399       parseJson("{\"a\":847605071342477612345678912345}",
 400         opts).items().begin()->second.asDouble());
 401 }
 402
 403 TEST(Json, ParseNumbersAsStrings) {
 404   folly::json::serialization_opts opts;
 405   opts.parse_numbers_as_strings = true;
 406   auto parse = [&](folly::fbstring number) {
 407     return parseJson(number, opts).asString();
 408   };
 409
 410   EXPECT_EQ("0", parse("0"));
 411   EXPECT_EQ("1234", parse("1234"));
 412   EXPECT_EQ("3.00", parse("3.00"));
 413   EXPECT_EQ("3.14", parse("3.14"));
 414   EXPECT_EQ("0.1234", parse("0.1234"));
 415   EXPECT_EQ("0.0", parse("0.0"));
 416   EXPECT_EQ("46845131213548676854213265486468451312135486768542132",
 417       parse("46845131213548676854213265486468451312135486768542132"));
 418   EXPECT_EQ("-468451312135486768542132654864684513121354867685.5e4",
 419       parse("-468451312135486768542132654864684513121354867685.5e4"));
 420   EXPECT_EQ("6.62607004e-34", parse("6.62607004e-34"));
 421   EXPECT_EQ("6.62607004E+34", parse("6.62607004E+34"));
 422   EXPECT_EQ("Infinity", parse("Infinity"));
 423   EXPECT_EQ("-Infinity", parse("-Infinity"));
 424   EXPECT_EQ("NaN", parse("NaN"));
 425
 426   EXPECT_THROW(parse("ThisIsWrong"), std::runtime_error);
 427   EXPECT_THROW(parse("34-2"), std::runtime_error);
 428   EXPECT_THROW(parse(""), std::runtime_error);
 429   EXPECT_THROW(parse("-"), std::runtime_error);
 430   EXPECT_THROW(parse("34-e2"), std::runtime_error);
 431   EXPECT_THROW(parse("34e2.4"), std::runtime_error);
 432   EXPECT_THROW(parse("infinity"), std::runtime_error);
 433   EXPECT_THROW(parse("nan"), std::runtime_error);
 434 }
 435
 436 TEST(Json, SortKeys) {
 437   folly::json::serialization_opts opts_on, opts_off;
 438   opts_on.sort_keys = true;
 439   opts_off.sort_keys = false;
 440
 441   dynamic value = dynamic::object
 442     ("foo", "bar")
 443     ("junk", 12)
 444     ("another", 32.2)
 445     ("a",
 446       {
 447         dynamic::object("a", "b")
 448                        ("c", "d"),
 449         12.5,
 450         "Yo Dawg",
 451         { "heh" },
 452         nullptr
 453       }
 454     )
 455     ;
 456
 457   std::string sorted_keys =
 458     R"({"a":[{"a":"b","c":"d"},12.5,"Yo Dawg",["heh"],null],)"
 459     R"("another":32.2,"foo":"bar","junk":12})";
 460
 461   EXPECT_EQ(value, parseJson(folly::json::serialize(value, opts_on)));
 462   EXPECT_EQ(value, parseJson(folly::json::serialize(value, opts_off)));
 463
 464   EXPECT_EQ(sorted_keys, folly::json::serialize(value, opts_on));
 465 }
 466
 467 TEST(Json, PrintTo) {
 468   std::ostringstream oss;
 469
 470   dynamic value = dynamic::object
 471     ("foo", "bar")
 472     ("junk", 12)
 473     ("another", 32.2)
 474     (true, false) // include non-string keys
 475     (false, true)
 476     (2, 3)
 477     (0, 1)
 478     (1, 2)
 479     (1.5, 2.25)
 480     (0.5, 0.25)
 481     (0, 1)
 482     (1, 2)
 483     ("a",
 484       {
 485         dynamic::object("a", "b")
 486                        ("c", "d"),
 487         12.5,
 488         "Yo Dawg",
 489         { "heh" },
 490         nullptr
 491       }
 492     )
 493     ;
 494
 495   std::string expected =
 496       R"({
 497   false : true,
 498   true : false,
 499   0.5 : 0.25,
 500   1.5 : 2.25,
 501   0 : 1,
 502   1 : 2,
 503   2 : 3,
 504   "a" : [
 505     {
 506       "a" : "b",
 507       "c" : "d"
 508     },
 509     12.5,
 510     "Yo Dawg",
 511     [
 512       "heh"
 513     ],
 514     null
 515   ],
 516   "another" : 32.2,
 517   "foo" : "bar",
 518   "junk" : 12
 519 })";
 520   PrintTo(value, &oss);
 521   EXPECT_EQ(expected, oss.str());
 522 }