Fix typo in comment

Reviewed By: yfeldblum

Differential Revision: D2869494

fb-gh-sync-id: 889957a92dd7f59c4b9564d1946e9f4058293839

Extract endianness checks into Portability.h

Summary: [Folly] Extract endianness checks into Portability.h.

Reviewed By: fugalh

Differential Revision: D2857924

fb-gh-sync-id: 23ecd2a3cad661024acb62769cd85df394786c59

Use FOLLY_DEPRECATED rather than directly using GCC specific attributes.

Summary: Without this MSVC can't compile.

Reviewed By: lbrandy

Differential Revision: D2856598

fb-gh-sync-id: 0e146afe844b0ce5d3782528ed9c3de53f7c8b05

Debian DEBs build script

Summary:
This scripts uses fpm to build a somewhat reproducible set of debs which can be deployed to Ubuntu 14.04 hosts. The main library package carries the Folly major version number, allowing multiple versions to be installed alongside. The -dev deb is simply called libfolly-dev and will be upgraded as Folly moves forward. In accordance to the Debian packaging policies the shared libraries have their (debug) symbols stripped and saved to external symbol files, contained in the -dev deb.

sgolemon, yfeldblum you guys are my best guess to review this. Feel free to suggest additional folks if needed.

Reviewed By: yfeldblum

Differential Revision: D2806082

fb-gh-sync-id: 42605acccdec781f7a6b59a925121e6ed7c7cdf5

Initialize LifoSem's padding to allow for its constexpr constructor.

Summary: MSVC correctly gives an error about the constexpr constructor not initializing all members.

Reviewed By: yfeldblum

Differential Revision: D2856806

fb-gh-sync-id: cef97639906dd3c39e3d3dc2ba939021e15edcb9

Thread-safe RequestContext putIfAbsent operation

Summary:
Adds a thread-safe putIfAbsent operation to the RequestContext. The current setContextData() is not sufficent to do it safely.
Just like setContextData, this method is unfair, as a high volume of reads will block the spinlock.

Reviewed By: fugalh

Differential Revision: D2850752

fb-gh-sync-id: 2ff22ea9e9bd8f27f6ae7a57214a6dbc4fdcd4c5

avoid aggressive optimization

Summary: GCC will now dead-code eliminate the folly-based version of this test without a mechanisms to force the result to be live.

Reviewed By: ttsugriy

Differential Revision: D2854633

fb-gh-sync-id: 0e3841ed22c040fda7653bcfb5a3f19ca3d1f835

Add PrintTo for dynamic

Summary: Making `EXPECT_EQ(dyn1, dyn2)` easier to debug

Reviewed By: luciang, ot, yfeldblum

Differential Revision: D2848318

fb-gh-sync-id: 0c7cdd292665a493f2b792798df4e6966c1f28db

Add getPeerCert() to AsyncTransport.

Reviewed By: elindsey

Differential Revision: D2850760

fb-gh-sync-id: 60dbc3117e658d2fd083a87884892924bf313019

Adding OpenSSLPtrTypes.h.

Summary:
So that these deleter and unique_ptr types don't have to be redeclared every single place they are used.
To be expanded on.

Reviewed By: mzlee

Differential Revision: D2850376

fb-gh-sync-id: e7f8bba320163b8b12a93b5cf3cd9a5921d38edc

Haswell-specific implementation of Select64 routine.

Summary: k-th bit selection could be efficiently implemented via new BMI2 instruction set.

Reviewed By: ot, philippv

Differential Revision: D2843311

fb-gh-sync-id: 4c0cf52176a03422aef276ce5f677080f67f5fdf

Move StringTest benchmarks into StringBenchmark.cpp

Summary: StringTest.cpp is a mix of benchmarks and normal unittests. Fixing this.

Reviewed By: yfeldblum

Differential Revision: D2840804

fb-gh-sync-id: d3efc357f5f09385e9f69b70e38b64d59045ff0d

Remove unecessary main functions.

Summary: Starting with this, but I will keep digging through these. The tests will be compiled into one combined test with a single main.

Reviewed By: yfeldblum

Differential Revision: D2841391

fb-gh-sync-id: 78fd153e282f1ca2dbe7ada942dc04fc8ba5d42d

Add Range::erase

Summary: Needed to use StringPiece with boost::algorithm::trim()

Reviewed By: yfeldblum

Differential Revision: D2833657

fb-gh-sync-id: 3430b1a2540279b2f69f04c871df3bca748f2cb1

Print null correctly

Summary: Null by itself was printing as 0, now it prints as null, which is consistent with the 'pseudo json' output.

Reviewed By: yfeldblum

Differential Revision: D2789284

fb-gh-sync-id: f318b8d0f8349f4b36f868c419842fb50bee9517

Fix buck build for SSLContext

Summary: D2800746 broke buck with an unsigned/signed compare

Reviewed By: dkgi

Differential Revision: D2835102

fb-gh-sync-id: a0b8311b38a199e089d3ed5a69b12f8f8abe38b1

Allow SSLContext to read certificates and keys from memory

Summary: Added the ability for SSLContext to load X509 Certificates and private keys from memory

Reviewed By: yfeldblum

Differential Revision: D2800746

fb-gh-sync-id: 14cad74f8d761b9b0f07e2827b155cec9ba27f50

Decouple future and fiber for mobile

Summary:
folly::fibers have a bunch of dependencies that are shaky on mobiles.
Decoupling it by using folly::Baton instead of folly::fibers::Baton. Should have
zero effect on fbcode cases.

Reviewed By: djwatson, yfeldblum

Differential Revision: D2821603

fb-gh-sync-id: 0ce3472c9eedf97224e8584d25e04515396cd18e

match new signal text from prior diff; squash colors (!)

Reviewed By: yfeldblum

Differential Revision: D2828789

fb-gh-sync-id: 71e45ffe31061220e06d7e7762058f8a1501b5cc

Add a preprocessor guard around __STDC_LIMIT_MACROS in IOBuf.cpp

Summary:
Adding the standard preprocessor guard around the `#define
__STD_LIMIT_MACROS` in IOBuf.cpp.

public

Reviewed By: knekritz

Differential Revision: D2825816

fb-gh-sync-id: 191824ec8d1f837e2b8380a2f8451972c421ceaa

Use PRIuMAX for Android format strings.

Summary: Provide a more Android compatible version of sformat.

Reviewed By: sgolemon

Differential Revision: D2825105

fb-gh-sync-id: ce328d17b9f8008d81bc7dd5bf7f0905e560dfe1

Log pid/uid of sending process in signal handler, too

Reviewed By: yfeldblum

Differential Revision: D2816450

fb-gh-sync-id: 3d3b0bf20a3f20570f847e3c5ec91a5e3786a370

Add security protocol trace event.

Reviewed By: siyengar

Differential Revision: D2805183

fb-gh-sync-id: 9ed320dd3762658e993daa658100d0c3c617d210

SingeltonVault::ScopedExpunger - RAII class to clear singletons

Summary:
[Folly] `SingeltonVault::ScopedExpunger` - RAII class to clear singletons.

Clears all singletons in the given vault at ctor and dtor times. Useful for unit-tests that need to clear the world.

This need can arise when a unit-test needs to swap out an object used by a singleton for a test-double, but the singleton needing its dependency to be swapped has a type or a tag local to some other translation unit and unavailable in the current translation unit.

Other, better approaches to this need are "plz 2 refactor" ....

Reviewed By: andriigrynenko

Differential Revision: D2802459

fb-gh-sync-id: c24cebd3a464ed5da29ea1d9e7b86c51d61cf631

Fix Python FiberTask to properly init/reset Python thread state

Reviewed By: alikhtarov

Differential Revision: D2813735

fb-gh-sync-id: ab3c3e18618ed8bf15f478bcfca008786834e65c

folly::Symbolizer can be enhanced for dumpStackTrace

Summary:
added functionality in Symbolizer.cpp to handle multi-segment binary and to allow symbol lookup via /proc/self/exe when some or whole text is relocated to ANON pages such as during hugification. An example of multi-segment binary : P56071432

cc markw65 - a part of the change include logic pulled from hphp/runtime/base/stack-logger.cpp:symbolize_huge_text so that hugified consumers of dumpStackTrace need not fork off.

Reviewed By: edwardc

Differential Revision: D2802837

fb-gh-sync-id: 577ab1b4ef8f22059894bfdd9c0526a22ee89ca8

Fix two fbstring operator+ overloads

Summary: `insert()` returns `fbstring` in most cases, but `iterator` (that is, `value_type*`) when the first argument is an iterator. Two overloads of `operator+` used `insert` as if it returned `fbstring`, which by chance works anyway unless the resulting string contains a `'\0'` (plus it does an extra string copy). This diff fixes the bug.

Reviewed By: philippv, luciang, Gownta

Differential Revision: D2813713

fb-gh-sync-id: 015188b72813da2dabe23980f50f00832d62aa14

parse args for -json flag

Reviewed By: yfeldblum

Differential Revision: D2803911

fb-gh-sync-id: 65023cae7fd8e06c30fed100826b4b834ee2e9b1

Enable GroupVarint on PPC64

Summary:
This PR is necessary for both Folly and HHVM to compile on PPC64 (https://github.com/PPC64/hhvm) and other platforms that are not compatible with SSE instructions.

It also removes GroupVarint32 tables generator dependency on x86 platform.
Closes https://github.com/facebook/folly/pull/339

Reviewed By: mxw

Differential Revision: D2760156

fb-gh-sync-id: b4e93b54b62d6f68ccf684d34840678f677bf276

parse args for -json flag

Reviewed By: lbrandy

Differential Revision: D2803778

fb-gh-sync-id: 0cb21413bb1c78d256b4408322f8d585f53cb0ac

Add canAdvance to cursor and tests

Summary:
Determine if the cursor can advance N bytes. This is useful if
applications want to check before reading so an exception isn't thrown.
It tries to walk the minimal amount of links needed in the chain.

I had a task that could have used this, though caching totalLength and
macro magic ended up being the implementation chosen. I think this just
adds to the cursor API.

Reviewed By: djwatson

Differential Revision: D2728498

fb-gh-sync-id: 8657653b82a48828cccab143653dc169ef715702

Switch back to SYS_gettid, and fix

Summary:
SYS_gettid is different on Linux vs. OSX.  `__NR_gettid` is
only sometimes present and `SYS_gettid` is only sometimes present, but
we can pick one name and just follow that one.

Reviewed By: dcolascione

Differential Revision: D2800515

fb-gh-sync-id: 4245de4b9184ac4233ade9da297409c1031869a3

Clean up folly tests.

Summary: Clean up and remove unecessary gflags use.

Reviewed By: yfeldblum

Differential Revision: D2795904

fb-gh-sync-id: 99cccb4dc32a051b3d552b72cbc9243e20ba8127

Close AsyncServerSocket sockets in reverse order

Summary:
When a large number of processes concurrently bind and close `AsyncServerSocket`s with `port=0` (for example in tests) binding the IPv4 socket on the same port bound with the IPv6 socket can currently fail, because sockets are closed in the same order as they are opened, which makes the following scenario possible:

```
P0: close IPv6 port
P1: open IPv6 port (succeed)
P1: open IPv4 port (FAIL)
P0: close IPv4 port
```

This diff reverses the closing order, and also fixes a couple of outdated comments.

Reviewed By: philippv

Differential Revision: D2795920

fb-gh-sync-id: 0b5157a56dfed84aed4a590c103050a2727847b3

Add Notification Queue Size in verbose logs of EventBase

Summary: As above

Reviewed By: alandau

Differential Revision: D2791829

fb-gh-sync-id: 8ae5b875464dfa910b88dc12465879a9420d398c

wrapper for nullable attribute

Reviewed By: yfeldblum

Differential Revision: D2784472

fb-gh-sync-id: 84c7426cc82edabb04c662fa699764ffc0864b7e

clang attribute wrappers

Summary: adding GCC compatible wrappers for clang attributes to folly.

Reviewed By: yfeldblum

Differential Revision: D2706913

fb-gh-sync-id: 17db34089d48a6a01c20904321a47ff98141c2fe

Change `SYS_gettid` to __NR_gettid instead

Summary: SYS_gettid is not available on all platforms, but __NR_gettid should be.

Reviewed By: dcolascione

Differential Revision: D2787003

fb-gh-sync-id: ee024437ac95281a3573e2440653847f6f7d1738

Fix test Dynamic.ArrayReassignment with Clang 3.7

Summary:
`dynamic` is one of the few unfortunate recursive types that have a constructor of the form `T(initializer_list<T>)`. After the Defect Report 95 (http://www.open-std.org/jtc1/sc22/wg21/docs/cwg_defects.html#1467) a statement `T t = {v};` where `v` is of type `T` invokes the copy constructor instead of the initializer list constructor. Clang 3.7 implements the new behavior, and GCC probably will soon.
This diff only fixes a test where the ambiguous syntax is used, but a better solution would be preferable.

Reviewed By: philippv

Differential Revision: D2786455

fb-gh-sync-id: 7fa5235e4041cbc8dd3ce685b5a0c23c343f78d2

Added missing instantiation for HistogramBuckets::computeTotalCount()

Summary:
D2078239 added a template method to HistogramBuckets but didn't add an instantiation for it, similar to getPercentileBucketIdx() and getPercentileEstimate() (see comment in Instantiations.cpp). This diff adds it, making `computeTotalCount()` usable without including `Histogram-defs.h`.

Also removes the weird `const` in return type.

Reviewed By: simpkins

Differential Revision: D2783534

fb-gh-sync-id: 9226489820116e0cbcb1f6a631b389439558061e

Remove extra FLAGS_seed definition

Summary: This is not used within the file.  Cleaning up.

Reviewed By: yfeldblum

Differential Revision: D2784500

fb-gh-sync-id: 60270cb20c40b79f988c5536fa00e0a0f1d08e46

Move ThreadLocal.h into the implementation

Summary: Move ThreadLocal.h out of Random.h so we don't over include.

Reviewed By: yfeldblum

Differential Revision: D2770085

fb-gh-sync-id: e6934d606236c2b5cdde728639f372641ee716dc

fixed build with g++ 5+ and ASAN enabled

Summary:
Fixing by deleting unnecessary macro checks - folly already requires at least g++4.8
Closes https://github.com/facebook/folly/pull/338

Reviewed By: yfeldblum

Differential Revision: D2742024

Pulled By: fredemmott

fb-gh-sync-id: c0ecc7edceeebd1f972b0be4f4740214211f1c24

Fix EventBaseLoopController destruction races

Summary:
Existing scheduleThreadSafe implementation had 2 potential races on destruction:
1. (very unlikely) insertHead is complete, but fiber loop is already running on another thread, so it finishes processing all of the fibers, destroys FiberManager or EventBase or both. By the time we get to scheduleThreadSafe EventBaseLoopController is already destoyed
2. (more likely) scheduleThreadSafe is complete, but FiberManager loop which is already running, picks complete fiber, finishes the processing. After that FiberManager may be destoyed. So when EventBase actually executes the callback FiberManager is already dead.

This solution fixes both races. Holding the alive shared_ptr when completing sheduleThreadSafe assures EventBase can't be destoyed until its completed (or it won't try to schedule anything after EventBase was destroyed). Locking alive weak_ptr in the EventBase loop callback ensures FiberManager and thus EventBaseLoopController were not destroyed yet (they can be destoyed only by the same thread which is running EventBase loop).

Reviewed By: spalamarchuk

Differential Revision: D2763206

fb-gh-sync-id: 1972d6c0c11aa931747ebdaed4029a209130f69c

Allow override for unaligned reads in SpookyHashV2

Summary: Add configuration for disabling unaligned reads in SpookyHashV2

Reviewed By: yfeldblum

Differential Revision: D2750885

fb-gh-sync-id: 9f48dcdfd5af05478a38e354f6fa0332b1332c14

Put optimized memcpy into folly

Summary: There is an optimized assembler version of memcpy that is showing 1.5% gain on TAO, add it to folly

Reviewed By: yfeldblum

Differential Revision: D2218473

fb-gh-sync-id: d5ac7f5ab30ff6febe7e94b017766c68dbd8934d

Support gzip in folly/io:compression

Summary: gzip files can be easier to work with operationally than raw zlib thanks to gzip+gunzip.  zlib supports adding/stripping the gzip header; expose that through a new CodecType.

Reviewed By: chipturner

Differential Revision: D2759554

fb-gh-sync-id: 67e0f5f88e087d363db1c349cabb909fb3f00417

Update SSLContext to use folly::Random and discrete_distribution

Summary:
Change next pick logic to use `std::discrete_distribution`.  Use folly::Random::DefaultGenerator as the generator.
Update the TARGETS to have sslcontext depend on random (which was the build break in D2741855)

Reviewed By: siyengar

Differential Revision: D2749166

fb-gh-sync-id: 7a6b400173b1e8c69a961f9e75e97d4777d5467a

Add a per-socket buffer callback

Summary: this is way simpler than D2623385 + D2709121. There will be a followup diff to clean the existing per-write call BufferCallback. The new one is on per-socket basis, much straightforward. I will only setup this in HTTPUpstreamSession.

Reviewed By: afrind

Differential Revision: D2723493

fb-gh-sync-id: 6b1c21a719281b9693330b6a4074f7149d7c342a

Remove per-write buffer callback from AsyncSocket

Summary: Remove per-write buffer callback from AsyncSocket

Reviewed By: afrind

Differential Revision: D2733142

fb-gh-sync-id: 91214a8c833bbd479bf049c2bb72d660e0c30f50

folly::dynamic::operator= for std::initializer_list

Summary:
If we're going to have a constructor for it, we should have operator=.

Otherwise, gcc-4.9 goes via the copy constructor effectively "ignoring" the attempted nesting for e.g..

```
d = { other_dynamic };  // Should be ARRAY containing dynamic
```

NOTE: this only fixes gcc-4.9, there's still issues in clang.

Reviewed By: yfeldblum

Differential Revision: D2745180

fb-gh-sync-id: 667787c788fc7c131d8a34c608c355f5b875be50

Fix RefCountTest and RCURefCount race

Reviewed By: alikhtarov

Differential Revision: D2741459

fb-gh-sync-id: c4bd068cf735ae25364edba40960096fb35e8c43

setup signal handler with SA_ONSTACK

Summary:
By default signal handlers are run on the signaled thread's stack.
In case of stack overflow running the `SIGSEGV` signal handler on
the same stack leads to another `SIGSEGV` and crashes the program
Use `SA_ONSTACK`, so alternate stack is used (only if configured via
`sigaltstack`).

Reviewed By: luciang

Differential Revision: D2747021

fb-gh-sync-id: 48388acd6147e2919412ec32acfca1ca76f22a16

Use SharedMutex as the default mutex type in Synchronized

Summary:
[Folly] Use `SharedMutex` as the default mutex type in `Synchronized`.

`folly::SharedMutex` is, overall, a faster mutex than `boost::shared_mutex`. Let's upgrade.

Reviewed By: nbronson

Differential Revision: D2743132

fb-gh-sync-id: e36881495e8e1002cd481607e05e555c5da19b9a

D2741855 broke my wangle. Reverting

Summary: Revert D2741855

Reviewed By: mzlee

Differential Revision: D2744015

fb-gh-sync-id: b1e9b0a5ab95cb988d2b5c08c86139452b092465

Unit test showing array assignment problem on gcc 4.9

Summary: Unit test showing array assignment problem on gcc 4.9

Reviewed By: lbrandy

Differential Revision: D2739900

fb-gh-sync-id: 6b0fde956672b8248fbd4e620fd112195c45c646

Add ReadMostlySharedPtr and TLRefCount to Makefile.am

Reviewed By: pavlo-fb

Differential Revision: D2743230

fb-gh-sync-id: 4a52d1758a43fd103318bbe0913776340eaa6af7

Fix automake build

Summary: There is slight drift in external deps between the TARGETS and automake files, keeping tests from linking in the 'make check' step when building folly outside of fbcode.

Reviewed By: yfeldblum

Differential Revision: D2740482

fb-gh-sync-id: ae6243f9bb112a7d2680017b3d577a1f23ef4f60

Update SSLContext to use discrete_distribution

Summary: Update the protocol pick logic to use discrete_distribution

Reviewed By: siyengar

Differential Revision: D2741855

fb-gh-sync-id: 244bd087124a7a9584a1108fe8f8150093275878

Switch folly::Singleton to ReadMostlySharedPtr

Summary:
This also introduces a new try_get_fast() API which returns ReadMostlySharedPtr.
We should eventually migrate all users onto this API.

Reviewed By: elsteveogrande

Differential Revision: D2706745

fb-gh-sync-id: d558d705f431fc6147334c188fd0c6156644ba5c

Add support for ALPN

Summary: With openssl-1.0.2 and later add support for ALPN.  Clients can request NPN only, but the default is to support either (client will send ALPN list, server will send NPN advertisement if ALPN is not negotiated).

Reviewed By: siyengar

Differential Revision: D2710441

fb-gh-sync-id: a8efe69e1869bbecb4ed9e0a513448fcfdb21ca6

notification queue read -> readNoInt

Summary: EINTR should be retried

Reviewed By: afrind

Differential Revision: D2735879

fb-gh-sync-id: 6f25cd26e29ab8e7e13a3d63f24bf2d104c14809

Avoid cost of cancelAll

Summary:
This is an experimental diff that may improve the performance of `HHWheelTimer::cancelAll`. If there are no timers to cancel, then it can bail early.

Since perflab is unlikely to be conclusive, and since this diff looks like a strict improvement, I'll proceed with landing it.

Reviewed By: djwatson

Differential Revision: D2735297

fb-gh-sync-id: 9f5a811ee6d9fa9434576e9abd3ef3443a7579b7

Fix TLRefCount race around thread local destruction and fix RefCount unit test

Reviewed By: pavlo-fb

Differential Revision: D2708425

fb-gh-sync-id: 665d077210503df4f4e8aa8f88ce5b9b277582f3

Update zstd to 0.4.2

Summary: New version.

Reviewed By: cyan

Differential Revision: D2730844

fb-gh-sync-id: 4305bdfba2e8d25eba295bbf3f13a140c0d04a1c

Mark some methods virtual on SSL Context.

Summary:
Mark some methods as virtual.  This makes writing some
better unit tests on the associated task possible.

Reviewed By: siyengar

Differential Revision: D2730126

fb-gh-sync-id: f79f7632e873cb218bb49883d9b53beea7bb96e7

add type info to broken promise what()

Summary: when a promise is broken, add type info to the message. This will allow for some small improvements to debugging errors from broken promises, namely giving developers a slightly more refined target to grep for.

Reviewed By: fugalh

Differential Revision: D2725575

fb-gh-sync-id: b92edbde874e63eaeab97395da7bb52f76968800

Fix segfaults in AsyncSSLSocket when used in unencrypted mode.

Reviewed By: djwatson

Differential Revision: D2720027

fb-gh-sync-id: 1d56aabedeaf65a5d48e152eaee5c81695be7620

json: Add option to parse numbers as strings

Summary: Adding a flag in `folly::json::serialization_opts` that allows you to request all numbers to be parsed into strings. This saves you from exceptions being thrown by `folly::parseJson` if it encounters numbers that wouldn't fit in int64.

Reviewed By: yfeldblum

Differential Revision: D2713039

fb-gh-sync-id: 4f3d0d20f3012efd6229adf895200a3901bb4493

Make getWrappedTransport/getUnderlyingTransport const.

Reviewed By: mzlee

Differential Revision: D2709222

fb-gh-sync-id: 67a00a49bbcef5572b6092d7bfba1842d985e643

Remove getBytesRead and getBytesWritten from folly::AsyncSSLSocket.

Summary: getRawBytesReceived and getRawBytesWritten should be used instead.

Reviewed By: mzlee

Differential Revision: D2708684

fb-gh-sync-id: 2de87dc2b8c3466f94293a3d7df89fc5fce3a00f

Add an "after fork, before exec" callback

Summary:
In rare cases, it is required to run code **in the child process**, before it calls `exec()` because you need to change the state of the process **before** the child binary gets to run. This diff adds a callback to permit this. The callback is deliberately harder to use than an `std::function`, because you **REALLY HAVE TO KNOW WHAT YOU ARE DOING** to use this. And you have to check your work three times. Even glog `LOG()` must not be called from inside this callback. Your random library of choice is also probably unsafe.

This diff is primarily applicable to job managers and shells. For example, these tasks benefit from this callback: adding a child to a Linux `cgroup`, twiddling its various POSIX process attributes.

Implementing a correct callback for the post-vfork environment is fraught with peril. Read http://ewontfix.com/7/, and the docstrings in this diff.

Reviewed By: yfeldblum

Differential Revision: D2688323

fb-gh-sync-id: aae49e2b3957ca845895acca26e9cb44df1afc07

fix for negative delay in runAfterDelay

Summary: Currently, the tryRunAfterDelay implicitly converts a negative delay in int to unsigned int. With this change, the api makes it clear than only unsinged int is accepted as valid delay

Reviewed By: yfeldblum

Differential Revision: D2710034

fb-gh-sync-id: cb3c6b91bb86bbe07fa0e590b2ea871242d19745

ThreadLocalDetail: OSX fixes

Summary:
Change mutex to MicroSpinLock, for constexpr-ctor-ness on OSX.

Fixes this error seen on mac:

  ThreadLocalDetail.h:202:38: note: non-literal type 'std::mutex' cannot be used in a constant expression

Reviewed By: ldemailly

Differential Revision: D2713511

fb-gh-sync-id: bc1c34b4a0ee21347278aa368b408f286345e050

ThreadLocalDetail: fix bug just introduced w/ recent change to constexpr-ctor style class

Summary: Small, silly bug which is triggered when there are no keys to unregister, invalidating the current size of the structure.

Reviewed By: yzhan

Differential Revision: D2712604

fb-gh-sync-id: f6f031936d8e4e458b49c08714f42cb2eec4c4fe

Add Optional::value_type

Summary: Comes in handy, and std::experimental::optional has it.

Reviewed By: yfeldblum

Differential Revision: D2708324

fb-gh-sync-id: 87cdf2449f356d3baf9fb56a608e9c43d8fe79ae

folly: ThreadLocalDetail: make PthreadKeyUnregister constexpr-constructible, avoid SIOF

Summary:
Since this is used in so many places during the program's static-initialization (at startup), this class itself could be (has been demonstrated to be) a point of SIOF problems itself.

Made this class constexpr-constructible, so it doesn't need to be part of static initialization, making it SIOF-proof.

Reviewed By: luciang

Differential Revision: D2709231

fb-gh-sync-id: f248c9f2848c09045e000cfdc03636d847e522c9

Recommend a different exception_handler idiom

Summary: This is a //tiny// documentation change. I noticed that there are lots of places in the codebase where people follow this recommended usage of `with_exception` in an if–else chain, (e.g., https://fburl.com/181606454). IMHO, a short-circuiting `||` operator is easier to read and write.

Reviewed By: yfeldblum

Differential Revision: D2687840

fb-gh-sync-id: 6354555aeba81dcfe7adf17e7e573de0b1206b37

Properly init collectDone_

Summary: facepaw

Reviewed By: djwatson

Differential Revision: D2709030

fb-gh-sync-id: 20fe50bc70e97c4fedeae8fd271a4de70fa0e805

Avoid requiring a suppression (unevaluated-expression)

Summary: [Folly] Avoid requiring a suppression (`unevaluated-expression`).

I am not a fan of suppressing warnings. This warning comes from the internals of gtest, but anyway.

Replace with something that does not trigger the warning.

Reviewed By: Gownta

Differential Revision: D2706279

fb-gh-sync-id: 2ecac1d230308a8fd21a69565193c52585526448

Enable find/emplace for key types other than KeyT.

Summary: Add template parameters to support arbitrary types when looking up a key.

This is useful to avoid the cost of 'materializing' a key which is likely to be present in the array (or, alternatively, switching on a tagged union KeyT).

Use the new capability to greatly simplify the lookup logic in HHVMs static string table.

Reviewed By: nbronson

Differential Revision: D2662451

fb-gh-sync-id: 707fa033f350b80ca8080af17f1a8a74c59f2e88

folly/Conv.h: suppress -Wfloat-conversion warnings

Summary: Using -Werror and -Wfloat-conversion was causing failure in code that is deliberately
performing that conversion.  Add explicit casts to avoid the warnings/errors.
Here are two of the diagnostics:

  ./folly/Conv.h: In instantiation of "typename std::enable_if<std::is_floating_point<_Tp>::value, Tgt>::type folly::to(folly::StringPiece) [with Tgt = float; typename std::enable_if<std::is_floating_point<_Tp>::value, Tgt>::type = float; folly::StringPiece = folly::Range<const char*>]":
  ./thrift/lib/cpp2/protocol/SimpleJSONProtocol.tcc:687:28:   required from "T apache::thrift::SimpleJSONProtocolReader::castIntegral(const string&) [with T = float; std::string = std::basic_fbstring<char>]"
  ./thrift/lib/cpp2/protocol/SimpleJSONProtocol.tcc:680:26:   required from "uint32_t apache::thrift::SimpleJSONProtocolReader::readJSONKey(T&) [with T = float; uint32_t = unsigned int]"
  ./thrift/lib/cpp2/protocol/SimpleJSONProtocol.tcc:654:16:   required from "uint32_t apache::thrift::SimpleJSONProtocolReader::readInContext(T&) [with T = float; uint32_t = unsigned int]"
  ./thrift/lib/cpp2/protocol/SimpleJSONProtocol.tcc:1035:34:   required from here
  ./folly/Conv.h:1222:31: error: conversion to "float" from "std::enable_if<true, double>::type {aka double}" may alter its value [-Werror=float-conversion]

  ./folly/Conv.h: In instantiation of "typename std::enable_if<((std::is_integral<_Tp2>::value && std::is_floating_point<_Tp>::value) || (std::is_floating_point<_DInputType>::value && std::is_integral<_Tp>::value)), Tgt>::type folly::to(const Src&) [with Tgt = long int; Src = double; typename std::enable_if<((std::is_integral<_Tp2>::value && std::is_floating_point<_Tp>::value) || (std::is_floating_point<_DInputType>::value && std::is_integral<_Tp>::value)), Tgt>::type = long int]":
  ./folly/dynamic-inl.h:636:51:   required from "T folly::dynamic::asImpl() const [with T = long int]"
  ./folly/dynamic-inl.h:384:64:   required from here
  ./folly/Conv.h:1245:16: error: conversion to "long int" from "double" may alter its value [-Werror=float-conversion]

This change deserves a little more explanation:

  -  return ceil((double(sizeof(IntegerType) * CHAR_BIT) * M_LN2) / M_LN10);
  +  return (unsigned int)(ceil(sizeof(IntegerType) * CHAR_BIT * M_LN2 / M_LN10));

In addition to adding the cast to destination type, I have also removed the unnecessary cast to double of the first product (there is not risk that it will overflow, and no need to promote to double, there), and I have also removed the grouping parentheses, since the standard left-to-right evaluation works just fine here.

Reviewed By: Gownta, yfeldblum

Differential Revision: D2703928

fb-gh-sync-id: 23b49281d9120d106f1fdbd30921e8f39c01367d

CodeMod: Use the ExceptionWrapper::with_exception variant that deduces exception types

Summary: CodeMod: Use the `ExceptionWrapper::with_exception` variant that deduces exception types.

Since we must specify the exception type in the lambda arg, and there is a variant of `ExceptionWrapper::with_exception` that deduces the type of the exception from the type of the lambda arg, we don't need to specify the exception type again as a template parameter anymore.

Reviewed By: meyering

Differential Revision: D2694895

fb-gh-sync-id: 505469f9008973a315e836f356e5db97df4ec921

folly/Conv.h: estimateSpaceNeeded: avoid undefined behavior

Summary: Do not negate signed numbers like INT_MIN or INTMAX_MIN, since
that would evoke undefined behavior.  Otherwise, the test (below)
would fail with this run-time error:

  [ RUN      ] Conv.Integral2String
  folly/Conv.h:521:47: runtime error: negation of -2147483648 cannot be represented in type 'int'; cast to an unsigned type to negate this value to itself

Reviewed By: markisaa

Differential Revision: D2704195

fb-gh-sync-id: 4036437fb972109672004163880078127e7df797

Avoid deprecated Singleton<T>::get() in folly/futures

Summary: [Folly] Avoid deprecated `Singleton<T>::get()` in `folly/futures`.

Changes `getTimekeeperSingleton()` to return a `shared_ptr<Timekeeper>`, and patches its call-sites.

Additionally, have the call-sites keep the singleton instance alive for the duration that it is being directly used.

Reviewed By: ddrcoder

Differential Revision: D2702361

fb-gh-sync-id: 82b72ee514dc4f2a7f7522af8b2e92b34df063d6

Deprecate get_weak()

Summary: get_weak() is always used with .lock(), but try_get() is actually more performant than get_weak().lock().
Using get_weak() to store a weak_ptr and keep locking is not safe in fork scenarios.

Reviewed By: yfeldblum

Differential Revision: D2694223

fb-gh-sync-id: 908d44293ffd9b3782152d43e28d5de172d1654a

Fix ExceptionWrapper::with_exception to support lvalue ref functors

Summary: [Folly] Fix `ExceptionWrapper::with_exception` to support lvalue ref functors.

Ex:

    auto handler = [&](const std::runtime_error& e) { handle_runtime_error(e); };
    exception_wrapper wrap = get_some_exception_wrapper_from_context();
    wrap.with_exception(handler); // broken before this diff, fixed after

Reviewed By: markisaa

Differential Revision: D2698680

fb-gh-sync-id: 4976ba08e3601e22891d00d79a5dae5118887b71

New ReadMostlySharedPtr implementation

Summary: This changes ReadMostlySharedPtr API to have 3 types: MainPtr, WeakPtr, SharedPtr. MainPtr and SharedPtr are equivalents of std::shared_ptr, and WeakPtr is an equivalent of std::weak_ptr. The only difference is that it can only be a single MainPtr, and while it's alive copying SharedPtr/WeakPtr or WeakPtr doesn't require atomic operations (and thus can be more performant than std::shared_ptr). Unlike original ReadMostlySharedPtr API, there're no thread-safety guarantees between reset() and getShared() for ReadMostlySharedPtr.

ReadMostlySharedPtr can work with different RefCount implementations. This diff introduces RCURefCount (which is currently using liburcu) and TLRefCount.

Reviewed By: djwatson

Differential Revision: D2683572

fb-gh-sync-id: a7a03af4b1cf5f81a613368c6eebe70b2eaef064

Fix proxygen OSS build

Summary: So far this is a speculative fix.. I am waiting to see the results from the Ubuntu machine, but I suspect this is the problem.

Reviewed By: bugok

Differential Revision: D2697600

fb-gh-sync-id: e33d452a52c5ace2b7401d6495621ce68a5076b5

Update symlinks

Summary: See D2696092

Reviewed By: meyering

Differential Revision: D2696360

fb-gh-sync-id: 2cfa9258be899a93a58c59dae70a10fef6f457c8

Skip reallocation in shrink_to_fit for empty fbvector

Reviewed By: philippv

Differential Revision: D2696314

fb-gh-sync-id: 105de2d99bb9f5ac82310e37f9302022c103befc

Make folly's T_CHECK_TIMEOUT/T_CHECK_TIME_LT use SKIP() on failure

Summary: Make these more spurious failure-aware/tolerant.

Reviewed By: yfeldblum

Differential Revision: D2689775

fb-gh-sync-id: 1a9b247b97cc3529b12f6f7b76a4af2e32822d45

folly/detail/ThreadLocalDetail.h: avoid UBSAN-detected memcpy abuse

Summary: [technically, the existing code is probably a no-op on
all systems we care about, but since it is officially UB, switching
to a more strict platform could cause trouble, so it's worth fixing]

Calling memcpy with "nullptr" as 2nd argument is undefined, even when
the third argument is zero, and causes a failure when testing with an
UBSAN-enabled binary (-fsanitize=undefined).
Before this change, the buck-run test below would evoke this failure:

  [ RUN      ] ThreadLocalPtr.BasicDestructor
  folly/detail/ThreadLocalDetail.h:533:29: runtime error: null pointer passed as argument 2, which is declared to never be null
  third-party-buck/build/glibc/include/string.h:47:45: note: nonnull attribute specified here

Ironically, the failure of the target-determinator-buck_push_blocking test (due to an unrelated proxygen dep problem) would block me from landing this, so I am adding this line to override it.

Reviewed By: luciang, alexshap

Differential Revision: D2692625

fb-gh-sync-id: 8bdc5cd2899705f39c9565d640921de1f363807d

Remove undefined behavior in goodMallocSize()

Reviewed By: ot

Differential Revision: D2695741

fb-gh-sync-id: d33263c1ffa5651d66f37992ce365dae157ed449

Make goodMallocSize always use nallocx

Summary: `goodMallocSize` is used extensively in `folly` data structures,
especially for containers optimized for small contents, such as
`fbstring` and `small_vector`.

However, it makes the design decision to align the allocation size to
a x86 cache line, forcing a minimum allocation size of `64` bytes,
despite jemalloc can provide smaller size classes (8, 16, 32,
48). This causes a large discontinuity between small contents that can
be inlined and heap-allocated contents:

- For `fbstring`, a string of 23 bytes (including terminator) occupies
  24 bytes (`sizeof(fbstring)`), a string of 24 bytes occupies 24 + 64
  + allocation overhead when it could be 24 + 32 + allocation
  overhead. The waste is more than 50%.

- For `small_vector<uint32_t, 1, uint32_t>`, for instance, a vector
  with 1 element occupies 12 bytes, a vector with 2 elements occupies
  12 + 64 + allocation overhead when it could be 12 + 8 + allocation
  overhead. The waste is more than 250%.

With this diff we just trust jemalloc and always use `nallocx`. If a
data structure need cache-line alignment it should be implemented at
its level.

Reviewed By: elsteveogrande

Differential Revision: D2688156

fb-gh-sync-id: 46548d4a91952e7c673d4f0997c4c067e03c190d

A well-known instance of folly::Unit

Summary: [Folly] A well-known instance of `folly::Unit`.

Reviewed By: jsedgwick

Differential Revision: D2693426

fb-gh-sync-id: fe595abc852500275a827b4f400cfda7091a55f7

ExceptionWrapper::with_exception variant, deducing exception type from functor type

Summary: [Folly] `ExceptionWrapper::with_exception` variant deducing exception type from functor type.

From the `README.md`:

    // TODO(jsedgwick) infer exception type from the type of the function

Reviewed By: Gownta

Differential Revision: D2685579

fb-gh-sync-id: 158bcd030019f28b4f392d17167ab0bd67cc1edb

Add sdallocx for jemalloc

Summary: Make jemalloc's sdallocx function available in folly and allow future code to
use sized deallocation.

Reviewed By: elsteveogrande, ot

Differential Revision: D2687746

fb-gh-sync-id: 9ef8a16d2c63c4eb8cecab7639add423ef093c2d

Fix Build: folly/test/ThreadLocalTest

Summary: [Folly] Fix Build: `folly/test/ThreadLocalTest`.

The problem is that the to the shared lib used in the test is hardcoded. It's a relative path, so that's nice, but it has too many assumptions about where the build system deposits test binaries.

Instead, let the code simply look for the shared lib in the same directory as the test binary. This makes fewer assumptions on the build system.

Reviewed By: andriigrynenko

Differential Revision: D2689047

fb-gh-sync-id: 648da079b7af5bc9893709d009e577347dd4a463

Fix HHWheelTimerTest.AtMostEveryN

Summary: If it takes too long to finish it is probably heavily loaded. Skip if
so.

Reviewed By: mmcduff

Differential Revision: D2687346

fb-gh-sync-id: 282cac7e4df361f714de1089f11b098af79b1512