folly/MicroSpinLock.h

   1 /*
   2  * Copyright 2017 Facebook, Inc.
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *   http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 /*
  18  * N.B. You most likely do _not_ want to use MicroSpinLock or any
  19  * other kind of spinlock.  Consider MicroLock instead.
  20  *
  21  * In short, spinlocks in preemptive multi-tasking operating systems
  22  * have serious problems and fast mutexes like std::mutex are almost
  23  * certainly the better choice, because letting the OS scheduler put a
  24  * thread to sleep is better for system responsiveness and throughput
  25  * than wasting a timeslice repeatedly querying a lock held by a
  26  * thread that's blocked, and you can't prevent userspace
  27  * programs blocking.
  28  *
  29  * Spinlocks in an operating system kernel make much more sense than
  30  * they do in userspace.
  31  */
  32
  33 #pragma once
  34
  35 /*
  36  * @author Keith Adams <kma@fb.com>
  37  * @author Jordan DeLong <delong.j@fb.com>
  38  */
  39
  40 #include <array>
  41 #include <atomic>
  42 #include <cassert>
  43 #include <cstdint>
  44 #include <type_traits>
  45
  46 #include <folly/Portability.h>
  47 #include <folly/detail/Sleeper.h>
  48
  49 FOLLY_NAMESPACE_STD_BEGIN
  50 template <class Mutex>
  51 class lock_guard;
  52 FOLLY_NAMESPACE_STD_END
  53
  54 namespace folly {
  55
  56 /*
  57  * A really, *really* small spinlock for fine-grained locking of lots
  58  * of teeny-tiny data.
  59  *
  60  * Zero initializing these is guaranteed to be as good as calling
  61  * init(), since the free state is guaranteed to be all-bits zero.
  62  *
  63  * This class should be kept a POD, so we can used it in other packed
  64  * structs (gcc does not allow __attribute__((__packed__)) on structs that
  65  * contain non-POD data).  This means avoid adding a constructor, or
  66  * making some members private, etc.
  67  */
  68 struct MicroSpinLock {
  69   enum { FREE = 0, LOCKED = 1 };
  70   // lock_ can't be std::atomic<> to preserve POD-ness.
  71   uint8_t lock_;
  72
  73   // Initialize this MSL.  It is unnecessary to call this if you
  74   // zero-initialize the MicroSpinLock.
  75   void init() {
  76     payload()->store(FREE);
  77   }
  78
  79   bool try_lock() {
  80     return cas(FREE, LOCKED);
  81   }
  82
  83   void lock() {
  84     detail::Sleeper sleeper;
  85     do {
  86       while (payload()->load() != FREE) {
  87         sleeper.wait();
  88       }
  89     } while (!try_lock());
  90     assert(payload()->load() == LOCKED);
  91   }
  92
  93   void unlock() {
  94     assert(payload()->load() == LOCKED);
  95     payload()->store(FREE, std::memory_order_release);
  96   }
  97
  98  private:
  99   std::atomic<uint8_t>* payload() {
 100     return reinterpret_cast<std::atomic<uint8_t>*>(&this->lock_);
 101   }
 102
 103   bool cas(uint8_t compare, uint8_t newVal) {
 104     return std::atomic_compare_exchange_strong_explicit(payload(), &compare, newVal,
 105                                                         std::memory_order_acquire,
 106                                                         std::memory_order_relaxed);
 107   }
 108 };
 109 static_assert(
 110     std::is_pod<MicroSpinLock>::value,
 111     "MicroSpinLock must be kept a POD type.");
 112
 113 //////////////////////////////////////////////////////////////////////
 114
 115 /**
 116  * Array of spinlocks where each one is padded to prevent false sharing.
 117  * Useful for shard-based locking implementations in environments where
 118  * contention is unlikely.
 119  */
 120
 121 // TODO: generate it from configure (`getconf LEVEL1_DCACHE_LINESIZE`)
 122 #define FOLLY_CACHE_LINE_SIZE 64
 123
 124 template <class T, size_t N>
 125 struct FOLLY_ALIGNED_MAX SpinLockArray {
 126   T& operator[](size_t i) {
 127     return data_[i].lock;
 128   }
 129
 130   const T& operator[](size_t i) const {
 131     return data_[i].lock;
 132   }
 133
 134   constexpr size_t size() const { return N; }
 135
 136  private:
 137   struct PaddedSpinLock {
 138     PaddedSpinLock() : lock() {}
 139     T lock;
 140     char padding[FOLLY_CACHE_LINE_SIZE - sizeof(T)];
 141   };
 142   static_assert(sizeof(PaddedSpinLock) == FOLLY_CACHE_LINE_SIZE,
 143                 "Invalid size of PaddedSpinLock");
 144
 145   // Check if T can theoretically cross a cache line.
 146   static_assert(
 147       folly::max_align_v > 0 &&
 148           FOLLY_CACHE_LINE_SIZE % folly::max_align_v == 0 &&
 149           sizeof(T) <= folly::max_align_v,
 150       "T can cross cache line boundaries");
 151
 152   char padding_[FOLLY_CACHE_LINE_SIZE];
 153   std::array<PaddedSpinLock, N> data_;
 154 };
 155
 156 //////////////////////////////////////////////////////////////////////
 157
 158 typedef std::lock_guard<MicroSpinLock> MSLGuard;
 159
 160 //////////////////////////////////////////////////////////////////////
 161
 162 }