lib/Support/LockFileManager.cpp

   1 //===--- LockFileManager.cpp - File-level Locking Utility------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 #include "llvm/Support/LockFileManager.h"
  10 #include "llvm/ADT/StringExtras.h"
  11 #include "llvm/Support/Errc.h"
  12 #include "llvm/Support/FileSystem.h"
  13 #include "llvm/Support/MemoryBuffer.h"
  14 #include "llvm/Support/raw_ostream.h"
  15 #include "llvm/Support/Signals.h"
  16 #include <sys/stat.h>
  17 #include <sys/types.h>
  18 #if LLVM_ON_WIN32
  19 #include <windows.h>
  20 #endif
  21 #if LLVM_ON_UNIX
  22 #include <unistd.h>
  23 #endif
  24
  25 #if defined(__APPLE__) && defined(__MAC_OS_X_VERSION_MIN_REQUIRED) && (__MAC_OS_X_VERSION_MIN_REQUIRED > 1050)
  26 #define USE_OSX_GETHOSTUUID 1
  27 #else
  28 #define USE_OSX_GETHOSTUUID 0
  29 #endif
  30
  31 #if USE_OSX_GETHOSTUUID
  32 #include <uuid/uuid.h>
  33 #endif
  34 using namespace llvm;
  35
  36 /// \brief Attempt to read the lock file with the given name, if it exists.
  37 ///
  38 /// \param LockFileName The name of the lock file to read.
  39 ///
  40 /// \returns The process ID of the process that owns this lock file
  41 Optional<std::pair<std::string, int> >
  42 LockFileManager::readLockFile(StringRef LockFileName) {
  43   // Read the owning host and PID out of the lock file. If it appears that the
  44   // owning process is dead, the lock file is invalid.
  45   ErrorOr<std::unique_ptr<MemoryBuffer>> MBOrErr =
  46       MemoryBuffer::getFile(LockFileName);
  47   if (!MBOrErr) {
  48     sys::fs::remove(LockFileName);
  49     return None;
  50   }
  51   MemoryBuffer &MB = *MBOrErr.get();
  52
  53   StringRef Hostname;
  54   StringRef PIDStr;
  55   std::tie(Hostname, PIDStr) = getToken(MB.getBuffer(), " ");
  56   PIDStr = PIDStr.substr(PIDStr.find_first_not_of(" "));
  57   int PID;
  58   if (!PIDStr.getAsInteger(10, PID)) {
  59     auto Owner = std::make_pair(std::string(Hostname), PID);
  60     if (processStillExecuting(Owner.first, Owner.second))
  61       return Owner;
  62   }
  63
  64   // Delete the lock file. It's invalid anyway.
  65   sys::fs::remove(LockFileName);
  66   return None;
  67 }
  68
  69 static std::error_code getHostID(SmallVectorImpl<char> &HostID) {
  70   HostID.clear();
  71
  72 #if USE_OSX_GETHOSTUUID
  73   // On OS X, use the more stable hardware UUID instead of hostname.
  74   struct timespec wait = {1, 0}; // 1 second.
  75   uuid_t uuid;
  76   if (gethostuuid(uuid, &wait) != 0)
  77     return std::error_code(errno, std::system_category());
  78
  79   uuid_string_t UUIDStr;
  80   uuid_unparse(uuid, UUIDStr);
  81   StringRef UUIDRef(UUIDStr);
  82   HostID.append(UUIDRef.begin(), UUIDRef.end());
  83
  84 #elif LLVM_ON_UNIX
  85   char HostName[256];
  86   HostName[255] = 0;
  87   HostName[0] = 0;
  88   gethostname(HostName, 255);
  89   StringRef HostNameRef(HostName);
  90   HostID.append(HostNameRef.begin(), HostNameRef.end());
  91
  92 #else
  93   StringRef Dummy("localhost");
  94   HostID.append(Dummy.begin(), Dummy.end());
  95 #endif
  96
  97   return std::error_code();
  98 }
  99
 100 bool LockFileManager::processStillExecuting(StringRef HostID, int PID) {
 101 #if LLVM_ON_UNIX && !defined(__ANDROID__)
 102   SmallString<256> StoredHostID;
 103   if (getHostID(StoredHostID))
 104     return true; // Conservatively assume it's executing on error.
 105
 106   // Check whether the process is dead. If so, we're done.
 107   if (StoredHostID == HostID && getsid(PID) == -1 && errno == ESRCH)
 108     return false;
 109 #endif
 110
 111   return true;
 112 }
 113
 114 namespace {
 115 /// An RAII helper object ensure that the unique lock file is removed.
 116 ///
 117 /// Ensures that if there is an error or a signal before we finish acquiring the
 118 /// lock, the unique file will be removed. And if we successfully take the lock,
 119 /// the signal handler is left in place so that signals while the lock is held
 120 /// will remove the unique lock file. The caller should ensure there is a
 121 /// matching call to sys::DontRemoveFileOnSignal when the lock is released.
 122 class RemoveUniqueLockFileOnSignal {
 123   StringRef Filename;
 124   bool RemoveImmediately;
 125 public:
 126   RemoveUniqueLockFileOnSignal(StringRef Name)
 127   : Filename(Name), RemoveImmediately(true) {
 128     sys::RemoveFileOnSignal(Filename, nullptr);
 129   }
 130   ~RemoveUniqueLockFileOnSignal() {
 131     if (!RemoveImmediately) {
 132       // Leave the signal handler enabled. It will be removed when the lock is
 133       // released.
 134       return;
 135     }
 136     sys::fs::remove(Filename);
 137     sys::DontRemoveFileOnSignal(Filename);
 138   }
 139   void lockAcquired() { RemoveImmediately = false; }
 140 };
 141 } // end anonymous namespace
 142
 143 LockFileManager::LockFileManager(StringRef FileName)
 144 {
 145   this->FileName = FileName;
 146   if (std::error_code EC = sys::fs::make_absolute(this->FileName)) {
 147     Error = EC;
 148     return;
 149   }
 150   LockFileName = this->FileName;
 151   LockFileName += ".lock";
 152
 153   // If the lock file already exists, don't bother to try to create our own
 154   // lock file; it won't work anyway. Just figure out who owns this lock file.
 155   if ((Owner = readLockFile(LockFileName)))
 156     return;
 157
 158   // Create a lock file that is unique to this instance.
 159   UniqueLockFileName = LockFileName;
 160   UniqueLockFileName += "-%%%%%%%%";
 161   int UniqueLockFileID;
 162   if (std::error_code EC = sys::fs::createUniqueFile(
 163           UniqueLockFileName, UniqueLockFileID, UniqueLockFileName)) {
 164     Error = EC;
 165     return;
 166   }
 167
 168   // Write our process ID to our unique lock file.
 169   {
 170     SmallString<256> HostID;
 171     if (auto EC = getHostID(HostID)) {
 172       Error = EC;
 173       return;
 174     }
 175
 176     raw_fd_ostream Out(UniqueLockFileID, /*shouldClose=*/true);
 177     Out << HostID << ' ';
 178 #if LLVM_ON_UNIX
 179     Out << getpid();
 180 #else
 181     Out << "1";
 182 #endif
 183     Out.close();
 184
 185     if (Out.has_error()) {
 186       // We failed to write out PID, so make up an excuse, remove the
 187       // unique lock file, and fail.
 188       Error = make_error_code(errc::no_space_on_device);
 189       sys::fs::remove(UniqueLockFileName);
 190       return;
 191     }
 192   }
 193
 194   // Clean up the unique file on signal, which also releases the lock if it is
 195   // held since the .lock symlink will point to a nonexistent file.
 196   RemoveUniqueLockFileOnSignal RemoveUniqueFile(UniqueLockFileName);
 197
 198   while (1) {
 199     // Create a link from the lock file name. If this succeeds, we're done.
 200     std::error_code EC =
 201         sys::fs::create_link(UniqueLockFileName, LockFileName);
 202     if (!EC) {
 203       RemoveUniqueFile.lockAcquired();
 204       return;
 205     }
 206
 207     if (EC != errc::file_exists) {
 208       Error = EC;
 209       return;
 210     }
 211
 212     // Someone else managed to create the lock file first. Read the process ID
 213     // from the lock file.
 214     if ((Owner = readLockFile(LockFileName))) {
 215       // Wipe out our unique lock file (it's useless now)
 216       sys::fs::remove(UniqueLockFileName);
 217       return;
 218     }
 219
 220     if (!sys::fs::exists(LockFileName)) {
 221       // The previous owner released the lock file before we could read it.
 222       // Try to get ownership again.
 223       continue;
 224     }
 225
 226     // There is a lock file that nobody owns; try to clean it up and get
 227     // ownership.
 228     if ((EC = sys::fs::remove(LockFileName))) {
 229       Error = EC;
 230       return;
 231     }
 232   }
 233 }
 234
 235 LockFileManager::LockFileState LockFileManager::getState() const {
 236   if (Owner)
 237     return LFS_Shared;
 238
 239   if (Error)
 240     return LFS_Error;
 241
 242   return LFS_Owned;
 243 }
 244
 245 LockFileManager::~LockFileManager() {
 246   if (getState() != LFS_Owned)
 247     return;
 248
 249   // Since we own the lock, remove the lock file and our own unique lock file.
 250   sys::fs::remove(LockFileName);
 251   sys::fs::remove(UniqueLockFileName);
 252   // The unique file is now gone, so remove it from the signal handler. This
 253   // matches a sys::RemoveFileOnSignal() in LockFileManager().
 254   sys::DontRemoveFileOnSignal(UniqueLockFileName);
 255 }
 256
 257 LockFileManager::WaitForUnlockResult LockFileManager::waitForUnlock() {
 258   if (getState() != LFS_Shared)
 259     return Res_Success;
 260
 261 #if LLVM_ON_WIN32
 262   unsigned long Interval = 1;
 263 #else
 264   struct timespec Interval;
 265   Interval.tv_sec = 0;
 266   Interval.tv_nsec = 1000000;
 267 #endif
 268   // Don't wait more than five minutes per iteration. Total timeout for the file
 269   // to appear is ~8.5 mins.
 270   const unsigned MaxSeconds = 5*60;
 271   do {
 272     // Sleep for the designated interval, to allow the owning process time to
 273     // finish up and remove the lock file.
 274     // FIXME: Should we hook in to system APIs to get a notification when the
 275     // lock file is deleted?
 276 #if LLVM_ON_WIN32
 277     Sleep(Interval);
 278 #else
 279     nanosleep(&Interval, nullptr);
 280 #endif
 281
 282     if (sys::fs::access(LockFileName.c_str(), sys::fs::AccessMode::Exist) ==
 283         errc::no_such_file_or_directory) {
 284       // If the original file wasn't created, somone thought the lock was dead.
 285       if (!sys::fs::exists(FileName))
 286         return Res_OwnerDied;
 287       return Res_Success;
 288     }
 289
 290     // If the process owning the lock died without cleaning up, just bail out.
 291     if (!processStillExecuting((*Owner).first, (*Owner).second))
 292       return Res_OwnerDied;
 293
 294     // Exponentially increase the time we wait for the lock to be removed.
 295 #if LLVM_ON_WIN32
 296     Interval *= 2;
 297 #else
 298     Interval.tv_sec *= 2;
 299     Interval.tv_nsec *= 2;
 300     if (Interval.tv_nsec >= 1000000000) {
 301       ++Interval.tv_sec;
 302       Interval.tv_nsec -= 1000000000;
 303     }
 304 #endif
 305   } while (
 306 #if LLVM_ON_WIN32
 307            Interval < MaxSeconds * 1000
 308 #else
 309            Interval.tv_sec < (time_t)MaxSeconds
 310 #endif
 311            );
 312
 313   // Give up.
 314   return Res_Timeout;
 315 }
 316
 317 std::error_code LockFileManager::unsafeRemoveLockFile() {
 318   return sys::fs::remove(LockFileName);
 319 }