lib/Support/StringRef.cpp

   1 //===-- StringRef.cpp - Lightweight String References ---------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9
  10 #include "llvm/ADT/StringRef.h"
  11 #include "llvm/ADT/APInt.h"
  12 #include "llvm/ADT/OwningPtr.h"
  13 #include "llvm/ADT/edit_distance.h"
  14 #include <bitset>
  15
  16 using namespace llvm;
  17
  18 // MSVC emits references to this into the translation units which reference it.
  19 #ifndef _MSC_VER
  20 const size_t StringRef::npos;
  21 #endif
  22
  23 static char ascii_tolower(char x) {
  24   if (x >= 'A' && x <= 'Z')
  25     return x - 'A' + 'a';
  26   return x;
  27 }
  28
  29 static char ascii_toupper(char x) {
  30   if (x >= 'a' && x <= 'z')
  31     return x - 'a' + 'A';
  32   return x;
  33 }
  34
  35 static bool ascii_isdigit(char x) {
  36   return x >= '0' && x <= '9';
  37 }
  38
  39 /// compare_lower - Compare strings, ignoring case.
  40 int StringRef::compare_lower(StringRef RHS) const {
  41   for (size_t I = 0, E = min(Length, RHS.Length); I != E; ++I) {
  42     unsigned char LHC = ascii_tolower(Data[I]);
  43     unsigned char RHC = ascii_tolower(RHS.Data[I]);
  44     if (LHC != RHC)
  45       return LHC < RHC ? -1 : 1;
  46   }
  47
  48   if (Length == RHS.Length)
  49     return 0;
  50   return Length < RHS.Length ? -1 : 1;
  51 }
  52
  53 /// compare_numeric - Compare strings, handle embedded numbers.
  54 int StringRef::compare_numeric(StringRef RHS) const {
  55   for (size_t I = 0, E = min(Length, RHS.Length); I != E; ++I) {
  56     // Check for sequences of digits.
  57     if (ascii_isdigit(Data[I]) && ascii_isdigit(RHS.Data[I])) {
  58       // The longer sequence of numbers is considered larger.
  59       // This doesn't really handle prefixed zeros well.
  60       size_t J;
  61       for (J = I + 1; J != E + 1; ++J) {
  62         bool ld = J < Length && ascii_isdigit(Data[J]);
  63         bool rd = J < RHS.Length && ascii_isdigit(RHS.Data[J]);
  64         if (ld != rd)
  65           return rd ? -1 : 1;
  66         if (!rd)
  67           break;
  68       }
  69       // The two number sequences have the same length (J-I), just memcmp them.
  70       if (int Res = compareMemory(Data + I, RHS.Data + I, J - I))
  71         return Res < 0 ? -1 : 1;
  72       // Identical number sequences, continue search after the numbers.
  73       I = J - 1;
  74       continue;
  75     }
  76     if (Data[I] != RHS.Data[I])
  77       return (unsigned char)Data[I] < (unsigned char)RHS.Data[I] ? -1 : 1;
  78   }
  79   if (Length == RHS.Length)
  80     return 0;
  81   return Length < RHS.Length ? -1 : 1;
  82 }
  83
  84 // Compute the edit distance between the two given strings.
  85 unsigned StringRef::edit_distance(llvm::StringRef Other,
  86                                   bool AllowReplacements,
  87                                   unsigned MaxEditDistance) {
  88   return llvm::ComputeEditDistance(
  89       llvm::ArrayRef<char>(data(), size()),
  90       llvm::ArrayRef<char>(Other.data(), Other.size()),
  91       AllowReplacements, MaxEditDistance);
  92 }
  93
  94 //===----------------------------------------------------------------------===//
  95 // String Operations
  96 //===----------------------------------------------------------------------===//
  97
  98 std::string StringRef::lower() const {
  99   std::string Result(size(), char());
 100   for (size_type i = 0, e = size(); i != e; ++i) {
 101     Result[i] = ascii_tolower(Data[i]);
 102   }
 103   return Result;
 104 }
 105
 106 std::string StringRef::upper() const {
 107   std::string Result(size(), char());
 108   for (size_type i = 0, e = size(); i != e; ++i) {
 109     Result[i] = ascii_toupper(Data[i]);
 110   }
 111   return Result;
 112 }
 113
 114 //===----------------------------------------------------------------------===//
 115 // String Searching
 116 //===----------------------------------------------------------------------===//
 117
 118
 119 /// find - Search for the first string \arg Str in the string.
 120 ///
 121 /// \return - The index of the first occurrence of \arg Str, or npos if not
 122 /// found.
 123 size_t StringRef::find(StringRef Str, size_t From) const {
 124   size_t N = Str.size();
 125   if (N > Length)
 126     return npos;
 127
 128   // For short haystacks or unsupported needles fall back to the naive algorithm
 129   if (Length < 16 || N > 255 || N == 0) {
 130     for (size_t e = Length - N + 1, i = min(From, e); i != e; ++i)
 131       if (substr(i, N).equals(Str))
 132         return i;
 133     return npos;
 134   }
 135
 136   if (From >= Length)
 137     return npos;
 138
 139   // Build the bad char heuristic table, with uint8_t to reduce cache thrashing.
 140   uint8_t BadCharSkip[256];
 141   std::memset(BadCharSkip, N, 256);
 142   for (unsigned i = 0; i != N-1; ++i)
 143     BadCharSkip[(uint8_t)Str[i]] = N-1-i;
 144
 145   unsigned Len = Length-From, Pos = From;
 146   while (Len >= N) {
 147     if (substr(Pos, N).equals(Str)) // See if this is the correct substring.
 148       return Pos;
 149
 150     // Otherwise skip the appropriate number of bytes.
 151     uint8_t Skip = BadCharSkip[(uint8_t)(*this)[Pos+N-1]];
 152     Len -= Skip;
 153     Pos += Skip;
 154   }
 155
 156   return npos;
 157 }
 158
 159 /// rfind - Search for the last string \arg Str in the string.
 160 ///
 161 /// \return - The index of the last occurrence of \arg Str, or npos if not
 162 /// found.
 163 size_t StringRef::rfind(StringRef Str) const {
 164   size_t N = Str.size();
 165   if (N > Length)
 166     return npos;
 167   for (size_t i = Length - N + 1, e = 0; i != e;) {
 168     --i;
 169     if (substr(i, N).equals(Str))
 170       return i;
 171   }
 172   return npos;
 173 }
 174
 175 /// find_first_of - Find the first character in the string that is in \arg
 176 /// Chars, or npos if not found.
 177 ///
 178 /// Note: O(size() + Chars.size())
 179 StringRef::size_type StringRef::find_first_of(StringRef Chars,
 180                                               size_t From) const {
 181   std::bitset<1 << CHAR_BIT> CharBits;
 182   for (size_type i = 0; i != Chars.size(); ++i)
 183     CharBits.set((unsigned char)Chars[i]);
 184
 185   for (size_type i = min(From, Length), e = Length; i != e; ++i)
 186     if (CharBits.test((unsigned char)Data[i]))
 187       return i;
 188   return npos;
 189 }
 190
 191 /// find_first_not_of - Find the first character in the string that is not
 192 /// \arg C or npos if not found.
 193 StringRef::size_type StringRef::find_first_not_of(char C, size_t From) const {
 194   for (size_type i = min(From, Length), e = Length; i != e; ++i)
 195     if (Data[i] != C)
 196       return i;
 197   return npos;
 198 }
 199
 200 /// find_first_not_of - Find the first character in the string that is not
 201 /// in the string \arg Chars, or npos if not found.
 202 ///
 203 /// Note: O(size() + Chars.size())
 204 StringRef::size_type StringRef::find_first_not_of(StringRef Chars,
 205                                                   size_t From) const {
 206   std::bitset<1 << CHAR_BIT> CharBits;
 207   for (size_type i = 0; i != Chars.size(); ++i)
 208     CharBits.set((unsigned char)Chars[i]);
 209
 210   for (size_type i = min(From, Length), e = Length; i != e; ++i)
 211     if (!CharBits.test((unsigned char)Data[i]))
 212       return i;
 213   return npos;
 214 }
 215
 216 /// find_last_of - Find the last character in the string that is in \arg C,
 217 /// or npos if not found.
 218 ///
 219 /// Note: O(size() + Chars.size())
 220 StringRef::size_type StringRef::find_last_of(StringRef Chars,
 221                                              size_t From) const {
 222   std::bitset<1 << CHAR_BIT> CharBits;
 223   for (size_type i = 0; i != Chars.size(); ++i)
 224     CharBits.set((unsigned char)Chars[i]);
 225
 226   for (size_type i = min(From, Length) - 1, e = -1; i != e; --i)
 227     if (CharBits.test((unsigned char)Data[i]))
 228       return i;
 229   return npos;
 230 }
 231
 232 void StringRef::split(SmallVectorImpl<StringRef> &A,
 233                       StringRef Separators, int MaxSplit,
 234                       bool KeepEmpty) const {
 235   StringRef rest = *this;
 236
 237   // rest.data() is used to distinguish cases like "a," that splits into
 238   // "a" + "" and "a" that splits into "a" + 0.
 239   for (int splits = 0;
 240        rest.data() != NULL && (MaxSplit < 0 || splits < MaxSplit);
 241        ++splits) {
 242     std::pair<StringRef, StringRef> p = rest.split(Separators);
 243
 244     if (p.first.size() != 0 || KeepEmpty)
 245       A.push_back(p.first);
 246     rest = p.second;
 247   }
 248   // If we have a tail left, add it.
 249   if (rest.data() != NULL && (rest.size() != 0 || KeepEmpty))
 250     A.push_back(rest);
 251 }
 252
 253 //===----------------------------------------------------------------------===//
 254 // Helpful Algorithms
 255 //===----------------------------------------------------------------------===//
 256
 257 /// count - Return the number of non-overlapped occurrences of \arg Str in
 258 /// the string.
 259 size_t StringRef::count(StringRef Str) const {
 260   size_t Count = 0;
 261   size_t N = Str.size();
 262   if (N > Length)
 263     return 0;
 264   for (size_t i = 0, e = Length - N + 1; i != e; ++i)
 265     if (substr(i, N).equals(Str))
 266       ++Count;
 267   return Count;
 268 }
 269
 270 static unsigned GetAutoSenseRadix(StringRef &Str) {
 271   if (Str.startswith("0x")) {
 272     Str = Str.substr(2);
 273     return 16;
 274   } else if (Str.startswith("0b")) {
 275     Str = Str.substr(2);
 276     return 2;
 277   } else if (Str.startswith("0")) {
 278     return 8;
 279   } else {
 280     return 10;
 281   }
 282 }
 283
 284
 285 /// GetAsUnsignedInteger - Workhorse method that converts a integer character
 286 /// sequence of radix up to 36 to an unsigned long long value.
 287 static bool GetAsUnsignedInteger(StringRef Str, unsigned Radix,
 288                                  unsigned long long &Result) {
 289   // Autosense radix if not specified.
 290   if (Radix == 0)
 291     Radix = GetAutoSenseRadix(Str);
 292
 293   // Empty strings (after the radix autosense) are invalid.
 294   if (Str.empty()) return true;
 295
 296   // Parse all the bytes of the string given this radix.  Watch for overflow.
 297   Result = 0;
 298   while (!Str.empty()) {
 299     unsigned CharVal;
 300     if (Str[0] >= '0' && Str[0] <= '9')
 301       CharVal = Str[0]-'0';
 302     else if (Str[0] >= 'a' && Str[0] <= 'z')
 303       CharVal = Str[0]-'a'+10;
 304     else if (Str[0] >= 'A' && Str[0] <= 'Z')
 305       CharVal = Str[0]-'A'+10;
 306     else
 307       return true;
 308
 309     // If the parsed value is larger than the integer radix, the string is
 310     // invalid.
 311     if (CharVal >= Radix)
 312       return true;
 313
 314     // Add in this character.
 315     unsigned long long PrevResult = Result;
 316     Result = Result*Radix+CharVal;
 317
 318     // Check for overflow.
 319     if (Result < PrevResult)
 320       return true;
 321
 322     Str = Str.substr(1);
 323   }
 324
 325   return false;
 326 }
 327
 328 bool StringRef::getAsInteger(unsigned Radix, unsigned long long &Result) const {
 329   return GetAsUnsignedInteger(*this, Radix, Result);
 330 }
 331
 332
 333 bool StringRef::getAsInteger(unsigned Radix, long long &Result) const {
 334   unsigned long long ULLVal;
 335
 336   // Handle positive strings first.
 337   if (empty() || front() != '-') {
 338     if (GetAsUnsignedInteger(*this, Radix, ULLVal) ||
 339         // Check for value so large it overflows a signed value.
 340         (long long)ULLVal < 0)
 341       return true;
 342     Result = ULLVal;
 343     return false;
 344   }
 345
 346   // Get the positive part of the value.
 347   if (GetAsUnsignedInteger(substr(1), Radix, ULLVal) ||
 348       // Reject values so large they'd overflow as negative signed, but allow
 349       // "-0".  This negates the unsigned so that the negative isn't undefined
 350       // on signed overflow.
 351       (long long)-ULLVal > 0)
 352     return true;
 353
 354   Result = -ULLVal;
 355   return false;
 356 }
 357
 358 bool StringRef::getAsInteger(unsigned Radix, int &Result) const {
 359   long long Val;
 360   if (getAsInteger(Radix, Val) ||
 361       (int)Val != Val)
 362     return true;
 363   Result = Val;
 364   return false;
 365 }
 366
 367 bool StringRef::getAsInteger(unsigned Radix, unsigned &Result) const {
 368   unsigned long long Val;
 369   if (getAsInteger(Radix, Val) ||
 370       (unsigned)Val != Val)
 371     return true;
 372   Result = Val;
 373   return false;
 374 }
 375
 376 bool StringRef::getAsInteger(unsigned Radix, APInt &Result) const {
 377   StringRef Str = *this;
 378
 379   // Autosense radix if not specified.
 380   if (Radix == 0)
 381     Radix = GetAutoSenseRadix(Str);
 382
 383   assert(Radix > 1 && Radix <= 36);
 384
 385   // Empty strings (after the radix autosense) are invalid.
 386   if (Str.empty()) return true;
 387
 388   // Skip leading zeroes.  This can be a significant improvement if
 389   // it means we don't need > 64 bits.
 390   while (!Str.empty() && Str.front() == '0')
 391     Str = Str.substr(1);
 392
 393   // If it was nothing but zeroes....
 394   if (Str.empty()) {
 395     Result = APInt(64, 0);
 396     return false;
 397   }
 398
 399   // (Over-)estimate the required number of bits.
 400   unsigned Log2Radix = 0;
 401   while ((1U << Log2Radix) < Radix) Log2Radix++;
 402   bool IsPowerOf2Radix = ((1U << Log2Radix) == Radix);
 403
 404   unsigned BitWidth = Log2Radix * Str.size();
 405   if (BitWidth < Result.getBitWidth())
 406     BitWidth = Result.getBitWidth(); // don't shrink the result
 407   else
 408     Result = Result.zext(BitWidth);
 409
 410   APInt RadixAP, CharAP; // unused unless !IsPowerOf2Radix
 411   if (!IsPowerOf2Radix) {
 412     // These must have the same bit-width as Result.
 413     RadixAP = APInt(BitWidth, Radix);
 414     CharAP = APInt(BitWidth, 0);
 415   }
 416
 417   // Parse all the bytes of the string given this radix.
 418   Result = 0;
 419   while (!Str.empty()) {
 420     unsigned CharVal;
 421     if (Str[0] >= '0' && Str[0] <= '9')
 422       CharVal = Str[0]-'0';
 423     else if (Str[0] >= 'a' && Str[0] <= 'z')
 424       CharVal = Str[0]-'a'+10;
 425     else if (Str[0] >= 'A' && Str[0] <= 'Z')
 426       CharVal = Str[0]-'A'+10;
 427     else
 428       return true;
 429
 430     // If the parsed value is larger than the integer radix, the string is
 431     // invalid.
 432     if (CharVal >= Radix)
 433       return true;
 434
 435     // Add in this character.
 436     if (IsPowerOf2Radix) {
 437       Result <<= Log2Radix;
 438       Result |= CharVal;
 439     } else {
 440       Result *= RadixAP;
 441       CharAP = CharVal;
 442       Result += CharAP;
 443     }
 444
 445     Str = Str.substr(1);
 446   }
 447
 448   return false;
 449 }