contrib/llvm/tools/clang/lib/Lex/UnicodeCharSets.h

   1 //===--- UnicodeCharSets.h - Contains important sets of characters --------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 #ifndef CLANG_LEX_UNICODECHARSETS_H
  10 #define CLANG_LEX_UNICODECHARSETS_H
  11
  12 #include "llvm/ADT/ArrayRef.h"
  13 #include "llvm/ADT/SmallPtrSet.h"
  14 #include "llvm/Support/Compiler.h"
  15 #include "llvm/Support/Debug.h"
  16 #include "llvm/Support/Mutex.h"
  17 #include "llvm/Support/MutexGuard.h"
  18 #include "llvm/Support/raw_ostream.h"
  19
  20 namespace {
  21   struct UnicodeCharRange {
  22     uint32_t Lower;
  23     uint32_t Upper;
  24   };
  25   typedef llvm::ArrayRef<UnicodeCharRange> UnicodeCharSet;
  26
  27   typedef llvm::SmallPtrSet<const UnicodeCharRange *, 16> ValidatedCharSetsTy;
  28 }
  29
  30 static inline ValidatedCharSetsTy &getValidatedCharSets() {
  31   static ValidatedCharSetsTy Validated;
  32   return Validated;
  33 }
  34
  35 /// Returns true if each of the ranges in \p CharSet is a proper closed range
  36 /// [min, max], and if the ranges themselves are ordered and non-overlapping.
  37 static inline bool isValidCharSet(UnicodeCharSet CharSet) {
  38 #ifndef NDEBUG
  39   static llvm::sys::Mutex ValidationMutex;
  40
  41   // Check the validation cache.
  42   {
  43     llvm::MutexGuard Guard(ValidationMutex);
  44     if (getValidatedCharSets().count(CharSet.data()))
  45       return true;
  46   }
  47
  48   // Walk through the ranges.
  49   uint32_t Prev = 0;
  50   for (UnicodeCharSet::iterator I = CharSet.begin(), E = CharSet.end();
  51        I != E; ++I) {
  52     if (Prev >= I->Lower) {
  53       DEBUG(llvm::dbgs() << "Upper bound 0x");
  54       DEBUG(llvm::dbgs().write_hex(Prev));
  55       DEBUG(llvm::dbgs() << " should be less than succeeding lower bound 0x");
  56       DEBUG(llvm::dbgs().write_hex(I->Lower) << "\n");
  57       return false;
  58     }
  59     if (I->Upper < I->Lower) {
  60       DEBUG(llvm::dbgs() << "Upper bound 0x");
  61       DEBUG(llvm::dbgs().write_hex(I->Lower));
  62       DEBUG(llvm::dbgs() << " should not be less than lower bound 0x");
  63       DEBUG(llvm::dbgs().write_hex(I->Upper) << "\n");
  64       return false;
  65     }
  66     Prev = I->Upper;
  67   }
  68
  69   // Update the validation cache.
  70   {
  71     llvm::MutexGuard Guard(ValidationMutex);
  72     getValidatedCharSets().insert(CharSet.data());
  73   }
  74 #endif
  75   return true;
  76 }
  77
  78 /// Returns true if the Unicode code point \p C is within the set of
  79 /// characters specified by \p CharSet.
  80 LLVM_READONLY static inline bool isCharInSet(uint32_t C,
  81                                              UnicodeCharSet CharSet) {
  82   assert(isValidCharSet(CharSet));
  83
  84   size_t LowPoint = 0;
  85   size_t HighPoint = CharSet.size();
  86
  87   // Binary search the set of char ranges.
  88   while (HighPoint != LowPoint) {
  89     size_t MidPoint = (HighPoint + LowPoint) / 2;
  90     if (C < CharSet[MidPoint].Lower)
  91       HighPoint = MidPoint;
  92     else if (C > CharSet[MidPoint].Upper)
  93       LowPoint = MidPoint + 1;
  94     else
  95       return true;
  96   }
  97
  98   return false;
  99 }
 100
 101
 102 // C11 D.1, C++11 [charname.allowed]
 103 static const UnicodeCharRange C11AllowedIDChars[] = {
 104   // 1
 105   { 0x00A8, 0x00A8 }, { 0x00AA, 0x00AA }, { 0x00AD, 0x00AD },
 106   { 0x00AF, 0x00AF }, { 0x00B2, 0x00B5 }, { 0x00B7, 0x00BA },
 107   { 0x00BC, 0x00BE }, { 0x00C0, 0x00D6 }, { 0x00D8, 0x00F6 },
 108   { 0x00F8, 0x00FF },
 109   // 2
 110   { 0x0100, 0x167F }, { 0x1681, 0x180D }, { 0x180F, 0x1FFF },
 111   // 3
 112   { 0x200B, 0x200D }, { 0x202A, 0x202E }, { 0x203F, 0x2040 },
 113   { 0x2054, 0x2054 }, { 0x2060, 0x206F },
 114   // 4
 115   { 0x2070, 0x218F }, { 0x2460, 0x24FF }, { 0x2776, 0x2793 },
 116   { 0x2C00, 0x2DFF }, { 0x2E80, 0x2FFF },
 117   // 5
 118   { 0x3004, 0x3007 }, { 0x3021, 0x302F }, { 0x3031, 0x303F },
 119   // 6
 120   { 0x3040, 0xD7FF },
 121   // 7
 122   { 0xF900, 0xFD3D }, { 0xFD40, 0xFDCF }, { 0xFDF0, 0xFE44 },
 123   { 0xFE47, 0xFFFD },
 124   // 8
 125   { 0x10000, 0x1FFFD }, { 0x20000, 0x2FFFD }, { 0x30000, 0x3FFFD },
 126   { 0x40000, 0x4FFFD }, { 0x50000, 0x5FFFD }, { 0x60000, 0x6FFFD },
 127   { 0x70000, 0x7FFFD }, { 0x80000, 0x8FFFD }, { 0x90000, 0x9FFFD },
 128   { 0xA0000, 0xAFFFD }, { 0xB0000, 0xBFFFD }, { 0xC0000, 0xCFFFD },
 129   { 0xD0000, 0xDFFFD }, { 0xE0000, 0xEFFFD }
 130 };
 131
 132 // C++03 [extendid]
 133 // Note that this is not the same as C++98, but we don't distinguish C++98
 134 // and C++03 in Clang.
 135 static const UnicodeCharRange CXX03AllowedIDChars[] = {
 136   // Latin
 137   { 0x00C0, 0x00D6 }, { 0x00D8, 0x00F6 }, { 0x00F8, 0x01F5 },
 138   { 0x01FA, 0x0217 }, { 0x0250, 0x02A8 },
 139
 140   // Greek
 141   { 0x0384, 0x0384 }, { 0x0388, 0x038A }, { 0x038C, 0x038C },
 142   { 0x038E, 0x03A1 }, { 0x03A3, 0x03CE }, { 0x03D0, 0x03D6 },
 143   { 0x03DA, 0x03DA }, { 0x03DC, 0x03DC }, { 0x03DE, 0x03DE },
 144   { 0x03E0, 0x03E0 }, { 0x03E2, 0x03F3 },
 145
 146   // Cyrillic
 147   { 0x0401, 0x040D }, { 0x040F, 0x044F }, { 0x0451, 0x045C },
 148   { 0x045E, 0x0481 }, { 0x0490, 0x04C4 }, { 0x04C7, 0x04C8 },
 149   { 0x04CB, 0x04CC }, { 0x04D0, 0x04EB }, { 0x04EE, 0x04F5 },
 150   { 0x04F8, 0x04F9 },
 151
 152   // Armenian
 153   { 0x0531, 0x0556 }, { 0x0561, 0x0587 },
 154
 155   // Hebrew
 156   { 0x05D0, 0x05EA }, { 0x05F0, 0x05F4 },
 157
 158   // Arabic
 159   { 0x0621, 0x063A }, { 0x0640, 0x0652 }, { 0x0670, 0x06B7 },
 160   { 0x06BA, 0x06BE }, { 0x06C0, 0x06CE }, { 0x06E5, 0x06E7 },
 161
 162   // Devanagari
 163   { 0x0905, 0x0939 }, { 0x0958, 0x0962 },
 164
 165   // Bengali
 166   { 0x0985, 0x098C }, { 0x098F, 0x0990 }, { 0x0993, 0x09A8 },
 167   { 0x09AA, 0x09B0 }, { 0x09B2, 0x09B2 }, { 0x09B6, 0x09B9 },
 168   { 0x09DC, 0x09DD }, { 0x09DF, 0x09E1 }, { 0x09F0, 0x09F1 },
 169
 170   // Gurmukhi
 171   { 0x0A05, 0x0A0A }, { 0x0A0F, 0x0A10 }, { 0x0A13, 0x0A28 },
 172   { 0x0A2A, 0x0A30 }, { 0x0A32, 0x0A33 }, { 0x0A35, 0x0A36 },
 173   { 0x0A38, 0x0A39 }, { 0x0A59, 0x0A5C }, { 0x0A5E, 0x0A5E },
 174
 175   // Gujarti
 176   { 0x0A85, 0x0A8B }, { 0x0A8D, 0x0A8D }, { 0x0A8F, 0x0A91 },
 177   { 0x0A93, 0x0AA8 }, { 0x0AAA, 0x0AB0 }, { 0x0AB2, 0x0AB3 },
 178   { 0x0AB5, 0x0AB9 }, { 0x0AE0, 0x0AE0 },
 179
 180   // Oriya
 181   { 0x0B05, 0x0B0C }, { 0x0B0F, 0x0B10 }, { 0x0B13, 0x0B28 },
 182   { 0x0B2A, 0x0B30 }, { 0x0B32, 0x0B33 }, { 0x0B36, 0x0B39 },
 183   { 0x0B5C, 0x0B5D }, { 0x0B5F, 0x0B61 },
 184
 185   // Tamil
 186   { 0x0B85, 0x0B8A }, { 0x0B8E, 0x0B90 }, { 0x0B92, 0x0B95 },
 187   { 0x0B99, 0x0B9A }, { 0x0B9C, 0x0B9C }, { 0x0B9E, 0x0B9F },
 188   { 0x0BA3, 0x0BA4 }, { 0x0BA8, 0x0BAA }, { 0x0BAE, 0x0BB5 },
 189   { 0x0BB7, 0x0BB9 },
 190
 191   // Telugu
 192   { 0x0C05, 0x0C0C }, { 0x0C0E, 0x0C10 }, { 0x0C12, 0x0C28 },
 193   { 0x0C2A, 0x0C33 }, { 0x0C35, 0x0C39 }, { 0x0C60, 0x0C61 },
 194
 195   // Kannada
 196   { 0x0C85, 0x0C8C }, { 0x0C8E, 0x0C90 }, { 0x0C92, 0x0CA8 },
 197   { 0x0CAA, 0x0CB3 }, { 0x0CB5, 0x0CB9 }, { 0x0CE0, 0x0CE1 },
 198
 199   // Malayam
 200   { 0x0D05, 0x0D0C }, { 0x0D0E, 0x0D10 }, { 0x0D12, 0x0D28 },
 201   { 0x0D2A, 0x0D39 }, { 0x0D60, 0x0D61 },
 202
 203   // Thai
 204   { 0x0E01, 0x0E30 }, { 0x0E32, 0x0E33 }, { 0x0E40, 0x0E46 },
 205   { 0x0E4F, 0x0E5B },
 206
 207   // Lao
 208   { 0x0E81, 0x0E82 }, { 0x0E84, 0x0E84 }, { 0x0E87, 0x0E87 },
 209   { 0x0E88, 0x0E88 }, { 0x0E8A, 0x0E8A }, { 0x0E8D, 0x0E8D },
 210   { 0x0E94, 0x0E97 }, { 0x0E99, 0x0E9F }, { 0x0EA1, 0x0EA3 },
 211   { 0x0EA5, 0x0EA5 }, { 0x0EA7, 0x0EA7 }, { 0x0EAA, 0x0EAA },
 212   { 0x0EAB, 0x0EAB }, { 0x0EAD, 0x0EB0 }, { 0x0EB2, 0x0EB2 },
 213   { 0x0EB3, 0x0EB3 }, { 0x0EBD, 0x0EBD }, { 0x0EC0, 0x0EC4 },
 214   { 0x0EC6, 0x0EC6 },
 215
 216   // Georgian
 217   { 0x10A0, 0x10C5 }, { 0x10D0, 0x10F6 },
 218
 219   // Hangul
 220   { 0x1100, 0x1159 }, { 0x1161, 0x11A2 }, { 0x11A8, 0x11F9 },
 221
 222   // Latin (2)
 223   { 0x1E00, 0x1E9A }, { 0x1EA0, 0x1EF9 },
 224
 225   // Greek (2)
 226   { 0x1F00, 0x1F15 }, { 0x1F18, 0x1F1D }, { 0x1F20, 0x1F45 },
 227   { 0x1F48, 0x1F4D }, { 0x1F50, 0x1F57 }, { 0x1F59, 0x1F59 },
 228   { 0x1F5B, 0x1F5B }, { 0x1F5D, 0x1F5D }, { 0x1F5F, 0x1F7D },
 229   { 0x1F80, 0x1FB4 }, { 0x1FB6, 0x1FBC }, { 0x1FC2, 0x1FC4 },
 230   { 0x1FC6, 0x1FCC }, { 0x1FD0, 0x1FD3 }, { 0x1FD6, 0x1FDB },
 231   { 0x1FE0, 0x1FEC }, { 0x1FF2, 0x1FF4 }, { 0x1FF6, 0x1FFC },
 232
 233   // Hiragana
 234   { 0x3041, 0x3094 }, { 0x309B, 0x309E },
 235
 236   // Katakana
 237   { 0x30A1, 0x30FE },
 238
 239   // Bopmofo [sic]
 240   { 0x3105, 0x312C },
 241
 242   // CJK Unified Ideographs
 243   { 0x4E00, 0x9FA5 }, { 0xF900, 0xFA2D }, { 0xFB1F, 0xFB36 },
 244   { 0xFB38, 0xFB3C }, { 0xFB3E, 0xFB3E }, { 0xFB40, 0xFB41 },
 245   { 0xFB42, 0xFB44 }, { 0xFB46, 0xFBB1 }, { 0xFBD3, 0xFD3F },
 246   { 0xFD50, 0xFD8F }, { 0xFD92, 0xFDC7 }, { 0xFDF0, 0xFDFB },
 247   { 0xFE70, 0xFE72 }, { 0xFE74, 0xFE74 }, { 0xFE76, 0xFEFC },
 248   { 0xFF21, 0xFF3A }, { 0xFF41, 0xFF5A }, { 0xFF66, 0xFFBE },
 249   { 0xFFC2, 0xFFC7 }, { 0xFFCA, 0xFFCF }, { 0xFFD2, 0xFFD7 },
 250   { 0xFFDA, 0xFFDC }
 251 };
 252
 253 // C99 Annex D
 254 static const UnicodeCharRange C99AllowedIDChars[] = {
 255   // Latin (1)
 256   { 0x00AA, 0x00AA },
 257
 258   // Special characters (1)
 259   { 0x00B5, 0x00B5 }, { 0x00B7, 0x00B7 },
 260
 261   // Latin (2)
 262   { 0x00BA, 0x00BA }, { 0x00C0, 0x00D6 }, { 0x00D8, 0x00F6 },
 263   { 0x00F8, 0x01F5 }, { 0x01FA, 0x0217 }, { 0x0250, 0x02A8 },
 264
 265   // Special characters (2)
 266   { 0x02B0, 0x02B8 }, { 0x02BB, 0x02BB }, { 0x02BD, 0x02C1 },
 267   { 0x02D0, 0x02D1 }, { 0x02E0, 0x02E4 }, { 0x037A, 0x037A },
 268
 269   // Greek (1)
 270   { 0x0386, 0x0386 }, { 0x0388, 0x038A }, { 0x038C, 0x038C },
 271   { 0x038E, 0x03A1 }, { 0x03A3, 0x03CE }, { 0x03D0, 0x03D6 },
 272   { 0x03DA, 0x03DA }, { 0x03DC, 0x03DC }, { 0x03DE, 0x03DE },
 273   { 0x03E0, 0x03E0 }, { 0x03E2, 0x03F3 },
 274
 275   // Cyrillic
 276   { 0x0401, 0x040C }, { 0x040E, 0x044F }, { 0x0451, 0x045C },
 277   { 0x045E, 0x0481 }, { 0x0490, 0x04C4 }, { 0x04C7, 0x04C8 },
 278   { 0x04CB, 0x04CC }, { 0x04D0, 0x04EB }, { 0x04EE, 0x04F5 },
 279   { 0x04F8, 0x04F9 },
 280
 281   // Armenian (1)
 282   { 0x0531, 0x0556 },
 283
 284   // Special characters (3)
 285   { 0x0559, 0x0559 },
 286
 287   // Armenian (2)
 288   { 0x0561, 0x0587 },
 289
 290   // Hebrew
 291   { 0x05B0, 0x05B9 }, { 0x05BB, 0x05BD }, { 0x05BF, 0x05BF },
 292   { 0x05C1, 0x05C2 }, { 0x05D0, 0x05EA }, { 0x05F0, 0x05F2 },
 293
 294   // Arabic (1)
 295   { 0x0621, 0x063A }, { 0x0640, 0x0652 },
 296
 297   // Digits (1)
 298   { 0x0660, 0x0669 },
 299
 300   // Arabic (2)
 301   { 0x0670, 0x06B7 }, { 0x06BA, 0x06BE }, { 0x06C0, 0x06CE },
 302   { 0x06D0, 0x06DC }, { 0x06E5, 0x06E8 }, { 0x06EA, 0x06ED },
 303
 304   // Digits (2)
 305   { 0x06F0, 0x06F9 },
 306
 307   // Devanagari and Special characeter 0x093D.
 308   { 0x0901, 0x0903 }, { 0x0905, 0x0939 }, { 0x093D, 0x094D },
 309   { 0x0950, 0x0952 }, { 0x0958, 0x0963 },
 310
 311   // Digits (3)
 312   { 0x0966, 0x096F },
 313
 314   // Bengali (1)
 315   { 0x0981, 0x0983 }, { 0x0985, 0x098C }, { 0x098F, 0x0990 },
 316   { 0x0993, 0x09A8 }, { 0x09AA, 0x09B0 }, { 0x09B2, 0x09B2 },
 317   { 0x09B6, 0x09B9 }, { 0x09BE, 0x09C4 }, { 0x09C7, 0x09C8 },
 318   { 0x09CB, 0x09CD }, { 0x09DC, 0x09DD }, { 0x09DF, 0x09E3 },
 319
 320   // Digits (4)
 321   { 0x09E6, 0x09EF },
 322
 323   // Bengali (2)
 324   { 0x09F0, 0x09F1 },
 325
 326   // Gurmukhi (1)
 327   { 0x0A02, 0x0A02 }, { 0x0A05, 0x0A0A }, { 0x0A0F, 0x0A10 },
 328   { 0x0A13, 0x0A28 }, { 0x0A2A, 0x0A30 }, { 0x0A32, 0x0A33 },
 329   { 0x0A35, 0x0A36 }, { 0x0A38, 0x0A39 }, { 0x0A3E, 0x0A42 },
 330   { 0x0A47, 0x0A48 }, { 0x0A4B, 0x0A4D }, { 0x0A59, 0x0A5C },
 331   { 0x0A5E, 0x0A5E },
 332
 333   // Digits (5)
 334   { 0x0A66, 0x0A6F },
 335
 336   // Gurmukhi (2)
 337   { 0x0A74, 0x0A74 },
 338
 339   // Gujarti
 340   { 0x0A81, 0x0A83 }, { 0x0A85, 0x0A8B }, { 0x0A8D, 0x0A8D },
 341   { 0x0A8F, 0x0A91 }, { 0x0A93, 0x0AA8 }, { 0x0AAA, 0x0AB0 },
 342   { 0x0AB2, 0x0AB3 }, { 0x0AB5, 0x0AB9 }, { 0x0ABD, 0x0AC5 },
 343   { 0x0AC7, 0x0AC9 }, { 0x0ACB, 0x0ACD }, { 0x0AD0, 0x0AD0 },
 344   { 0x0AE0, 0x0AE0 },
 345
 346   // Digits (6)
 347   { 0x0AE6, 0x0AEF },
 348
 349   // Oriya and Special character 0x0B3D
 350   { 0x0B01, 0x0B03 }, { 0x0B05, 0x0B0C }, { 0x0B0F, 0x0B10 },
 351   { 0x0B13, 0x0B28 }, { 0x0B2A, 0x0B30 }, { 0x0B32, 0x0B33 },
 352   { 0x0B36, 0x0B39 }, { 0x0B3D, 0x0B43 }, { 0x0B47, 0x0B48 },
 353   { 0x0B4B, 0x0B4D }, { 0x0B5C, 0x0B5D }, { 0x0B5F, 0x0B61 },
 354
 355   // Digits (7)
 356   { 0x0B66, 0x0B6F },
 357
 358   // Tamil
 359   { 0x0B82, 0x0B83 }, { 0x0B85, 0x0B8A }, { 0x0B8E, 0x0B90 },
 360   { 0x0B92, 0x0B95 }, { 0x0B99, 0x0B9A }, { 0x0B9C, 0x0B9C },
 361   { 0x0B9E, 0x0B9F }, { 0x0BA3, 0x0BA4 }, { 0x0BA8, 0x0BAA },
 362   { 0x0BAE, 0x0BB5 }, { 0x0BB7, 0x0BB9 }, { 0x0BBE, 0x0BC2 },
 363   { 0x0BC6, 0x0BC8 }, { 0x0BCA, 0x0BCD },
 364
 365   // Digits (8)
 366   { 0x0BE7, 0x0BEF },
 367
 368   // Telugu
 369   { 0x0C01, 0x0C03 }, { 0x0C05, 0x0C0C }, { 0x0C0E, 0x0C10 },
 370   { 0x0C12, 0x0C28 }, { 0x0C2A, 0x0C33 }, { 0x0C35, 0x0C39 },
 371   { 0x0C3E, 0x0C44 }, { 0x0C46, 0x0C48 }, { 0x0C4A, 0x0C4D },
 372   { 0x0C60, 0x0C61 },
 373
 374   // Digits (9)
 375   { 0x0C66, 0x0C6F },
 376
 377   // Kannada
 378   { 0x0C82, 0x0C83 }, { 0x0C85, 0x0C8C }, { 0x0C8E, 0x0C90 },
 379   { 0x0C92, 0x0CA8 }, { 0x0CAA, 0x0CB3 }, { 0x0CB5, 0x0CB9 },
 380   { 0x0CBE, 0x0CC4 }, { 0x0CC6, 0x0CC8 }, { 0x0CCA, 0x0CCD },
 381   { 0x0CDE, 0x0CDE }, { 0x0CE0, 0x0CE1 },
 382
 383   // Digits (10)
 384   { 0x0CE6, 0x0CEF },
 385
 386   // Malayam
 387   { 0x0D02, 0x0D03 }, { 0x0D05, 0x0D0C }, { 0x0D0E, 0x0D10 },
 388   { 0x0D12, 0x0D28 }, { 0x0D2A, 0x0D39 }, { 0x0D3E, 0x0D43 },
 389   { 0x0D46, 0x0D48 }, { 0x0D4A, 0x0D4D }, { 0x0D60, 0x0D60 },
 390
 391   // Digits (11)
 392   { 0x0D66, 0x0D6F },
 393
 394   // Thai...including Digits { 0x0E50, 0x0E59 }
 395   { 0x0E01, 0x0E3A }, { 0x0E40, 0x0E5B },
 396
 397   // Lao (1)
 398   { 0x0E81, 0x0E82 }, { 0x0E84, 0x0E84 }, { 0x0E87, 0x0E88 },
 399   { 0x0E8A, 0x0E8A }, { 0x0E8D, 0x0E8D }, { 0x0E94, 0x0E97 },
 400   { 0x0E99, 0x0E9F }, { 0x0EA1, 0x0EA3 }, { 0x0EA5, 0x0EA5 },
 401   { 0x0EA7, 0x0EA7 }, { 0x0EAA, 0x0EAB }, { 0x0EAD, 0x0EAE },
 402   { 0x0EB0, 0x0EB9 }, { 0x0EBB, 0x0EBD }, { 0x0EC0, 0x0EC4 },
 403   { 0x0EC6, 0x0EC6 }, { 0x0EC8, 0x0ECD },
 404
 405   // Digits (12)
 406   { 0x0ED0, 0x0ED9 },
 407
 408   // Lao (2)
 409   { 0x0EDC, 0x0EDD },
 410
 411   // Tibetan (1)
 412   { 0x0F00, 0x0F00 }, { 0x0F18, 0x0F19 },
 413
 414   // Digits (13)
 415   { 0x0F20, 0x0F33 },
 416
 417   // Tibetan (2)
 418   { 0x0F35, 0x0F35 }, { 0x0F37, 0x0F37 }, { 0x0F39, 0x0F39 },
 419   { 0x0F3E, 0x0F47 }, { 0x0F49, 0x0F69 }, { 0x0F71, 0x0F84 },
 420   { 0x0F86, 0x0F8B }, { 0x0F90, 0x0F95 }, { 0x0F97, 0x0F97 },
 421   { 0x0F99, 0x0FAD }, { 0x0FB1, 0x0FB7 }, { 0x0FB9, 0x0FB9 },
 422
 423   // Georgian
 424   { 0x10A0, 0x10C5 }, { 0x10D0, 0x10F6 },
 425
 426   // Latin (3)
 427   { 0x1E00, 0x1E9B }, { 0x1EA0, 0x1EF9 },
 428
 429   // Greek (2)
 430   { 0x1F00, 0x1F15 }, { 0x1F18, 0x1F1D }, { 0x1F20, 0x1F45 },
 431   { 0x1F48, 0x1F4D }, { 0x1F50, 0x1F57 }, { 0x1F59, 0x1F59 },
 432   { 0x1F5B, 0x1F5B }, { 0x1F5D, 0x1F5D }, { 0x1F5F, 0x1F7D },
 433   { 0x1F80, 0x1FB4 }, { 0x1FB6, 0x1FBC },
 434
 435   // Special characters (4)
 436   { 0x1FBE, 0x1FBE },
 437
 438   // Greek (3)
 439   { 0x1FC2, 0x1FC4 }, { 0x1FC6, 0x1FCC }, { 0x1FD0, 0x1FD3 },
 440   { 0x1FD6, 0x1FDB }, { 0x1FE0, 0x1FEC }, { 0x1FF2, 0x1FF4 },
 441   { 0x1FF6, 0x1FFC },
 442
 443   // Special characters (5)
 444   { 0x203F, 0x2040 },
 445
 446   // Latin (4)
 447   { 0x207F, 0x207F },
 448
 449   // Special characters (6)
 450   { 0x2102, 0x2102 }, { 0x2107, 0x2107 }, { 0x210A, 0x2113 },
 451   { 0x2115, 0x2115 }, { 0x2118, 0x211D }, { 0x2124, 0x2124 },
 452   { 0x2126, 0x2126 }, { 0x2128, 0x2128 }, { 0x212A, 0x2131 },
 453   { 0x2133, 0x2138 }, { 0x2160, 0x2182 }, { 0x3005, 0x3007 },
 454   { 0x3021, 0x3029 },
 455
 456   // Hiragana
 457   { 0x3041, 0x3093 }, { 0x309B, 0x309C },
 458
 459   // Katakana
 460   { 0x30A1, 0x30F6 }, { 0x30FB, 0x30FC },
 461
 462   // Bopmofo [sic]
 463   { 0x3105, 0x312C },
 464
 465   // CJK Unified Ideographs
 466   { 0x4E00, 0x9FA5 },
 467
 468   // Hangul,
 469   { 0xAC00, 0xD7A3 }
 470 };
 471
 472 // C11 D.2, C++11 [charname.disallowed]
 473 static const UnicodeCharRange C11DisallowedInitialIDChars[] = {
 474   { 0x0300, 0x036F }, { 0x1DC0, 0x1DFF }, { 0x20D0, 0x20FF },
 475   { 0xFE20, 0xFE2F }
 476 };
 477
 478 // C99 6.4.2.1p3: The initial character [of an identifier] shall not be a
 479 // universal character name designating a digit.
 480 // C99 Annex D defines these characters as "Digits".
 481 static const UnicodeCharRange C99DisallowedInitialIDChars[] = {
 482   { 0x0660, 0x0669 }, { 0x06F0, 0x06F9 }, { 0x0966, 0x096F },
 483   { 0x09E6, 0x09EF }, { 0x0A66, 0x0A6F }, { 0x0AE6, 0x0AEF },
 484   { 0x0B66, 0x0B6F }, { 0x0BE7, 0x0BEF }, { 0x0C66, 0x0C6F },
 485   { 0x0CE6, 0x0CEF }, { 0x0D66, 0x0D6F }, { 0x0E50, 0x0E59 },
 486   { 0x0ED0, 0x0ED9 }, { 0x0F20, 0x0F33 }
 487 };
 488
 489 // Unicode v6.2, chapter 6.2, table 6-2.
 490 static const UnicodeCharRange UnicodeWhitespaceChars[] = {
 491   { 0x0085, 0x0085 }, { 0x00A0, 0x00A0 }, { 0x1680, 0x1680 },
 492   { 0x180E, 0x180E }, { 0x2000, 0x200A }, { 0x2028, 0x2029 },
 493   { 0x202F, 0x202F }, { 0x205F, 0x205F }, { 0x3000, 0x3000 }
 494 };
 495
 496 #endif