contrib/llvm/lib/IR/Value.cpp

   1 //===-- Value.cpp - Implement the Value class -----------------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file implements the Value, ValueHandle, and User classes.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #include "llvm/IR/Value.h"
  15 #include "LLVMContextImpl.h"
  16 #include "llvm/ADT/DenseMap.h"
  17 #include "llvm/ADT/SmallString.h"
  18 #include "llvm/IR/CallSite.h"
  19 #include "llvm/IR/Constant.h"
  20 #include "llvm/IR/Constants.h"
  21 #include "llvm/IR/DataLayout.h"
  22 #include "llvm/IR/DerivedTypes.h"
  23 #include "llvm/IR/GetElementPtrTypeIterator.h"
  24 #include "llvm/IR/InstrTypes.h"
  25 #include "llvm/IR/Instructions.h"
  26 #include "llvm/IR/IntrinsicInst.h"
  27 #include "llvm/IR/Module.h"
  28 #include "llvm/IR/Operator.h"
  29 #include "llvm/IR/Statepoint.h"
  30 #include "llvm/IR/ValueHandle.h"
  31 #include "llvm/IR/ValueSymbolTable.h"
  32 #include "llvm/Support/Debug.h"
  33 #include "llvm/Support/ErrorHandling.h"
  34 #include "llvm/Support/ManagedStatic.h"
  35 #include "llvm/Support/raw_ostream.h"
  36 #include <algorithm>
  37
  38 using namespace llvm;
  39
  40 //===----------------------------------------------------------------------===//
  41 //                                Value Class
  42 //===----------------------------------------------------------------------===//
  43 static inline Type *checkType(Type *Ty) {
  44   assert(Ty && "Value defined with a null type: Error!");
  45   return Ty;
  46 }
  47
  48 Value::Value(Type *ty, unsigned scid)
  49     : VTy(checkType(ty)), UseList(nullptr), SubclassID(scid),
  50       HasValueHandle(0), SubclassOptionalData(0), SubclassData(0),
  51       NumUserOperands(0), IsUsedByMD(false), HasName(false) {
  52   // FIXME: Why isn't this in the subclass gunk??
  53   // Note, we cannot call isa<CallInst> before the CallInst has been
  54   // constructed.
  55   if (SubclassID == Instruction::Call || SubclassID == Instruction::Invoke)
  56     assert((VTy->isFirstClassType() || VTy->isVoidTy() || VTy->isStructTy()) &&
  57            "invalid CallInst type!");
  58   else if (SubclassID != BasicBlockVal &&
  59            (SubclassID < ConstantFirstVal || SubclassID > ConstantLastVal))
  60     assert((VTy->isFirstClassType() || VTy->isVoidTy()) &&
  61            "Cannot create non-first-class values except for constants!");
  62   static_assert(sizeof(Value) == 3 * sizeof(void *) + 2 * sizeof(unsigned),
  63                 "Value too big");
  64 }
  65
  66 Value::~Value() {
  67   // Notify all ValueHandles (if present) that this value is going away.
  68   if (HasValueHandle)
  69     ValueHandleBase::ValueIsDeleted(this);
  70   if (isUsedByMetadata())
  71     ValueAsMetadata::handleDeletion(this);
  72
  73 #ifndef NDEBUG      // Only in -g mode...
  74   // Check to make sure that there are no uses of this value that are still
  75   // around when the value is destroyed.  If there are, then we have a dangling
  76   // reference and something is wrong.  This code is here to print out where
  77   // the value is still being referenced.
  78   //
  79   if (!use_empty()) {
  80     dbgs() << "While deleting: " << *VTy << " %" << getName() << "\n";
  81     for (auto *U : users())
  82       dbgs() << "Use still stuck around after Def is destroyed:" << *U << "\n";
  83   }
  84 #endif
  85   assert(use_empty() && "Uses remain when a value is destroyed!");
  86
  87   // If this value is named, destroy the name.  This should not be in a symtab
  88   // at this point.
  89   destroyValueName();
  90 }
  91
  92 void Value::destroyValueName() {
  93   ValueName *Name = getValueName();
  94   if (Name)
  95     Name->Destroy();
  96   setValueName(nullptr);
  97 }
  98
  99 bool Value::hasNUses(unsigned N) const {
 100   const_use_iterator UI = use_begin(), E = use_end();
 101
 102   for (; N; --N, ++UI)
 103     if (UI == E) return false;  // Too few.
 104   return UI == E;
 105 }
 106
 107 bool Value::hasNUsesOrMore(unsigned N) const {
 108   const_use_iterator UI = use_begin(), E = use_end();
 109
 110   for (; N; --N, ++UI)
 111     if (UI == E) return false;  // Too few.
 112
 113   return true;
 114 }
 115
 116 bool Value::isUsedInBasicBlock(const BasicBlock *BB) const {
 117   // This can be computed either by scanning the instructions in BB, or by
 118   // scanning the use list of this Value. Both lists can be very long, but
 119   // usually one is quite short.
 120   //
 121   // Scan both lists simultaneously until one is exhausted. This limits the
 122   // search to the shorter list.
 123   BasicBlock::const_iterator BI = BB->begin(), BE = BB->end();
 124   const_user_iterator UI = user_begin(), UE = user_end();
 125   for (; BI != BE && UI != UE; ++BI, ++UI) {
 126     // Scan basic block: Check if this Value is used by the instruction at BI.
 127     if (is_contained(BI->operands(), this))
 128       return true;
 129     // Scan use list: Check if the use at UI is in BB.
 130     const auto *User = dyn_cast<Instruction>(*UI);
 131     if (User && User->getParent() == BB)
 132       return true;
 133   }
 134   return false;
 135 }
 136
 137 unsigned Value::getNumUses() const {
 138   return (unsigned)std::distance(use_begin(), use_end());
 139 }
 140
 141 static bool getSymTab(Value *V, ValueSymbolTable *&ST) {
 142   ST = nullptr;
 143   if (Instruction *I = dyn_cast<Instruction>(V)) {
 144     if (BasicBlock *P = I->getParent())
 145       if (Function *PP = P->getParent())
 146         ST = PP->getValueSymbolTable();
 147   } else if (BasicBlock *BB = dyn_cast<BasicBlock>(V)) {
 148     if (Function *P = BB->getParent())
 149       ST = P->getValueSymbolTable();
 150   } else if (GlobalValue *GV = dyn_cast<GlobalValue>(V)) {
 151     if (Module *P = GV->getParent())
 152       ST = &P->getValueSymbolTable();
 153   } else if (Argument *A = dyn_cast<Argument>(V)) {
 154     if (Function *P = A->getParent())
 155       ST = P->getValueSymbolTable();
 156   } else {
 157     assert(isa<Constant>(V) && "Unknown value type!");
 158     return true;  // no name is setable for this.
 159   }
 160   return false;
 161 }
 162
 163 ValueName *Value::getValueName() const {
 164   if (!HasName) return nullptr;
 165
 166   LLVMContext &Ctx = getContext();
 167   auto I = Ctx.pImpl->ValueNames.find(this);
 168   assert(I != Ctx.pImpl->ValueNames.end() &&
 169          "No name entry found!");
 170
 171   return I->second;
 172 }
 173
 174 void Value::setValueName(ValueName *VN) {
 175   LLVMContext &Ctx = getContext();
 176
 177   assert(HasName == Ctx.pImpl->ValueNames.count(this) &&
 178          "HasName bit out of sync!");
 179
 180   if (!VN) {
 181     if (HasName)
 182       Ctx.pImpl->ValueNames.erase(this);
 183     HasName = false;
 184     return;
 185   }
 186
 187   HasName = true;
 188   Ctx.pImpl->ValueNames[this] = VN;
 189 }
 190
 191 StringRef Value::getName() const {
 192   // Make sure the empty string is still a C string. For historical reasons,
 193   // some clients want to call .data() on the result and expect it to be null
 194   // terminated.
 195   if (!hasName())
 196     return StringRef("", 0);
 197   return getValueName()->getKey();
 198 }
 199
 200 void Value::setNameImpl(const Twine &NewName) {
 201   // Fast-path: LLVMContext can be set to strip out non-GlobalValue names
 202   if (getContext().shouldDiscardValueNames() && !isa<GlobalValue>(this))
 203     return;
 204
 205   // Fast path for common IRBuilder case of setName("") when there is no name.
 206   if (NewName.isTriviallyEmpty() && !hasName())
 207     return;
 208
 209   SmallString<256> NameData;
 210   StringRef NameRef = NewName.toStringRef(NameData);
 211   assert(NameRef.find_first_of(0) == StringRef::npos &&
 212          "Null bytes are not allowed in names");
 213
 214   // Name isn't changing?
 215   if (getName() == NameRef)
 216     return;
 217
 218   assert(!getType()->isVoidTy() && "Cannot assign a name to void values!");
 219
 220   // Get the symbol table to update for this object.
 221   ValueSymbolTable *ST;
 222   if (getSymTab(this, ST))
 223     return;  // Cannot set a name on this value (e.g. constant).
 224
 225   if (!ST) { // No symbol table to update?  Just do the change.
 226     if (NameRef.empty()) {
 227       // Free the name for this value.
 228       destroyValueName();
 229       return;
 230     }
 231
 232     // NOTE: Could optimize for the case the name is shrinking to not deallocate
 233     // then reallocated.
 234     destroyValueName();
 235
 236     // Create the new name.
 237     setValueName(ValueName::Create(NameRef));
 238     getValueName()->setValue(this);
 239     return;
 240   }
 241
 242   // NOTE: Could optimize for the case the name is shrinking to not deallocate
 243   // then reallocated.
 244   if (hasName()) {
 245     // Remove old name.
 246     ST->removeValueName(getValueName());
 247     destroyValueName();
 248
 249     if (NameRef.empty())
 250       return;
 251   }
 252
 253   // Name is changing to something new.
 254   setValueName(ST->createValueName(NameRef, this));
 255 }
 256
 257 void Value::setName(const Twine &NewName) {
 258   setNameImpl(NewName);
 259   if (Function *F = dyn_cast<Function>(this))
 260     F->recalculateIntrinsicID();
 261 }
 262
 263 void Value::takeName(Value *V) {
 264   ValueSymbolTable *ST = nullptr;
 265   // If this value has a name, drop it.
 266   if (hasName()) {
 267     // Get the symtab this is in.
 268     if (getSymTab(this, ST)) {
 269       // We can't set a name on this value, but we need to clear V's name if
 270       // it has one.
 271       if (V->hasName()) V->setName("");
 272       return;  // Cannot set a name on this value (e.g. constant).
 273     }
 274
 275     // Remove old name.
 276     if (ST)
 277       ST->removeValueName(getValueName());
 278     destroyValueName();
 279   }
 280
 281   // Now we know that this has no name.
 282
 283   // If V has no name either, we're done.
 284   if (!V->hasName()) return;
 285
 286   // Get this's symtab if we didn't before.
 287   if (!ST) {
 288     if (getSymTab(this, ST)) {
 289       // Clear V's name.
 290       V->setName("");
 291       return;  // Cannot set a name on this value (e.g. constant).
 292     }
 293   }
 294
 295   // Get V's ST, this should always succed, because V has a name.
 296   ValueSymbolTable *VST;
 297   bool Failure = getSymTab(V, VST);
 298   assert(!Failure && "V has a name, so it should have a ST!"); (void)Failure;
 299
 300   // If these values are both in the same symtab, we can do this very fast.
 301   // This works even if both values have no symtab yet.
 302   if (ST == VST) {
 303     // Take the name!
 304     setValueName(V->getValueName());
 305     V->setValueName(nullptr);
 306     getValueName()->setValue(this);
 307     return;
 308   }
 309
 310   // Otherwise, things are slightly more complex.  Remove V's name from VST and
 311   // then reinsert it into ST.
 312
 313   if (VST)
 314     VST->removeValueName(V->getValueName());
 315   setValueName(V->getValueName());
 316   V->setValueName(nullptr);
 317   getValueName()->setValue(this);
 318
 319   if (ST)
 320     ST->reinsertValue(this);
 321 }
 322
 323 void Value::assertModuleIsMaterializedImpl() const {
 324 #ifndef NDEBUG
 325   const GlobalValue *GV = dyn_cast<GlobalValue>(this);
 326   if (!GV)
 327     return;
 328   const Module *M = GV->getParent();
 329   if (!M)
 330     return;
 331   assert(M->isMaterialized());
 332 #endif
 333 }
 334
 335 #ifndef NDEBUG
 336 static bool contains(SmallPtrSetImpl<ConstantExpr *> &Cache, ConstantExpr *Expr,
 337                      Constant *C) {
 338   if (!Cache.insert(Expr).second)
 339     return false;
 340
 341   for (auto &O : Expr->operands()) {
 342     if (O == C)
 343       return true;
 344     auto *CE = dyn_cast<ConstantExpr>(O);
 345     if (!CE)
 346       continue;
 347     if (contains(Cache, CE, C))
 348       return true;
 349   }
 350   return false;
 351 }
 352
 353 static bool contains(Value *Expr, Value *V) {
 354   if (Expr == V)
 355     return true;
 356
 357   auto *C = dyn_cast<Constant>(V);
 358   if (!C)
 359     return false;
 360
 361   auto *CE = dyn_cast<ConstantExpr>(Expr);
 362   if (!CE)
 363     return false;
 364
 365   SmallPtrSet<ConstantExpr *, 4> Cache;
 366   return contains(Cache, CE, C);
 367 }
 368 #endif // NDEBUG
 369
 370 void Value::doRAUW(Value *New, bool NoMetadata) {
 371   assert(New && "Value::replaceAllUsesWith(<null>) is invalid!");
 372   assert(!contains(New, this) &&
 373          "this->replaceAllUsesWith(expr(this)) is NOT valid!");
 374   assert(New->getType() == getType() &&
 375          "replaceAllUses of value with new value of different type!");
 376
 377   // Notify all ValueHandles (if present) that this value is going away.
 378   if (HasValueHandle)
 379     ValueHandleBase::ValueIsRAUWd(this, New);
 380   if (!NoMetadata && isUsedByMetadata())
 381     ValueAsMetadata::handleRAUW(this, New);
 382
 383   while (!use_empty()) {
 384     Use &U = *UseList;
 385     // Must handle Constants specially, we cannot call replaceUsesOfWith on a
 386     // constant because they are uniqued.
 387     if (auto *C = dyn_cast<Constant>(U.getUser())) {
 388       if (!isa<GlobalValue>(C)) {
 389         C->handleOperandChange(this, New);
 390         continue;
 391       }
 392     }
 393
 394     U.set(New);
 395   }
 396
 397   if (BasicBlock *BB = dyn_cast<BasicBlock>(this))
 398     BB->replaceSuccessorsPhiUsesWith(cast<BasicBlock>(New));
 399 }
 400
 401 void Value::replaceAllUsesWith(Value *New) {
 402   doRAUW(New, false /* NoMetadata */);
 403 }
 404
 405 void Value::replaceNonMetadataUsesWith(Value *New) {
 406   doRAUW(New, true /* NoMetadata */);
 407 }
 408
 409 // Like replaceAllUsesWith except it does not handle constants or basic blocks.
 410 // This routine leaves uses within BB.
 411 void Value::replaceUsesOutsideBlock(Value *New, BasicBlock *BB) {
 412   assert(New && "Value::replaceUsesOutsideBlock(<null>, BB) is invalid!");
 413   assert(!contains(New, this) &&
 414          "this->replaceUsesOutsideBlock(expr(this), BB) is NOT valid!");
 415   assert(New->getType() == getType() &&
 416          "replaceUses of value with new value of different type!");
 417   assert(BB && "Basic block that may contain a use of 'New' must be defined\n");
 418
 419   use_iterator UI = use_begin(), E = use_end();
 420   for (; UI != E;) {
 421     Use &U = *UI;
 422     ++UI;
 423     auto *Usr = dyn_cast<Instruction>(U.getUser());
 424     if (Usr && Usr->getParent() == BB)
 425       continue;
 426     U.set(New);
 427   }
 428 }
 429
 430 namespace {
 431 // Various metrics for how much to strip off of pointers.
 432 enum PointerStripKind {
 433   PSK_ZeroIndices,
 434   PSK_ZeroIndicesAndAliases,
 435   PSK_ZeroIndicesAndAliasesAndBarriers,
 436   PSK_InBoundsConstantIndices,
 437   PSK_InBounds
 438 };
 439
 440 template <PointerStripKind StripKind>
 441 static const Value *stripPointerCastsAndOffsets(const Value *V) {
 442   if (!V->getType()->isPointerTy())
 443     return V;
 444
 445   // Even though we don't look through PHI nodes, we could be called on an
 446   // instruction in an unreachable block, which may be on a cycle.
 447   SmallPtrSet<const Value *, 4> Visited;
 448
 449   Visited.insert(V);
 450   do {
 451     if (auto *GEP = dyn_cast<GEPOperator>(V)) {
 452       switch (StripKind) {
 453       case PSK_ZeroIndicesAndAliases:
 454       case PSK_ZeroIndicesAndAliasesAndBarriers:
 455       case PSK_ZeroIndices:
 456         if (!GEP->hasAllZeroIndices())
 457           return V;
 458         break;
 459       case PSK_InBoundsConstantIndices:
 460         if (!GEP->hasAllConstantIndices())
 461           return V;
 462         LLVM_FALLTHROUGH;
 463       case PSK_InBounds:
 464         if (!GEP->isInBounds())
 465           return V;
 466         break;
 467       }
 468       V = GEP->getPointerOperand();
 469     } else if (Operator::getOpcode(V) == Instruction::BitCast ||
 470                Operator::getOpcode(V) == Instruction::AddrSpaceCast) {
 471       V = cast<Operator>(V)->getOperand(0);
 472     } else if (auto *GA = dyn_cast<GlobalAlias>(V)) {
 473       if (StripKind == PSK_ZeroIndices || GA->isInterposable())
 474         return V;
 475       V = GA->getAliasee();
 476     } else {
 477       if (auto CS = ImmutableCallSite(V)) {
 478         if (const Value *RV = CS.getReturnedArgOperand()) {
 479           V = RV;
 480           continue;
 481         }
 482         // The result of invariant.group.barrier must alias it's argument,
 483         // but it can't be marked with returned attribute, that's why it needs
 484         // special case.
 485         if (StripKind == PSK_ZeroIndicesAndAliasesAndBarriers &&
 486             CS.getIntrinsicID() == Intrinsic::invariant_group_barrier) {
 487           V = CS.getArgOperand(0);
 488           continue;
 489         }
 490       }
 491       return V;
 492     }
 493     assert(V->getType()->isPointerTy() && "Unexpected operand type!");
 494   } while (Visited.insert(V).second);
 495
 496   return V;
 497 }
 498 } // end anonymous namespace
 499
 500 const Value *Value::stripPointerCasts() const {
 501   return stripPointerCastsAndOffsets<PSK_ZeroIndicesAndAliases>(this);
 502 }
 503
 504 const Value *Value::stripPointerCastsNoFollowAliases() const {
 505   return stripPointerCastsAndOffsets<PSK_ZeroIndices>(this);
 506 }
 507
 508 const Value *Value::stripInBoundsConstantOffsets() const {
 509   return stripPointerCastsAndOffsets<PSK_InBoundsConstantIndices>(this);
 510 }
 511
 512 const Value *Value::stripPointerCastsAndBarriers() const {
 513   return stripPointerCastsAndOffsets<PSK_ZeroIndicesAndAliasesAndBarriers>(
 514       this);
 515 }
 516
 517 const Value *
 518 Value::stripAndAccumulateInBoundsConstantOffsets(const DataLayout &DL,
 519                                                  APInt &Offset) const {
 520   if (!getType()->isPointerTy())
 521     return this;
 522
 523   assert(Offset.getBitWidth() == DL.getPointerSizeInBits(cast<PointerType>(
 524                                      getType())->getAddressSpace()) &&
 525          "The offset must have exactly as many bits as our pointer.");
 526
 527   // Even though we don't look through PHI nodes, we could be called on an
 528   // instruction in an unreachable block, which may be on a cycle.
 529   SmallPtrSet<const Value *, 4> Visited;
 530   Visited.insert(this);
 531   const Value *V = this;
 532   do {
 533     if (auto *GEP = dyn_cast<GEPOperator>(V)) {
 534       if (!GEP->isInBounds())
 535         return V;
 536       APInt GEPOffset(Offset);
 537       if (!GEP->accumulateConstantOffset(DL, GEPOffset))
 538         return V;
 539       Offset = GEPOffset;
 540       V = GEP->getPointerOperand();
 541     } else if (Operator::getOpcode(V) == Instruction::BitCast) {
 542       V = cast<Operator>(V)->getOperand(0);
 543     } else if (auto *GA = dyn_cast<GlobalAlias>(V)) {
 544       V = GA->getAliasee();
 545     } else {
 546       if (auto CS = ImmutableCallSite(V))
 547         if (const Value *RV = CS.getReturnedArgOperand()) {
 548           V = RV;
 549           continue;
 550         }
 551
 552       return V;
 553     }
 554     assert(V->getType()->isPointerTy() && "Unexpected operand type!");
 555   } while (Visited.insert(V).second);
 556
 557   return V;
 558 }
 559
 560 const Value *Value::stripInBoundsOffsets() const {
 561   return stripPointerCastsAndOffsets<PSK_InBounds>(this);
 562 }
 563
 564 unsigned Value::getPointerDereferenceableBytes(const DataLayout &DL,
 565                                                bool &CanBeNull) const {
 566   assert(getType()->isPointerTy() && "must be pointer");
 567
 568   unsigned DerefBytes = 0;
 569   CanBeNull = false;
 570   if (const Argument *A = dyn_cast<Argument>(this)) {
 571     DerefBytes = A->getDereferenceableBytes();
 572     if (DerefBytes == 0 && A->hasByValAttr() && A->getType()->isSized()) {
 573       DerefBytes = DL.getTypeStoreSize(A->getType());
 574       CanBeNull = false;
 575     }
 576     if (DerefBytes == 0) {
 577       DerefBytes = A->getDereferenceableOrNullBytes();
 578       CanBeNull = true;
 579     }
 580   } else if (auto CS = ImmutableCallSite(this)) {
 581     DerefBytes = CS.getDereferenceableBytes(0);
 582     if (DerefBytes == 0) {
 583       DerefBytes = CS.getDereferenceableOrNullBytes(0);
 584       CanBeNull = true;
 585     }
 586   } else if (const LoadInst *LI = dyn_cast<LoadInst>(this)) {
 587     if (MDNode *MD = LI->getMetadata(LLVMContext::MD_dereferenceable)) {
 588       ConstantInt *CI = mdconst::extract<ConstantInt>(MD->getOperand(0));
 589       DerefBytes = CI->getLimitedValue();
 590     }
 591     if (DerefBytes == 0) {
 592       if (MDNode *MD =
 593               LI->getMetadata(LLVMContext::MD_dereferenceable_or_null)) {
 594         ConstantInt *CI = mdconst::extract<ConstantInt>(MD->getOperand(0));
 595         DerefBytes = CI->getLimitedValue();
 596       }
 597       CanBeNull = true;
 598     }
 599   } else if (auto *AI = dyn_cast<AllocaInst>(this)) {
 600     if (AI->getAllocatedType()->isSized()) {
 601       DerefBytes = DL.getTypeStoreSize(AI->getAllocatedType());
 602       CanBeNull = false;
 603     }
 604   } else if (auto *GV = dyn_cast<GlobalVariable>(this)) {
 605     if (GV->getValueType()->isSized() && !GV->hasExternalWeakLinkage()) {
 606       // TODO: Don't outright reject hasExternalWeakLinkage but set the
 607       // CanBeNull flag.
 608       DerefBytes = DL.getTypeStoreSize(GV->getValueType());
 609       CanBeNull = false;
 610     }
 611   }
 612   return DerefBytes;
 613 }
 614
 615 unsigned Value::getPointerAlignment(const DataLayout &DL) const {
 616   assert(getType()->isPointerTy() && "must be pointer");
 617
 618   unsigned Align = 0;
 619   if (auto *GO = dyn_cast<GlobalObject>(this)) {
 620     Align = GO->getAlignment();
 621     if (Align == 0) {
 622       if (auto *GVar = dyn_cast<GlobalVariable>(GO)) {
 623         Type *ObjectType = GVar->getValueType();
 624         if (ObjectType->isSized()) {
 625           // If the object is defined in the current Module, we'll be giving
 626           // it the preferred alignment. Otherwise, we have to assume that it
 627           // may only have the minimum ABI alignment.
 628           if (GVar->isStrongDefinitionForLinker())
 629             Align = DL.getPreferredAlignment(GVar);
 630           else
 631             Align = DL.getABITypeAlignment(ObjectType);
 632         }
 633       }
 634     }
 635   } else if (const Argument *A = dyn_cast<Argument>(this)) {
 636     Align = A->getParamAlignment();
 637
 638     if (!Align && A->hasStructRetAttr()) {
 639       // An sret parameter has at least the ABI alignment of the return type.
 640       Type *EltTy = cast<PointerType>(A->getType())->getElementType();
 641       if (EltTy->isSized())
 642         Align = DL.getABITypeAlignment(EltTy);
 643     }
 644   } else if (const AllocaInst *AI = dyn_cast<AllocaInst>(this)) {
 645     Align = AI->getAlignment();
 646     if (Align == 0) {
 647       Type *AllocatedType = AI->getAllocatedType();
 648       if (AllocatedType->isSized())
 649         Align = DL.getPrefTypeAlignment(AllocatedType);
 650     }
 651   } else if (auto CS = ImmutableCallSite(this))
 652     Align = CS.getAttributes().getParamAlignment(AttributeList::ReturnIndex);
 653   else if (const LoadInst *LI = dyn_cast<LoadInst>(this))
 654     if (MDNode *MD = LI->getMetadata(LLVMContext::MD_align)) {
 655       ConstantInt *CI = mdconst::extract<ConstantInt>(MD->getOperand(0));
 656       Align = CI->getLimitedValue();
 657     }
 658
 659   return Align;
 660 }
 661
 662 const Value *Value::DoPHITranslation(const BasicBlock *CurBB,
 663                                      const BasicBlock *PredBB) const {
 664   auto *PN = dyn_cast<PHINode>(this);
 665   if (PN && PN->getParent() == CurBB)
 666     return PN->getIncomingValueForBlock(PredBB);
 667   return this;
 668 }
 669
 670 LLVMContext &Value::getContext() const { return VTy->getContext(); }
 671
 672 void Value::reverseUseList() {
 673   if (!UseList || !UseList->Next)
 674     // No need to reverse 0 or 1 uses.
 675     return;
 676
 677   Use *Head = UseList;
 678   Use *Current = UseList->Next;
 679   Head->Next = nullptr;
 680   while (Current) {
 681     Use *Next = Current->Next;
 682     Current->Next = Head;
 683     Head->setPrev(&Current->Next);
 684     Head = Current;
 685     Current = Next;
 686   }
 687   UseList = Head;
 688   Head->setPrev(&UseList);
 689 }
 690
 691 bool Value::isSwiftError() const {
 692   auto *Arg = dyn_cast<Argument>(this);
 693   if (Arg)
 694     return Arg->hasSwiftErrorAttr();
 695   auto *Alloca = dyn_cast<AllocaInst>(this);
 696   if (!Alloca)
 697     return false;
 698   return Alloca->isSwiftError();
 699 }
 700
 701 //===----------------------------------------------------------------------===//
 702 //                             ValueHandleBase Class
 703 //===----------------------------------------------------------------------===//
 704
 705 void ValueHandleBase::AddToExistingUseList(ValueHandleBase **List) {
 706   assert(List && "Handle list is null?");
 707
 708   // Splice ourselves into the list.
 709   Next = *List;
 710   *List = this;
 711   setPrevPtr(List);
 712   if (Next) {
 713     Next->setPrevPtr(&Next);
 714     assert(V == Next->V && "Added to wrong list?");
 715   }
 716 }
 717
 718 void ValueHandleBase::AddToExistingUseListAfter(ValueHandleBase *List) {
 719   assert(List && "Must insert after existing node");
 720
 721   Next = List->Next;
 722   setPrevPtr(&List->Next);
 723   List->Next = this;
 724   if (Next)
 725     Next->setPrevPtr(&Next);
 726 }
 727
 728 void ValueHandleBase::AddToUseList() {
 729   assert(V && "Null pointer doesn't have a use list!");
 730
 731   LLVMContextImpl *pImpl = V->getContext().pImpl;
 732
 733   if (V->HasValueHandle) {
 734     // If this value already has a ValueHandle, then it must be in the
 735     // ValueHandles map already.
 736     ValueHandleBase *&Entry = pImpl->ValueHandles[V];
 737     assert(Entry && "Value doesn't have any handles?");
 738     AddToExistingUseList(&Entry);
 739     return;
 740   }
 741
 742   // Ok, it doesn't have any handles yet, so we must insert it into the
 743   // DenseMap.  However, doing this insertion could cause the DenseMap to
 744   // reallocate itself, which would invalidate all of the PrevP pointers that
 745   // point into the old table.  Handle this by checking for reallocation and
 746   // updating the stale pointers only if needed.
 747   DenseMap<Value*, ValueHandleBase*> &Handles = pImpl->ValueHandles;
 748   const void *OldBucketPtr = Handles.getPointerIntoBucketsArray();
 749
 750   ValueHandleBase *&Entry = Handles[V];
 751   assert(!Entry && "Value really did already have handles?");
 752   AddToExistingUseList(&Entry);
 753   V->HasValueHandle = true;
 754
 755   // If reallocation didn't happen or if this was the first insertion, don't
 756   // walk the table.
 757   if (Handles.isPointerIntoBucketsArray(OldBucketPtr) ||
 758       Handles.size() == 1) {
 759     return;
 760   }
 761
 762   // Okay, reallocation did happen.  Fix the Prev Pointers.
 763   for (DenseMap<Value*, ValueHandleBase*>::iterator I = Handles.begin(),
 764        E = Handles.end(); I != E; ++I) {
 765     assert(I->second && I->first == I->second->V &&
 766            "List invariant broken!");
 767     I->second->setPrevPtr(&I->second);
 768   }
 769 }
 770
 771 void ValueHandleBase::RemoveFromUseList() {
 772   assert(V && V->HasValueHandle &&
 773          "Pointer doesn't have a use list!");
 774
 775   // Unlink this from its use list.
 776   ValueHandleBase **PrevPtr = getPrevPtr();
 777   assert(*PrevPtr == this && "List invariant broken");
 778
 779   *PrevPtr = Next;
 780   if (Next) {
 781     assert(Next->getPrevPtr() == &Next && "List invariant broken");
 782     Next->setPrevPtr(PrevPtr);
 783     return;
 784   }
 785
 786   // If the Next pointer was null, then it is possible that this was the last
 787   // ValueHandle watching VP.  If so, delete its entry from the ValueHandles
 788   // map.
 789   LLVMContextImpl *pImpl = V->getContext().pImpl;
 790   DenseMap<Value*, ValueHandleBase*> &Handles = pImpl->ValueHandles;
 791   if (Handles.isPointerIntoBucketsArray(PrevPtr)) {
 792     Handles.erase(V);
 793     V->HasValueHandle = false;
 794   }
 795 }
 796
 797 void ValueHandleBase::ValueIsDeleted(Value *V) {
 798   assert(V->HasValueHandle && "Should only be called if ValueHandles present");
 799
 800   // Get the linked list base, which is guaranteed to exist since the
 801   // HasValueHandle flag is set.
 802   LLVMContextImpl *pImpl = V->getContext().pImpl;
 803   ValueHandleBase *Entry = pImpl->ValueHandles[V];
 804   assert(Entry && "Value bit set but no entries exist");
 805
 806   // We use a local ValueHandleBase as an iterator so that ValueHandles can add
 807   // and remove themselves from the list without breaking our iteration.  This
 808   // is not really an AssertingVH; we just have to give ValueHandleBase a kind.
 809   // Note that we deliberately do not the support the case when dropping a value
 810   // handle results in a new value handle being permanently added to the list
 811   // (as might occur in theory for CallbackVH's): the new value handle will not
 812   // be processed and the checking code will mete out righteous punishment if
 813   // the handle is still present once we have finished processing all the other
 814   // value handles (it is fine to momentarily add then remove a value handle).
 815   for (ValueHandleBase Iterator(Assert, *Entry); Entry; Entry = Iterator.Next) {
 816     Iterator.RemoveFromUseList();
 817     Iterator.AddToExistingUseListAfter(Entry);
 818     assert(Entry->Next == &Iterator && "Loop invariant broken.");
 819
 820     switch (Entry->getKind()) {
 821     case Assert:
 822       break;
 823     case Tracking:
 824       // Mark that this value has been deleted by setting it to an invalid Value
 825       // pointer.
 826       Entry->operator=(DenseMapInfo<Value *>::getTombstoneKey());
 827       break;
 828     case Weak:
 829       // Weak just goes to null, which will unlink it from the list.
 830       Entry->operator=(nullptr);
 831       break;
 832     case Callback:
 833       // Forward to the subclass's implementation.
 834       static_cast<CallbackVH*>(Entry)->deleted();
 835       break;
 836     }
 837   }
 838
 839   // All callbacks, weak references, and assertingVHs should be dropped by now.
 840   if (V->HasValueHandle) {
 841 #ifndef NDEBUG      // Only in +Asserts mode...
 842     dbgs() << "While deleting: " << *V->getType() << " %" << V->getName()
 843            << "\n";
 844     if (pImpl->ValueHandles[V]->getKind() == Assert)
 845       llvm_unreachable("An asserting value handle still pointed to this"
 846                        " value!");
 847
 848 #endif
 849     llvm_unreachable("All references to V were not removed?");
 850   }
 851 }
 852
 853 void ValueHandleBase::ValueIsRAUWd(Value *Old, Value *New) {
 854   assert(Old->HasValueHandle &&"Should only be called if ValueHandles present");
 855   assert(Old != New && "Changing value into itself!");
 856   assert(Old->getType() == New->getType() &&
 857          "replaceAllUses of value with new value of different type!");
 858
 859   // Get the linked list base, which is guaranteed to exist since the
 860   // HasValueHandle flag is set.
 861   LLVMContextImpl *pImpl = Old->getContext().pImpl;
 862   ValueHandleBase *Entry = pImpl->ValueHandles[Old];
 863
 864   assert(Entry && "Value bit set but no entries exist");
 865
 866   // We use a local ValueHandleBase as an iterator so that
 867   // ValueHandles can add and remove themselves from the list without
 868   // breaking our iteration.  This is not really an AssertingVH; we
 869   // just have to give ValueHandleBase some kind.
 870   for (ValueHandleBase Iterator(Assert, *Entry); Entry; Entry = Iterator.Next) {
 871     Iterator.RemoveFromUseList();
 872     Iterator.AddToExistingUseListAfter(Entry);
 873     assert(Entry->Next == &Iterator && "Loop invariant broken.");
 874
 875     switch (Entry->getKind()) {
 876     case Assert:
 877       // Asserting handle does not follow RAUW implicitly.
 878       break;
 879     case Tracking:
 880       // Tracking goes to new value like a WeakVH. Note that this may make it
 881       // something incompatible with its templated type. We don't want to have a
 882       // virtual (or inline) interface to handle this though, so instead we make
 883       // the TrackingVH accessors guarantee that a client never sees this value.
 884
 885       LLVM_FALLTHROUGH;
 886     case Weak:
 887       // Weak goes to the new value, which will unlink it from Old's list.
 888       Entry->operator=(New);
 889       break;
 890     case Callback:
 891       // Forward to the subclass's implementation.
 892       static_cast<CallbackVH*>(Entry)->allUsesReplacedWith(New);
 893       break;
 894     }
 895   }
 896
 897 #ifndef NDEBUG
 898   // If any new tracking or weak value handles were added while processing the
 899   // list, then complain about it now.
 900   if (Old->HasValueHandle)
 901     for (Entry = pImpl->ValueHandles[Old]; Entry; Entry = Entry->Next)
 902       switch (Entry->getKind()) {
 903       case Tracking:
 904       case Weak:
 905         dbgs() << "After RAUW from " << *Old->getType() << " %"
 906                << Old->getName() << " to " << *New->getType() << " %"
 907                << New->getName() << "\n";
 908         llvm_unreachable("A tracking or weak value handle still pointed to the"
 909                          " old value!\n");
 910       default:
 911         break;
 912       }
 913 #endif
 914 }
 915
 916 // Pin the vtable to this file.
 917 void CallbackVH::anchor() {}