contrib/llvm/tools/clang/lib/CodeGen/CGDeclCXX.cpp

   1 //===--- CGDeclCXX.cpp - Emit LLVM Code for C++ declarations --------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This contains code dealing with code generation of C++ declarations
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #include "CodeGenFunction.h"
  15 #include "CGCXXABI.h"
  16 #include "CGObjCRuntime.h"
  17 #include "CGOpenMPRuntime.h"
  18 #include "clang/Frontend/CodeGenOptions.h"
  19 #include "llvm/ADT/StringExtras.h"
  20 #include "llvm/IR/Intrinsics.h"
  21 #include "llvm/IR/MDBuilder.h"
  22 #include "llvm/Support/Path.h"
  23
  24 using namespace clang;
  25 using namespace CodeGen;
  26
  27 static void EmitDeclInit(CodeGenFunction &CGF, const VarDecl &D,
  28                          ConstantAddress DeclPtr) {
  29   assert(D.hasGlobalStorage() && "VarDecl must have global storage!");
  30   assert(!D.getType()->isReferenceType() &&
  31          "Should not call EmitDeclInit on a reference!");
  32
  33   QualType type = D.getType();
  34   LValue lv = CGF.MakeAddrLValue(DeclPtr, type);
  35
  36   const Expr *Init = D.getInit();
  37   switch (CGF.getEvaluationKind(type)) {
  38   case TEK_Scalar: {
  39     CodeGenModule &CGM = CGF.CGM;
  40     if (lv.isObjCStrong())
  41       CGM.getObjCRuntime().EmitObjCGlobalAssign(CGF, CGF.EmitScalarExpr(Init),
  42                                                 DeclPtr, D.getTLSKind());
  43     else if (lv.isObjCWeak())
  44       CGM.getObjCRuntime().EmitObjCWeakAssign(CGF, CGF.EmitScalarExpr(Init),
  45                                               DeclPtr);
  46     else
  47       CGF.EmitScalarInit(Init, &D, lv, false);
  48     return;
  49   }
  50   case TEK_Complex:
  51     CGF.EmitComplexExprIntoLValue(Init, lv, /*isInit*/ true);
  52     return;
  53   case TEK_Aggregate:
  54     CGF.EmitAggExpr(Init, AggValueSlot::forLValue(lv,AggValueSlot::IsDestructed,
  55                                           AggValueSlot::DoesNotNeedGCBarriers,
  56                                                   AggValueSlot::IsNotAliased,
  57                                                   AggValueSlot::DoesNotOverlap));
  58     return;
  59   }
  60   llvm_unreachable("bad evaluation kind");
  61 }
  62
  63 /// Emit code to cause the destruction of the given variable with
  64 /// static storage duration.
  65 static void EmitDeclDestroy(CodeGenFunction &CGF, const VarDecl &D,
  66                             ConstantAddress addr) {
  67   CodeGenModule &CGM = CGF.CGM;
  68
  69   // FIXME:  __attribute__((cleanup)) ?
  70
  71   QualType type = D.getType();
  72   QualType::DestructionKind dtorKind = type.isDestructedType();
  73
  74   switch (dtorKind) {
  75   case QualType::DK_none:
  76     return;
  77
  78   case QualType::DK_cxx_destructor:
  79     break;
  80
  81   case QualType::DK_objc_strong_lifetime:
  82   case QualType::DK_objc_weak_lifetime:
  83   case QualType::DK_nontrivial_c_struct:
  84     // We don't care about releasing objects during process teardown.
  85     assert(!D.getTLSKind() && "should have rejected this");
  86     return;
  87   }
  88
  89   llvm::Constant *function;
  90   llvm::Constant *argument;
  91
  92   // Special-case non-array C++ destructors, if they have the right signature.
  93   // Under some ABIs, destructors return this instead of void, and cannot be
  94   // passed directly to __cxa_atexit if the target does not allow this mismatch.
  95   const CXXRecordDecl *Record = type->getAsCXXRecordDecl();
  96   bool CanRegisterDestructor =
  97       Record && (!CGM.getCXXABI().HasThisReturn(
  98                      GlobalDecl(Record->getDestructor(), Dtor_Complete)) ||
  99                  CGM.getCXXABI().canCallMismatchedFunctionType());
 100   // If __cxa_atexit is disabled via a flag, a different helper function is
 101   // generated elsewhere which uses atexit instead, and it takes the destructor
 102   // directly.
 103   bool UsingExternalHelper = !CGM.getCodeGenOpts().CXAAtExit;
 104   if (Record && (CanRegisterDestructor || UsingExternalHelper)) {
 105     assert(!Record->hasTrivialDestructor());
 106     CXXDestructorDecl *dtor = Record->getDestructor();
 107
 108     function = CGM.getAddrOfCXXStructor(dtor, StructorType::Complete);
 109     argument = llvm::ConstantExpr::getBitCast(
 110         addr.getPointer(), CGF.getTypes().ConvertType(type)->getPointerTo());
 111
 112   // Otherwise, the standard logic requires a helper function.
 113   } else {
 114     function = CodeGenFunction(CGM)
 115         .generateDestroyHelper(addr, type, CGF.getDestroyer(dtorKind),
 116                                CGF.needsEHCleanup(dtorKind), &D);
 117     argument = llvm::Constant::getNullValue(CGF.Int8PtrTy);
 118   }
 119
 120   CGM.getCXXABI().registerGlobalDtor(CGF, D, function, argument);
 121 }
 122
 123 /// Emit code to cause the variable at the given address to be considered as
 124 /// constant from this point onwards.
 125 static void EmitDeclInvariant(CodeGenFunction &CGF, const VarDecl &D,
 126                               llvm::Constant *Addr) {
 127   // Do not emit the intrinsic if we're not optimizing.
 128   if (!CGF.CGM.getCodeGenOpts().OptimizationLevel)
 129     return;
 130
 131   // Grab the llvm.invariant.start intrinsic.
 132   llvm::Intrinsic::ID InvStartID = llvm::Intrinsic::invariant_start;
 133   // Overloaded address space type.
 134   llvm::Type *ObjectPtr[1] = {CGF.Int8PtrTy};
 135   llvm::Constant *InvariantStart = CGF.CGM.getIntrinsic(InvStartID, ObjectPtr);
 136
 137   // Emit a call with the size in bytes of the object.
 138   CharUnits WidthChars = CGF.getContext().getTypeSizeInChars(D.getType());
 139   uint64_t Width = WidthChars.getQuantity();
 140   llvm::Value *Args[2] = { llvm::ConstantInt::getSigned(CGF.Int64Ty, Width),
 141                            llvm::ConstantExpr::getBitCast(Addr, CGF.Int8PtrTy)};
 142   CGF.Builder.CreateCall(InvariantStart, Args);
 143 }
 144
 145 void CodeGenFunction::EmitCXXGlobalVarDeclInit(const VarDecl &D,
 146                                                llvm::Constant *DeclPtr,
 147                                                bool PerformInit) {
 148
 149   const Expr *Init = D.getInit();
 150   QualType T = D.getType();
 151
 152   // The address space of a static local variable (DeclPtr) may be different
 153   // from the address space of the "this" argument of the constructor. In that
 154   // case, we need an addrspacecast before calling the constructor.
 155   //
 156   // struct StructWithCtor {
 157   //   __device__ StructWithCtor() {...}
 158   // };
 159   // __device__ void foo() {
 160   //   __shared__ StructWithCtor s;
 161   //   ...
 162   // }
 163   //
 164   // For example, in the above CUDA code, the static local variable s has a
 165   // "shared" address space qualifier, but the constructor of StructWithCtor
 166   // expects "this" in the "generic" address space.
 167   unsigned ExpectedAddrSpace = getContext().getTargetAddressSpace(T);
 168   unsigned ActualAddrSpace = DeclPtr->getType()->getPointerAddressSpace();
 169   if (ActualAddrSpace != ExpectedAddrSpace) {
 170     llvm::Type *LTy = CGM.getTypes().ConvertTypeForMem(T);
 171     llvm::PointerType *PTy = llvm::PointerType::get(LTy, ExpectedAddrSpace);
 172     DeclPtr = llvm::ConstantExpr::getAddrSpaceCast(DeclPtr, PTy);
 173   }
 174
 175   ConstantAddress DeclAddr(DeclPtr, getContext().getDeclAlign(&D));
 176
 177   if (!T->isReferenceType()) {
 178     if (getLangOpts().OpenMP && !getLangOpts().OpenMPSimd &&
 179         D.hasAttr<OMPThreadPrivateDeclAttr>()) {
 180       (void)CGM.getOpenMPRuntime().emitThreadPrivateVarDefinition(
 181           &D, DeclAddr, D.getAttr<OMPThreadPrivateDeclAttr>()->getLocation(),
 182           PerformInit, this);
 183     }
 184     if (PerformInit)
 185       EmitDeclInit(*this, D, DeclAddr);
 186     if (CGM.isTypeConstant(D.getType(), true))
 187       EmitDeclInvariant(*this, D, DeclPtr);
 188     else
 189       EmitDeclDestroy(*this, D, DeclAddr);
 190     return;
 191   }
 192
 193   assert(PerformInit && "cannot have constant initializer which needs "
 194          "destruction for reference");
 195   RValue RV = EmitReferenceBindingToExpr(Init);
 196   EmitStoreOfScalar(RV.getScalarVal(), DeclAddr, false, T);
 197 }
 198
 199 /// Create a stub function, suitable for being passed to atexit,
 200 /// which passes the given address to the given destructor function.
 201 llvm::Constant *CodeGenFunction::createAtExitStub(const VarDecl &VD,
 202                                                   llvm::Constant *dtor,
 203                                                   llvm::Constant *addr) {
 204   // Get the destructor function type, void(*)(void).
 205   llvm::FunctionType *ty = llvm::FunctionType::get(CGM.VoidTy, false);
 206   SmallString<256> FnName;
 207   {
 208     llvm::raw_svector_ostream Out(FnName);
 209     CGM.getCXXABI().getMangleContext().mangleDynamicAtExitDestructor(&VD, Out);
 210   }
 211
 212   const CGFunctionInfo &FI = CGM.getTypes().arrangeNullaryFunction();
 213   llvm::Function *fn = CGM.CreateGlobalInitOrDestructFunction(ty, FnName.str(),
 214                                                               FI,
 215                                                               VD.getLocation());
 216
 217   CodeGenFunction CGF(CGM);
 218
 219   CGF.StartFunction(&VD, CGM.getContext().VoidTy, fn, FI, FunctionArgList());
 220
 221   llvm::CallInst *call = CGF.Builder.CreateCall(dtor, addr);
 222
 223  // Make sure the call and the callee agree on calling convention.
 224   if (llvm::Function *dtorFn =
 225         dyn_cast<llvm::Function>(dtor->stripPointerCasts()))
 226     call->setCallingConv(dtorFn->getCallingConv());
 227
 228   CGF.FinishFunction();
 229
 230   return fn;
 231 }
 232
 233 /// Register a global destructor using the C atexit runtime function.
 234 void CodeGenFunction::registerGlobalDtorWithAtExit(const VarDecl &VD,
 235                                                    llvm::Constant *dtor,
 236                                                    llvm::Constant *addr) {
 237   // Create a function which calls the destructor.
 238   llvm::Constant *dtorStub = createAtExitStub(VD, dtor, addr);
 239   registerGlobalDtorWithAtExit(dtorStub);
 240 }
 241
 242 void CodeGenFunction::registerGlobalDtorWithAtExit(llvm::Constant *dtorStub) {
 243   // extern "C" int atexit(void (*f)(void));
 244   llvm::FunctionType *atexitTy =
 245     llvm::FunctionType::get(IntTy, dtorStub->getType(), false);
 246
 247   llvm::Constant *atexit =
 248       CGM.CreateRuntimeFunction(atexitTy, "atexit", llvm::AttributeList(),
 249                                 /*Local=*/true);
 250   if (llvm::Function *atexitFn = dyn_cast<llvm::Function>(atexit))
 251     atexitFn->setDoesNotThrow();
 252
 253   EmitNounwindRuntimeCall(atexit, dtorStub);
 254 }
 255
 256 void CodeGenFunction::EmitCXXGuardedInit(const VarDecl &D,
 257                                          llvm::GlobalVariable *DeclPtr,
 258                                          bool PerformInit) {
 259   // If we've been asked to forbid guard variables, emit an error now.
 260   // This diagnostic is hard-coded for Darwin's use case;  we can find
 261   // better phrasing if someone else needs it.
 262   if (CGM.getCodeGenOpts().ForbidGuardVariables)
 263     CGM.Error(D.getLocation(),
 264               "this initialization requires a guard variable, which "
 265               "the kernel does not support");
 266
 267   CGM.getCXXABI().EmitGuardedInit(*this, D, DeclPtr, PerformInit);
 268 }
 269
 270 void CodeGenFunction::EmitCXXGuardedInitBranch(llvm::Value *NeedsInit,
 271                                                llvm::BasicBlock *InitBlock,
 272                                                llvm::BasicBlock *NoInitBlock,
 273                                                GuardKind Kind,
 274                                                const VarDecl *D) {
 275   assert((Kind == GuardKind::TlsGuard || D) && "no guarded variable");
 276
 277   // A guess at how many times we will enter the initialization of a
 278   // variable, depending on the kind of variable.
 279   static const uint64_t InitsPerTLSVar = 1024;
 280   static const uint64_t InitsPerLocalVar = 1024 * 1024;
 281
 282   llvm::MDNode *Weights;
 283   if (Kind == GuardKind::VariableGuard && !D->isLocalVarDecl()) {
 284     // For non-local variables, don't apply any weighting for now. Due to our
 285     // use of COMDATs, we expect there to be at most one initialization of the
 286     // variable per DSO, but we have no way to know how many DSOs will try to
 287     // initialize the variable.
 288     Weights = nullptr;
 289   } else {
 290     uint64_t NumInits;
 291     // FIXME: For the TLS case, collect and use profiling information to
 292     // determine a more accurate brach weight.
 293     if (Kind == GuardKind::TlsGuard || D->getTLSKind())
 294       NumInits = InitsPerTLSVar;
 295     else
 296       NumInits = InitsPerLocalVar;
 297
 298     // The probability of us entering the initializer is
 299     //   1 / (total number of times we attempt to initialize the variable).
 300     llvm::MDBuilder MDHelper(CGM.getLLVMContext());
 301     Weights = MDHelper.createBranchWeights(1, NumInits - 1);
 302   }
 303
 304   Builder.CreateCondBr(NeedsInit, InitBlock, NoInitBlock, Weights);
 305 }
 306
 307 llvm::Function *CodeGenModule::CreateGlobalInitOrDestructFunction(
 308     llvm::FunctionType *FTy, const Twine &Name, const CGFunctionInfo &FI,
 309     SourceLocation Loc, bool TLS) {
 310   llvm::Function *Fn =
 311     llvm::Function::Create(FTy, llvm::GlobalValue::InternalLinkage,
 312                            Name, &getModule());
 313   if (!getLangOpts().AppleKext && !TLS) {
 314     // Set the section if needed.
 315     if (const char *Section = getTarget().getStaticInitSectionSpecifier())
 316       Fn->setSection(Section);
 317   }
 318
 319   SetInternalFunctionAttributes(GlobalDecl(), Fn, FI);
 320
 321   Fn->setCallingConv(getRuntimeCC());
 322
 323   if (!getLangOpts().Exceptions)
 324     Fn->setDoesNotThrow();
 325
 326   if (getLangOpts().Sanitize.has(SanitizerKind::Address) &&
 327       !isInSanitizerBlacklist(SanitizerKind::Address, Fn, Loc))
 328     Fn->addFnAttr(llvm::Attribute::SanitizeAddress);
 329
 330   if (getLangOpts().Sanitize.has(SanitizerKind::KernelAddress) &&
 331       !isInSanitizerBlacklist(SanitizerKind::KernelAddress, Fn, Loc))
 332     Fn->addFnAttr(llvm::Attribute::SanitizeAddress);
 333
 334   if (getLangOpts().Sanitize.has(SanitizerKind::HWAddress) &&
 335       !isInSanitizerBlacklist(SanitizerKind::HWAddress, Fn, Loc))
 336     Fn->addFnAttr(llvm::Attribute::SanitizeHWAddress);
 337
 338   if (getLangOpts().Sanitize.has(SanitizerKind::KernelHWAddress) &&
 339       !isInSanitizerBlacklist(SanitizerKind::KernelHWAddress, Fn, Loc))
 340     Fn->addFnAttr(llvm::Attribute::SanitizeHWAddress);
 341
 342   if (getLangOpts().Sanitize.has(SanitizerKind::Thread) &&
 343       !isInSanitizerBlacklist(SanitizerKind::Thread, Fn, Loc))
 344     Fn->addFnAttr(llvm::Attribute::SanitizeThread);
 345
 346   if (getLangOpts().Sanitize.has(SanitizerKind::Memory) &&
 347       !isInSanitizerBlacklist(SanitizerKind::Memory, Fn, Loc))
 348     Fn->addFnAttr(llvm::Attribute::SanitizeMemory);
 349
 350   if (getLangOpts().Sanitize.has(SanitizerKind::SafeStack) &&
 351       !isInSanitizerBlacklist(SanitizerKind::SafeStack, Fn, Loc))
 352     Fn->addFnAttr(llvm::Attribute::SafeStack);
 353
 354   if (getLangOpts().Sanitize.has(SanitizerKind::ShadowCallStack) &&
 355       !isInSanitizerBlacklist(SanitizerKind::ShadowCallStack, Fn, Loc))
 356     Fn->addFnAttr(llvm::Attribute::ShadowCallStack);
 357
 358   return Fn;
 359 }
 360
 361 /// Create a global pointer to a function that will initialize a global
 362 /// variable.  The user has requested that this pointer be emitted in a specific
 363 /// section.
 364 void CodeGenModule::EmitPointerToInitFunc(const VarDecl *D,
 365                                           llvm::GlobalVariable *GV,
 366                                           llvm::Function *InitFunc,
 367                                           InitSegAttr *ISA) {
 368   llvm::GlobalVariable *PtrArray = new llvm::GlobalVariable(
 369       TheModule, InitFunc->getType(), /*isConstant=*/true,
 370       llvm::GlobalValue::PrivateLinkage, InitFunc, "__cxx_init_fn_ptr");
 371   PtrArray->setSection(ISA->getSection());
 372   addUsedGlobal(PtrArray);
 373
 374   // If the GV is already in a comdat group, then we have to join it.
 375   if (llvm::Comdat *C = GV->getComdat())
 376     PtrArray->setComdat(C);
 377 }
 378
 379 void
 380 CodeGenModule::EmitCXXGlobalVarDeclInitFunc(const VarDecl *D,
 381                                             llvm::GlobalVariable *Addr,
 382                                             bool PerformInit) {
 383
 384   // According to E.2.3.1 in CUDA-7.5 Programming guide: __device__,
 385   // __constant__ and __shared__ variables defined in namespace scope,
 386   // that are of class type, cannot have a non-empty constructor. All
 387   // the checks have been done in Sema by now. Whatever initializers
 388   // are allowed are empty and we just need to ignore them here.
 389   if (getLangOpts().CUDA && getLangOpts().CUDAIsDevice &&
 390       (D->hasAttr<CUDADeviceAttr>() || D->hasAttr<CUDAConstantAttr>() ||
 391        D->hasAttr<CUDASharedAttr>()))
 392     return;
 393
 394   if (getLangOpts().OpenMP &&
 395       getOpenMPRuntime().emitDeclareTargetVarDefinition(D, Addr, PerformInit))
 396     return;
 397
 398   // Check if we've already initialized this decl.
 399   auto I = DelayedCXXInitPosition.find(D);
 400   if (I != DelayedCXXInitPosition.end() && I->second == ~0U)
 401     return;
 402
 403   llvm::FunctionType *FTy = llvm::FunctionType::get(VoidTy, false);
 404   SmallString<256> FnName;
 405   {
 406     llvm::raw_svector_ostream Out(FnName);
 407     getCXXABI().getMangleContext().mangleDynamicInitializer(D, Out);
 408   }
 409
 410   // Create a variable initialization function.
 411   llvm::Function *Fn =
 412       CreateGlobalInitOrDestructFunction(FTy, FnName.str(),
 413                                          getTypes().arrangeNullaryFunction(),
 414                                          D->getLocation());
 415
 416   auto *ISA = D->getAttr<InitSegAttr>();
 417   CodeGenFunction(*this).GenerateCXXGlobalVarDeclInitFunc(Fn, D, Addr,
 418                                                           PerformInit);
 419
 420   llvm::GlobalVariable *COMDATKey =
 421       supportsCOMDAT() && D->isExternallyVisible() ? Addr : nullptr;
 422
 423   if (D->getTLSKind()) {
 424     // FIXME: Should we support init_priority for thread_local?
 425     // FIXME: We only need to register one __cxa_thread_atexit function for the
 426     // entire TU.
 427     CXXThreadLocalInits.push_back(Fn);
 428     CXXThreadLocalInitVars.push_back(D);
 429   } else if (PerformInit && ISA) {
 430     EmitPointerToInitFunc(D, Addr, Fn, ISA);
 431   } else if (auto *IPA = D->getAttr<InitPriorityAttr>()) {
 432     OrderGlobalInits Key(IPA->getPriority(), PrioritizedCXXGlobalInits.size());
 433     PrioritizedCXXGlobalInits.push_back(std::make_pair(Key, Fn));
 434   } else if (isTemplateInstantiation(D->getTemplateSpecializationKind())) {
 435     // C++ [basic.start.init]p2:
 436     //   Definitions of explicitly specialized class template static data
 437     //   members have ordered initialization. Other class template static data
 438     //   members (i.e., implicitly or explicitly instantiated specializations)
 439     //   have unordered initialization.
 440     //
 441     // As a consequence, we can put them into their own llvm.global_ctors entry.
 442     //
 443     // If the global is externally visible, put the initializer into a COMDAT
 444     // group with the global being initialized.  On most platforms, this is a
 445     // minor startup time optimization.  In the MS C++ ABI, there are no guard
 446     // variables, so this COMDAT key is required for correctness.
 447     AddGlobalCtor(Fn, 65535, COMDATKey);
 448   } else if (D->hasAttr<SelectAnyAttr>()) {
 449     // SelectAny globals will be comdat-folded. Put the initializer into a
 450     // COMDAT group associated with the global, so the initializers get folded
 451     // too.
 452     AddGlobalCtor(Fn, 65535, COMDATKey);
 453   } else {
 454     I = DelayedCXXInitPosition.find(D); // Re-do lookup in case of re-hash.
 455     if (I == DelayedCXXInitPosition.end()) {
 456       CXXGlobalInits.push_back(Fn);
 457     } else if (I->second != ~0U) {
 458       assert(I->second < CXXGlobalInits.size() &&
 459              CXXGlobalInits[I->second] == nullptr);
 460       CXXGlobalInits[I->second] = Fn;
 461     }
 462   }
 463
 464   // Remember that we already emitted the initializer for this global.
 465   DelayedCXXInitPosition[D] = ~0U;
 466 }
 467
 468 void CodeGenModule::EmitCXXThreadLocalInitFunc() {
 469   getCXXABI().EmitThreadLocalInitFuncs(
 470       *this, CXXThreadLocals, CXXThreadLocalInits, CXXThreadLocalInitVars);
 471
 472   CXXThreadLocalInits.clear();
 473   CXXThreadLocalInitVars.clear();
 474   CXXThreadLocals.clear();
 475 }
 476
 477 void
 478 CodeGenModule::EmitCXXGlobalInitFunc() {
 479   while (!CXXGlobalInits.empty() && !CXXGlobalInits.back())
 480     CXXGlobalInits.pop_back();
 481
 482   if (CXXGlobalInits.empty() && PrioritizedCXXGlobalInits.empty())
 483     return;
 484
 485   llvm::FunctionType *FTy = llvm::FunctionType::get(VoidTy, false);
 486   const CGFunctionInfo &FI = getTypes().arrangeNullaryFunction();
 487
 488   // Create our global initialization function.
 489   if (!PrioritizedCXXGlobalInits.empty()) {
 490     SmallVector<llvm::Function *, 8> LocalCXXGlobalInits;
 491     llvm::array_pod_sort(PrioritizedCXXGlobalInits.begin(),
 492                          PrioritizedCXXGlobalInits.end());
 493     // Iterate over "chunks" of ctors with same priority and emit each chunk
 494     // into separate function. Note - everything is sorted first by priority,
 495     // second - by lex order, so we emit ctor functions in proper order.
 496     for (SmallVectorImpl<GlobalInitData >::iterator
 497            I = PrioritizedCXXGlobalInits.begin(),
 498            E = PrioritizedCXXGlobalInits.end(); I != E; ) {
 499       SmallVectorImpl<GlobalInitData >::iterator
 500         PrioE = std::upper_bound(I + 1, E, *I, GlobalInitPriorityCmp());
 501
 502       LocalCXXGlobalInits.clear();
 503       unsigned Priority = I->first.priority;
 504       // Compute the function suffix from priority. Prepend with zeroes to make
 505       // sure the function names are also ordered as priorities.
 506       std::string PrioritySuffix = llvm::utostr(Priority);
 507       // Priority is always <= 65535 (enforced by sema).
 508       PrioritySuffix = std::string(6-PrioritySuffix.size(), '0')+PrioritySuffix;
 509       llvm::Function *Fn = CreateGlobalInitOrDestructFunction(
 510           FTy, "_GLOBAL__I_" + PrioritySuffix, FI);
 511
 512       for (; I < PrioE; ++I)
 513         LocalCXXGlobalInits.push_back(I->second);
 514
 515       CodeGenFunction(*this).GenerateCXXGlobalInitFunc(Fn, LocalCXXGlobalInits);
 516       AddGlobalCtor(Fn, Priority);
 517     }
 518     PrioritizedCXXGlobalInits.clear();
 519   }
 520
 521   // Include the filename in the symbol name. Including "sub_" matches gcc and
 522   // makes sure these symbols appear lexicographically behind the symbols with
 523   // priority emitted above.
 524   SmallString<128> FileName = llvm::sys::path::filename(getModule().getName());
 525   if (FileName.empty())
 526     FileName = "<null>";
 527
 528   for (size_t i = 0; i < FileName.size(); ++i) {
 529     // Replace everything that's not [a-zA-Z0-9._] with a _. This set happens
 530     // to be the set of C preprocessing numbers.
 531     if (!isPreprocessingNumberBody(FileName[i]))
 532       FileName[i] = '_';
 533   }
 534
 535   llvm::Function *Fn = CreateGlobalInitOrDestructFunction(
 536       FTy, llvm::Twine("_GLOBAL__sub_I_", FileName), FI);
 537
 538   CodeGenFunction(*this).GenerateCXXGlobalInitFunc(Fn, CXXGlobalInits);
 539   AddGlobalCtor(Fn);
 540
 541   CXXGlobalInits.clear();
 542 }
 543
 544 void CodeGenModule::EmitCXXGlobalDtorFunc() {
 545   if (CXXGlobalDtors.empty())
 546     return;
 547
 548   llvm::FunctionType *FTy = llvm::FunctionType::get(VoidTy, false);
 549
 550   // Create our global destructor function.
 551   const CGFunctionInfo &FI = getTypes().arrangeNullaryFunction();
 552   llvm::Function *Fn =
 553       CreateGlobalInitOrDestructFunction(FTy, "_GLOBAL__D_a", FI);
 554
 555   CodeGenFunction(*this).GenerateCXXGlobalDtorsFunc(Fn, CXXGlobalDtors);
 556   AddGlobalDtor(Fn);
 557 }
 558
 559 /// Emit the code necessary to initialize the given global variable.
 560 void CodeGenFunction::GenerateCXXGlobalVarDeclInitFunc(llvm::Function *Fn,
 561                                                        const VarDecl *D,
 562                                                  llvm::GlobalVariable *Addr,
 563                                                        bool PerformInit) {
 564   // Check if we need to emit debug info for variable initializer.
 565   if (D->hasAttr<NoDebugAttr>())
 566     DebugInfo = nullptr; // disable debug info indefinitely for this function
 567
 568   CurEHLocation = D->getLocStart();
 569
 570   StartFunction(GlobalDecl(D), getContext().VoidTy, Fn,
 571                 getTypes().arrangeNullaryFunction(),
 572                 FunctionArgList(), D->getLocation(),
 573                 D->getInit()->getExprLoc());
 574
 575   // Use guarded initialization if the global variable is weak. This
 576   // occurs for, e.g., instantiated static data members and
 577   // definitions explicitly marked weak.
 578   if (Addr->hasWeakLinkage() || Addr->hasLinkOnceLinkage()) {
 579     EmitCXXGuardedInit(*D, Addr, PerformInit);
 580   } else {
 581     EmitCXXGlobalVarDeclInit(*D, Addr, PerformInit);
 582   }
 583
 584   FinishFunction();
 585 }
 586
 587 void
 588 CodeGenFunction::GenerateCXXGlobalInitFunc(llvm::Function *Fn,
 589                                            ArrayRef<llvm::Function *> Decls,
 590                                            Address Guard) {
 591   {
 592     auto NL = ApplyDebugLocation::CreateEmpty(*this);
 593     StartFunction(GlobalDecl(), getContext().VoidTy, Fn,
 594                   getTypes().arrangeNullaryFunction(), FunctionArgList());
 595     // Emit an artificial location for this function.
 596     auto AL = ApplyDebugLocation::CreateArtificial(*this);
 597
 598     llvm::BasicBlock *ExitBlock = nullptr;
 599     if (Guard.isValid()) {
 600       // If we have a guard variable, check whether we've already performed
 601       // these initializations. This happens for TLS initialization functions.
 602       llvm::Value *GuardVal = Builder.CreateLoad(Guard);
 603       llvm::Value *Uninit = Builder.CreateIsNull(GuardVal,
 604                                                  "guard.uninitialized");
 605       llvm::BasicBlock *InitBlock = createBasicBlock("init");
 606       ExitBlock = createBasicBlock("exit");
 607       EmitCXXGuardedInitBranch(Uninit, InitBlock, ExitBlock,
 608                                GuardKind::TlsGuard, nullptr);
 609       EmitBlock(InitBlock);
 610       // Mark as initialized before initializing anything else. If the
 611       // initializers use previously-initialized thread_local vars, that's
 612       // probably supposed to be OK, but the standard doesn't say.
 613       Builder.CreateStore(llvm::ConstantInt::get(GuardVal->getType(),1), Guard);
 614     }
 615
 616     RunCleanupsScope Scope(*this);
 617
 618     // When building in Objective-C++ ARC mode, create an autorelease pool
 619     // around the global initializers.
 620     if (getLangOpts().ObjCAutoRefCount && getLangOpts().CPlusPlus) {
 621       llvm::Value *token = EmitObjCAutoreleasePoolPush();
 622       EmitObjCAutoreleasePoolCleanup(token);
 623     }
 624
 625     for (unsigned i = 0, e = Decls.size(); i != e; ++i)
 626       if (Decls[i])
 627         EmitRuntimeCall(Decls[i]);
 628
 629     Scope.ForceCleanup();
 630
 631     if (ExitBlock) {
 632       Builder.CreateBr(ExitBlock);
 633       EmitBlock(ExitBlock);
 634     }
 635   }
 636
 637   FinishFunction();
 638 }
 639
 640 void CodeGenFunction::GenerateCXXGlobalDtorsFunc(
 641     llvm::Function *Fn,
 642     const std::vector<std::pair<llvm::WeakTrackingVH, llvm::Constant *>>
 643         &DtorsAndObjects) {
 644   {
 645     auto NL = ApplyDebugLocation::CreateEmpty(*this);
 646     StartFunction(GlobalDecl(), getContext().VoidTy, Fn,
 647                   getTypes().arrangeNullaryFunction(), FunctionArgList());
 648     // Emit an artificial location for this function.
 649     auto AL = ApplyDebugLocation::CreateArtificial(*this);
 650
 651     // Emit the dtors, in reverse order from construction.
 652     for (unsigned i = 0, e = DtorsAndObjects.size(); i != e; ++i) {
 653       llvm::Value *Callee = DtorsAndObjects[e - i - 1].first;
 654       llvm::CallInst *CI = Builder.CreateCall(Callee,
 655                                           DtorsAndObjects[e - i - 1].second);
 656       // Make sure the call and the callee agree on calling convention.
 657       if (llvm::Function *F = dyn_cast<llvm::Function>(Callee))
 658         CI->setCallingConv(F->getCallingConv());
 659     }
 660   }
 661
 662   FinishFunction();
 663 }
 664
 665 /// generateDestroyHelper - Generates a helper function which, when
 666 /// invoked, destroys the given object.  The address of the object
 667 /// should be in global memory.
 668 llvm::Function *CodeGenFunction::generateDestroyHelper(
 669     Address addr, QualType type, Destroyer *destroyer,
 670     bool useEHCleanupForArray, const VarDecl *VD) {
 671   FunctionArgList args;
 672   ImplicitParamDecl Dst(getContext(), getContext().VoidPtrTy,
 673                         ImplicitParamDecl::Other);
 674   args.push_back(&Dst);
 675
 676   const CGFunctionInfo &FI =
 677     CGM.getTypes().arrangeBuiltinFunctionDeclaration(getContext().VoidTy, args);
 678   llvm::FunctionType *FTy = CGM.getTypes().GetFunctionType(FI);
 679   llvm::Function *fn = CGM.CreateGlobalInitOrDestructFunction(
 680       FTy, "__cxx_global_array_dtor", FI, VD->getLocation());
 681
 682   CurEHLocation = VD->getLocStart();
 683
 684   StartFunction(VD, getContext().VoidTy, fn, FI, args);
 685
 686   emitDestroy(addr, type, destroyer, useEHCleanupForArray);
 687
 688   FinishFunction();
 689
 690   return fn;
 691 }