contrib/llvm/tools/clang/lib/CodeGen/CGDecl.cpp

   1 //===--- CGDecl.cpp - Emit LLVM Code for declarations ---------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This contains code to emit Decl nodes as LLVM code.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #include "CGDebugInfo.h"
  15 #include "CodeGenFunction.h"
  16 #include "CodeGenModule.h"
  17 #include "CGOpenCLRuntime.h"
  18 #include "clang/AST/ASTContext.h"
  19 #include "clang/AST/CharUnits.h"
  20 #include "clang/AST/Decl.h"
  21 #include "clang/AST/DeclObjC.h"
  22 #include "clang/Basic/SourceManager.h"
  23 #include "clang/Basic/TargetInfo.h"
  24 #include "clang/Frontend/CodeGenOptions.h"
  25 #include "llvm/GlobalVariable.h"
  26 #include "llvm/Intrinsics.h"
  27 #include "llvm/Target/TargetData.h"
  28 #include "llvm/Type.h"
  29 using namespace clang;
  30 using namespace CodeGen;
  31
  32
  33 void CodeGenFunction::EmitDecl(const Decl &D) {
  34   switch (D.getKind()) {
  35   case Decl::TranslationUnit:
  36   case Decl::Namespace:
  37   case Decl::UnresolvedUsingTypename:
  38   case Decl::ClassTemplateSpecialization:
  39   case Decl::ClassTemplatePartialSpecialization:
  40   case Decl::TemplateTypeParm:
  41   case Decl::UnresolvedUsingValue:
  42   case Decl::NonTypeTemplateParm:
  43   case Decl::CXXMethod:
  44   case Decl::CXXConstructor:
  45   case Decl::CXXDestructor:
  46   case Decl::CXXConversion:
  47   case Decl::Field:
  48   case Decl::IndirectField:
  49   case Decl::ObjCIvar:
  50   case Decl::ObjCAtDefsField:
  51   case Decl::ParmVar:
  52   case Decl::ImplicitParam:
  53   case Decl::ClassTemplate:
  54   case Decl::FunctionTemplate:
  55   case Decl::TypeAliasTemplate:
  56   case Decl::TemplateTemplateParm:
  57   case Decl::ObjCMethod:
  58   case Decl::ObjCCategory:
  59   case Decl::ObjCProtocol:
  60   case Decl::ObjCInterface:
  61   case Decl::ObjCCategoryImpl:
  62   case Decl::ObjCImplementation:
  63   case Decl::ObjCProperty:
  64   case Decl::ObjCCompatibleAlias:
  65   case Decl::AccessSpec:
  66   case Decl::LinkageSpec:
  67   case Decl::ObjCPropertyImpl:
  68   case Decl::ObjCClass:
  69   case Decl::ObjCForwardProtocol:
  70   case Decl::FileScopeAsm:
  71   case Decl::Friend:
  72   case Decl::FriendTemplate:
  73   case Decl::Block:
  74   case Decl::ClassScopeFunctionSpecialization:
  75     llvm_unreachable("Declaration should not be in declstmts!");
  76   case Decl::Function:  // void X();
  77   case Decl::Record:    // struct/union/class X;
  78   case Decl::Enum:      // enum X;
  79   case Decl::EnumConstant: // enum ? { X = ? }
  80   case Decl::CXXRecord: // struct/union/class X; [C++]
  81   case Decl::Using:          // using X; [C++]
  82   case Decl::UsingShadow:
  83   case Decl::UsingDirective: // using namespace X; [C++]
  84   case Decl::NamespaceAlias:
  85   case Decl::StaticAssert: // static_assert(X, ""); [C++0x]
  86   case Decl::Label:        // __label__ x;
  87     // None of these decls require codegen support.
  88     return;
  89
  90   case Decl::Var: {
  91     const VarDecl &VD = cast<VarDecl>(D);
  92     assert(VD.isLocalVarDecl() &&
  93            "Should not see file-scope variables inside a function!");
  94     return EmitVarDecl(VD);
  95   }
  96
  97   case Decl::Typedef:      // typedef int X;
  98   case Decl::TypeAlias: {  // using X = int; [C++0x]
  99     const TypedefNameDecl &TD = cast<TypedefNameDecl>(D);
 100     QualType Ty = TD.getUnderlyingType();
 101
 102     if (Ty->isVariablyModifiedType())
 103       EmitVariablyModifiedType(Ty);
 104   }
 105   }
 106 }
 107
 108 /// EmitVarDecl - This method handles emission of any variable declaration
 109 /// inside a function, including static vars etc.
 110 void CodeGenFunction::EmitVarDecl(const VarDecl &D) {
 111   switch (D.getStorageClass()) {
 112   case SC_None:
 113   case SC_Auto:
 114   case SC_Register:
 115     return EmitAutoVarDecl(D);
 116   case SC_Static: {
 117     llvm::GlobalValue::LinkageTypes Linkage =
 118       llvm::GlobalValue::InternalLinkage;
 119
 120     // If the function definition has some sort of weak linkage, its
 121     // static variables should also be weak so that they get properly
 122     // uniqued.  We can't do this in C, though, because there's no
 123     // standard way to agree on which variables are the same (i.e.
 124     // there's no mangling).
 125     if (getContext().getLangOptions().CPlusPlus)
 126       if (llvm::GlobalValue::isWeakForLinker(CurFn->getLinkage()))
 127         Linkage = CurFn->getLinkage();
 128
 129     return EmitStaticVarDecl(D, Linkage);
 130   }
 131   case SC_Extern:
 132   case SC_PrivateExtern:
 133     // Don't emit it now, allow it to be emitted lazily on its first use.
 134     return;
 135   case SC_OpenCLWorkGroupLocal:
 136     return CGM.getOpenCLRuntime().EmitWorkGroupLocalVarDecl(*this, D);
 137   }
 138
 139   llvm_unreachable("Unknown storage class");
 140 }
 141
 142 static std::string GetStaticDeclName(CodeGenFunction &CGF, const VarDecl &D,
 143                                      const char *Separator) {
 144   CodeGenModule &CGM = CGF.CGM;
 145   if (CGF.getContext().getLangOptions().CPlusPlus) {
 146     StringRef Name = CGM.getMangledName(&D);
 147     return Name.str();
 148   }
 149
 150   std::string ContextName;
 151   if (!CGF.CurFuncDecl) {
 152     // Better be in a block declared in global scope.
 153     const NamedDecl *ND = cast<NamedDecl>(&D);
 154     const DeclContext *DC = ND->getDeclContext();
 155     if (const BlockDecl *BD = dyn_cast<BlockDecl>(DC)) {
 156       MangleBuffer Name;
 157       CGM.getBlockMangledName(GlobalDecl(), Name, BD);
 158       ContextName = Name.getString();
 159     }
 160     else
 161       llvm_unreachable("Unknown context for block static var decl");
 162   } else if (const FunctionDecl *FD = dyn_cast<FunctionDecl>(CGF.CurFuncDecl)) {
 163     StringRef Name = CGM.getMangledName(FD);
 164     ContextName = Name.str();
 165   } else if (isa<ObjCMethodDecl>(CGF.CurFuncDecl))
 166     ContextName = CGF.CurFn->getName();
 167   else
 168     llvm_unreachable("Unknown context for static var decl");
 169
 170   return ContextName + Separator + D.getNameAsString();
 171 }
 172
 173 llvm::GlobalVariable *
 174 CodeGenFunction::CreateStaticVarDecl(const VarDecl &D,
 175                                      const char *Separator,
 176                                      llvm::GlobalValue::LinkageTypes Linkage) {
 177   QualType Ty = D.getType();
 178   assert(Ty->isConstantSizeType() && "VLAs can't be static");
 179
 180   std::string Name = GetStaticDeclName(*this, D, Separator);
 181
 182   llvm::Type *LTy = CGM.getTypes().ConvertTypeForMem(Ty);
 183   llvm::GlobalVariable *GV =
 184     new llvm::GlobalVariable(CGM.getModule(), LTy,
 185                              Ty.isConstant(getContext()), Linkage,
 186                              CGM.EmitNullConstant(D.getType()), Name, 0,
 187                              D.isThreadSpecified(),
 188                              CGM.getContext().getTargetAddressSpace(Ty));
 189   GV->setAlignment(getContext().getDeclAlign(&D).getQuantity());
 190   if (Linkage != llvm::GlobalValue::InternalLinkage)
 191     GV->setVisibility(CurFn->getVisibility());
 192   return GV;
 193 }
 194
 195 /// AddInitializerToStaticVarDecl - Add the initializer for 'D' to the
 196 /// global variable that has already been created for it.  If the initializer
 197 /// has a different type than GV does, this may free GV and return a different
 198 /// one.  Otherwise it just returns GV.
 199 llvm::GlobalVariable *
 200 CodeGenFunction::AddInitializerToStaticVarDecl(const VarDecl &D,
 201                                                llvm::GlobalVariable *GV) {
 202   llvm::Constant *Init = CGM.EmitConstantExpr(D.getInit(), D.getType(), this);
 203
 204   // If constant emission failed, then this should be a C++ static
 205   // initializer.
 206   if (!Init) {
 207     if (!getContext().getLangOptions().CPlusPlus)
 208       CGM.ErrorUnsupported(D.getInit(), "constant l-value expression");
 209     else if (Builder.GetInsertBlock()) {
 210       // Since we have a static initializer, this global variable can't
 211       // be constant.
 212       GV->setConstant(false);
 213
 214       EmitCXXGuardedInit(D, GV);
 215     }
 216     return GV;
 217   }
 218
 219   // The initializer may differ in type from the global. Rewrite
 220   // the global to match the initializer.  (We have to do this
 221   // because some types, like unions, can't be completely represented
 222   // in the LLVM type system.)
 223   if (GV->getType()->getElementType() != Init->getType()) {
 224     llvm::GlobalVariable *OldGV = GV;
 225
 226     GV = new llvm::GlobalVariable(CGM.getModule(), Init->getType(),
 227                                   OldGV->isConstant(),
 228                                   OldGV->getLinkage(), Init, "",
 229                                   /*InsertBefore*/ OldGV,
 230                                   D.isThreadSpecified(),
 231                            CGM.getContext().getTargetAddressSpace(D.getType()));
 232     GV->setVisibility(OldGV->getVisibility());
 233
 234     // Steal the name of the old global
 235     GV->takeName(OldGV);
 236
 237     // Replace all uses of the old global with the new global
 238     llvm::Constant *NewPtrForOldDecl =
 239     llvm::ConstantExpr::getBitCast(GV, OldGV->getType());
 240     OldGV->replaceAllUsesWith(NewPtrForOldDecl);
 241
 242     // Erase the old global, since it is no longer used.
 243     OldGV->eraseFromParent();
 244   }
 245
 246   GV->setInitializer(Init);
 247   return GV;
 248 }
 249
 250 void CodeGenFunction::EmitStaticVarDecl(const VarDecl &D,
 251                                       llvm::GlobalValue::LinkageTypes Linkage) {
 252   llvm::Value *&DMEntry = LocalDeclMap[&D];
 253   assert(DMEntry == 0 && "Decl already exists in localdeclmap!");
 254
 255   llvm::GlobalVariable *GV = CreateStaticVarDecl(D, ".", Linkage);
 256
 257   // Store into LocalDeclMap before generating initializer to handle
 258   // circular references.
 259   DMEntry = GV;
 260
 261   // We can't have a VLA here, but we can have a pointer to a VLA,
 262   // even though that doesn't really make any sense.
 263   // Make sure to evaluate VLA bounds now so that we have them for later.
 264   if (D.getType()->isVariablyModifiedType())
 265     EmitVariablyModifiedType(D.getType());
 266
 267   // Local static block variables must be treated as globals as they may be
 268   // referenced in their RHS initializer block-literal expresion.
 269   CGM.setStaticLocalDeclAddress(&D, GV);
 270
 271   // If this value has an initializer, emit it.
 272   if (D.getInit())
 273     GV = AddInitializerToStaticVarDecl(D, GV);
 274
 275   GV->setAlignment(getContext().getDeclAlign(&D).getQuantity());
 276
 277   if (D.hasAttr<AnnotateAttr>())
 278     CGM.AddGlobalAnnotations(&D, GV);
 279
 280   if (const SectionAttr *SA = D.getAttr<SectionAttr>())
 281     GV->setSection(SA->getName());
 282
 283   if (D.hasAttr<UsedAttr>())
 284     CGM.AddUsedGlobal(GV);
 285
 286   // We may have to cast the constant because of the initializer
 287   // mismatch above.
 288   //
 289   // FIXME: It is really dangerous to store this in the map; if anyone
 290   // RAUW's the GV uses of this constant will be invalid.
 291   llvm::Type *LTy = CGM.getTypes().ConvertTypeForMem(D.getType());
 292   llvm::Type *LPtrTy =
 293     LTy->getPointerTo(CGM.getContext().getTargetAddressSpace(D.getType()));
 294   DMEntry = llvm::ConstantExpr::getBitCast(GV, LPtrTy);
 295
 296   // Emit global variable debug descriptor for static vars.
 297   CGDebugInfo *DI = getDebugInfo();
 298   if (DI) {
 299     DI->setLocation(D.getLocation());
 300     DI->EmitGlobalVariable(static_cast<llvm::GlobalVariable *>(GV), &D);
 301   }
 302 }
 303
 304 namespace {
 305   struct DestroyObject : EHScopeStack::Cleanup {
 306     DestroyObject(llvm::Value *addr, QualType type,
 307                   CodeGenFunction::Destroyer *destroyer,
 308                   bool useEHCleanupForArray)
 309       : addr(addr), type(type), destroyer(*destroyer),
 310         useEHCleanupForArray(useEHCleanupForArray) {}
 311
 312     llvm::Value *addr;
 313     QualType type;
 314     CodeGenFunction::Destroyer &destroyer;
 315     bool useEHCleanupForArray;
 316
 317     void Emit(CodeGenFunction &CGF, Flags flags) {
 318       // Don't use an EH cleanup recursively from an EH cleanup.
 319       bool useEHCleanupForArray =
 320         flags.isForNormalCleanup() && this->useEHCleanupForArray;
 321
 322       CGF.emitDestroy(addr, type, destroyer, useEHCleanupForArray);
 323     }
 324   };
 325
 326   struct DestroyNRVOVariable : EHScopeStack::Cleanup {
 327     DestroyNRVOVariable(llvm::Value *addr,
 328                         const CXXDestructorDecl *Dtor,
 329                         llvm::Value *NRVOFlag)
 330       : Dtor(Dtor), NRVOFlag(NRVOFlag), Loc(addr) {}
 331
 332     const CXXDestructorDecl *Dtor;
 333     llvm::Value *NRVOFlag;
 334     llvm::Value *Loc;
 335
 336     void Emit(CodeGenFunction &CGF, Flags flags) {
 337       // Along the exceptions path we always execute the dtor.
 338       bool NRVO = flags.isForNormalCleanup() && NRVOFlag;
 339
 340       llvm::BasicBlock *SkipDtorBB = 0;
 341       if (NRVO) {
 342         // If we exited via NRVO, we skip the destructor call.
 343         llvm::BasicBlock *RunDtorBB = CGF.createBasicBlock("nrvo.unused");
 344         SkipDtorBB = CGF.createBasicBlock("nrvo.skipdtor");
 345         llvm::Value *DidNRVO = CGF.Builder.CreateLoad(NRVOFlag, "nrvo.val");
 346         CGF.Builder.CreateCondBr(DidNRVO, SkipDtorBB, RunDtorBB);
 347         CGF.EmitBlock(RunDtorBB);
 348       }
 349
 350       CGF.EmitCXXDestructorCall(Dtor, Dtor_Complete,
 351                                 /*ForVirtualBase=*/false, Loc);
 352
 353       if (NRVO) CGF.EmitBlock(SkipDtorBB);
 354     }
 355   };
 356
 357   struct CallStackRestore : EHScopeStack::Cleanup {
 358     llvm::Value *Stack;
 359     CallStackRestore(llvm::Value *Stack) : Stack(Stack) {}
 360     void Emit(CodeGenFunction &CGF, Flags flags) {
 361       llvm::Value *V = CGF.Builder.CreateLoad(Stack);
 362       llvm::Value *F = CGF.CGM.getIntrinsic(llvm::Intrinsic::stackrestore);
 363       CGF.Builder.CreateCall(F, V);
 364     }
 365   };
 366
 367   struct ExtendGCLifetime : EHScopeStack::Cleanup {
 368     const VarDecl &Var;
 369     ExtendGCLifetime(const VarDecl *var) : Var(*var) {}
 370
 371     void Emit(CodeGenFunction &CGF, Flags flags) {
 372       // Compute the address of the local variable, in case it's a
 373       // byref or something.
 374       DeclRefExpr DRE(const_cast<VarDecl*>(&Var), Var.getType(), VK_LValue,
 375                       SourceLocation());
 376       llvm::Value *value = CGF.EmitLoadOfScalar(CGF.EmitDeclRefLValue(&DRE));
 377       CGF.EmitExtendGCLifetime(value);
 378     }
 379   };
 380
 381   struct CallCleanupFunction : EHScopeStack::Cleanup {
 382     llvm::Constant *CleanupFn;
 383     const CGFunctionInfo &FnInfo;
 384     const VarDecl &Var;
 385
 386     CallCleanupFunction(llvm::Constant *CleanupFn, const CGFunctionInfo *Info,
 387                         const VarDecl *Var)
 388       : CleanupFn(CleanupFn), FnInfo(*Info), Var(*Var) {}
 389
 390     void Emit(CodeGenFunction &CGF, Flags flags) {
 391       DeclRefExpr DRE(const_cast<VarDecl*>(&Var), Var.getType(), VK_LValue,
 392                       SourceLocation());
 393       // Compute the address of the local variable, in case it's a byref
 394       // or something.
 395       llvm::Value *Addr = CGF.EmitDeclRefLValue(&DRE).getAddress();
 396
 397       // In some cases, the type of the function argument will be different from
 398       // the type of the pointer. An example of this is
 399       // void f(void* arg);
 400       // __attribute__((cleanup(f))) void *g;
 401       //
 402       // To fix this we insert a bitcast here.
 403       QualType ArgTy = FnInfo.arg_begin()->type;
 404       llvm::Value *Arg =
 405         CGF.Builder.CreateBitCast(Addr, CGF.ConvertType(ArgTy));
 406
 407       CallArgList Args;
 408       Args.add(RValue::get(Arg),
 409                CGF.getContext().getPointerType(Var.getType()));
 410       CGF.EmitCall(FnInfo, CleanupFn, ReturnValueSlot(), Args);
 411     }
 412   };
 413 }
 414
 415 /// EmitAutoVarWithLifetime - Does the setup required for an automatic
 416 /// variable with lifetime.
 417 static void EmitAutoVarWithLifetime(CodeGenFunction &CGF, const VarDecl &var,
 418                                     llvm::Value *addr,
 419                                     Qualifiers::ObjCLifetime lifetime) {
 420   switch (lifetime) {
 421   case Qualifiers::OCL_None:
 422     llvm_unreachable("present but none");
 423
 424   case Qualifiers::OCL_ExplicitNone:
 425     // nothing to do
 426     break;
 427
 428   case Qualifiers::OCL_Strong: {
 429     CodeGenFunction::Destroyer &destroyer =
 430       (var.hasAttr<ObjCPreciseLifetimeAttr>()
 431        ? CodeGenFunction::destroyARCStrongPrecise
 432        : CodeGenFunction::destroyARCStrongImprecise);
 433
 434     CleanupKind cleanupKind = CGF.getARCCleanupKind();
 435     CGF.pushDestroy(cleanupKind, addr, var.getType(), destroyer,
 436                     cleanupKind & EHCleanup);
 437     break;
 438   }
 439   case Qualifiers::OCL_Autoreleasing:
 440     // nothing to do
 441     break;
 442
 443   case Qualifiers::OCL_Weak:
 444     // __weak objects always get EH cleanups; otherwise, exceptions
 445     // could cause really nasty crashes instead of mere leaks.
 446     CGF.pushDestroy(NormalAndEHCleanup, addr, var.getType(),
 447                     CodeGenFunction::destroyARCWeak,
 448                     /*useEHCleanup*/ true);
 449     break;
 450   }
 451 }
 452
 453 static bool isAccessedBy(const VarDecl &var, const Stmt *s) {
 454   if (const Expr *e = dyn_cast<Expr>(s)) {
 455     // Skip the most common kinds of expressions that make
 456     // hierarchy-walking expensive.
 457     s = e = e->IgnoreParenCasts();
 458
 459     if (const DeclRefExpr *ref = dyn_cast<DeclRefExpr>(e))
 460       return (ref->getDecl() == &var);
 461   }
 462
 463   for (Stmt::const_child_range children = s->children(); children; ++children)
 464     // children might be null; as in missing decl or conditional of an if-stmt.
 465     if ((*children) && isAccessedBy(var, *children))
 466       return true;
 467
 468   return false;
 469 }
 470
 471 static bool isAccessedBy(const ValueDecl *decl, const Expr *e) {
 472   if (!decl) return false;
 473   if (!isa<VarDecl>(decl)) return false;
 474   const VarDecl *var = cast<VarDecl>(decl);
 475   return isAccessedBy(*var, e);
 476 }
 477
 478 static void drillIntoBlockVariable(CodeGenFunction &CGF,
 479                                    LValue &lvalue,
 480                                    const VarDecl *var) {
 481   lvalue.setAddress(CGF.BuildBlockByrefAddress(lvalue.getAddress(), var));
 482 }
 483
 484 void CodeGenFunction::EmitScalarInit(const Expr *init,
 485                                      const ValueDecl *D,
 486                                      LValue lvalue,
 487                                      bool capturedByInit) {
 488   Qualifiers::ObjCLifetime lifetime = lvalue.getObjCLifetime();
 489   if (!lifetime) {
 490     llvm::Value *value = EmitScalarExpr(init);
 491     if (capturedByInit)
 492       drillIntoBlockVariable(*this, lvalue, cast<VarDecl>(D));
 493     EmitStoreThroughLValue(RValue::get(value), lvalue);
 494     return;
 495   }
 496
 497   // If we're emitting a value with lifetime, we have to do the
 498   // initialization *before* we leave the cleanup scopes.
 499   CodeGenFunction::RunCleanupsScope Scope(*this);
 500   if (const ExprWithCleanups *ewc = dyn_cast<ExprWithCleanups>(init))
 501     init = ewc->getSubExpr();
 502
 503   // We have to maintain the illusion that the variable is
 504   // zero-initialized.  If the variable might be accessed in its
 505   // initializer, zero-initialize before running the initializer, then
 506   // actually perform the initialization with an assign.
 507   bool accessedByInit = false;
 508   if (lifetime != Qualifiers::OCL_ExplicitNone)
 509     accessedByInit = (capturedByInit || isAccessedBy(D, init));
 510   if (accessedByInit) {
 511     LValue tempLV = lvalue;
 512     // Drill down to the __block object if necessary.
 513     if (capturedByInit) {
 514       // We can use a simple GEP for this because it can't have been
 515       // moved yet.
 516       tempLV.setAddress(Builder.CreateStructGEP(tempLV.getAddress(),
 517                                    getByRefValueLLVMField(cast<VarDecl>(D))));
 518     }
 519
 520     llvm::PointerType *ty
 521       = cast<llvm::PointerType>(tempLV.getAddress()->getType());
 522     ty = cast<llvm::PointerType>(ty->getElementType());
 523
 524     llvm::Value *zero = llvm::ConstantPointerNull::get(ty);
 525
 526     // If __weak, we want to use a barrier under certain conditions.
 527     if (lifetime == Qualifiers::OCL_Weak)
 528       EmitARCInitWeak(tempLV.getAddress(), zero);
 529
 530     // Otherwise just do a simple store.
 531     else
 532       EmitStoreOfScalar(zero, tempLV);
 533   }
 534
 535   // Emit the initializer.
 536   llvm::Value *value = 0;
 537
 538   switch (lifetime) {
 539   case Qualifiers::OCL_None:
 540     llvm_unreachable("present but none");
 541
 542   case Qualifiers::OCL_ExplicitNone:
 543     // nothing to do
 544     value = EmitScalarExpr(init);
 545     break;
 546
 547   case Qualifiers::OCL_Strong: {
 548     value = EmitARCRetainScalarExpr(init);
 549     break;
 550   }
 551
 552   case Qualifiers::OCL_Weak: {
 553     // No way to optimize a producing initializer into this.  It's not
 554     // worth optimizing for, because the value will immediately
 555     // disappear in the common case.
 556     value = EmitScalarExpr(init);
 557
 558     if (capturedByInit) drillIntoBlockVariable(*this, lvalue, cast<VarDecl>(D));
 559     if (accessedByInit)
 560       EmitARCStoreWeak(lvalue.getAddress(), value, /*ignored*/ true);
 561     else
 562       EmitARCInitWeak(lvalue.getAddress(), value);
 563     return;
 564   }
 565
 566   case Qualifiers::OCL_Autoreleasing:
 567     value = EmitARCRetainAutoreleaseScalarExpr(init);
 568     break;
 569   }
 570
 571   if (capturedByInit) drillIntoBlockVariable(*this, lvalue, cast<VarDecl>(D));
 572
 573   // If the variable might have been accessed by its initializer, we
 574   // might have to initialize with a barrier.  We have to do this for
 575   // both __weak and __strong, but __weak got filtered out above.
 576   if (accessedByInit && lifetime == Qualifiers::OCL_Strong) {
 577     llvm::Value *oldValue = EmitLoadOfScalar(lvalue);
 578     EmitStoreOfScalar(value, lvalue);
 579     EmitARCRelease(oldValue, /*precise*/ false);
 580     return;
 581   }
 582
 583   EmitStoreOfScalar(value, lvalue);
 584 }
 585
 586 /// EmitScalarInit - Initialize the given lvalue with the given object.
 587 void CodeGenFunction::EmitScalarInit(llvm::Value *init, LValue lvalue) {
 588   Qualifiers::ObjCLifetime lifetime = lvalue.getObjCLifetime();
 589   if (!lifetime)
 590     return EmitStoreThroughLValue(RValue::get(init), lvalue);
 591
 592   switch (lifetime) {
 593   case Qualifiers::OCL_None:
 594     llvm_unreachable("present but none");
 595
 596   case Qualifiers::OCL_ExplicitNone:
 597     // nothing to do
 598     break;
 599
 600   case Qualifiers::OCL_Strong:
 601     init = EmitARCRetain(lvalue.getType(), init);
 602     break;
 603
 604   case Qualifiers::OCL_Weak:
 605     // Initialize and then skip the primitive store.
 606     EmitARCInitWeak(lvalue.getAddress(), init);
 607     return;
 608
 609   case Qualifiers::OCL_Autoreleasing:
 610     init = EmitARCRetainAutorelease(lvalue.getType(), init);
 611     break;
 612   }
 613
 614   EmitStoreOfScalar(init, lvalue);
 615 }
 616
 617 /// canEmitInitWithFewStoresAfterMemset - Decide whether we can emit the
 618 /// non-zero parts of the specified initializer with equal or fewer than
 619 /// NumStores scalar stores.
 620 static bool canEmitInitWithFewStoresAfterMemset(llvm::Constant *Init,
 621                                                 unsigned &NumStores) {
 622   // Zero and Undef never requires any extra stores.
 623   if (isa<llvm::ConstantAggregateZero>(Init) ||
 624       isa<llvm::ConstantPointerNull>(Init) ||
 625       isa<llvm::UndefValue>(Init))
 626     return true;
 627   if (isa<llvm::ConstantInt>(Init) || isa<llvm::ConstantFP>(Init) ||
 628       isa<llvm::ConstantVector>(Init) || isa<llvm::BlockAddress>(Init) ||
 629       isa<llvm::ConstantExpr>(Init))
 630     return Init->isNullValue() || NumStores--;
 631
 632   // See if we can emit each element.
 633   if (isa<llvm::ConstantArray>(Init) || isa<llvm::ConstantStruct>(Init)) {
 634     for (unsigned i = 0, e = Init->getNumOperands(); i != e; ++i) {
 635       llvm::Constant *Elt = cast<llvm::Constant>(Init->getOperand(i));
 636       if (!canEmitInitWithFewStoresAfterMemset(Elt, NumStores))
 637         return false;
 638     }
 639     return true;
 640   }
 641
 642   // Anything else is hard and scary.
 643   return false;
 644 }
 645
 646 /// emitStoresForInitAfterMemset - For inits that
 647 /// canEmitInitWithFewStoresAfterMemset returned true for, emit the scalar
 648 /// stores that would be required.
 649 static void emitStoresForInitAfterMemset(llvm::Constant *Init, llvm::Value *Loc,
 650                                          bool isVolatile, CGBuilderTy &Builder) {
 651   // Zero doesn't require any stores.
 652   if (isa<llvm::ConstantAggregateZero>(Init) ||
 653       isa<llvm::ConstantPointerNull>(Init) ||
 654       isa<llvm::UndefValue>(Init))
 655     return;
 656
 657   if (isa<llvm::ConstantInt>(Init) || isa<llvm::ConstantFP>(Init) ||
 658       isa<llvm::ConstantVector>(Init) || isa<llvm::BlockAddress>(Init) ||
 659       isa<llvm::ConstantExpr>(Init)) {
 660     if (!Init->isNullValue())
 661       Builder.CreateStore(Init, Loc, isVolatile);
 662     return;
 663   }
 664
 665   assert((isa<llvm::ConstantStruct>(Init) || isa<llvm::ConstantArray>(Init)) &&
 666          "Unknown value type!");
 667
 668   for (unsigned i = 0, e = Init->getNumOperands(); i != e; ++i) {
 669     llvm::Constant *Elt = cast<llvm::Constant>(Init->getOperand(i));
 670     if (Elt->isNullValue()) continue;
 671
 672     // Otherwise, get a pointer to the element and emit it.
 673     emitStoresForInitAfterMemset(Elt, Builder.CreateConstGEP2_32(Loc, 0, i),
 674                                  isVolatile, Builder);
 675   }
 676 }
 677
 678
 679 /// shouldUseMemSetPlusStoresToInitialize - Decide whether we should use memset
 680 /// plus some stores to initialize a local variable instead of using a memcpy
 681 /// from a constant global.  It is beneficial to use memset if the global is all
 682 /// zeros, or mostly zeros and large.
 683 static bool shouldUseMemSetPlusStoresToInitialize(llvm::Constant *Init,
 684                                                   uint64_t GlobalSize) {
 685   // If a global is all zeros, always use a memset.
 686   if (isa<llvm::ConstantAggregateZero>(Init)) return true;
 687
 688
 689   // If a non-zero global is <= 32 bytes, always use a memcpy.  If it is large,
 690   // do it if it will require 6 or fewer scalar stores.
 691   // TODO: Should budget depends on the size?  Avoiding a large global warrants
 692   // plopping in more stores.
 693   unsigned StoreBudget = 6;
 694   uint64_t SizeLimit = 32;
 695
 696   return GlobalSize > SizeLimit &&
 697          canEmitInitWithFewStoresAfterMemset(Init, StoreBudget);
 698 }
 699
 700
 701 /// EmitAutoVarDecl - Emit code and set up an entry in LocalDeclMap for a
 702 /// variable declaration with auto, register, or no storage class specifier.
 703 /// These turn into simple stack objects, or GlobalValues depending on target.
 704 void CodeGenFunction::EmitAutoVarDecl(const VarDecl &D) {
 705   AutoVarEmission emission = EmitAutoVarAlloca(D);
 706   EmitAutoVarInit(emission);
 707   EmitAutoVarCleanups(emission);
 708 }
 709
 710 /// EmitAutoVarAlloca - Emit the alloca and debug information for a
 711 /// local variable.  Does not emit initalization or destruction.
 712 CodeGenFunction::AutoVarEmission
 713 CodeGenFunction::EmitAutoVarAlloca(const VarDecl &D) {
 714   QualType Ty = D.getType();
 715
 716   AutoVarEmission emission(D);
 717
 718   bool isByRef = D.hasAttr<BlocksAttr>();
 719   emission.IsByRef = isByRef;
 720
 721   CharUnits alignment = getContext().getDeclAlign(&D);
 722   emission.Alignment = alignment;
 723
 724   // If the type is variably-modified, emit all the VLA sizes for it.
 725   if (Ty->isVariablyModifiedType())
 726     EmitVariablyModifiedType(Ty);
 727
 728   llvm::Value *DeclPtr;
 729   if (Ty->isConstantSizeType()) {
 730     if (!Target.useGlobalsForAutomaticVariables()) {
 731       bool NRVO = getContext().getLangOptions().ElideConstructors &&
 732                   D.isNRVOVariable();
 733
 734       // If this value is a POD array or struct with a statically
 735       // determinable constant initializer, there are optimizations we
 736       // can do.
 737       // TODO: we can potentially constant-evaluate non-POD structs and
 738       // arrays as long as the initialization is trivial (e.g. if they
 739       // have a non-trivial destructor, but not a non-trivial constructor).
 740       if (D.getInit() &&
 741           (Ty->isArrayType() || Ty->isRecordType()) &&
 742           (Ty.isPODType(getContext()) ||
 743            getContext().getBaseElementType(Ty)->isObjCObjectPointerType()) &&
 744           D.getInit()->isConstantInitializer(getContext(), false)) {
 745
 746         // If the variable's a const type, and it's neither an NRVO
 747         // candidate nor a __block variable, emit it as a global instead.
 748         if (CGM.getCodeGenOpts().MergeAllConstants && Ty.isConstQualified() &&
 749             !NRVO && !isByRef) {
 750           EmitStaticVarDecl(D, llvm::GlobalValue::InternalLinkage);
 751
 752           emission.Address = 0; // signal this condition to later callbacks
 753           assert(emission.wasEmittedAsGlobal());
 754           return emission;
 755         }
 756
 757         // Otherwise, tell the initialization code that we're in this case.
 758         emission.IsConstantAggregate = true;
 759       }
 760
 761       // A normal fixed sized variable becomes an alloca in the entry block,
 762       // unless it's an NRVO variable.
 763       llvm::Type *LTy = ConvertTypeForMem(Ty);
 764
 765       if (NRVO) {
 766         // The named return value optimization: allocate this variable in the
 767         // return slot, so that we can elide the copy when returning this
 768         // variable (C++0x [class.copy]p34).
 769         DeclPtr = ReturnValue;
 770
 771         if (const RecordType *RecordTy = Ty->getAs<RecordType>()) {
 772           if (!cast<CXXRecordDecl>(RecordTy->getDecl())->hasTrivialDestructor()) {
 773             // Create a flag that is used to indicate when the NRVO was applied
 774             // to this variable. Set it to zero to indicate that NRVO was not
 775             // applied.
 776             llvm::Value *Zero = Builder.getFalse();
 777             llvm::Value *NRVOFlag = CreateTempAlloca(Zero->getType(), "nrvo");
 778             EnsureInsertPoint();
 779             Builder.CreateStore(Zero, NRVOFlag);
 780
 781             // Record the NRVO flag for this variable.
 782             NRVOFlags[&D] = NRVOFlag;
 783             emission.NRVOFlag = NRVOFlag;
 784           }
 785         }
 786       } else {
 787         if (isByRef)
 788           LTy = BuildByRefType(&D);
 789
 790         llvm::AllocaInst *Alloc = CreateTempAlloca(LTy);
 791         Alloc->setName(D.getNameAsString());
 792
 793         CharUnits allocaAlignment = alignment;
 794         if (isByRef)
 795           allocaAlignment = std::max(allocaAlignment,
 796               getContext().toCharUnitsFromBits(Target.getPointerAlign(0)));
 797         Alloc->setAlignment(allocaAlignment.getQuantity());
 798         DeclPtr = Alloc;
 799       }
 800     } else {
 801       // Targets that don't support recursion emit locals as globals.
 802       const char *Class =
 803         D.getStorageClass() == SC_Register ? ".reg." : ".auto.";
 804       DeclPtr = CreateStaticVarDecl(D, Class,
 805                                     llvm::GlobalValue::InternalLinkage);
 806     }
 807   } else {
 808     EnsureInsertPoint();
 809
 810     if (!DidCallStackSave) {
 811       // Save the stack.
 812       llvm::Value *Stack = CreateTempAlloca(Int8PtrTy, "saved_stack");
 813
 814       llvm::Value *F = CGM.getIntrinsic(llvm::Intrinsic::stacksave);
 815       llvm::Value *V = Builder.CreateCall(F);
 816
 817       Builder.CreateStore(V, Stack);
 818
 819       DidCallStackSave = true;
 820
 821       // Push a cleanup block and restore the stack there.
 822       // FIXME: in general circumstances, this should be an EH cleanup.
 823       EHStack.pushCleanup<CallStackRestore>(NormalCleanup, Stack);
 824     }
 825
 826     llvm::Value *elementCount;
 827     QualType elementType;
 828     llvm::tie(elementCount, elementType) = getVLASize(Ty);
 829
 830     llvm::Type *llvmTy = ConvertTypeForMem(elementType);
 831
 832     // Allocate memory for the array.
 833     llvm::AllocaInst *vla = Builder.CreateAlloca(llvmTy, elementCount, "vla");
 834     vla->setAlignment(alignment.getQuantity());
 835
 836     DeclPtr = vla;
 837   }
 838
 839   llvm::Value *&DMEntry = LocalDeclMap[&D];
 840   assert(DMEntry == 0 && "Decl already exists in localdeclmap!");
 841   DMEntry = DeclPtr;
 842   emission.Address = DeclPtr;
 843
 844   // Emit debug info for local var declaration.
 845   if (HaveInsertPoint())
 846     if (CGDebugInfo *DI = getDebugInfo()) {
 847       DI->setLocation(D.getLocation());
 848       if (Target.useGlobalsForAutomaticVariables()) {
 849         DI->EmitGlobalVariable(static_cast<llvm::GlobalVariable *>(DeclPtr), &D);
 850       } else
 851         DI->EmitDeclareOfAutoVariable(&D, DeclPtr, Builder);
 852     }
 853
 854   if (D.hasAttr<AnnotateAttr>())
 855       EmitVarAnnotations(&D, emission.Address);
 856
 857   return emission;
 858 }
 859
 860 /// Determines whether the given __block variable is potentially
 861 /// captured by the given expression.
 862 static bool isCapturedBy(const VarDecl &var, const Expr *e) {
 863   // Skip the most common kinds of expressions that make
 864   // hierarchy-walking expensive.
 865   e = e->IgnoreParenCasts();
 866
 867   if (const BlockExpr *be = dyn_cast<BlockExpr>(e)) {
 868     const BlockDecl *block = be->getBlockDecl();
 869     for (BlockDecl::capture_const_iterator i = block->capture_begin(),
 870            e = block->capture_end(); i != e; ++i) {
 871       if (i->getVariable() == &var)
 872         return true;
 873     }
 874
 875     // No need to walk into the subexpressions.
 876     return false;
 877   }
 878
 879   if (const StmtExpr *SE = dyn_cast<StmtExpr>(e)) {
 880     const CompoundStmt *CS = SE->getSubStmt();
 881     for (CompoundStmt::const_body_iterator BI = CS->body_begin(),
 882            BE = CS->body_end(); BI != BE; ++BI)
 883       if (Expr *E = dyn_cast<Expr>((*BI))) {
 884         if (isCapturedBy(var, E))
 885             return true;
 886       }
 887       else if (DeclStmt *DS = dyn_cast<DeclStmt>((*BI))) {
 888           // special case declarations
 889           for (DeclStmt::decl_iterator I = DS->decl_begin(), E = DS->decl_end();
 890                I != E; ++I) {
 891               if (VarDecl *VD = dyn_cast<VarDecl>((*I))) {
 892                 Expr *Init = VD->getInit();
 893                 if (Init && isCapturedBy(var, Init))
 894                   return true;
 895               }
 896           }
 897       }
 898       else
 899         // FIXME. Make safe assumption assuming arbitrary statements cause capturing.
 900         // Later, provide code to poke into statements for capture analysis.
 901         return true;
 902     return false;
 903   }
 904
 905   for (Stmt::const_child_range children = e->children(); children; ++children)
 906     if (isCapturedBy(var, cast<Expr>(*children)))
 907       return true;
 908
 909   return false;
 910 }
 911
 912 /// \brief Determine whether the given initializer is trivial in the sense
 913 /// that it requires no code to be generated.
 914 static bool isTrivialInitializer(const Expr *Init) {
 915   if (!Init)
 916     return true;
 917
 918   if (const CXXConstructExpr *Construct = dyn_cast<CXXConstructExpr>(Init))
 919     if (CXXConstructorDecl *Constructor = Construct->getConstructor())
 920       if (Constructor->isTrivial() &&
 921           Constructor->isDefaultConstructor() &&
 922           !Construct->requiresZeroInitialization())
 923         return true;
 924
 925   return false;
 926 }
 927 void CodeGenFunction::EmitAutoVarInit(const AutoVarEmission &emission) {
 928   assert(emission.Variable && "emission was not valid!");
 929
 930   // If this was emitted as a global constant, we're done.
 931   if (emission.wasEmittedAsGlobal()) return;
 932
 933   const VarDecl &D = *emission.Variable;
 934   QualType type = D.getType();
 935
 936   // If this local has an initializer, emit it now.
 937   const Expr *Init = D.getInit();
 938
 939   // If we are at an unreachable point, we don't need to emit the initializer
 940   // unless it contains a label.
 941   if (!HaveInsertPoint()) {
 942     if (!Init || !ContainsLabel(Init)) return;
 943     EnsureInsertPoint();
 944   }
 945
 946   // Initialize the structure of a __block variable.
 947   if (emission.IsByRef)
 948     emitByrefStructureInit(emission);
 949
 950   if (isTrivialInitializer(Init))
 951     return;
 952
 953   CharUnits alignment = emission.Alignment;
 954
 955   // Check whether this is a byref variable that's potentially
 956   // captured and moved by its own initializer.  If so, we'll need to
 957   // emit the initializer first, then copy into the variable.
 958   bool capturedByInit = emission.IsByRef && isCapturedBy(D, Init);
 959
 960   llvm::Value *Loc =
 961     capturedByInit ? emission.Address : emission.getObjectAddress(*this);
 962
 963   if (!emission.IsConstantAggregate) {
 964     LValue lv = MakeAddrLValue(Loc, type, alignment.getQuantity());
 965     lv.setNonGC(true);
 966     return EmitExprAsInit(Init, &D, lv, capturedByInit);
 967   }
 968
 969   // If this is a simple aggregate initialization, we can optimize it
 970   // in various ways.
 971   assert(!capturedByInit && "constant init contains a capturing block?");
 972
 973   bool isVolatile = type.isVolatileQualified();
 974
 975   llvm::Constant *constant = CGM.EmitConstantExpr(D.getInit(), type, this);
 976   assert(constant != 0 && "Wasn't a simple constant init?");
 977
 978   llvm::Value *SizeVal =
 979     llvm::ConstantInt::get(IntPtrTy,
 980                            getContext().getTypeSizeInChars(type).getQuantity());
 981
 982   llvm::Type *BP = Int8PtrTy;
 983   if (Loc->getType() != BP)
 984     Loc = Builder.CreateBitCast(Loc, BP);
 985
 986   // If the initializer is all or mostly zeros, codegen with memset then do
 987   // a few stores afterward.
 988   if (shouldUseMemSetPlusStoresToInitialize(constant,
 989                 CGM.getTargetData().getTypeAllocSize(constant->getType()))) {
 990     Builder.CreateMemSet(Loc, llvm::ConstantInt::get(Int8Ty, 0), SizeVal,
 991                          alignment.getQuantity(), isVolatile);
 992     if (!constant->isNullValue()) {
 993       Loc = Builder.CreateBitCast(Loc, constant->getType()->getPointerTo());
 994       emitStoresForInitAfterMemset(constant, Loc, isVolatile, Builder);
 995     }
 996   } else {
 997     // Otherwise, create a temporary global with the initializer then
 998     // memcpy from the global to the alloca.
 999     std::string Name = GetStaticDeclName(*this, D, ".");
1000     llvm::GlobalVariable *GV =
1001       new llvm::GlobalVariable(CGM.getModule(), constant->getType(), true,
1002                                llvm::GlobalValue::PrivateLinkage,
1003                                constant, Name, 0, false, 0);
1004     GV->setAlignment(alignment.getQuantity());
1005     GV->setUnnamedAddr(true);
1006
1007     llvm::Value *SrcPtr = GV;
1008     if (SrcPtr->getType() != BP)
1009       SrcPtr = Builder.CreateBitCast(SrcPtr, BP);
1010
1011     Builder.CreateMemCpy(Loc, SrcPtr, SizeVal, alignment.getQuantity(),
1012                          isVolatile);
1013   }
1014 }
1015
1016 /// Emit an expression as an initializer for a variable at the given
1017 /// location.  The expression is not necessarily the normal
1018 /// initializer for the variable, and the address is not necessarily
1019 /// its normal location.
1020 ///
1021 /// \param init the initializing expression
1022 /// \param var the variable to act as if we're initializing
1023 /// \param loc the address to initialize; its type is a pointer
1024 ///   to the LLVM mapping of the variable's type
1025 /// \param alignment the alignment of the address
1026 /// \param capturedByInit true if the variable is a __block variable
1027 ///   whose address is potentially changed by the initializer
1028 void CodeGenFunction::EmitExprAsInit(const Expr *init,
1029                                      const ValueDecl *D,
1030                                      LValue lvalue,
1031                                      bool capturedByInit) {
1032   QualType type = D->getType();
1033
1034   if (type->isReferenceType()) {
1035     RValue rvalue = EmitReferenceBindingToExpr(init, D);
1036     if (capturedByInit)
1037       drillIntoBlockVariable(*this, lvalue, cast<VarDecl>(D));
1038     EmitStoreThroughLValue(rvalue, lvalue);
1039   } else if (!hasAggregateLLVMType(type)) {
1040     EmitScalarInit(init, D, lvalue, capturedByInit);
1041   } else if (type->isAnyComplexType()) {
1042     ComplexPairTy complex = EmitComplexExpr(init);
1043     if (capturedByInit)
1044       drillIntoBlockVariable(*this, lvalue, cast<VarDecl>(D));
1045     StoreComplexToAddr(complex, lvalue.getAddress(), lvalue.isVolatile());
1046   } else {
1047     // TODO: how can we delay here if D is captured by its initializer?
1048     EmitAggExpr(init, AggValueSlot::forLValue(lvalue,
1049                                               AggValueSlot::IsDestructed,
1050                                          AggValueSlot::DoesNotNeedGCBarriers,
1051                                               AggValueSlot::IsNotAliased));
1052   }
1053 }
1054
1055 /// Enter a destroy cleanup for the given local variable.
1056 void CodeGenFunction::emitAutoVarTypeCleanup(
1057                             const CodeGenFunction::AutoVarEmission &emission,
1058                             QualType::DestructionKind dtorKind) {
1059   assert(dtorKind != QualType::DK_none);
1060
1061   // Note that for __block variables, we want to destroy the
1062   // original stack object, not the possibly forwarded object.
1063   llvm::Value *addr = emission.getObjectAddress(*this);
1064
1065   const VarDecl *var = emission.Variable;
1066   QualType type = var->getType();
1067
1068   CleanupKind cleanupKind = NormalAndEHCleanup;
1069   CodeGenFunction::Destroyer *destroyer = 0;
1070
1071   switch (dtorKind) {
1072   case QualType::DK_none:
1073     llvm_unreachable("no cleanup for trivially-destructible variable");
1074
1075   case QualType::DK_cxx_destructor:
1076     // If there's an NRVO flag on the emission, we need a different
1077     // cleanup.
1078     if (emission.NRVOFlag) {
1079       assert(!type->isArrayType());
1080       CXXDestructorDecl *dtor = type->getAsCXXRecordDecl()->getDestructor();
1081       EHStack.pushCleanup<DestroyNRVOVariable>(cleanupKind, addr, dtor,
1082                                                emission.NRVOFlag);
1083       return;
1084     }
1085     break;
1086
1087   case QualType::DK_objc_strong_lifetime:
1088     // Suppress cleanups for pseudo-strong variables.
1089     if (var->isARCPseudoStrong()) return;
1090
1091     // Otherwise, consider whether to use an EH cleanup or not.
1092     cleanupKind = getARCCleanupKind();
1093
1094     // Use the imprecise destroyer by default.
1095     if (!var->hasAttr<ObjCPreciseLifetimeAttr>())
1096       destroyer = CodeGenFunction::destroyARCStrongImprecise;
1097     break;
1098
1099   case QualType::DK_objc_weak_lifetime:
1100     break;
1101   }
1102
1103   // If we haven't chosen a more specific destroyer, use the default.
1104   if (!destroyer) destroyer = &getDestroyer(dtorKind);
1105
1106   // Use an EH cleanup in array destructors iff the destructor itself
1107   // is being pushed as an EH cleanup.
1108   bool useEHCleanup = (cleanupKind & EHCleanup);
1109   EHStack.pushCleanup<DestroyObject>(cleanupKind, addr, type, destroyer,
1110                                      useEHCleanup);
1111 }
1112
1113 void CodeGenFunction::EmitAutoVarCleanups(const AutoVarEmission &emission) {
1114   assert(emission.Variable && "emission was not valid!");
1115
1116   // If this was emitted as a global constant, we're done.
1117   if (emission.wasEmittedAsGlobal()) return;
1118
1119   const VarDecl &D = *emission.Variable;
1120
1121   // Check the type for a cleanup.
1122   if (QualType::DestructionKind dtorKind = D.getType().isDestructedType())
1123     emitAutoVarTypeCleanup(emission, dtorKind);
1124
1125   // In GC mode, honor objc_precise_lifetime.
1126   if (getLangOptions().getGC() != LangOptions::NonGC &&
1127       D.hasAttr<ObjCPreciseLifetimeAttr>()) {
1128     EHStack.pushCleanup<ExtendGCLifetime>(NormalCleanup, &D);
1129   }
1130
1131   // Handle the cleanup attribute.
1132   if (const CleanupAttr *CA = D.getAttr<CleanupAttr>()) {
1133     const FunctionDecl *FD = CA->getFunctionDecl();
1134
1135     llvm::Constant *F = CGM.GetAddrOfFunction(FD);
1136     assert(F && "Could not find function!");
1137
1138     const CGFunctionInfo &Info = CGM.getTypes().getFunctionInfo(FD);
1139     EHStack.pushCleanup<CallCleanupFunction>(NormalAndEHCleanup, F, &Info, &D);
1140   }
1141
1142   // If this is a block variable, call _Block_object_destroy
1143   // (on the unforwarded address).
1144   if (emission.IsByRef)
1145     enterByrefCleanup(emission);
1146 }
1147
1148 CodeGenFunction::Destroyer &
1149 CodeGenFunction::getDestroyer(QualType::DestructionKind kind) {
1150   // This is surprisingly compiler-dependent.  GCC 4.2 can't bind
1151   // references to functions directly in returns, and using '*&foo'
1152   // confuses MSVC.  Luckily, the following code pattern works in both.
1153   Destroyer *destroyer = 0;
1154   switch (kind) {
1155   case QualType::DK_none: llvm_unreachable("no destroyer for trivial dtor");
1156   case QualType::DK_cxx_destructor:
1157     destroyer = &destroyCXXObject;
1158     break;
1159   case QualType::DK_objc_strong_lifetime:
1160     destroyer = &destroyARCStrongPrecise;
1161     break;
1162   case QualType::DK_objc_weak_lifetime:
1163     destroyer = &destroyARCWeak;
1164     break;
1165   }
1166   return *destroyer;
1167 }
1168
1169 /// pushDestroy - Push the standard destructor for the given type.
1170 void CodeGenFunction::pushDestroy(QualType::DestructionKind dtorKind,
1171                                   llvm::Value *addr, QualType type) {
1172   assert(dtorKind && "cannot push destructor for trivial type");
1173
1174   CleanupKind cleanupKind = getCleanupKind(dtorKind);
1175   pushDestroy(cleanupKind, addr, type, getDestroyer(dtorKind),
1176               cleanupKind & EHCleanup);
1177 }
1178
1179 void CodeGenFunction::pushDestroy(CleanupKind cleanupKind, llvm::Value *addr,
1180                                   QualType type, Destroyer &destroyer,
1181                                   bool useEHCleanupForArray) {
1182   pushFullExprCleanup<DestroyObject>(cleanupKind, addr, type,
1183                                      destroyer, useEHCleanupForArray);
1184 }
1185
1186 /// emitDestroy - Immediately perform the destruction of the given
1187 /// object.
1188 ///
1189 /// \param addr - the address of the object; a type*
1190 /// \param type - the type of the object; if an array type, all
1191 ///   objects are destroyed in reverse order
1192 /// \param destroyer - the function to call to destroy individual
1193 ///   elements
1194 /// \param useEHCleanupForArray - whether an EH cleanup should be
1195 ///   used when destroying array elements, in case one of the
1196 ///   destructions throws an exception
1197 void CodeGenFunction::emitDestroy(llvm::Value *addr, QualType type,
1198                                   Destroyer &destroyer,
1199                                   bool useEHCleanupForArray) {
1200   const ArrayType *arrayType = getContext().getAsArrayType(type);
1201   if (!arrayType)
1202     return destroyer(*this, addr, type);
1203
1204   llvm::Value *begin = addr;
1205   llvm::Value *length = emitArrayLength(arrayType, type, begin);
1206
1207   // Normally we have to check whether the array is zero-length.
1208   bool checkZeroLength = true;
1209
1210   // But if the array length is constant, we can suppress that.
1211   if (llvm::ConstantInt *constLength = dyn_cast<llvm::ConstantInt>(length)) {
1212     // ...and if it's constant zero, we can just skip the entire thing.
1213     if (constLength->isZero()) return;
1214     checkZeroLength = false;
1215   }
1216
1217   llvm::Value *end = Builder.CreateInBoundsGEP(begin, length);
1218   emitArrayDestroy(begin, end, type, destroyer,
1219                    checkZeroLength, useEHCleanupForArray);
1220 }
1221
1222 /// emitArrayDestroy - Destroys all the elements of the given array,
1223 /// beginning from last to first.  The array cannot be zero-length.
1224 ///
1225 /// \param begin - a type* denoting the first element of the array
1226 /// \param end - a type* denoting one past the end of the array
1227 /// \param type - the element type of the array
1228 /// \param destroyer - the function to call to destroy elements
1229 /// \param useEHCleanup - whether to push an EH cleanup to destroy
1230 ///   the remaining elements in case the destruction of a single
1231 ///   element throws
1232 void CodeGenFunction::emitArrayDestroy(llvm::Value *begin,
1233                                        llvm::Value *end,
1234                                        QualType type,
1235                                        Destroyer &destroyer,
1236                                        bool checkZeroLength,
1237                                        bool useEHCleanup) {
1238   assert(!type->isArrayType());
1239
1240   // The basic structure here is a do-while loop, because we don't
1241   // need to check for the zero-element case.
1242   llvm::BasicBlock *bodyBB = createBasicBlock("arraydestroy.body");
1243   llvm::BasicBlock *doneBB = createBasicBlock("arraydestroy.done");
1244
1245   if (checkZeroLength) {
1246     llvm::Value *isEmpty = Builder.CreateICmpEQ(begin, end,
1247                                                 "arraydestroy.isempty");
1248     Builder.CreateCondBr(isEmpty, doneBB, bodyBB);
1249   }
1250
1251   // Enter the loop body, making that address the current address.
1252   llvm::BasicBlock *entryBB = Builder.GetInsertBlock();
1253   EmitBlock(bodyBB);
1254   llvm::PHINode *elementPast =
1255     Builder.CreatePHI(begin->getType(), 2, "arraydestroy.elementPast");
1256   elementPast->addIncoming(end, entryBB);
1257
1258   // Shift the address back by one element.
1259   llvm::Value *negativeOne = llvm::ConstantInt::get(SizeTy, -1, true);
1260   llvm::Value *element = Builder.CreateInBoundsGEP(elementPast, negativeOne,
1261                                                    "arraydestroy.element");
1262
1263   if (useEHCleanup)
1264     pushRegularPartialArrayCleanup(begin, element, type, destroyer);
1265
1266   // Perform the actual destruction there.
1267   destroyer(*this, element, type);
1268
1269   if (useEHCleanup)
1270     PopCleanupBlock();
1271
1272   // Check whether we've reached the end.
1273   llvm::Value *done = Builder.CreateICmpEQ(element, begin, "arraydestroy.done");
1274   Builder.CreateCondBr(done, doneBB, bodyBB);
1275   elementPast->addIncoming(element, Builder.GetInsertBlock());
1276
1277   // Done.
1278   EmitBlock(doneBB);
1279 }
1280
1281 /// Perform partial array destruction as if in an EH cleanup.  Unlike
1282 /// emitArrayDestroy, the element type here may still be an array type.
1283 static void emitPartialArrayDestroy(CodeGenFunction &CGF,
1284                                     llvm::Value *begin, llvm::Value *end,
1285                                     QualType type,
1286                                     CodeGenFunction::Destroyer &destroyer) {
1287   // If the element type is itself an array, drill down.
1288   unsigned arrayDepth = 0;
1289   while (const ArrayType *arrayType = CGF.getContext().getAsArrayType(type)) {
1290     // VLAs don't require a GEP index to walk into.
1291     if (!isa<VariableArrayType>(arrayType))
1292       arrayDepth++;
1293     type = arrayType->getElementType();
1294   }
1295
1296   if (arrayDepth) {
1297     llvm::Value *zero = llvm::ConstantInt::get(CGF.SizeTy, arrayDepth+1);
1298
1299     SmallVector<llvm::Value*,4> gepIndices(arrayDepth, zero);
1300     begin = CGF.Builder.CreateInBoundsGEP(begin, gepIndices, "pad.arraybegin");
1301     end = CGF.Builder.CreateInBoundsGEP(end, gepIndices, "pad.arrayend");
1302   }
1303
1304   // Destroy the array.  We don't ever need an EH cleanup because we
1305   // assume that we're in an EH cleanup ourselves, so a throwing
1306   // destructor causes an immediate terminate.
1307   CGF.emitArrayDestroy(begin, end, type, destroyer,
1308                        /*checkZeroLength*/ true, /*useEHCleanup*/ false);
1309 }
1310
1311 namespace {
1312   /// RegularPartialArrayDestroy - a cleanup which performs a partial
1313   /// array destroy where the end pointer is regularly determined and
1314   /// does not need to be loaded from a local.
1315   class RegularPartialArrayDestroy : public EHScopeStack::Cleanup {
1316     llvm::Value *ArrayBegin;
1317     llvm::Value *ArrayEnd;
1318     QualType ElementType;
1319     CodeGenFunction::Destroyer &Destroyer;
1320   public:
1321     RegularPartialArrayDestroy(llvm::Value *arrayBegin, llvm::Value *arrayEnd,
1322                                QualType elementType,
1323                                CodeGenFunction::Destroyer *destroyer)
1324       : ArrayBegin(arrayBegin), ArrayEnd(arrayEnd),
1325         ElementType(elementType), Destroyer(*destroyer) {}
1326
1327     void Emit(CodeGenFunction &CGF, Flags flags) {
1328       emitPartialArrayDestroy(CGF, ArrayBegin, ArrayEnd,
1329                               ElementType, Destroyer);
1330     }
1331   };
1332
1333   /// IrregularPartialArrayDestroy - a cleanup which performs a
1334   /// partial array destroy where the end pointer is irregularly
1335   /// determined and must be loaded from a local.
1336   class IrregularPartialArrayDestroy : public EHScopeStack::Cleanup {
1337     llvm::Value *ArrayBegin;
1338     llvm::Value *ArrayEndPointer;
1339     QualType ElementType;
1340     CodeGenFunction::Destroyer &Destroyer;
1341   public:
1342     IrregularPartialArrayDestroy(llvm::Value *arrayBegin,
1343                                  llvm::Value *arrayEndPointer,
1344                                  QualType elementType,
1345                                  CodeGenFunction::Destroyer *destroyer)
1346       : ArrayBegin(arrayBegin), ArrayEndPointer(arrayEndPointer),
1347         ElementType(elementType), Destroyer(*destroyer) {}
1348
1349     void Emit(CodeGenFunction &CGF, Flags flags) {
1350       llvm::Value *arrayEnd = CGF.Builder.CreateLoad(ArrayEndPointer);
1351       emitPartialArrayDestroy(CGF, ArrayBegin, arrayEnd,
1352                               ElementType, Destroyer);
1353     }
1354   };
1355 }
1356
1357 /// pushIrregularPartialArrayCleanup - Push an EH cleanup to destroy
1358 /// already-constructed elements of the given array.  The cleanup
1359 /// may be popped with DeactivateCleanupBlock or PopCleanupBlock.
1360 ///
1361 /// \param elementType - the immediate element type of the array;
1362 ///   possibly still an array type
1363 /// \param array - a value of type elementType*
1364 /// \param destructionKind - the kind of destruction required
1365 /// \param initializedElementCount - a value of type size_t* holding
1366 ///   the number of successfully-constructed elements
1367 void CodeGenFunction::pushIrregularPartialArrayCleanup(llvm::Value *arrayBegin,
1368                                                  llvm::Value *arrayEndPointer,
1369                                                        QualType elementType,
1370                                                        Destroyer &destroyer) {
1371   pushFullExprCleanup<IrregularPartialArrayDestroy>(EHCleanup,
1372                                                     arrayBegin, arrayEndPointer,
1373                                                     elementType, &destroyer);
1374 }
1375
1376 /// pushRegularPartialArrayCleanup - Push an EH cleanup to destroy
1377 /// already-constructed elements of the given array.  The cleanup
1378 /// may be popped with DeactivateCleanupBlock or PopCleanupBlock.
1379 ///
1380 /// \param elementType - the immediate element type of the array;
1381 ///   possibly still an array type
1382 /// \param array - a value of type elementType*
1383 /// \param destructionKind - the kind of destruction required
1384 /// \param initializedElementCount - a value of type size_t* holding
1385 ///   the number of successfully-constructed elements
1386 void CodeGenFunction::pushRegularPartialArrayCleanup(llvm::Value *arrayBegin,
1387                                                      llvm::Value *arrayEnd,
1388                                                      QualType elementType,
1389                                                      Destroyer &destroyer) {
1390   pushFullExprCleanup<RegularPartialArrayDestroy>(EHCleanup,
1391                                                   arrayBegin, arrayEnd,
1392                                                   elementType, &destroyer);
1393 }
1394
1395 namespace {
1396   /// A cleanup to perform a release of an object at the end of a
1397   /// function.  This is used to balance out the incoming +1 of a
1398   /// ns_consumed argument when we can't reasonably do that just by
1399   /// not doing the initial retain for a __block argument.
1400   struct ConsumeARCParameter : EHScopeStack::Cleanup {
1401     ConsumeARCParameter(llvm::Value *param) : Param(param) {}
1402
1403     llvm::Value *Param;
1404
1405     void Emit(CodeGenFunction &CGF, Flags flags) {
1406       CGF.EmitARCRelease(Param, /*precise*/ false);
1407     }
1408   };
1409 }
1410
1411 /// Emit an alloca (or GlobalValue depending on target)
1412 /// for the specified parameter and set up LocalDeclMap.
1413 void CodeGenFunction::EmitParmDecl(const VarDecl &D, llvm::Value *Arg,
1414                                    unsigned ArgNo) {
1415   // FIXME: Why isn't ImplicitParamDecl a ParmVarDecl?
1416   assert((isa<ParmVarDecl>(D) || isa<ImplicitParamDecl>(D)) &&
1417          "Invalid argument to EmitParmDecl");
1418
1419   Arg->setName(D.getName());
1420
1421   // Use better IR generation for certain implicit parameters.
1422   if (isa<ImplicitParamDecl>(D)) {
1423     // The only implicit argument a block has is its literal.
1424     if (BlockInfo) {
1425       LocalDeclMap[&D] = Arg;
1426
1427       if (CGDebugInfo *DI = getDebugInfo()) {
1428         DI->setLocation(D.getLocation());
1429         DI->EmitDeclareOfBlockLiteralArgVariable(*BlockInfo, Arg, Builder);
1430       }
1431
1432       return;
1433     }
1434   }
1435
1436   QualType Ty = D.getType();
1437
1438   llvm::Value *DeclPtr;
1439   // If this is an aggregate or variable sized value, reuse the input pointer.
1440   if (!Ty->isConstantSizeType() ||
1441       CodeGenFunction::hasAggregateLLVMType(Ty)) {
1442     DeclPtr = Arg;
1443   } else {
1444     // Otherwise, create a temporary to hold the value.
1445     DeclPtr = CreateMemTemp(Ty, D.getName() + ".addr");
1446
1447     bool doStore = true;
1448
1449     Qualifiers qs = Ty.getQualifiers();
1450
1451     if (Qualifiers::ObjCLifetime lt = qs.getObjCLifetime()) {
1452       // We honor __attribute__((ns_consumed)) for types with lifetime.
1453       // For __strong, it's handled by just skipping the initial retain;
1454       // otherwise we have to balance out the initial +1 with an extra
1455       // cleanup to do the release at the end of the function.
1456       bool isConsumed = D.hasAttr<NSConsumedAttr>();
1457
1458       // 'self' is always formally __strong, but if this is not an
1459       // init method then we don't want to retain it.
1460       if (D.isARCPseudoStrong()) {
1461         const ObjCMethodDecl *method = cast<ObjCMethodDecl>(CurCodeDecl);
1462         assert(&D == method->getSelfDecl());
1463         assert(lt == Qualifiers::OCL_Strong);
1464         assert(qs.hasConst());
1465         assert(method->getMethodFamily() != OMF_init);
1466         (void) method;
1467         lt = Qualifiers::OCL_ExplicitNone;
1468       }
1469
1470       if (lt == Qualifiers::OCL_Strong) {
1471         if (!isConsumed)
1472           // Don't use objc_retainBlock for block pointers, because we
1473           // don't want to Block_copy something just because we got it
1474           // as a parameter.
1475           Arg = EmitARCRetainNonBlock(Arg);
1476       } else {
1477         // Push the cleanup for a consumed parameter.
1478         if (isConsumed)
1479           EHStack.pushCleanup<ConsumeARCParameter>(getARCCleanupKind(), Arg);
1480
1481         if (lt == Qualifiers::OCL_Weak) {
1482           EmitARCInitWeak(DeclPtr, Arg);
1483           doStore = false; // The weak init is a store, no need to do two
1484         }
1485       }
1486
1487       // Enter the cleanup scope.
1488       EmitAutoVarWithLifetime(*this, D, DeclPtr, lt);
1489     }
1490
1491     // Store the initial value into the alloca.
1492     if (doStore) {
1493       LValue lv = MakeAddrLValue(DeclPtr, Ty,
1494                                  getContext().getDeclAlign(&D).getQuantity());
1495       EmitStoreOfScalar(Arg, lv);
1496     }
1497   }
1498
1499   llvm::Value *&DMEntry = LocalDeclMap[&D];
1500   assert(DMEntry == 0 && "Decl already exists in localdeclmap!");
1501   DMEntry = DeclPtr;
1502
1503   // Emit debug info for param declaration.
1504   if (CGDebugInfo *DI = getDebugInfo())
1505     DI->EmitDeclareOfArgVariable(&D, DeclPtr, ArgNo, Builder);
1506
1507   if (D.hasAttr<AnnotateAttr>())
1508       EmitVarAnnotations(&D, DeclPtr);
1509 }