contrib/llvm/tools/clang/lib/CodeGen/CGExprConstant.cpp

   1 //===--- CGExprConstant.cpp - Emit LLVM Code from Constant Expressions ----===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This contains code to emit Constant Expr nodes as LLVM code.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #include "CodeGenFunction.h"
  15 #include "CodeGenModule.h"
  16 #include "CGCXXABI.h"
  17 #include "CGObjCRuntime.h"
  18 #include "CGRecordLayout.h"
  19 #include "clang/AST/APValue.h"
  20 #include "clang/AST/ASTContext.h"
  21 #include "clang/AST/RecordLayout.h"
  22 #include "clang/AST/StmtVisitor.h"
  23 #include "clang/Basic/Builtins.h"
  24 #include "llvm/Constants.h"
  25 #include "llvm/Function.h"
  26 #include "llvm/GlobalVariable.h"
  27 #include "llvm/Target/TargetData.h"
  28 using namespace clang;
  29 using namespace CodeGen;
  30
  31 //===----------------------------------------------------------------------===//
  32 //                            ConstStructBuilder
  33 //===----------------------------------------------------------------------===//
  34
  35 namespace {
  36 class ConstStructBuilder {
  37   CodeGenModule &CGM;
  38   CodeGenFunction *CGF;
  39
  40   bool Packed;
  41   CharUnits NextFieldOffsetInChars;
  42   CharUnits LLVMStructAlignment;
  43   std::vector<llvm::Constant *> Elements;
  44 public:
  45   static llvm::Constant *BuildStruct(CodeGenModule &CGM, CodeGenFunction *CGF,
  46                                      InitListExpr *ILE);
  47
  48 private:
  49   ConstStructBuilder(CodeGenModule &CGM, CodeGenFunction *CGF)
  50     : CGM(CGM), CGF(CGF), Packed(false),
  51     NextFieldOffsetInChars(CharUnits::Zero()),
  52     LLVMStructAlignment(CharUnits::One()) { }
  53
  54   bool AppendField(const FieldDecl *Field, uint64_t FieldOffset,
  55                    llvm::Constant *InitExpr);
  56
  57   void AppendBitField(const FieldDecl *Field, uint64_t FieldOffset,
  58                       llvm::ConstantInt *InitExpr);
  59
  60   void AppendPadding(CharUnits PadSize);
  61
  62   void AppendTailPadding(CharUnits RecordSize);
  63
  64   void ConvertStructToPacked();
  65
  66   bool Build(InitListExpr *ILE);
  67
  68   CharUnits getAlignment(const llvm::Constant *C) const {
  69     if (Packed)  return CharUnits::One();
  70     return CharUnits::fromQuantity(
  71         CGM.getTargetData().getABITypeAlignment(C->getType()));
  72   }
  73
  74   CharUnits getSizeInChars(const llvm::Constant *C) const {
  75     return CharUnits::fromQuantity(
  76         CGM.getTargetData().getTypeAllocSize(C->getType()));
  77   }
  78 };
  79
  80 bool ConstStructBuilder::
  81 AppendField(const FieldDecl *Field, uint64_t FieldOffset,
  82             llvm::Constant *InitCst) {
  83
  84   const ASTContext &Context = CGM.getContext();
  85
  86   CharUnits FieldOffsetInChars = Context.toCharUnitsFromBits(FieldOffset);
  87
  88   assert(NextFieldOffsetInChars <= FieldOffsetInChars
  89          && "Field offset mismatch!");
  90
  91   CharUnits FieldAlignment = getAlignment(InitCst);
  92
  93   // Round up the field offset to the alignment of the field type.
  94   CharUnits AlignedNextFieldOffsetInChars =
  95     NextFieldOffsetInChars.RoundUpToAlignment(FieldAlignment);
  96
  97   if (AlignedNextFieldOffsetInChars > FieldOffsetInChars) {
  98     assert(!Packed && "Alignment is wrong even with a packed struct!");
  99
 100     // Convert the struct to a packed struct.
 101     ConvertStructToPacked();
 102
 103     AlignedNextFieldOffsetInChars = NextFieldOffsetInChars;
 104   }
 105
 106   if (AlignedNextFieldOffsetInChars < FieldOffsetInChars) {
 107     // We need to append padding.
 108     AppendPadding(
 109         FieldOffsetInChars - NextFieldOffsetInChars);
 110
 111     assert(NextFieldOffsetInChars == FieldOffsetInChars &&
 112            "Did not add enough padding!");
 113
 114     AlignedNextFieldOffsetInChars = NextFieldOffsetInChars;
 115   }
 116
 117   // Add the field.
 118   Elements.push_back(InitCst);
 119   NextFieldOffsetInChars = AlignedNextFieldOffsetInChars +
 120                            getSizeInChars(InitCst);
 121
 122   if (Packed)
 123     assert(LLVMStructAlignment == CharUnits::One() &&
 124            "Packed struct not byte-aligned!");
 125   else
 126     LLVMStructAlignment = std::max(LLVMStructAlignment, FieldAlignment);
 127
 128   return true;
 129 }
 130
 131 void ConstStructBuilder::AppendBitField(const FieldDecl *Field,
 132                                         uint64_t FieldOffset,
 133                                         llvm::ConstantInt *CI) {
 134   const ASTContext &Context = CGM.getContext();
 135   const uint64_t CharWidth = Context.getCharWidth();
 136   uint64_t NextFieldOffsetInBits = Context.toBits(NextFieldOffsetInChars);
 137   if (FieldOffset > NextFieldOffsetInBits) {
 138     // We need to add padding.
 139     CharUnits PadSize = Context.toCharUnitsFromBits(
 140       llvm::RoundUpToAlignment(FieldOffset - NextFieldOffsetInBits,
 141                                Context.Target.getCharAlign()));
 142
 143     AppendPadding(PadSize);
 144   }
 145
 146   uint64_t FieldSize =
 147     Field->getBitWidth()->EvaluateAsInt(Context).getZExtValue();
 148
 149   llvm::APInt FieldValue = CI->getValue();
 150
 151   // Promote the size of FieldValue if necessary
 152   // FIXME: This should never occur, but currently it can because initializer
 153   // constants are cast to bool, and because clang is not enforcing bitfield
 154   // width limits.
 155   if (FieldSize > FieldValue.getBitWidth())
 156     FieldValue = FieldValue.zext(FieldSize);
 157
 158   // Truncate the size of FieldValue to the bit field size.
 159   if (FieldSize < FieldValue.getBitWidth())
 160     FieldValue = FieldValue.trunc(FieldSize);
 161
 162   NextFieldOffsetInBits = Context.toBits(NextFieldOffsetInChars);
 163   if (FieldOffset < NextFieldOffsetInBits) {
 164     // Either part of the field or the entire field can go into the previous
 165     // byte.
 166     assert(!Elements.empty() && "Elements can't be empty!");
 167
 168     unsigned BitsInPreviousByte = NextFieldOffsetInBits - FieldOffset;
 169
 170     bool FitsCompletelyInPreviousByte =
 171       BitsInPreviousByte >= FieldValue.getBitWidth();
 172
 173     llvm::APInt Tmp = FieldValue;
 174
 175     if (!FitsCompletelyInPreviousByte) {
 176       unsigned NewFieldWidth = FieldSize - BitsInPreviousByte;
 177
 178       if (CGM.getTargetData().isBigEndian()) {
 179         Tmp = Tmp.lshr(NewFieldWidth);
 180         Tmp = Tmp.trunc(BitsInPreviousByte);
 181
 182         // We want the remaining high bits.
 183         FieldValue = FieldValue.trunc(NewFieldWidth);
 184       } else {
 185         Tmp = Tmp.trunc(BitsInPreviousByte);
 186
 187         // We want the remaining low bits.
 188         FieldValue = FieldValue.lshr(BitsInPreviousByte);
 189         FieldValue = FieldValue.trunc(NewFieldWidth);
 190       }
 191     }
 192
 193     Tmp = Tmp.zext(CharWidth);
 194     if (CGM.getTargetData().isBigEndian()) {
 195       if (FitsCompletelyInPreviousByte)
 196         Tmp = Tmp.shl(BitsInPreviousByte - FieldValue.getBitWidth());
 197     } else {
 198       Tmp = Tmp.shl(CharWidth - BitsInPreviousByte);
 199     }
 200
 201     // 'or' in the bits that go into the previous byte.
 202     llvm::Value *LastElt = Elements.back();
 203     if (llvm::ConstantInt *Val = dyn_cast<llvm::ConstantInt>(LastElt))
 204       Tmp |= Val->getValue();
 205     else {
 206       assert(isa<llvm::UndefValue>(LastElt));
 207       // If there is an undef field that we're adding to, it can either be a
 208       // scalar undef (in which case, we just replace it with our field) or it
 209       // is an array.  If it is an array, we have to pull one byte off the
 210       // array so that the other undef bytes stay around.
 211       if (!isa<llvm::IntegerType>(LastElt->getType())) {
 212         // The undef padding will be a multibyte array, create a new smaller
 213         // padding and then an hole for our i8 to get plopped into.
 214         assert(isa<llvm::ArrayType>(LastElt->getType()) &&
 215                "Expected array padding of undefs");
 216         const llvm::ArrayType *AT = cast<llvm::ArrayType>(LastElt->getType());
 217         assert(AT->getElementType()->isIntegerTy(CharWidth) &&
 218                AT->getNumElements() != 0 &&
 219                "Expected non-empty array padding of undefs");
 220
 221         // Remove the padding array.
 222         NextFieldOffsetInChars -= CharUnits::fromQuantity(AT->getNumElements());
 223         Elements.pop_back();
 224
 225         // Add the padding back in two chunks.
 226         AppendPadding(CharUnits::fromQuantity(AT->getNumElements()-1));
 227         AppendPadding(CharUnits::One());
 228         assert(isa<llvm::UndefValue>(Elements.back()) &&
 229                Elements.back()->getType()->isIntegerTy(CharWidth) &&
 230                "Padding addition didn't work right");
 231       }
 232     }
 233
 234     Elements.back() = llvm::ConstantInt::get(CGM.getLLVMContext(), Tmp);
 235
 236     if (FitsCompletelyInPreviousByte)
 237       return;
 238   }
 239
 240   while (FieldValue.getBitWidth() > CharWidth) {
 241     llvm::APInt Tmp;
 242
 243     if (CGM.getTargetData().isBigEndian()) {
 244       // We want the high bits.
 245       Tmp =
 246         FieldValue.lshr(FieldValue.getBitWidth() - CharWidth).trunc(CharWidth);
 247     } else {
 248       // We want the low bits.
 249       Tmp = FieldValue.trunc(CharWidth);
 250
 251       FieldValue = FieldValue.lshr(CharWidth);
 252     }
 253
 254     Elements.push_back(llvm::ConstantInt::get(CGM.getLLVMContext(), Tmp));
 255     ++NextFieldOffsetInChars;
 256
 257     FieldValue = FieldValue.trunc(FieldValue.getBitWidth() - CharWidth);
 258   }
 259
 260   assert(FieldValue.getBitWidth() > 0 &&
 261          "Should have at least one bit left!");
 262   assert(FieldValue.getBitWidth() <= CharWidth &&
 263          "Should not have more than a byte left!");
 264
 265   if (FieldValue.getBitWidth() < CharWidth) {
 266     if (CGM.getTargetData().isBigEndian()) {
 267       unsigned BitWidth = FieldValue.getBitWidth();
 268
 269       FieldValue = FieldValue.zext(CharWidth) << (CharWidth - BitWidth);
 270     } else
 271       FieldValue = FieldValue.zext(CharWidth);
 272   }
 273
 274   // Append the last element.
 275   Elements.push_back(llvm::ConstantInt::get(CGM.getLLVMContext(),
 276                                             FieldValue));
 277   ++NextFieldOffsetInChars;
 278 }
 279
 280 void ConstStructBuilder::AppendPadding(CharUnits PadSize) {
 281   if (PadSize.isZero())
 282     return;
 283
 284   const llvm::Type *Ty = llvm::Type::getInt8Ty(CGM.getLLVMContext());
 285   if (PadSize > CharUnits::One())
 286     Ty = llvm::ArrayType::get(Ty, PadSize.getQuantity());
 287
 288   llvm::Constant *C = llvm::UndefValue::get(Ty);
 289   Elements.push_back(C);
 290   assert(getAlignment(C) == CharUnits::One() &&
 291          "Padding must have 1 byte alignment!");
 292
 293   NextFieldOffsetInChars += getSizeInChars(C);
 294 }
 295
 296 void ConstStructBuilder::AppendTailPadding(CharUnits RecordSize) {
 297   assert(NextFieldOffsetInChars <= RecordSize &&
 298          "Size mismatch!");
 299
 300   AppendPadding(RecordSize - NextFieldOffsetInChars);
 301 }
 302
 303 void ConstStructBuilder::ConvertStructToPacked() {
 304   std::vector<llvm::Constant *> PackedElements;
 305   CharUnits ElementOffsetInChars = CharUnits::Zero();
 306
 307   for (unsigned i = 0, e = Elements.size(); i != e; ++i) {
 308     llvm::Constant *C = Elements[i];
 309
 310     CharUnits ElementAlign = CharUnits::fromQuantity(
 311       CGM.getTargetData().getABITypeAlignment(C->getType()));
 312     CharUnits AlignedElementOffsetInChars =
 313       ElementOffsetInChars.RoundUpToAlignment(ElementAlign);
 314
 315     if (AlignedElementOffsetInChars > ElementOffsetInChars) {
 316       // We need some padding.
 317       CharUnits NumChars =
 318         AlignedElementOffsetInChars - ElementOffsetInChars;
 319
 320       const llvm::Type *Ty = llvm::Type::getInt8Ty(CGM.getLLVMContext());
 321       if (NumChars > CharUnits::One())
 322         Ty = llvm::ArrayType::get(Ty, NumChars.getQuantity());
 323
 324       llvm::Constant *Padding = llvm::UndefValue::get(Ty);
 325       PackedElements.push_back(Padding);
 326       ElementOffsetInChars += getSizeInChars(Padding);
 327     }
 328
 329     PackedElements.push_back(C);
 330     ElementOffsetInChars += getSizeInChars(C);
 331   }
 332
 333   assert(ElementOffsetInChars == NextFieldOffsetInChars &&
 334          "Packing the struct changed its size!");
 335
 336   Elements = PackedElements;
 337   LLVMStructAlignment = CharUnits::One();
 338   Packed = true;
 339 }
 340
 341 bool ConstStructBuilder::Build(InitListExpr *ILE) {
 342   RecordDecl *RD = ILE->getType()->getAs<RecordType>()->getDecl();
 343   const ASTRecordLayout &Layout = CGM.getContext().getASTRecordLayout(RD);
 344
 345   unsigned FieldNo = 0;
 346   unsigned ElementNo = 0;
 347   const FieldDecl *LastFD = 0;
 348   bool IsMsStruct = RD->hasAttr<MsStructAttr>();
 349
 350   for (RecordDecl::field_iterator Field = RD->field_begin(),
 351        FieldEnd = RD->field_end(); Field != FieldEnd; ++Field, ++FieldNo) {
 352     if (IsMsStruct) {
 353       // Zero-length bitfields following non-bitfield members are
 354       // ignored:
 355       if (CGM.getContext().ZeroBitfieldFollowsNonBitfield((*Field), LastFD) ||
 356           CGM.getContext().ZeroBitfieldFollowsBitfield((*Field), LastFD)) {
 357         --FieldNo;
 358         continue;
 359       }
 360       LastFD = (*Field);
 361     }
 362
 363     // If this is a union, skip all the fields that aren't being initialized.
 364     if (RD->isUnion() && ILE->getInitializedFieldInUnion() != *Field)
 365       continue;
 366
 367     // Don't emit anonymous bitfields, they just affect layout.
 368     if (Field->isBitField() && !Field->getIdentifier()) {
 369       LastFD = (*Field);
 370       continue;
 371     }
 372
 373     // Get the initializer.  A struct can include fields without initializers,
 374     // we just use explicit null values for them.
 375     llvm::Constant *EltInit;
 376     if (ElementNo < ILE->getNumInits())
 377       EltInit = CGM.EmitConstantExpr(ILE->getInit(ElementNo++),
 378                                      Field->getType(), CGF);
 379     else
 380       EltInit = CGM.EmitNullConstant(Field->getType());
 381
 382     if (!EltInit)
 383       return false;
 384
 385     if (!Field->isBitField()) {
 386       // Handle non-bitfield members.
 387       if (!AppendField(*Field, Layout.getFieldOffset(FieldNo), EltInit))
 388         return false;
 389     } else {
 390       // Otherwise we have a bitfield.
 391       AppendBitField(*Field, Layout.getFieldOffset(FieldNo),
 392                      cast<llvm::ConstantInt>(EltInit));
 393     }
 394   }
 395
 396   CharUnits LayoutSizeInChars = Layout.getSize();
 397
 398   if (NextFieldOffsetInChars > LayoutSizeInChars) {
 399     // If the struct is bigger than the size of the record type,
 400     // we must have a flexible array member at the end.
 401     assert(RD->hasFlexibleArrayMember() &&
 402            "Must have flexible array member if struct is bigger than type!");
 403
 404     // No tail padding is necessary.
 405     return true;
 406   }
 407
 408   CharUnits LLVMSizeInChars =
 409     NextFieldOffsetInChars.RoundUpToAlignment(LLVMStructAlignment);
 410
 411   // Check if we need to convert the struct to a packed struct.
 412   if (NextFieldOffsetInChars <= LayoutSizeInChars &&
 413       LLVMSizeInChars > LayoutSizeInChars) {
 414     assert(!Packed && "Size mismatch!");
 415
 416     ConvertStructToPacked();
 417     assert(NextFieldOffsetInChars <= LayoutSizeInChars &&
 418            "Converting to packed did not help!");
 419   }
 420
 421   // Append tail padding if necessary.
 422   AppendTailPadding(LayoutSizeInChars);
 423
 424   assert(LayoutSizeInChars == NextFieldOffsetInChars &&
 425          "Tail padding mismatch!");
 426
 427   return true;
 428 }
 429
 430 llvm::Constant *ConstStructBuilder::
 431   BuildStruct(CodeGenModule &CGM, CodeGenFunction *CGF, InitListExpr *ILE) {
 432   ConstStructBuilder Builder(CGM, CGF);
 433
 434   if (!Builder.Build(ILE))
 435     return 0;
 436
 437   llvm::Constant *Result =
 438   llvm::ConstantStruct::get(CGM.getLLVMContext(),
 439                             Builder.Elements, Builder.Packed);
 440
 441   assert(Builder.NextFieldOffsetInChars.RoundUpToAlignment(
 442            Builder.getAlignment(Result)) ==
 443          Builder.getSizeInChars(Result) && "Size mismatch!");
 444
 445   return Result;
 446 }
 447
 448
 449 //===----------------------------------------------------------------------===//
 450 //                             ConstExprEmitter
 451 //===----------------------------------------------------------------------===//
 452
 453 class ConstExprEmitter :
 454   public StmtVisitor<ConstExprEmitter, llvm::Constant*> {
 455   CodeGenModule &CGM;
 456   CodeGenFunction *CGF;
 457   llvm::LLVMContext &VMContext;
 458 public:
 459   ConstExprEmitter(CodeGenModule &cgm, CodeGenFunction *cgf)
 460     : CGM(cgm), CGF(cgf), VMContext(cgm.getLLVMContext()) {
 461   }
 462
 463   //===--------------------------------------------------------------------===//
 464   //                            Visitor Methods
 465   //===--------------------------------------------------------------------===//
 466
 467   llvm::Constant *VisitStmt(Stmt *S) {
 468     return 0;
 469   }
 470
 471   llvm::Constant *VisitParenExpr(ParenExpr *PE) {
 472     return Visit(PE->getSubExpr());
 473   }
 474
 475   llvm::Constant *VisitGenericSelectionExpr(GenericSelectionExpr *GE) {
 476     return Visit(GE->getResultExpr());
 477   }
 478
 479   llvm::Constant *VisitCompoundLiteralExpr(CompoundLiteralExpr *E) {
 480     return Visit(E->getInitializer());
 481   }
 482
 483   llvm::Constant *VisitUnaryAddrOf(UnaryOperator *E) {
 484     if (E->getType()->isMemberPointerType())
 485       return CGM.getMemberPointerConstant(E);
 486
 487     return 0;
 488   }
 489
 490   llvm::Constant *VisitBinSub(BinaryOperator *E) {
 491     // This must be a pointer/pointer subtraction.  This only happens for
 492     // address of label.
 493     if (!isa<AddrLabelExpr>(E->getLHS()->IgnoreParenNoopCasts(CGM.getContext())) ||
 494        !isa<AddrLabelExpr>(E->getRHS()->IgnoreParenNoopCasts(CGM.getContext())))
 495       return 0;
 496
 497     llvm::Constant *LHS = CGM.EmitConstantExpr(E->getLHS(),
 498                                                E->getLHS()->getType(), CGF);
 499     llvm::Constant *RHS = CGM.EmitConstantExpr(E->getRHS(),
 500                                                E->getRHS()->getType(), CGF);
 501
 502     const llvm::Type *ResultType = ConvertType(E->getType());
 503     LHS = llvm::ConstantExpr::getPtrToInt(LHS, ResultType);
 504     RHS = llvm::ConstantExpr::getPtrToInt(RHS, ResultType);
 505
 506     // No need to divide by element size, since addr of label is always void*,
 507     // which has size 1 in GNUish.
 508     return llvm::ConstantExpr::getSub(LHS, RHS);
 509   }
 510
 511   llvm::Constant *VisitCastExpr(CastExpr* E) {
 512     Expr *subExpr = E->getSubExpr();
 513     llvm::Constant *C = CGM.EmitConstantExpr(subExpr, subExpr->getType(), CGF);
 514     if (!C) return 0;
 515
 516     const llvm::Type *destType = ConvertType(E->getType());
 517
 518     switch (E->getCastKind()) {
 519     case CK_ToUnion: {
 520       // GCC cast to union extension
 521       assert(E->getType()->isUnionType() &&
 522              "Destination type is not union type!");
 523
 524       // Build a struct with the union sub-element as the first member,
 525       // and padded to the appropriate size
 526       std::vector<llvm::Constant*> Elts;
 527       std::vector<const llvm::Type*> Types;
 528       Elts.push_back(C);
 529       Types.push_back(C->getType());
 530       unsigned CurSize = CGM.getTargetData().getTypeAllocSize(C->getType());
 531       unsigned TotalSize = CGM.getTargetData().getTypeAllocSize(destType);
 532
 533       assert(CurSize <= TotalSize && "Union size mismatch!");
 534       if (unsigned NumPadBytes = TotalSize - CurSize) {
 535         const llvm::Type *Ty = llvm::Type::getInt8Ty(VMContext);
 536         if (NumPadBytes > 1)
 537           Ty = llvm::ArrayType::get(Ty, NumPadBytes);
 538
 539         Elts.push_back(llvm::UndefValue::get(Ty));
 540         Types.push_back(Ty);
 541       }
 542
 543       llvm::StructType* STy =
 544         llvm::StructType::get(C->getType()->getContext(), Types, false);
 545       return llvm::ConstantStruct::get(STy, Elts);
 546     }
 547     case CK_NullToMemberPointer: {
 548       const MemberPointerType *MPT = E->getType()->getAs<MemberPointerType>();
 549       return CGM.getCXXABI().EmitNullMemberPointer(MPT);
 550     }
 551
 552     case CK_DerivedToBaseMemberPointer:
 553     case CK_BaseToDerivedMemberPointer:
 554       return CGM.getCXXABI().EmitMemberPointerConversion(C, E);
 555
 556     case CK_LValueToRValue:
 557     case CK_NoOp:
 558       return C;
 559
 560     case CK_AnyPointerToObjCPointerCast:
 561     case CK_AnyPointerToBlockPointerCast:
 562     case CK_LValueBitCast:
 563     case CK_BitCast:
 564       if (C->getType() == destType) return C;
 565       return llvm::ConstantExpr::getBitCast(C, destType);
 566
 567     case CK_Dependent: llvm_unreachable("saw dependent cast!");
 568
 569     // These will never be supported.
 570     case CK_ObjCObjectLValueCast:
 571     case CK_GetObjCProperty:
 572     case CK_ToVoid:
 573     case CK_Dynamic:
 574       return 0;
 575
 576     // These might need to be supported for constexpr.
 577     case CK_UserDefinedConversion:
 578     case CK_ConstructorConversion:
 579       return 0;
 580
 581     // These should eventually be supported.
 582     case CK_ArrayToPointerDecay:
 583     case CK_FunctionToPointerDecay:
 584     case CK_BaseToDerived:
 585     case CK_DerivedToBase:
 586     case CK_UncheckedDerivedToBase:
 587     case CK_MemberPointerToBoolean:
 588     case CK_VectorSplat:
 589     case CK_FloatingRealToComplex:
 590     case CK_FloatingComplexToReal:
 591     case CK_FloatingComplexToBoolean:
 592     case CK_FloatingComplexCast:
 593     case CK_FloatingComplexToIntegralComplex:
 594     case CK_IntegralRealToComplex:
 595     case CK_IntegralComplexToReal:
 596     case CK_IntegralComplexToBoolean:
 597     case CK_IntegralComplexCast:
 598     case CK_IntegralComplexToFloatingComplex:
 599       return 0;
 600
 601     case CK_PointerToIntegral:
 602       if (!E->getType()->isBooleanType())
 603         return llvm::ConstantExpr::getPtrToInt(C, destType);
 604       // fallthrough
 605
 606     case CK_PointerToBoolean:
 607       return llvm::ConstantExpr::getICmp(llvm::CmpInst::ICMP_EQ, C,
 608         llvm::ConstantPointerNull::get(cast<llvm::PointerType>(C->getType())));
 609
 610     case CK_NullToPointer:
 611       return llvm::ConstantPointerNull::get(cast<llvm::PointerType>(destType));
 612
 613     case CK_IntegralCast: {
 614       bool isSigned = subExpr->getType()->isSignedIntegerType();
 615       return llvm::ConstantExpr::getIntegerCast(C, destType, isSigned);
 616     }
 617
 618     case CK_IntegralToPointer: {
 619       bool isSigned = subExpr->getType()->isSignedIntegerType();
 620       C = llvm::ConstantExpr::getIntegerCast(C, CGM.IntPtrTy, isSigned);
 621       return llvm::ConstantExpr::getIntToPtr(C, destType);
 622     }
 623
 624     case CK_IntegralToBoolean:
 625       return llvm::ConstantExpr::getICmp(llvm::CmpInst::ICMP_EQ, C,
 626                              llvm::Constant::getNullValue(C->getType()));
 627
 628     case CK_IntegralToFloating:
 629       if (subExpr->getType()->isSignedIntegerType())
 630         return llvm::ConstantExpr::getSIToFP(C, destType);
 631       else
 632         return llvm::ConstantExpr::getUIToFP(C, destType);
 633
 634     case CK_FloatingToIntegral:
 635       if (E->getType()->isSignedIntegerType())
 636         return llvm::ConstantExpr::getFPToSI(C, destType);
 637       else
 638         return llvm::ConstantExpr::getFPToUI(C, destType);
 639
 640     case CK_FloatingToBoolean:
 641       return llvm::ConstantExpr::getFCmp(llvm::CmpInst::FCMP_UNE, C,
 642                              llvm::Constant::getNullValue(C->getType()));
 643
 644     case CK_FloatingCast:
 645       return llvm::ConstantExpr::getFPCast(C, destType);
 646     }
 647     llvm_unreachable("Invalid CastKind");
 648   }
 649
 650   llvm::Constant *VisitCXXDefaultArgExpr(CXXDefaultArgExpr *DAE) {
 651     return Visit(DAE->getExpr());
 652   }
 653
 654   llvm::Constant *EmitArrayInitialization(InitListExpr *ILE) {
 655     unsigned NumInitElements = ILE->getNumInits();
 656     if (NumInitElements == 1 && ILE->getType() == ILE->getInit(0)->getType() &&
 657         (isa<StringLiteral>(ILE->getInit(0)) ||
 658          isa<ObjCEncodeExpr>(ILE->getInit(0))))
 659       return Visit(ILE->getInit(0));
 660
 661     std::vector<llvm::Constant*> Elts;
 662     const llvm::ArrayType *AType =
 663         cast<llvm::ArrayType>(ConvertType(ILE->getType()));
 664     const llvm::Type *ElemTy = AType->getElementType();
 665     unsigned NumElements = AType->getNumElements();
 666
 667     // Initialising an array requires us to automatically
 668     // initialise any elements that have not been initialised explicitly
 669     unsigned NumInitableElts = std::min(NumInitElements, NumElements);
 670
 671     // Copy initializer elements.
 672     unsigned i = 0;
 673     bool RewriteType = false;
 674     for (; i < NumInitableElts; ++i) {
 675       Expr *Init = ILE->getInit(i);
 676       llvm::Constant *C = CGM.EmitConstantExpr(Init, Init->getType(), CGF);
 677       if (!C)
 678         return 0;
 679       RewriteType |= (C->getType() != ElemTy);
 680       Elts.push_back(C);
 681     }
 682
 683     // Initialize remaining array elements.
 684     // FIXME: This doesn't handle member pointers correctly!
 685     llvm::Constant *fillC;
 686     if (Expr *filler = ILE->getArrayFiller())
 687       fillC = CGM.EmitConstantExpr(filler, filler->getType(), CGF);
 688     else
 689       fillC = llvm::Constant::getNullValue(ElemTy);
 690     if (!fillC)
 691       return 0;
 692     RewriteType |= (fillC->getType() != ElemTy);
 693     for (; i < NumElements; ++i)
 694       Elts.push_back(fillC);
 695
 696     if (RewriteType) {
 697       // FIXME: Try to avoid packing the array
 698       std::vector<const llvm::Type*> Types;
 699       for (unsigned i = 0; i < Elts.size(); ++i)
 700         Types.push_back(Elts[i]->getType());
 701       const llvm::StructType *SType = llvm::StructType::get(AType->getContext(),
 702                                                             Types, true);
 703       return llvm::ConstantStruct::get(SType, Elts);
 704     }
 705
 706     return llvm::ConstantArray::get(AType, Elts);
 707   }
 708
 709   llvm::Constant *EmitStructInitialization(InitListExpr *ILE) {
 710     return ConstStructBuilder::BuildStruct(CGM, CGF, ILE);
 711   }
 712
 713   llvm::Constant *EmitUnionInitialization(InitListExpr *ILE) {
 714     return ConstStructBuilder::BuildStruct(CGM, CGF, ILE);
 715   }
 716
 717   llvm::Constant *VisitImplicitValueInitExpr(ImplicitValueInitExpr* E) {
 718     return CGM.EmitNullConstant(E->getType());
 719   }
 720
 721   llvm::Constant *VisitInitListExpr(InitListExpr *ILE) {
 722     if (ILE->getType()->isScalarType()) {
 723       // We have a scalar in braces. Just use the first element.
 724       if (ILE->getNumInits() > 0) {
 725         Expr *Init = ILE->getInit(0);
 726         return CGM.EmitConstantExpr(Init, Init->getType(), CGF);
 727       }
 728       return CGM.EmitNullConstant(ILE->getType());
 729     }
 730
 731     if (ILE->getType()->isArrayType())
 732       return EmitArrayInitialization(ILE);
 733
 734     if (ILE->getType()->isRecordType())
 735       return EmitStructInitialization(ILE);
 736
 737     if (ILE->getType()->isUnionType())
 738       return EmitUnionInitialization(ILE);
 739
 740     // If ILE was a constant vector, we would have handled it already.
 741     if (ILE->getType()->isVectorType())
 742       return 0;
 743
 744     assert(0 && "Unable to handle InitListExpr");
 745     // Get rid of control reaches end of void function warning.
 746     // Not reached.
 747     return 0;
 748   }
 749
 750   llvm::Constant *VisitCXXConstructExpr(CXXConstructExpr *E) {
 751     if (!E->getConstructor()->isTrivial())
 752       return 0;
 753
 754     QualType Ty = E->getType();
 755
 756     // FIXME: We should not have to call getBaseElementType here.
 757     const RecordType *RT =
 758       CGM.getContext().getBaseElementType(Ty)->getAs<RecordType>();
 759     const CXXRecordDecl *RD = cast<CXXRecordDecl>(RT->getDecl());
 760
 761     // If the class doesn't have a trivial destructor, we can't emit it as a
 762     // constant expr.
 763     if (!RD->hasTrivialDestructor())
 764       return 0;
 765
 766     // Only copy and default constructors can be trivial.
 767
 768
 769     if (E->getNumArgs()) {
 770       assert(E->getNumArgs() == 1 && "trivial ctor with > 1 argument");
 771       assert(E->getConstructor()->isCopyConstructor() &&
 772              "trivial ctor has argument but isn't a copy ctor");
 773
 774       Expr *Arg = E->getArg(0);
 775       assert(CGM.getContext().hasSameUnqualifiedType(Ty, Arg->getType()) &&
 776              "argument to copy ctor is of wrong type");
 777
 778       return Visit(Arg);
 779     }
 780
 781     return CGM.EmitNullConstant(Ty);
 782   }
 783
 784   llvm::Constant *VisitStringLiteral(StringLiteral *E) {
 785     assert(!E->getType()->isPointerType() && "Strings are always arrays");
 786
 787     // This must be a string initializing an array in a static initializer.
 788     // Don't emit it as the address of the string, emit the string data itself
 789     // as an inline array.
 790     return llvm::ConstantArray::get(VMContext,
 791                                     CGM.GetStringForStringLiteral(E), false);
 792   }
 793
 794   llvm::Constant *VisitObjCEncodeExpr(ObjCEncodeExpr *E) {
 795     // This must be an @encode initializing an array in a static initializer.
 796     // Don't emit it as the address of the string, emit the string data itself
 797     // as an inline array.
 798     std::string Str;
 799     CGM.getContext().getObjCEncodingForType(E->getEncodedType(), Str);
 800     const ConstantArrayType *CAT = cast<ConstantArrayType>(E->getType());
 801
 802     // Resize the string to the right size, adding zeros at the end, or
 803     // truncating as needed.
 804     Str.resize(CAT->getSize().getZExtValue(), '\0');
 805     return llvm::ConstantArray::get(VMContext, Str, false);
 806   }
 807
 808   llvm::Constant *VisitUnaryExtension(const UnaryOperator *E) {
 809     return Visit(E->getSubExpr());
 810   }
 811
 812   // Utility methods
 813   const llvm::Type *ConvertType(QualType T) {
 814     return CGM.getTypes().ConvertType(T);
 815   }
 816
 817 public:
 818   llvm::Constant *EmitLValue(Expr *E) {
 819     switch (E->getStmtClass()) {
 820     default: break;
 821     case Expr::CompoundLiteralExprClass: {
 822       // Note that due to the nature of compound literals, this is guaranteed
 823       // to be the only use of the variable, so we just generate it here.
 824       CompoundLiteralExpr *CLE = cast<CompoundLiteralExpr>(E);
 825       llvm::Constant* C = Visit(CLE->getInitializer());
 826       // FIXME: "Leaked" on failure.
 827       if (C)
 828         C = new llvm::GlobalVariable(CGM.getModule(), C->getType(),
 829                                      E->getType().isConstant(CGM.getContext()),
 830                                      llvm::GlobalValue::InternalLinkage,
 831                                      C, ".compoundliteral", 0, false,
 832                           CGM.getContext().getTargetAddressSpace(E->getType()));
 833       return C;
 834     }
 835     case Expr::DeclRefExprClass: {
 836       ValueDecl *Decl = cast<DeclRefExpr>(E)->getDecl();
 837       if (Decl->hasAttr<WeakRefAttr>())
 838         return CGM.GetWeakRefReference(Decl);
 839       if (const FunctionDecl *FD = dyn_cast<FunctionDecl>(Decl))
 840         return CGM.GetAddrOfFunction(FD);
 841       if (const VarDecl* VD = dyn_cast<VarDecl>(Decl)) {
 842         // We can never refer to a variable with local storage.
 843         if (!VD->hasLocalStorage()) {
 844           if (VD->isFileVarDecl() || VD->hasExternalStorage())
 845             return CGM.GetAddrOfGlobalVar(VD);
 846           else if (VD->isLocalVarDecl()) {
 847             assert(CGF && "Can't access static local vars without CGF");
 848             return CGF->GetAddrOfStaticLocalVar(VD);
 849           }
 850         }
 851       }
 852       break;
 853     }
 854     case Expr::StringLiteralClass:
 855       return CGM.GetAddrOfConstantStringFromLiteral(cast<StringLiteral>(E));
 856     case Expr::ObjCEncodeExprClass:
 857       return CGM.GetAddrOfConstantStringFromObjCEncode(cast<ObjCEncodeExpr>(E));
 858     case Expr::ObjCStringLiteralClass: {
 859       ObjCStringLiteral* SL = cast<ObjCStringLiteral>(E);
 860       llvm::Constant *C =
 861           CGM.getObjCRuntime().GenerateConstantString(SL->getString());
 862       return llvm::ConstantExpr::getBitCast(C, ConvertType(E->getType()));
 863     }
 864     case Expr::PredefinedExprClass: {
 865       unsigned Type = cast<PredefinedExpr>(E)->getIdentType();
 866       if (CGF) {
 867         LValue Res = CGF->EmitPredefinedLValue(cast<PredefinedExpr>(E));
 868         return cast<llvm::Constant>(Res.getAddress());
 869       } else if (Type == PredefinedExpr::PrettyFunction) {
 870         return CGM.GetAddrOfConstantCString("top level", ".tmp");
 871       }
 872
 873       return CGM.GetAddrOfConstantCString("", ".tmp");
 874     }
 875     case Expr::AddrLabelExprClass: {
 876       assert(CGF && "Invalid address of label expression outside function.");
 877       llvm::Constant *Ptr =
 878         CGF->GetAddrOfLabel(cast<AddrLabelExpr>(E)->getLabel());
 879       return llvm::ConstantExpr::getBitCast(Ptr, ConvertType(E->getType()));
 880     }
 881     case Expr::CallExprClass: {
 882       CallExpr* CE = cast<CallExpr>(E);
 883       unsigned builtin = CE->isBuiltinCall(CGM.getContext());
 884       if (builtin !=
 885             Builtin::BI__builtin___CFStringMakeConstantString &&
 886           builtin !=
 887             Builtin::BI__builtin___NSStringMakeConstantString)
 888         break;
 889       const Expr *Arg = CE->getArg(0)->IgnoreParenCasts();
 890       const StringLiteral *Literal = cast<StringLiteral>(Arg);
 891       if (builtin ==
 892             Builtin::BI__builtin___NSStringMakeConstantString) {
 893         return CGM.getObjCRuntime().GenerateConstantString(Literal);
 894       }
 895       // FIXME: need to deal with UCN conversion issues.
 896       return CGM.GetAddrOfConstantCFString(Literal);
 897     }
 898     case Expr::BlockExprClass: {
 899       std::string FunctionName;
 900       if (CGF)
 901         FunctionName = CGF->CurFn->getName();
 902       else
 903         FunctionName = "global";
 904
 905       return CGM.GetAddrOfGlobalBlock(cast<BlockExpr>(E), FunctionName.c_str());
 906     }
 907     }
 908
 909     return 0;
 910   }
 911 };
 912
 913 }  // end anonymous namespace.
 914
 915 llvm::Constant *CodeGenModule::EmitConstantExpr(const Expr *E,
 916                                                 QualType DestType,
 917                                                 CodeGenFunction *CGF) {
 918   Expr::EvalResult Result;
 919
 920   bool Success = false;
 921
 922   if (DestType->isReferenceType())
 923     Success = E->EvaluateAsLValue(Result, Context);
 924   else
 925     Success = E->Evaluate(Result, Context);
 926
 927   if (Success && !Result.HasSideEffects) {
 928     switch (Result.Val.getKind()) {
 929     case APValue::Uninitialized:
 930       assert(0 && "Constant expressions should be initialized.");
 931       return 0;
 932     case APValue::LValue: {
 933       const llvm::Type *DestTy = getTypes().ConvertTypeForMem(DestType);
 934       llvm::Constant *Offset =
 935         llvm::ConstantInt::get(llvm::Type::getInt64Ty(VMContext),
 936                                Result.Val.getLValueOffset().getQuantity());
 937
 938       llvm::Constant *C;
 939       if (const Expr *LVBase = Result.Val.getLValueBase()) {
 940         C = ConstExprEmitter(*this, CGF).EmitLValue(const_cast<Expr*>(LVBase));
 941
 942         // Apply offset if necessary.
 943         if (!Offset->isNullValue()) {
 944           const llvm::Type *Type = llvm::Type::getInt8PtrTy(VMContext);
 945           llvm::Constant *Casted = llvm::ConstantExpr::getBitCast(C, Type);
 946           Casted = llvm::ConstantExpr::getGetElementPtr(Casted, &Offset, 1);
 947           C = llvm::ConstantExpr::getBitCast(Casted, C->getType());
 948         }
 949
 950         // Convert to the appropriate type; this could be an lvalue for
 951         // an integer.
 952         if (isa<llvm::PointerType>(DestTy))
 953           return llvm::ConstantExpr::getBitCast(C, DestTy);
 954
 955         return llvm::ConstantExpr::getPtrToInt(C, DestTy);
 956       } else {
 957         C = Offset;
 958
 959         // Convert to the appropriate type; this could be an lvalue for
 960         // an integer.
 961         if (isa<llvm::PointerType>(DestTy))
 962           return llvm::ConstantExpr::getIntToPtr(C, DestTy);
 963
 964         // If the types don't match this should only be a truncate.
 965         if (C->getType() != DestTy)
 966           return llvm::ConstantExpr::getTrunc(C, DestTy);
 967
 968         return C;
 969       }
 970     }
 971     case APValue::Int: {
 972       llvm::Constant *C = llvm::ConstantInt::get(VMContext,
 973                                                  Result.Val.getInt());
 974
 975       if (C->getType()->isIntegerTy(1)) {
 976         const llvm::Type *BoolTy = getTypes().ConvertTypeForMem(E->getType());
 977         C = llvm::ConstantExpr::getZExt(C, BoolTy);
 978       }
 979       return C;
 980     }
 981     case APValue::ComplexInt: {
 982       llvm::Constant *Complex[2];
 983
 984       Complex[0] = llvm::ConstantInt::get(VMContext,
 985                                           Result.Val.getComplexIntReal());
 986       Complex[1] = llvm::ConstantInt::get(VMContext,
 987                                           Result.Val.getComplexIntImag());
 988
 989       // FIXME: the target may want to specify that this is packed.
 990       return llvm::ConstantStruct::get(VMContext, Complex, 2, false);
 991     }
 992     case APValue::Float:
 993       return llvm::ConstantFP::get(VMContext, Result.Val.getFloat());
 994     case APValue::ComplexFloat: {
 995       llvm::Constant *Complex[2];
 996
 997       Complex[0] = llvm::ConstantFP::get(VMContext,
 998                                          Result.Val.getComplexFloatReal());
 999       Complex[1] = llvm::ConstantFP::get(VMContext,
1000                                          Result.Val.getComplexFloatImag());
1001
1002       // FIXME: the target may want to specify that this is packed.
1003       return llvm::ConstantStruct::get(VMContext, Complex, 2, false);
1004     }
1005     case APValue::Vector: {
1006       llvm::SmallVector<llvm::Constant *, 4> Inits;
1007       unsigned NumElts = Result.Val.getVectorLength();
1008
1009       if (Context.getLangOptions().AltiVec &&
1010           isa<CastExpr>(E) &&
1011           cast<CastExpr>(E)->getCastKind() == CK_VectorSplat) {
1012         // AltiVec vector initialization with a single literal
1013         APValue &Elt = Result.Val.getVectorElt(0);
1014
1015         llvm::Constant* InitValue = Elt.isInt()
1016           ? cast<llvm::Constant>
1017               (llvm::ConstantInt::get(VMContext, Elt.getInt()))
1018           : cast<llvm::Constant>
1019               (llvm::ConstantFP::get(VMContext, Elt.getFloat()));
1020
1021         for (unsigned i = 0; i != NumElts; ++i)
1022           Inits.push_back(InitValue);
1023
1024       } else {
1025         for (unsigned i = 0; i != NumElts; ++i) {
1026           APValue &Elt = Result.Val.getVectorElt(i);
1027           if (Elt.isInt())
1028             Inits.push_back(llvm::ConstantInt::get(VMContext, Elt.getInt()));
1029           else
1030             Inits.push_back(llvm::ConstantFP::get(VMContext, Elt.getFloat()));
1031         }
1032       }
1033       return llvm::ConstantVector::get(Inits);
1034     }
1035     }
1036   }
1037
1038   llvm::Constant* C = ConstExprEmitter(*this, CGF).Visit(const_cast<Expr*>(E));
1039   if (C && C->getType()->isIntegerTy(1)) {
1040     const llvm::Type *BoolTy = getTypes().ConvertTypeForMem(E->getType());
1041     C = llvm::ConstantExpr::getZExt(C, BoolTy);
1042   }
1043   return C;
1044 }
1045
1046 static uint64_t getFieldOffset(ASTContext &C, const FieldDecl *field) {
1047   const ASTRecordLayout &layout = C.getASTRecordLayout(field->getParent());
1048   return layout.getFieldOffset(field->getFieldIndex());
1049 }
1050
1051 llvm::Constant *
1052 CodeGenModule::getMemberPointerConstant(const UnaryOperator *uo) {
1053   // Member pointer constants always have a very particular form.
1054   const MemberPointerType *type = cast<MemberPointerType>(uo->getType());
1055   const ValueDecl *decl = cast<DeclRefExpr>(uo->getSubExpr())->getDecl();
1056
1057   // A member function pointer.
1058   if (const CXXMethodDecl *method = dyn_cast<CXXMethodDecl>(decl))
1059     return getCXXABI().EmitMemberPointer(method);
1060
1061   // Otherwise, a member data pointer.
1062   uint64_t fieldOffset;
1063   if (const FieldDecl *field = dyn_cast<FieldDecl>(decl))
1064     fieldOffset = getFieldOffset(getContext(), field);
1065   else {
1066     const IndirectFieldDecl *ifield = cast<IndirectFieldDecl>(decl);
1067
1068     fieldOffset = 0;
1069     for (IndirectFieldDecl::chain_iterator ci = ifield->chain_begin(),
1070            ce = ifield->chain_end(); ci != ce; ++ci)
1071       fieldOffset += getFieldOffset(getContext(), cast<FieldDecl>(*ci));
1072   }
1073
1074   CharUnits chars = getContext().toCharUnitsFromBits((int64_t) fieldOffset);
1075   return getCXXABI().EmitMemberDataPointer(type, chars);
1076 }
1077
1078 static void
1079 FillInNullDataMemberPointers(CodeGenModule &CGM, QualType T,
1080                              std::vector<llvm::Constant *> &Elements,
1081                              uint64_t StartOffset) {
1082   assert(StartOffset % CGM.getContext().getCharWidth() == 0 &&
1083          "StartOffset not byte aligned!");
1084
1085   if (CGM.getTypes().isZeroInitializable(T))
1086     return;
1087
1088   if (const ConstantArrayType *CAT =
1089         CGM.getContext().getAsConstantArrayType(T)) {
1090     QualType ElementTy = CAT->getElementType();
1091     uint64_t ElementSize = CGM.getContext().getTypeSize(ElementTy);
1092
1093     for (uint64_t I = 0, E = CAT->getSize().getZExtValue(); I != E; ++I) {
1094       FillInNullDataMemberPointers(CGM, ElementTy, Elements,
1095                                    StartOffset + I * ElementSize);
1096     }
1097   } else if (const RecordType *RT = T->getAs<RecordType>()) {
1098     const CXXRecordDecl *RD = cast<CXXRecordDecl>(RT->getDecl());
1099     const ASTRecordLayout &Layout = CGM.getContext().getASTRecordLayout(RD);
1100
1101     // Go through all bases and fill in any null pointer to data members.
1102     for (CXXRecordDecl::base_class_const_iterator I = RD->bases_begin(),
1103          E = RD->bases_end(); I != E; ++I) {
1104       if (I->isVirtual()) {
1105         // Ignore virtual bases.
1106         continue;
1107       }
1108
1109       const CXXRecordDecl *BaseDecl =
1110       cast<CXXRecordDecl>(I->getType()->getAs<RecordType>()->getDecl());
1111
1112       // Ignore empty bases.
1113       if (BaseDecl->isEmpty())
1114         continue;
1115
1116       // Ignore bases that don't have any pointer to data members.
1117       if (CGM.getTypes().isZeroInitializable(BaseDecl))
1118         continue;
1119
1120       uint64_t BaseOffset = Layout.getBaseClassOffsetInBits(BaseDecl);
1121       FillInNullDataMemberPointers(CGM, I->getType(),
1122                                    Elements, StartOffset + BaseOffset);
1123     }
1124
1125     // Visit all fields.
1126     unsigned FieldNo = 0;
1127     for (RecordDecl::field_iterator I = RD->field_begin(),
1128          E = RD->field_end(); I != E; ++I, ++FieldNo) {
1129       QualType FieldType = I->getType();
1130
1131       if (CGM.getTypes().isZeroInitializable(FieldType))
1132         continue;
1133
1134       uint64_t FieldOffset = StartOffset + Layout.getFieldOffset(FieldNo);
1135       FillInNullDataMemberPointers(CGM, FieldType, Elements, FieldOffset);
1136     }
1137   } else {
1138     assert(T->isMemberPointerType() && "Should only see member pointers here!");
1139     assert(!T->getAs<MemberPointerType>()->getPointeeType()->isFunctionType() &&
1140            "Should only see pointers to data members here!");
1141
1142     CharUnits StartIndex = CGM.getContext().toCharUnitsFromBits(StartOffset);
1143     CharUnits EndIndex = StartIndex + CGM.getContext().getTypeSizeInChars(T);
1144
1145     // FIXME: hardcodes Itanium member pointer representation!
1146     llvm::Constant *NegativeOne =
1147       llvm::ConstantInt::get(llvm::Type::getInt8Ty(CGM.getLLVMContext()),
1148                              -1ULL, /*isSigned*/true);
1149
1150     // Fill in the null data member pointer.
1151     for (CharUnits I = StartIndex; I != EndIndex; ++I)
1152       Elements[I.getQuantity()] = NegativeOne;
1153   }
1154 }
1155
1156 static llvm::Constant *EmitNullConstantForBase(CodeGenModule &CGM,
1157                                                const llvm::Type *baseType,
1158                                                const CXXRecordDecl *base);
1159
1160 static llvm::Constant *EmitNullConstant(CodeGenModule &CGM,
1161                                         const CXXRecordDecl *record,
1162                                         bool asCompleteObject) {
1163   const CGRecordLayout &layout = CGM.getTypes().getCGRecordLayout(record);
1164   const llvm::StructType *structure =
1165     (asCompleteObject ? layout.getLLVMType()
1166                       : layout.getBaseSubobjectLLVMType());
1167
1168   unsigned numElements = structure->getNumElements();
1169   std::vector<llvm::Constant *> elements(numElements);
1170
1171   // Fill in all the bases.
1172   for (CXXRecordDecl::base_class_const_iterator
1173          I = record->bases_begin(), E = record->bases_end(); I != E; ++I) {
1174     if (I->isVirtual()) {
1175       // Ignore virtual bases; if we're laying out for a complete
1176       // object, we'll lay these out later.
1177       continue;
1178     }
1179
1180     const CXXRecordDecl *base =
1181       cast<CXXRecordDecl>(I->getType()->castAs<RecordType>()->getDecl());
1182
1183     // Ignore empty bases.
1184     if (base->isEmpty())
1185       continue;
1186
1187     unsigned fieldIndex = layout.getNonVirtualBaseLLVMFieldNo(base);
1188     const llvm::Type *baseType = structure->getElementType(fieldIndex);
1189     elements[fieldIndex] = EmitNullConstantForBase(CGM, baseType, base);
1190   }
1191
1192   // Fill in all the fields.
1193   for (RecordDecl::field_iterator I = record->field_begin(),
1194          E = record->field_end(); I != E; ++I) {
1195     const FieldDecl *field = *I;
1196
1197     // Ignore bit fields.
1198     if (field->isBitField())
1199       continue;
1200
1201     unsigned fieldIndex = layout.getLLVMFieldNo(field);
1202     elements[fieldIndex] = CGM.EmitNullConstant(field->getType());
1203   }
1204
1205   // Fill in the virtual bases, if we're working with the complete object.
1206   if (asCompleteObject) {
1207     for (CXXRecordDecl::base_class_const_iterator
1208            I = record->vbases_begin(), E = record->vbases_end(); I != E; ++I) {
1209       const CXXRecordDecl *base =
1210         cast<CXXRecordDecl>(I->getType()->castAs<RecordType>()->getDecl());
1211
1212       // Ignore empty bases.
1213       if (base->isEmpty())
1214         continue;
1215
1216       unsigned fieldIndex = layout.getVirtualBaseIndex(base);
1217
1218       // We might have already laid this field out.
1219       if (elements[fieldIndex]) continue;
1220
1221       const llvm::Type *baseType = structure->getElementType(fieldIndex);
1222       elements[fieldIndex] = EmitNullConstantForBase(CGM, baseType, base);
1223     }
1224   }
1225
1226   // Now go through all other fields and zero them out.
1227   for (unsigned i = 0; i != numElements; ++i) {
1228     if (!elements[i])
1229       elements[i] = llvm::Constant::getNullValue(structure->getElementType(i));
1230   }
1231
1232   return llvm::ConstantStruct::get(structure, elements);
1233 }
1234
1235 /// Emit the null constant for a base subobject.
1236 static llvm::Constant *EmitNullConstantForBase(CodeGenModule &CGM,
1237                                                const llvm::Type *baseType,
1238                                                const CXXRecordDecl *base) {
1239   const CGRecordLayout &baseLayout = CGM.getTypes().getCGRecordLayout(base);
1240
1241   // Just zero out bases that don't have any pointer to data members.
1242   if (baseLayout.isZeroInitializableAsBase())
1243     return llvm::Constant::getNullValue(baseType);
1244
1245   // If the base type is a struct, we can just use its null constant.
1246   if (isa<llvm::StructType>(baseType)) {
1247     return EmitNullConstant(CGM, base, /*complete*/ false);
1248   }
1249
1250   // Otherwise, some bases are represented as arrays of i8 if the size
1251   // of the base is smaller than its corresponding LLVM type.  Figure
1252   // out how many elements this base array has.
1253   const llvm::ArrayType *baseArrayType = cast<llvm::ArrayType>(baseType);
1254   unsigned numBaseElements = baseArrayType->getNumElements();
1255
1256   // Fill in null data member pointers.
1257   std::vector<llvm::Constant *> baseElements(numBaseElements);
1258   FillInNullDataMemberPointers(CGM, CGM.getContext().getTypeDeclType(base),
1259                                baseElements, 0);
1260
1261   // Now go through all other elements and zero them out.
1262   if (numBaseElements) {
1263     const llvm::Type *i8 = llvm::Type::getInt8Ty(CGM.getLLVMContext());
1264     llvm::Constant *i8_zero = llvm::Constant::getNullValue(i8);
1265     for (unsigned i = 0; i != numBaseElements; ++i) {
1266       if (!baseElements[i])
1267         baseElements[i] = i8_zero;
1268     }
1269   }
1270
1271   return llvm::ConstantArray::get(baseArrayType, baseElements);
1272 }
1273
1274 llvm::Constant *CodeGenModule::EmitNullConstant(QualType T) {
1275   if (getTypes().isZeroInitializable(T))
1276     return llvm::Constant::getNullValue(getTypes().ConvertTypeForMem(T));
1277
1278   if (const ConstantArrayType *CAT = Context.getAsConstantArrayType(T)) {
1279
1280     QualType ElementTy = CAT->getElementType();
1281
1282     llvm::Constant *Element = EmitNullConstant(ElementTy);
1283     unsigned NumElements = CAT->getSize().getZExtValue();
1284     std::vector<llvm::Constant *> Array(NumElements);
1285     for (unsigned i = 0; i != NumElements; ++i)
1286       Array[i] = Element;
1287
1288     const llvm::ArrayType *ATy =
1289       cast<llvm::ArrayType>(getTypes().ConvertTypeForMem(T));
1290     return llvm::ConstantArray::get(ATy, Array);
1291   }
1292
1293   if (const RecordType *RT = T->getAs<RecordType>()) {
1294     const CXXRecordDecl *RD = cast<CXXRecordDecl>(RT->getDecl());
1295     return ::EmitNullConstant(*this, RD, /*complete object*/ true);
1296   }
1297
1298   assert(T->isMemberPointerType() && "Should only see member pointers here!");
1299   assert(!T->getAs<MemberPointerType>()->getPointeeType()->isFunctionType() &&
1300          "Should only see pointers to data members here!");
1301
1302   // Itanium C++ ABI 2.3:
1303   //   A NULL pointer is represented as -1.
1304   return getCXXABI().EmitNullMemberPointer(T->castAs<MemberPointerType>());
1305 }