lib/Analysis/TargetTransformInfo.cpp

   1 //===- llvm/Analysis/TargetTransformInfo.cpp ------------------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9
  10 #include "llvm/Analysis/TargetTransformInfo.h"
  11 #include "llvm/Analysis/TargetTransformInfoImpl.h"
  12 #include "llvm/IR/CallSite.h"
  13 #include "llvm/IR/DataLayout.h"
  14 #include "llvm/IR/Instruction.h"
  15 #include "llvm/IR/Instructions.h"
  16 #include "llvm/IR/IntrinsicInst.h"
  17 #include "llvm/IR/Module.h"
  18 #include "llvm/IR/Operator.h"
  19 #include "llvm/Support/ErrorHandling.h"
  20 #include <utility>
  21
  22 using namespace llvm;
  23
  24 #define DEBUG_TYPE "tti"
  25
  26 namespace {
  27 /// \brief No-op implementation of the TTI interface using the utility base
  28 /// classes.
  29 ///
  30 /// This is used when no target specific information is available.
  31 struct NoTTIImpl : TargetTransformInfoImplCRTPBase<NoTTIImpl> {
  32   explicit NoTTIImpl(const DataLayout &DL)
  33       : TargetTransformInfoImplCRTPBase<NoTTIImpl>(DL) {}
  34 };
  35 }
  36
  37 TargetTransformInfo::TargetTransformInfo(const DataLayout &DL)
  38     : TTIImpl(new Model<NoTTIImpl>(NoTTIImpl(DL))) {}
  39
  40 TargetTransformInfo::~TargetTransformInfo() {}
  41
  42 TargetTransformInfo::TargetTransformInfo(TargetTransformInfo &&Arg)
  43     : TTIImpl(std::move(Arg.TTIImpl)) {}
  44
  45 TargetTransformInfo &TargetTransformInfo::operator=(TargetTransformInfo &&RHS) {
  46   TTIImpl = std::move(RHS.TTIImpl);
  47   return *this;
  48 }
  49
  50 int TargetTransformInfo::getOperationCost(unsigned Opcode, Type *Ty,
  51                                           Type *OpTy) const {
  52   int Cost = TTIImpl->getOperationCost(Opcode, Ty, OpTy);
  53   assert(Cost >= 0 && "TTI should not produce negative costs!");
  54   return Cost;
  55 }
  56
  57 int TargetTransformInfo::getCallCost(FunctionType *FTy, int NumArgs) const {
  58   int Cost = TTIImpl->getCallCost(FTy, NumArgs);
  59   assert(Cost >= 0 && "TTI should not produce negative costs!");
  60   return Cost;
  61 }
  62
  63 int TargetTransformInfo::getCallCost(const Function *F,
  64                                      ArrayRef<const Value *> Arguments) const {
  65   int Cost = TTIImpl->getCallCost(F, Arguments);
  66   assert(Cost >= 0 && "TTI should not produce negative costs!");
  67   return Cost;
  68 }
  69
  70 unsigned TargetTransformInfo::getInliningThresholdMultiplier() const {
  71   return TTIImpl->getInliningThresholdMultiplier();
  72 }
  73
  74 int TargetTransformInfo::getGEPCost(Type *PointeeType, const Value *Ptr,
  75                                     ArrayRef<const Value *> Operands) const {
  76   return TTIImpl->getGEPCost(PointeeType, Ptr, Operands);
  77 }
  78
  79 int TargetTransformInfo::getIntrinsicCost(
  80     Intrinsic::ID IID, Type *RetTy, ArrayRef<const Value *> Arguments) const {
  81   int Cost = TTIImpl->getIntrinsicCost(IID, RetTy, Arguments);
  82   assert(Cost >= 0 && "TTI should not produce negative costs!");
  83   return Cost;
  84 }
  85
  86 int TargetTransformInfo::getUserCost(const User *U) const {
  87   int Cost = TTIImpl->getUserCost(U);
  88   assert(Cost >= 0 && "TTI should not produce negative costs!");
  89   return Cost;
  90 }
  91
  92 bool TargetTransformInfo::hasBranchDivergence() const {
  93   return TTIImpl->hasBranchDivergence();
  94 }
  95
  96 bool TargetTransformInfo::isSourceOfDivergence(const Value *V) const {
  97   return TTIImpl->isSourceOfDivergence(V);
  98 }
  99
 100 bool TargetTransformInfo::isLoweredToCall(const Function *F) const {
 101   return TTIImpl->isLoweredToCall(F);
 102 }
 103
 104 void TargetTransformInfo::getUnrollingPreferences(
 105     Loop *L, UnrollingPreferences &UP) const {
 106   return TTIImpl->getUnrollingPreferences(L, UP);
 107 }
 108
 109 bool TargetTransformInfo::isLegalAddImmediate(int64_t Imm) const {
 110   return TTIImpl->isLegalAddImmediate(Imm);
 111 }
 112
 113 bool TargetTransformInfo::isLegalICmpImmediate(int64_t Imm) const {
 114   return TTIImpl->isLegalICmpImmediate(Imm);
 115 }
 116
 117 bool TargetTransformInfo::isLegalAddressingMode(Type *Ty, GlobalValue *BaseGV,
 118                                                 int64_t BaseOffset,
 119                                                 bool HasBaseReg,
 120                                                 int64_t Scale,
 121                                                 unsigned AddrSpace) const {
 122   return TTIImpl->isLegalAddressingMode(Ty, BaseGV, BaseOffset, HasBaseReg,
 123                                         Scale, AddrSpace);
 124 }
 125
 126 bool TargetTransformInfo::isLegalMaskedStore(Type *DataType) const {
 127   return TTIImpl->isLegalMaskedStore(DataType);
 128 }
 129
 130 bool TargetTransformInfo::isLegalMaskedLoad(Type *DataType) const {
 131   return TTIImpl->isLegalMaskedLoad(DataType);
 132 }
 133
 134 bool TargetTransformInfo::isLegalMaskedGather(Type *DataType) const {
 135   return TTIImpl->isLegalMaskedGather(DataType);
 136 }
 137
 138 bool TargetTransformInfo::isLegalMaskedScatter(Type *DataType) const {
 139   return TTIImpl->isLegalMaskedGather(DataType);
 140 }
 141
 142 int TargetTransformInfo::getScalingFactorCost(Type *Ty, GlobalValue *BaseGV,
 143                                               int64_t BaseOffset,
 144                                               bool HasBaseReg,
 145                                               int64_t Scale,
 146                                               unsigned AddrSpace) const {
 147   int Cost = TTIImpl->getScalingFactorCost(Ty, BaseGV, BaseOffset, HasBaseReg,
 148                                            Scale, AddrSpace);
 149   assert(Cost >= 0 && "TTI should not produce negative costs!");
 150   return Cost;
 151 }
 152
 153 bool TargetTransformInfo::isFoldableMemAccessOffset(Instruction *I,
 154                                                     int64_t Offset) const {
 155   return TTIImpl->isFoldableMemAccessOffset(I, Offset);
 156 }
 157
 158 bool TargetTransformInfo::isTruncateFree(Type *Ty1, Type *Ty2) const {
 159   return TTIImpl->isTruncateFree(Ty1, Ty2);
 160 }
 161
 162 bool TargetTransformInfo::isProfitableToHoist(Instruction *I) const {
 163   return TTIImpl->isProfitableToHoist(I);
 164 }
 165
 166 bool TargetTransformInfo::isTypeLegal(Type *Ty) const {
 167   return TTIImpl->isTypeLegal(Ty);
 168 }
 169
 170 unsigned TargetTransformInfo::getJumpBufAlignment() const {
 171   return TTIImpl->getJumpBufAlignment();
 172 }
 173
 174 unsigned TargetTransformInfo::getJumpBufSize() const {
 175   return TTIImpl->getJumpBufSize();
 176 }
 177
 178 bool TargetTransformInfo::shouldBuildLookupTables() const {
 179   return TTIImpl->shouldBuildLookupTables();
 180 }
 181 bool TargetTransformInfo::shouldBuildLookupTablesForConstant(Constant *C) const {
 182   return TTIImpl->shouldBuildLookupTablesForConstant(C);
 183 }
 184
 185 bool TargetTransformInfo::enableAggressiveInterleaving(bool LoopHasReductions) const {
 186   return TTIImpl->enableAggressiveInterleaving(LoopHasReductions);
 187 }
 188
 189 bool TargetTransformInfo::enableInterleavedAccessVectorization() const {
 190   return TTIImpl->enableInterleavedAccessVectorization();
 191 }
 192
 193 bool TargetTransformInfo::isFPVectorizationPotentiallyUnsafe() const {
 194   return TTIImpl->isFPVectorizationPotentiallyUnsafe();
 195 }
 196
 197 bool TargetTransformInfo::allowsMisalignedMemoryAccesses(LLVMContext &Context,
 198                                                          unsigned BitWidth,
 199                                                          unsigned AddressSpace,
 200                                                          unsigned Alignment,
 201                                                          bool *Fast) const {
 202   return TTIImpl->allowsMisalignedMemoryAccesses(Context, BitWidth, AddressSpace,
 203                                                  Alignment, Fast);
 204 }
 205
 206 TargetTransformInfo::PopcntSupportKind
 207 TargetTransformInfo::getPopcntSupport(unsigned IntTyWidthInBit) const {
 208   return TTIImpl->getPopcntSupport(IntTyWidthInBit);
 209 }
 210
 211 bool TargetTransformInfo::haveFastSqrt(Type *Ty) const {
 212   return TTIImpl->haveFastSqrt(Ty);
 213 }
 214
 215 int TargetTransformInfo::getFPOpCost(Type *Ty) const {
 216   int Cost = TTIImpl->getFPOpCost(Ty);
 217   assert(Cost >= 0 && "TTI should not produce negative costs!");
 218   return Cost;
 219 }
 220
 221 int TargetTransformInfo::getIntImmCodeSizeCost(unsigned Opcode, unsigned Idx,
 222                                                const APInt &Imm,
 223                                                Type *Ty) const {
 224   int Cost = TTIImpl->getIntImmCodeSizeCost(Opcode, Idx, Imm, Ty);
 225   assert(Cost >= 0 && "TTI should not produce negative costs!");
 226   return Cost;
 227 }
 228
 229 int TargetTransformInfo::getIntImmCost(const APInt &Imm, Type *Ty) const {
 230   int Cost = TTIImpl->getIntImmCost(Imm, Ty);
 231   assert(Cost >= 0 && "TTI should not produce negative costs!");
 232   return Cost;
 233 }
 234
 235 int TargetTransformInfo::getIntImmCost(unsigned Opcode, unsigned Idx,
 236                                        const APInt &Imm, Type *Ty) const {
 237   int Cost = TTIImpl->getIntImmCost(Opcode, Idx, Imm, Ty);
 238   assert(Cost >= 0 && "TTI should not produce negative costs!");
 239   return Cost;
 240 }
 241
 242 int TargetTransformInfo::getIntImmCost(Intrinsic::ID IID, unsigned Idx,
 243                                        const APInt &Imm, Type *Ty) const {
 244   int Cost = TTIImpl->getIntImmCost(IID, Idx, Imm, Ty);
 245   assert(Cost >= 0 && "TTI should not produce negative costs!");
 246   return Cost;
 247 }
 248
 249 unsigned TargetTransformInfo::getNumberOfRegisters(bool Vector) const {
 250   return TTIImpl->getNumberOfRegisters(Vector);
 251 }
 252
 253 unsigned TargetTransformInfo::getRegisterBitWidth(bool Vector) const {
 254   return TTIImpl->getRegisterBitWidth(Vector);
 255 }
 256
 257 unsigned TargetTransformInfo::getCacheLineSize() const {
 258   return TTIImpl->getCacheLineSize();
 259 }
 260
 261 unsigned TargetTransformInfo::getPrefetchDistance() const {
 262   return TTIImpl->getPrefetchDistance();
 263 }
 264
 265 unsigned TargetTransformInfo::getMinPrefetchStride() const {
 266   return TTIImpl->getMinPrefetchStride();
 267 }
 268
 269 unsigned TargetTransformInfo::getMaxPrefetchIterationsAhead() const {
 270   return TTIImpl->getMaxPrefetchIterationsAhead();
 271 }
 272
 273 unsigned TargetTransformInfo::getMaxInterleaveFactor(unsigned VF) const {
 274   return TTIImpl->getMaxInterleaveFactor(VF);
 275 }
 276
 277 int TargetTransformInfo::getArithmeticInstrCost(
 278     unsigned Opcode, Type *Ty, OperandValueKind Opd1Info,
 279     OperandValueKind Opd2Info, OperandValueProperties Opd1PropInfo,
 280     OperandValueProperties Opd2PropInfo,
 281     ArrayRef<const Value *> Args) const {
 282   int Cost = TTIImpl->getArithmeticInstrCost(Opcode, Ty, Opd1Info, Opd2Info,
 283                                              Opd1PropInfo, Opd2PropInfo, Args);
 284   assert(Cost >= 0 && "TTI should not produce negative costs!");
 285   return Cost;
 286 }
 287
 288 int TargetTransformInfo::getShuffleCost(ShuffleKind Kind, Type *Ty, int Index,
 289                                         Type *SubTp) const {
 290   int Cost = TTIImpl->getShuffleCost(Kind, Ty, Index, SubTp);
 291   assert(Cost >= 0 && "TTI should not produce negative costs!");
 292   return Cost;
 293 }
 294
 295 int TargetTransformInfo::getCastInstrCost(unsigned Opcode, Type *Dst,
 296                                           Type *Src) const {
 297   int Cost = TTIImpl->getCastInstrCost(Opcode, Dst, Src);
 298   assert(Cost >= 0 && "TTI should not produce negative costs!");
 299   return Cost;
 300 }
 301
 302 int TargetTransformInfo::getExtractWithExtendCost(unsigned Opcode, Type *Dst,
 303                                                   VectorType *VecTy,
 304                                                   unsigned Index) const {
 305   int Cost = TTIImpl->getExtractWithExtendCost(Opcode, Dst, VecTy, Index);
 306   assert(Cost >= 0 && "TTI should not produce negative costs!");
 307   return Cost;
 308 }
 309
 310 int TargetTransformInfo::getCFInstrCost(unsigned Opcode) const {
 311   int Cost = TTIImpl->getCFInstrCost(Opcode);
 312   assert(Cost >= 0 && "TTI should not produce negative costs!");
 313   return Cost;
 314 }
 315
 316 int TargetTransformInfo::getCmpSelInstrCost(unsigned Opcode, Type *ValTy,
 317                                             Type *CondTy) const {
 318   int Cost = TTIImpl->getCmpSelInstrCost(Opcode, ValTy, CondTy);
 319   assert(Cost >= 0 && "TTI should not produce negative costs!");
 320   return Cost;
 321 }
 322
 323 int TargetTransformInfo::getVectorInstrCost(unsigned Opcode, Type *Val,
 324                                             unsigned Index) const {
 325   int Cost = TTIImpl->getVectorInstrCost(Opcode, Val, Index);
 326   assert(Cost >= 0 && "TTI should not produce negative costs!");
 327   return Cost;
 328 }
 329
 330 int TargetTransformInfo::getMemoryOpCost(unsigned Opcode, Type *Src,
 331                                          unsigned Alignment,
 332                                          unsigned AddressSpace) const {
 333   int Cost = TTIImpl->getMemoryOpCost(Opcode, Src, Alignment, AddressSpace);
 334   assert(Cost >= 0 && "TTI should not produce negative costs!");
 335   return Cost;
 336 }
 337
 338 int TargetTransformInfo::getMaskedMemoryOpCost(unsigned Opcode, Type *Src,
 339                                                unsigned Alignment,
 340                                                unsigned AddressSpace) const {
 341   int Cost =
 342       TTIImpl->getMaskedMemoryOpCost(Opcode, Src, Alignment, AddressSpace);
 343   assert(Cost >= 0 && "TTI should not produce negative costs!");
 344   return Cost;
 345 }
 346
 347 int TargetTransformInfo::getGatherScatterOpCost(unsigned Opcode, Type *DataTy,
 348                                                 Value *Ptr, bool VariableMask,
 349                                                 unsigned Alignment) const {
 350   int Cost = TTIImpl->getGatherScatterOpCost(Opcode, DataTy, Ptr, VariableMask,
 351                                              Alignment);
 352   assert(Cost >= 0 && "TTI should not produce negative costs!");
 353   return Cost;
 354 }
 355
 356 int TargetTransformInfo::getInterleavedMemoryOpCost(
 357     unsigned Opcode, Type *VecTy, unsigned Factor, ArrayRef<unsigned> Indices,
 358     unsigned Alignment, unsigned AddressSpace) const {
 359   int Cost = TTIImpl->getInterleavedMemoryOpCost(Opcode, VecTy, Factor, Indices,
 360                                                  Alignment, AddressSpace);
 361   assert(Cost >= 0 && "TTI should not produce negative costs!");
 362   return Cost;
 363 }
 364
 365 int TargetTransformInfo::getIntrinsicInstrCost(Intrinsic::ID ID, Type *RetTy,
 366                                                ArrayRef<Type *> Tys,
 367                                                FastMathFlags FMF) const {
 368   int Cost = TTIImpl->getIntrinsicInstrCost(ID, RetTy, Tys, FMF);
 369   assert(Cost >= 0 && "TTI should not produce negative costs!");
 370   return Cost;
 371 }
 372
 373 int TargetTransformInfo::getIntrinsicInstrCost(Intrinsic::ID ID, Type *RetTy,
 374                                                ArrayRef<Value *> Args,
 375                                                FastMathFlags FMF) const {
 376   int Cost = TTIImpl->getIntrinsicInstrCost(ID, RetTy, Args, FMF);
 377   assert(Cost >= 0 && "TTI should not produce negative costs!");
 378   return Cost;
 379 }
 380
 381 int TargetTransformInfo::getCallInstrCost(Function *F, Type *RetTy,
 382                                           ArrayRef<Type *> Tys) const {
 383   int Cost = TTIImpl->getCallInstrCost(F, RetTy, Tys);
 384   assert(Cost >= 0 && "TTI should not produce negative costs!");
 385   return Cost;
 386 }
 387
 388 unsigned TargetTransformInfo::getNumberOfParts(Type *Tp) const {
 389   return TTIImpl->getNumberOfParts(Tp);
 390 }
 391
 392 int TargetTransformInfo::getAddressComputationCost(Type *Tp,
 393                                                    ScalarEvolution *SE,
 394                                                    const SCEV *Ptr) const {
 395   int Cost = TTIImpl->getAddressComputationCost(Tp, SE, Ptr);
 396   assert(Cost >= 0 && "TTI should not produce negative costs!");
 397   return Cost;
 398 }
 399
 400 int TargetTransformInfo::getReductionCost(unsigned Opcode, Type *Ty,
 401                                           bool IsPairwiseForm) const {
 402   int Cost = TTIImpl->getReductionCost(Opcode, Ty, IsPairwiseForm);
 403   assert(Cost >= 0 && "TTI should not produce negative costs!");
 404   return Cost;
 405 }
 406
 407 unsigned
 408 TargetTransformInfo::getCostOfKeepingLiveOverCall(ArrayRef<Type *> Tys) const {
 409   return TTIImpl->getCostOfKeepingLiveOverCall(Tys);
 410 }
 411
 412 bool TargetTransformInfo::getTgtMemIntrinsic(IntrinsicInst *Inst,
 413                                              MemIntrinsicInfo &Info) const {
 414   return TTIImpl->getTgtMemIntrinsic(Inst, Info);
 415 }
 416
 417 Value *TargetTransformInfo::getOrCreateResultFromMemIntrinsic(
 418     IntrinsicInst *Inst, Type *ExpectedType) const {
 419   return TTIImpl->getOrCreateResultFromMemIntrinsic(Inst, ExpectedType);
 420 }
 421
 422 bool TargetTransformInfo::areInlineCompatible(const Function *Caller,
 423                                               const Function *Callee) const {
 424   return TTIImpl->areInlineCompatible(Caller, Callee);
 425 }
 426
 427 unsigned TargetTransformInfo::getLoadStoreVecRegBitWidth(unsigned AS) const {
 428   return TTIImpl->getLoadStoreVecRegBitWidth(AS);
 429 }
 430
 431 bool TargetTransformInfo::isLegalToVectorizeLoad(LoadInst *LI) const {
 432   return TTIImpl->isLegalToVectorizeLoad(LI);
 433 }
 434
 435 bool TargetTransformInfo::isLegalToVectorizeStore(StoreInst *SI) const {
 436   return TTIImpl->isLegalToVectorizeStore(SI);
 437 }
 438
 439 bool TargetTransformInfo::isLegalToVectorizeLoadChain(
 440     unsigned ChainSizeInBytes, unsigned Alignment, unsigned AddrSpace) const {
 441   return TTIImpl->isLegalToVectorizeLoadChain(ChainSizeInBytes, Alignment,
 442                                               AddrSpace);
 443 }
 444
 445 bool TargetTransformInfo::isLegalToVectorizeStoreChain(
 446     unsigned ChainSizeInBytes, unsigned Alignment, unsigned AddrSpace) const {
 447   return TTIImpl->isLegalToVectorizeStoreChain(ChainSizeInBytes, Alignment,
 448                                                AddrSpace);
 449 }
 450
 451 unsigned TargetTransformInfo::getLoadVectorFactor(unsigned VF,
 452                                                   unsigned LoadSize,
 453                                                   unsigned ChainSizeInBytes,
 454                                                   VectorType *VecTy) const {
 455   return TTIImpl->getLoadVectorFactor(VF, LoadSize, ChainSizeInBytes, VecTy);
 456 }
 457
 458 unsigned TargetTransformInfo::getStoreVectorFactor(unsigned VF,
 459                                                    unsigned StoreSize,
 460                                                    unsigned ChainSizeInBytes,
 461                                                    VectorType *VecTy) const {
 462   return TTIImpl->getStoreVectorFactor(VF, StoreSize, ChainSizeInBytes, VecTy);
 463 }
 464
 465 TargetTransformInfo::Concept::~Concept() {}
 466
 467 TargetIRAnalysis::TargetIRAnalysis() : TTICallback(&getDefaultTTI) {}
 468
 469 TargetIRAnalysis::TargetIRAnalysis(
 470     std::function<Result(const Function &)> TTICallback)
 471     : TTICallback(std::move(TTICallback)) {}
 472
 473 TargetIRAnalysis::Result TargetIRAnalysis::run(const Function &F,
 474                                                FunctionAnalysisManager &) {
 475   return TTICallback(F);
 476 }
 477
 478 AnalysisKey TargetIRAnalysis::Key;
 479
 480 TargetIRAnalysis::Result TargetIRAnalysis::getDefaultTTI(const Function &F) {
 481   return Result(F.getParent()->getDataLayout());
 482 }
 483
 484 // Register the basic pass.
 485 INITIALIZE_PASS(TargetTransformInfoWrapperPass, "tti",
 486                 "Target Transform Information", false, true)
 487 char TargetTransformInfoWrapperPass::ID = 0;
 488
 489 void TargetTransformInfoWrapperPass::anchor() {}
 490
 491 TargetTransformInfoWrapperPass::TargetTransformInfoWrapperPass()
 492     : ImmutablePass(ID) {
 493   initializeTargetTransformInfoWrapperPassPass(
 494       *PassRegistry::getPassRegistry());
 495 }
 496
 497 TargetTransformInfoWrapperPass::TargetTransformInfoWrapperPass(
 498     TargetIRAnalysis TIRA)
 499     : ImmutablePass(ID), TIRA(std::move(TIRA)) {
 500   initializeTargetTransformInfoWrapperPassPass(
 501       *PassRegistry::getPassRegistry());
 502 }
 503
 504 TargetTransformInfo &TargetTransformInfoWrapperPass::getTTI(const Function &F) {
 505   FunctionAnalysisManager DummyFAM;
 506   TTI = TIRA.run(F, DummyFAM);
 507   return *TTI;
 508 }
 509
 510 ImmutablePass *
 511 llvm::createTargetTransformInfoWrapperPass(TargetIRAnalysis TIRA) {
 512   return new TargetTransformInfoWrapperPass(std::move(TIRA));
 513 }