contrib/llvm/lib/Transforms/Scalar/StructurizeCFG.cpp

   1 //===-- StructurizeCFG.cpp ------------------------------------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9
  10 #include "llvm/Transforms/Scalar.h"
  11 #include "llvm/ADT/MapVector.h"
  12 #include "llvm/ADT/PostOrderIterator.h"
  13 #include "llvm/ADT/SCCIterator.h"
  14 #include "llvm/Analysis/DivergenceAnalysis.h"
  15 #include "llvm/Analysis/LoopInfo.h"
  16 #include "llvm/Analysis/RegionInfo.h"
  17 #include "llvm/Analysis/RegionIterator.h"
  18 #include "llvm/Analysis/RegionPass.h"
  19 #include "llvm/IR/Module.h"
  20 #include "llvm/IR/PatternMatch.h"
  21 #include "llvm/Support/Debug.h"
  22 #include "llvm/Support/raw_ostream.h"
  23 #include "llvm/Transforms/Utils/SSAUpdater.h"
  24
  25 using namespace llvm;
  26 using namespace llvm::PatternMatch;
  27
  28 #define DEBUG_TYPE "structurizecfg"
  29
  30 namespace {
  31
  32 // Definition of the complex types used in this pass.
  33
  34 typedef std::pair<BasicBlock *, Value *> BBValuePair;
  35
  36 typedef SmallVector<RegionNode*, 8> RNVector;
  37 typedef SmallVector<BasicBlock*, 8> BBVector;
  38 typedef SmallVector<BranchInst*, 8> BranchVector;
  39 typedef SmallVector<BBValuePair, 2> BBValueVector;
  40
  41 typedef SmallPtrSet<BasicBlock *, 8> BBSet;
  42
  43 typedef MapVector<PHINode *, BBValueVector> PhiMap;
  44 typedef MapVector<BasicBlock *, BBVector> BB2BBVecMap;
  45
  46 typedef DenseMap<DomTreeNode *, unsigned> DTN2UnsignedMap;
  47 typedef DenseMap<BasicBlock *, PhiMap> BBPhiMap;
  48 typedef DenseMap<BasicBlock *, Value *> BBPredicates;
  49 typedef DenseMap<BasicBlock *, BBPredicates> PredMap;
  50 typedef DenseMap<BasicBlock *, BasicBlock*> BB2BBMap;
  51
  52 // The name for newly created blocks.
  53
  54 static const char *const FlowBlockName = "Flow";
  55
  56 /// @brief Find the nearest common dominator for multiple BasicBlocks
  57 ///
  58 /// Helper class for StructurizeCFG
  59 /// TODO: Maybe move into common code
  60 class NearestCommonDominator {
  61   DominatorTree *DT;
  62
  63   DTN2UnsignedMap IndexMap;
  64
  65   BasicBlock *Result;
  66   unsigned ResultIndex;
  67   bool ExplicitMentioned;
  68
  69 public:
  70   /// \brief Start a new query
  71   NearestCommonDominator(DominatorTree *DomTree) {
  72     DT = DomTree;
  73     Result = nullptr;
  74   }
  75
  76   /// \brief Add BB to the resulting dominator
  77   void addBlock(BasicBlock *BB, bool Remember = true) {
  78     DomTreeNode *Node = DT->getNode(BB);
  79
  80     if (!Result) {
  81       unsigned Numbering = 0;
  82       for (;Node;Node = Node->getIDom())
  83         IndexMap[Node] = ++Numbering;
  84       Result = BB;
  85       ResultIndex = 1;
  86       ExplicitMentioned = Remember;
  87       return;
  88     }
  89
  90     for (;Node;Node = Node->getIDom())
  91       if (IndexMap.count(Node))
  92         break;
  93       else
  94         IndexMap[Node] = 0;
  95
  96     assert(Node && "Dominator tree invalid!");
  97
  98     unsigned Numbering = IndexMap[Node];
  99     if (Numbering > ResultIndex) {
 100       Result = Node->getBlock();
 101       ResultIndex = Numbering;
 102       ExplicitMentioned = Remember && (Result == BB);
 103     } else if (Numbering == ResultIndex) {
 104       ExplicitMentioned |= Remember;
 105     }
 106   }
 107
 108   /// \brief Is "Result" one of the BBs added with "Remember" = True?
 109   bool wasResultExplicitMentioned() {
 110     return ExplicitMentioned;
 111   }
 112
 113   /// \brief Get the query result
 114   BasicBlock *getResult() {
 115     return Result;
 116   }
 117 };
 118
 119 /// @brief Transforms the control flow graph on one single entry/exit region
 120 /// at a time.
 121 ///
 122 /// After the transform all "If"/"Then"/"Else" style control flow looks like
 123 /// this:
 124 ///
 125 /// \verbatim
 126 /// 1
 127 /// ||
 128 /// | |
 129 /// 2 |
 130 /// | /
 131 /// |/
 132 /// 3
 133 /// ||   Where:
 134 /// | |  1 = "If" block, calculates the condition
 135 /// 4 |  2 = "Then" subregion, runs if the condition is true
 136 /// | /  3 = "Flow" blocks, newly inserted flow blocks, rejoins the flow
 137 /// |/   4 = "Else" optional subregion, runs if the condition is false
 138 /// 5    5 = "End" block, also rejoins the control flow
 139 /// \endverbatim
 140 ///
 141 /// Control flow is expressed as a branch where the true exit goes into the
 142 /// "Then"/"Else" region, while the false exit skips the region
 143 /// The condition for the optional "Else" region is expressed as a PHI node.
 144 /// The incomming values of the PHI node are true for the "If" edge and false
 145 /// for the "Then" edge.
 146 ///
 147 /// Additionally to that even complicated loops look like this:
 148 ///
 149 /// \verbatim
 150 /// 1
 151 /// ||
 152 /// | |
 153 /// 2 ^  Where:
 154 /// | /  1 = "Entry" block
 155 /// |/   2 = "Loop" optional subregion, with all exits at "Flow" block
 156 /// 3    3 = "Flow" block, with back edge to entry block
 157 /// |
 158 /// \endverbatim
 159 ///
 160 /// The back edge of the "Flow" block is always on the false side of the branch
 161 /// while the true side continues the general flow. So the loop condition
 162 /// consist of a network of PHI nodes where the true incoming values expresses
 163 /// breaks and the false values expresses continue states.
 164 class StructurizeCFG : public RegionPass {
 165   bool SkipUniformRegions;
 166   DivergenceAnalysis *DA;
 167
 168   Type *Boolean;
 169   ConstantInt *BoolTrue;
 170   ConstantInt *BoolFalse;
 171   UndefValue *BoolUndef;
 172
 173   Function *Func;
 174   Region *ParentRegion;
 175
 176   DominatorTree *DT;
 177   LoopInfo *LI;
 178
 179   RNVector Order;
 180   BBSet Visited;
 181
 182   BBPhiMap DeletedPhis;
 183   BB2BBVecMap AddedPhis;
 184
 185   PredMap Predicates;
 186   BranchVector Conditions;
 187
 188   BB2BBMap Loops;
 189   PredMap LoopPreds;
 190   BranchVector LoopConds;
 191
 192   RegionNode *PrevNode;
 193
 194   void orderNodes();
 195
 196   void analyzeLoops(RegionNode *N);
 197
 198   Value *invert(Value *Condition);
 199
 200   Value *buildCondition(BranchInst *Term, unsigned Idx, bool Invert);
 201
 202   void gatherPredicates(RegionNode *N);
 203
 204   void collectInfos();
 205
 206   void insertConditions(bool Loops);
 207
 208   void delPhiValues(BasicBlock *From, BasicBlock *To);
 209
 210   void addPhiValues(BasicBlock *From, BasicBlock *To);
 211
 212   void setPhiValues();
 213
 214   void killTerminator(BasicBlock *BB);
 215
 216   void changeExit(RegionNode *Node, BasicBlock *NewExit,
 217                   bool IncludeDominator);
 218
 219   BasicBlock *getNextFlow(BasicBlock *Dominator);
 220
 221   BasicBlock *needPrefix(bool NeedEmpty);
 222
 223   BasicBlock *needPostfix(BasicBlock *Flow, bool ExitUseAllowed);
 224
 225   void setPrevNode(BasicBlock *BB);
 226
 227   bool dominatesPredicates(BasicBlock *BB, RegionNode *Node);
 228
 229   bool isPredictableTrue(RegionNode *Node);
 230
 231   void wireFlow(bool ExitUseAllowed, BasicBlock *LoopEnd);
 232
 233   void handleLoops(bool ExitUseAllowed, BasicBlock *LoopEnd);
 234
 235   void createFlow();
 236
 237   void rebuildSSA();
 238
 239   bool hasOnlyUniformBranches(const Region *R);
 240
 241 public:
 242   static char ID;
 243
 244   StructurizeCFG() :
 245     RegionPass(ID), SkipUniformRegions(false) {
 246     initializeStructurizeCFGPass(*PassRegistry::getPassRegistry());
 247   }
 248
 249   StructurizeCFG(bool SkipUniformRegions) :
 250     RegionPass(ID), SkipUniformRegions(SkipUniformRegions) {
 251     initializeStructurizeCFGPass(*PassRegistry::getPassRegistry());
 252   }
 253
 254   using Pass::doInitialization;
 255   bool doInitialization(Region *R, RGPassManager &RGM) override;
 256
 257   bool runOnRegion(Region *R, RGPassManager &RGM) override;
 258
 259   const char *getPassName() const override {
 260     return "Structurize control flow";
 261   }
 262
 263   void getAnalysisUsage(AnalysisUsage &AU) const override {
 264     if (SkipUniformRegions)
 265       AU.addRequired<DivergenceAnalysis>();
 266     AU.addRequiredID(LowerSwitchID);
 267     AU.addRequired<DominatorTreeWrapperPass>();
 268     AU.addRequired<LoopInfoWrapperPass>();
 269     AU.addPreserved<DominatorTreeWrapperPass>();
 270     RegionPass::getAnalysisUsage(AU);
 271   }
 272 };
 273
 274 } // end anonymous namespace
 275
 276 char StructurizeCFG::ID = 0;
 277
 278 INITIALIZE_PASS_BEGIN(StructurizeCFG, "structurizecfg", "Structurize the CFG",
 279                       false, false)
 280 INITIALIZE_PASS_DEPENDENCY(DivergenceAnalysis)
 281 INITIALIZE_PASS_DEPENDENCY(LowerSwitch)
 282 INITIALIZE_PASS_DEPENDENCY(DominatorTreeWrapperPass)
 283 INITIALIZE_PASS_DEPENDENCY(RegionInfoPass)
 284 INITIALIZE_PASS_END(StructurizeCFG, "structurizecfg", "Structurize the CFG",
 285                     false, false)
 286
 287 /// \brief Initialize the types and constants used in the pass
 288 bool StructurizeCFG::doInitialization(Region *R, RGPassManager &RGM) {
 289   LLVMContext &Context = R->getEntry()->getContext();
 290
 291   Boolean = Type::getInt1Ty(Context);
 292   BoolTrue = ConstantInt::getTrue(Context);
 293   BoolFalse = ConstantInt::getFalse(Context);
 294   BoolUndef = UndefValue::get(Boolean);
 295
 296   return false;
 297 }
 298
 299 /// \brief Build up the general order of nodes
 300 void StructurizeCFG::orderNodes() {
 301   RNVector TempOrder;
 302   ReversePostOrderTraversal<Region*> RPOT(ParentRegion);
 303   TempOrder.append(RPOT.begin(), RPOT.end());
 304
 305   std::map<Loop*, unsigned> LoopBlocks;
 306
 307
 308   // The reverse post-order traversal of the list gives us an ordering close
 309   // to what we want.  The only problem with it is that sometimes backedges
 310   // for outer loops will be visited before backedges for inner loops.
 311   for (RegionNode *RN : TempOrder) {
 312     BasicBlock *BB = RN->getEntry();
 313     Loop *Loop = LI->getLoopFor(BB);
 314     ++LoopBlocks[Loop];
 315   }
 316
 317   unsigned CurrentLoopDepth = 0;
 318   Loop *CurrentLoop = nullptr;
 319   BBSet TempVisited;
 320   for (RNVector::iterator I = TempOrder.begin(), E = TempOrder.end(); I != E; ++I) {
 321     BasicBlock *BB = (*I)->getEntry();
 322     unsigned LoopDepth = LI->getLoopDepth(BB);
 323
 324     if (std::find(Order.begin(), Order.end(), *I) != Order.end())
 325       continue;
 326
 327     if (LoopDepth < CurrentLoopDepth) {
 328       // Make sure we have visited all blocks in this loop before moving back to
 329       // the outer loop.
 330
 331       RNVector::iterator LoopI = I;
 332       while (unsigned &BlockCount = LoopBlocks[CurrentLoop]) {
 333         LoopI++;
 334         BasicBlock *LoopBB = (*LoopI)->getEntry();
 335         if (LI->getLoopFor(LoopBB) == CurrentLoop) {
 336           --BlockCount;
 337           Order.push_back(*LoopI);
 338         }
 339       }
 340     }
 341
 342     CurrentLoop = LI->getLoopFor(BB);
 343     if (CurrentLoop) {
 344       LoopBlocks[CurrentLoop]--;
 345     }
 346
 347     CurrentLoopDepth = LoopDepth;
 348     Order.push_back(*I);
 349   }
 350
 351   // This pass originally used a post-order traversal and then operated on
 352   // the list in reverse. Now that we are using a reverse post-order traversal
 353   // rather than re-working the whole pass to operate on the list in order,
 354   // we just reverse the list and continue to operate on it in reverse.
 355   std::reverse(Order.begin(), Order.end());
 356 }
 357
 358 /// \brief Determine the end of the loops
 359 void StructurizeCFG::analyzeLoops(RegionNode *N) {
 360   if (N->isSubRegion()) {
 361     // Test for exit as back edge
 362     BasicBlock *Exit = N->getNodeAs<Region>()->getExit();
 363     if (Visited.count(Exit))
 364       Loops[Exit] = N->getEntry();
 365
 366   } else {
 367     // Test for sucessors as back edge
 368     BasicBlock *BB = N->getNodeAs<BasicBlock>();
 369     BranchInst *Term = cast<BranchInst>(BB->getTerminator());
 370
 371     for (BasicBlock *Succ : Term->successors())
 372       if (Visited.count(Succ))
 373         Loops[Succ] = BB;
 374   }
 375 }
 376
 377 /// \brief Invert the given condition
 378 Value *StructurizeCFG::invert(Value *Condition) {
 379   // First: Check if it's a constant
 380   if (Constant *C = dyn_cast<Constant>(Condition))
 381     return ConstantExpr::getNot(C);
 382
 383   // Second: If the condition is already inverted, return the original value
 384   if (match(Condition, m_Not(m_Value(Condition))))
 385     return Condition;
 386
 387   if (Instruction *Inst = dyn_cast<Instruction>(Condition)) {
 388     // Third: Check all the users for an invert
 389     BasicBlock *Parent = Inst->getParent();
 390     for (User *U : Condition->users())
 391       if (Instruction *I = dyn_cast<Instruction>(U))
 392         if (I->getParent() == Parent && match(I, m_Not(m_Specific(Condition))))
 393           return I;
 394
 395     // Last option: Create a new instruction
 396     return BinaryOperator::CreateNot(Condition, "", Parent->getTerminator());
 397   }
 398
 399   if (Argument *Arg = dyn_cast<Argument>(Condition)) {
 400     BasicBlock &EntryBlock = Arg->getParent()->getEntryBlock();
 401     return BinaryOperator::CreateNot(Condition,
 402                                      Arg->getName() + ".inv",
 403                                      EntryBlock.getTerminator());
 404   }
 405
 406   llvm_unreachable("Unhandled condition to invert");
 407 }
 408
 409 /// \brief Build the condition for one edge
 410 Value *StructurizeCFG::buildCondition(BranchInst *Term, unsigned Idx,
 411                                       bool Invert) {
 412   Value *Cond = Invert ? BoolFalse : BoolTrue;
 413   if (Term->isConditional()) {
 414     Cond = Term->getCondition();
 415
 416     if (Idx != (unsigned)Invert)
 417       Cond = invert(Cond);
 418   }
 419   return Cond;
 420 }
 421
 422 /// \brief Analyze the predecessors of each block and build up predicates
 423 void StructurizeCFG::gatherPredicates(RegionNode *N) {
 424   RegionInfo *RI = ParentRegion->getRegionInfo();
 425   BasicBlock *BB = N->getEntry();
 426   BBPredicates &Pred = Predicates[BB];
 427   BBPredicates &LPred = LoopPreds[BB];
 428
 429   for (pred_iterator PI = pred_begin(BB), PE = pred_end(BB);
 430        PI != PE; ++PI) {
 431
 432     // Ignore it if it's a branch from outside into our region entry
 433     if (!ParentRegion->contains(*PI))
 434       continue;
 435
 436     Region *R = RI->getRegionFor(*PI);
 437     if (R == ParentRegion) {
 438
 439       // It's a top level block in our region
 440       BranchInst *Term = cast<BranchInst>((*PI)->getTerminator());
 441       for (unsigned i = 0, e = Term->getNumSuccessors(); i != e; ++i) {
 442         BasicBlock *Succ = Term->getSuccessor(i);
 443         if (Succ != BB)
 444           continue;
 445
 446         if (Visited.count(*PI)) {
 447           // Normal forward edge
 448           if (Term->isConditional()) {
 449             // Try to treat it like an ELSE block
 450             BasicBlock *Other = Term->getSuccessor(!i);
 451             if (Visited.count(Other) && !Loops.count(Other) &&
 452                 !Pred.count(Other) && !Pred.count(*PI)) {
 453
 454               Pred[Other] = BoolFalse;
 455               Pred[*PI] = BoolTrue;
 456               continue;
 457             }
 458           }
 459           Pred[*PI] = buildCondition(Term, i, false);
 460
 461         } else {
 462           // Back edge
 463           LPred[*PI] = buildCondition(Term, i, true);
 464         }
 465       }
 466
 467     } else {
 468
 469       // It's an exit from a sub region
 470       while (R->getParent() != ParentRegion)
 471         R = R->getParent();
 472
 473       // Edge from inside a subregion to its entry, ignore it
 474       if (*R == *N)
 475         continue;
 476
 477       BasicBlock *Entry = R->getEntry();
 478       if (Visited.count(Entry))
 479         Pred[Entry] = BoolTrue;
 480       else
 481         LPred[Entry] = BoolFalse;
 482     }
 483   }
 484 }
 485
 486 /// \brief Collect various loop and predicate infos
 487 void StructurizeCFG::collectInfos() {
 488   // Reset predicate
 489   Predicates.clear();
 490
 491   // and loop infos
 492   Loops.clear();
 493   LoopPreds.clear();
 494
 495   // Reset the visited nodes
 496   Visited.clear();
 497
 498   for (RegionNode *RN : reverse(Order)) {
 499
 500     DEBUG(dbgs() << "Visiting: "
 501                  << (RN->isSubRegion() ? "SubRegion with entry: " : "")
 502                  << RN->getEntry()->getName() << " Loop Depth: "
 503                  << LI->getLoopDepth(RN->getEntry()) << "\n");
 504
 505     // Analyze all the conditions leading to a node
 506     gatherPredicates(RN);
 507
 508     // Remember that we've seen this node
 509     Visited.insert(RN->getEntry());
 510
 511     // Find the last back edges
 512     analyzeLoops(RN);
 513   }
 514 }
 515
 516 /// \brief Insert the missing branch conditions
 517 void StructurizeCFG::insertConditions(bool Loops) {
 518   BranchVector &Conds = Loops ? LoopConds : Conditions;
 519   Value *Default = Loops ? BoolTrue : BoolFalse;
 520   SSAUpdater PhiInserter;
 521
 522   for (BranchInst *Term : Conds) {
 523     assert(Term->isConditional());
 524
 525     BasicBlock *Parent = Term->getParent();
 526     BasicBlock *SuccTrue = Term->getSuccessor(0);
 527     BasicBlock *SuccFalse = Term->getSuccessor(1);
 528
 529     PhiInserter.Initialize(Boolean, "");
 530     PhiInserter.AddAvailableValue(&Func->getEntryBlock(), Default);
 531     PhiInserter.AddAvailableValue(Loops ? SuccFalse : Parent, Default);
 532
 533     BBPredicates &Preds = Loops ? LoopPreds[SuccFalse] : Predicates[SuccTrue];
 534
 535     NearestCommonDominator Dominator(DT);
 536     Dominator.addBlock(Parent, false);
 537
 538     Value *ParentValue = nullptr;
 539     for (BBPredicates::iterator PI = Preds.begin(), PE = Preds.end();
 540          PI != PE; ++PI) {
 541
 542       if (PI->first == Parent) {
 543         ParentValue = PI->second;
 544         break;
 545       }
 546       PhiInserter.AddAvailableValue(PI->first, PI->second);
 547       Dominator.addBlock(PI->first);
 548     }
 549
 550     if (ParentValue) {
 551       Term->setCondition(ParentValue);
 552     } else {
 553       if (!Dominator.wasResultExplicitMentioned())
 554         PhiInserter.AddAvailableValue(Dominator.getResult(), Default);
 555
 556       Term->setCondition(PhiInserter.GetValueInMiddleOfBlock(Parent));
 557     }
 558   }
 559 }
 560
 561 /// \brief Remove all PHI values coming from "From" into "To" and remember
 562 /// them in DeletedPhis
 563 void StructurizeCFG::delPhiValues(BasicBlock *From, BasicBlock *To) {
 564   PhiMap &Map = DeletedPhis[To];
 565   for (BasicBlock::iterator I = To->begin(), E = To->end();
 566        I != E && isa<PHINode>(*I);) {
 567
 568     PHINode &Phi = cast<PHINode>(*I++);
 569     while (Phi.getBasicBlockIndex(From) != -1) {
 570       Value *Deleted = Phi.removeIncomingValue(From, false);
 571       Map[&Phi].push_back(std::make_pair(From, Deleted));
 572     }
 573   }
 574 }
 575
 576 /// \brief Add a dummy PHI value as soon as we knew the new predecessor
 577 void StructurizeCFG::addPhiValues(BasicBlock *From, BasicBlock *To) {
 578   for (BasicBlock::iterator I = To->begin(), E = To->end();
 579        I != E && isa<PHINode>(*I);) {
 580
 581     PHINode &Phi = cast<PHINode>(*I++);
 582     Value *Undef = UndefValue::get(Phi.getType());
 583     Phi.addIncoming(Undef, From);
 584   }
 585   AddedPhis[To].push_back(From);
 586 }
 587
 588 /// \brief Add the real PHI value as soon as everything is set up
 589 void StructurizeCFG::setPhiValues() {
 590   SSAUpdater Updater;
 591   for (const auto &AddedPhi : AddedPhis) {
 592
 593     BasicBlock *To = AddedPhi.first;
 594     const BBVector &From = AddedPhi.second;
 595
 596     if (!DeletedPhis.count(To))
 597       continue;
 598
 599     PhiMap &Map = DeletedPhis[To];
 600     for (const auto &PI : Map) {
 601
 602       PHINode *Phi = PI.first;
 603       Value *Undef = UndefValue::get(Phi->getType());
 604       Updater.Initialize(Phi->getType(), "");
 605       Updater.AddAvailableValue(&Func->getEntryBlock(), Undef);
 606       Updater.AddAvailableValue(To, Undef);
 607
 608       NearestCommonDominator Dominator(DT);
 609       Dominator.addBlock(To, false);
 610       for (const auto &VI : PI.second) {
 611
 612         Updater.AddAvailableValue(VI.first, VI.second);
 613         Dominator.addBlock(VI.first);
 614       }
 615
 616       if (!Dominator.wasResultExplicitMentioned())
 617         Updater.AddAvailableValue(Dominator.getResult(), Undef);
 618
 619       for (BasicBlock *FI : From) {
 620
 621         int Idx = Phi->getBasicBlockIndex(FI);
 622         assert(Idx != -1);
 623         Phi->setIncomingValue(Idx, Updater.GetValueAtEndOfBlock(FI));
 624       }
 625     }
 626
 627     DeletedPhis.erase(To);
 628   }
 629   assert(DeletedPhis.empty());
 630 }
 631
 632 /// \brief Remove phi values from all successors and then remove the terminator.
 633 void StructurizeCFG::killTerminator(BasicBlock *BB) {
 634   TerminatorInst *Term = BB->getTerminator();
 635   if (!Term)
 636     return;
 637
 638   for (succ_iterator SI = succ_begin(BB), SE = succ_end(BB);
 639        SI != SE; ++SI) {
 640
 641     delPhiValues(BB, *SI);
 642   }
 643
 644   Term->eraseFromParent();
 645 }
 646
 647 /// \brief Let node exit(s) point to NewExit
 648 void StructurizeCFG::changeExit(RegionNode *Node, BasicBlock *NewExit,
 649                                 bool IncludeDominator) {
 650   if (Node->isSubRegion()) {
 651     Region *SubRegion = Node->getNodeAs<Region>();
 652     BasicBlock *OldExit = SubRegion->getExit();
 653     BasicBlock *Dominator = nullptr;
 654
 655     // Find all the edges from the sub region to the exit
 656     for (pred_iterator I = pred_begin(OldExit), E = pred_end(OldExit);
 657          I != E;) {
 658
 659       BasicBlock *BB = *I++;
 660       if (!SubRegion->contains(BB))
 661         continue;
 662
 663       // Modify the edges to point to the new exit
 664       delPhiValues(BB, OldExit);
 665       BB->getTerminator()->replaceUsesOfWith(OldExit, NewExit);
 666       addPhiValues(BB, NewExit);
 667
 668       // Find the new dominator (if requested)
 669       if (IncludeDominator) {
 670         if (!Dominator)
 671           Dominator = BB;
 672         else
 673           Dominator = DT->findNearestCommonDominator(Dominator, BB);
 674       }
 675     }
 676
 677     // Change the dominator (if requested)
 678     if (Dominator)
 679       DT->changeImmediateDominator(NewExit, Dominator);
 680
 681     // Update the region info
 682     SubRegion->replaceExit(NewExit);
 683
 684   } else {
 685     BasicBlock *BB = Node->getNodeAs<BasicBlock>();
 686     killTerminator(BB);
 687     BranchInst::Create(NewExit, BB);
 688     addPhiValues(BB, NewExit);
 689     if (IncludeDominator)
 690       DT->changeImmediateDominator(NewExit, BB);
 691   }
 692 }
 693
 694 /// \brief Create a new flow node and update dominator tree and region info
 695 BasicBlock *StructurizeCFG::getNextFlow(BasicBlock *Dominator) {
 696   LLVMContext &Context = Func->getContext();
 697   BasicBlock *Insert = Order.empty() ? ParentRegion->getExit() :
 698                        Order.back()->getEntry();
 699   BasicBlock *Flow = BasicBlock::Create(Context, FlowBlockName,
 700                                         Func, Insert);
 701   DT->addNewBlock(Flow, Dominator);
 702   ParentRegion->getRegionInfo()->setRegionFor(Flow, ParentRegion);
 703   return Flow;
 704 }
 705
 706 /// \brief Create a new or reuse the previous node as flow node
 707 BasicBlock *StructurizeCFG::needPrefix(bool NeedEmpty) {
 708   BasicBlock *Entry = PrevNode->getEntry();
 709
 710   if (!PrevNode->isSubRegion()) {
 711     killTerminator(Entry);
 712     if (!NeedEmpty || Entry->getFirstInsertionPt() == Entry->end())
 713       return Entry;
 714
 715   }
 716
 717   // create a new flow node
 718   BasicBlock *Flow = getNextFlow(Entry);
 719
 720   // and wire it up
 721   changeExit(PrevNode, Flow, true);
 722   PrevNode = ParentRegion->getBBNode(Flow);
 723   return Flow;
 724 }
 725
 726 /// \brief Returns the region exit if possible, otherwise just a new flow node
 727 BasicBlock *StructurizeCFG::needPostfix(BasicBlock *Flow,
 728                                         bool ExitUseAllowed) {
 729   if (Order.empty() && ExitUseAllowed) {
 730     BasicBlock *Exit = ParentRegion->getExit();
 731     DT->changeImmediateDominator(Exit, Flow);
 732     addPhiValues(Flow, Exit);
 733     return Exit;
 734   }
 735   return getNextFlow(Flow);
 736 }
 737
 738 /// \brief Set the previous node
 739 void StructurizeCFG::setPrevNode(BasicBlock *BB) {
 740   PrevNode = ParentRegion->contains(BB) ? ParentRegion->getBBNode(BB)
 741                                         : nullptr;
 742 }
 743
 744 /// \brief Does BB dominate all the predicates of Node ?
 745 bool StructurizeCFG::dominatesPredicates(BasicBlock *BB, RegionNode *Node) {
 746   BBPredicates &Preds = Predicates[Node->getEntry()];
 747   for (BBPredicates::iterator PI = Preds.begin(), PE = Preds.end();
 748        PI != PE; ++PI) {
 749
 750     if (!DT->dominates(BB, PI->first))
 751       return false;
 752   }
 753   return true;
 754 }
 755
 756 /// \brief Can we predict that this node will always be called?
 757 bool StructurizeCFG::isPredictableTrue(RegionNode *Node) {
 758   BBPredicates &Preds = Predicates[Node->getEntry()];
 759   bool Dominated = false;
 760
 761   // Regionentry is always true
 762   if (!PrevNode)
 763     return true;
 764
 765   for (BBPredicates::iterator I = Preds.begin(), E = Preds.end();
 766        I != E; ++I) {
 767
 768     if (I->second != BoolTrue)
 769       return false;
 770
 771     if (!Dominated && DT->dominates(I->first, PrevNode->getEntry()))
 772       Dominated = true;
 773   }
 774
 775   // TODO: The dominator check is too strict
 776   return Dominated;
 777 }
 778
 779 /// Take one node from the order vector and wire it up
 780 void StructurizeCFG::wireFlow(bool ExitUseAllowed,
 781                               BasicBlock *LoopEnd) {
 782   RegionNode *Node = Order.pop_back_val();
 783   Visited.insert(Node->getEntry());
 784
 785   if (isPredictableTrue(Node)) {
 786     // Just a linear flow
 787     if (PrevNode) {
 788       changeExit(PrevNode, Node->getEntry(), true);
 789     }
 790     PrevNode = Node;
 791
 792   } else {
 793     // Insert extra prefix node (or reuse last one)
 794     BasicBlock *Flow = needPrefix(false);
 795
 796     // Insert extra postfix node (or use exit instead)
 797     BasicBlock *Entry = Node->getEntry();
 798     BasicBlock *Next = needPostfix(Flow, ExitUseAllowed);
 799
 800     // let it point to entry and next block
 801     Conditions.push_back(BranchInst::Create(Entry, Next, BoolUndef, Flow));
 802     addPhiValues(Flow, Entry);
 803     DT->changeImmediateDominator(Entry, Flow);
 804
 805     PrevNode = Node;
 806     while (!Order.empty() && !Visited.count(LoopEnd) &&
 807            dominatesPredicates(Entry, Order.back())) {
 808       handleLoops(false, LoopEnd);
 809     }
 810
 811     changeExit(PrevNode, Next, false);
 812     setPrevNode(Next);
 813   }
 814 }
 815
 816 void StructurizeCFG::handleLoops(bool ExitUseAllowed,
 817                                  BasicBlock *LoopEnd) {
 818   RegionNode *Node = Order.back();
 819   BasicBlock *LoopStart = Node->getEntry();
 820
 821   if (!Loops.count(LoopStart)) {
 822     wireFlow(ExitUseAllowed, LoopEnd);
 823     return;
 824   }
 825
 826   if (!isPredictableTrue(Node))
 827     LoopStart = needPrefix(true);
 828
 829   LoopEnd = Loops[Node->getEntry()];
 830   wireFlow(false, LoopEnd);
 831   while (!Visited.count(LoopEnd)) {
 832     handleLoops(false, LoopEnd);
 833   }
 834
 835   // If the start of the loop is the entry block, we can't branch to it so
 836   // insert a new dummy entry block.
 837   Function *LoopFunc = LoopStart->getParent();
 838   if (LoopStart == &LoopFunc->getEntryBlock()) {
 839     LoopStart->setName("entry.orig");
 840
 841     BasicBlock *NewEntry =
 842       BasicBlock::Create(LoopStart->getContext(),
 843                          "entry",
 844                          LoopFunc,
 845                          LoopStart);
 846     BranchInst::Create(LoopStart, NewEntry);
 847   }
 848
 849   // Create an extra loop end node
 850   LoopEnd = needPrefix(false);
 851   BasicBlock *Next = needPostfix(LoopEnd, ExitUseAllowed);
 852   LoopConds.push_back(BranchInst::Create(Next, LoopStart,
 853                                          BoolUndef, LoopEnd));
 854   addPhiValues(LoopEnd, LoopStart);
 855   setPrevNode(Next);
 856 }
 857
 858 /// After this function control flow looks like it should be, but
 859 /// branches and PHI nodes only have undefined conditions.
 860 void StructurizeCFG::createFlow() {
 861   BasicBlock *Exit = ParentRegion->getExit();
 862   bool EntryDominatesExit = DT->dominates(ParentRegion->getEntry(), Exit);
 863
 864   DeletedPhis.clear();
 865   AddedPhis.clear();
 866   Conditions.clear();
 867   LoopConds.clear();
 868
 869   PrevNode = nullptr;
 870   Visited.clear();
 871
 872   while (!Order.empty()) {
 873     handleLoops(EntryDominatesExit, nullptr);
 874   }
 875
 876   if (PrevNode)
 877     changeExit(PrevNode, Exit, EntryDominatesExit);
 878   else
 879     assert(EntryDominatesExit);
 880 }
 881
 882 /// Handle a rare case where the disintegrated nodes instructions
 883 /// no longer dominate all their uses. Not sure if this is really nessasary
 884 void StructurizeCFG::rebuildSSA() {
 885   SSAUpdater Updater;
 886   for (auto *BB : ParentRegion->blocks())
 887     for (BasicBlock::iterator II = BB->begin(), IE = BB->end();
 888          II != IE; ++II) {
 889
 890       bool Initialized = false;
 891       for (auto I = II->use_begin(), E = II->use_end(); I != E;) {
 892         Use &U = *I++;
 893         Instruction *User = cast<Instruction>(U.getUser());
 894         if (User->getParent() == BB) {
 895           continue;
 896
 897         } else if (PHINode *UserPN = dyn_cast<PHINode>(User)) {
 898           if (UserPN->getIncomingBlock(U) == BB)
 899             continue;
 900         }
 901
 902         if (DT->dominates(&*II, User))
 903           continue;
 904
 905         if (!Initialized) {
 906           Value *Undef = UndefValue::get(II->getType());
 907           Updater.Initialize(II->getType(), "");
 908           Updater.AddAvailableValue(&Func->getEntryBlock(), Undef);
 909           Updater.AddAvailableValue(BB, &*II);
 910           Initialized = true;
 911         }
 912         Updater.RewriteUseAfterInsertions(U);
 913       }
 914     }
 915 }
 916
 917 bool StructurizeCFG::hasOnlyUniformBranches(const Region *R) {
 918   for (const BasicBlock *BB : R->blocks()) {
 919     const BranchInst *Br = dyn_cast<BranchInst>(BB->getTerminator());
 920     if (!Br || !Br->isConditional())
 921       continue;
 922
 923     if (!DA->isUniform(Br->getCondition()))
 924       return false;
 925     DEBUG(dbgs() << "BB: " << BB->getName() << " has uniform terminator\n");
 926   }
 927   return true;
 928 }
 929
 930 /// \brief Run the transformation for each region found
 931 bool StructurizeCFG::runOnRegion(Region *R, RGPassManager &RGM) {
 932   if (R->isTopLevelRegion())
 933     return false;
 934
 935   if (SkipUniformRegions) {
 936     DA = &getAnalysis<DivergenceAnalysis>();
 937     // TODO: We could probably be smarter here with how we handle sub-regions.
 938     if (hasOnlyUniformBranches(R)) {
 939       DEBUG(dbgs() << "Skipping region with uniform control flow: " << *R << '\n');
 940
 941       // Mark all direct child block terminators as having been treated as
 942       // uniform. To account for a possible future in which non-uniform
 943       // sub-regions are treated more cleverly, indirect children are not
 944       // marked as uniform.
 945       MDNode *MD = MDNode::get(R->getEntry()->getParent()->getContext(), {});
 946       Region::element_iterator E = R->element_end();
 947       for (Region::element_iterator I = R->element_begin(); I != E; ++I) {
 948         if (I->isSubRegion())
 949           continue;
 950
 951         if (Instruction *Term = I->getEntry()->getTerminator())
 952           Term->setMetadata("structurizecfg.uniform", MD);
 953       }
 954
 955       return false;
 956     }
 957   }
 958
 959   Func = R->getEntry()->getParent();
 960   ParentRegion = R;
 961
 962   DT = &getAnalysis<DominatorTreeWrapperPass>().getDomTree();
 963   LI = &getAnalysis<LoopInfoWrapperPass>().getLoopInfo();
 964
 965   orderNodes();
 966   collectInfos();
 967   createFlow();
 968   insertConditions(false);
 969   insertConditions(true);
 970   setPhiValues();
 971   rebuildSSA();
 972
 973   // Cleanup
 974   Order.clear();
 975   Visited.clear();
 976   DeletedPhis.clear();
 977   AddedPhis.clear();
 978   Predicates.clear();
 979   Conditions.clear();
 980   Loops.clear();
 981   LoopPreds.clear();
 982   LoopConds.clear();
 983
 984   return true;
 985 }
 986
 987 Pass *llvm::createStructurizeCFGPass(bool SkipUniformRegions) {
 988   return new StructurizeCFG(SkipUniformRegions);
 989 }