lib/Target/R600/AMDGPUStructurizeCFG.cpp

   1 //===-- AMDGPUStructurizeCFG.cpp -  ------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 /// \file
  11 /// The pass implemented in this file transforms the programs control flow
  12 /// graph into a form that's suitable for code generation on hardware that
  13 /// implements control flow by execution masking. This currently includes all
  14 /// AMD GPUs but may as well be useful for other types of hardware.
  15 //
  16 //===----------------------------------------------------------------------===//
  17
  18 #include "AMDGPU.h"
  19 #include "llvm/ADT/SCCIterator.h"
  20 #include "llvm/Analysis/RegionInfo.h"
  21 #include "llvm/Analysis/RegionIterator.h"
  22 #include "llvm/Analysis/RegionPass.h"
  23 #include "llvm/IR/Module.h"
  24 #include "llvm/Transforms/Utils/SSAUpdater.h"
  25
  26 using namespace llvm;
  27
  28 namespace {
  29
  30 // Definition of the complex types used in this pass.
  31
  32 typedef std::pair<BasicBlock *, Value *> BBValuePair;
  33
  34 typedef SmallVector<RegionNode*, 8> RNVector;
  35 typedef SmallVector<BasicBlock*, 8> BBVector;
  36 typedef SmallVector<BranchInst*, 8> BranchVector;
  37 typedef SmallVector<BBValuePair, 2> BBValueVector;
  38
  39 typedef SmallPtrSet<BasicBlock *, 8> BBSet;
  40
  41 typedef DenseMap<PHINode *, BBValueVector> PhiMap;
  42 typedef DenseMap<DomTreeNode *, unsigned> DTN2UnsignedMap;
  43 typedef DenseMap<BasicBlock *, PhiMap> BBPhiMap;
  44 typedef DenseMap<BasicBlock *, Value *> BBPredicates;
  45 typedef DenseMap<BasicBlock *, BBPredicates> PredMap;
  46 typedef DenseMap<BasicBlock *, BBVector> BB2BBVecMap;
  47
  48 // The name for newly created blocks.
  49
  50 static const char *FlowBlockName = "Flow";
  51
  52 /// @brief Find the nearest common dominator for multiple BasicBlocks
  53 ///
  54 /// Helper class for AMDGPUStructurizeCFG
  55 /// TODO: Maybe move into common code
  56 class NearestCommonDominator {
  57
  58   DominatorTree *DT;
  59
  60   DTN2UnsignedMap IndexMap;
  61
  62   BasicBlock *Result;
  63   unsigned ResultIndex;
  64   bool ExplicitMentioned;
  65
  66 public:
  67   /// \brief Start a new query
  68   NearestCommonDominator(DominatorTree *DomTree) {
  69     DT = DomTree;
  70     Result = 0;
  71   }
  72
  73   /// \brief Add BB to the resulting dominator
  74   void addBlock(BasicBlock *BB, bool Remember = true) {
  75
  76     DomTreeNode *Node = DT->getNode(BB);
  77
  78     if (Result == 0) {
  79       unsigned Numbering = 0;
  80       for (;Node;Node = Node->getIDom())
  81         IndexMap[Node] = ++Numbering;
  82       Result = BB;
  83       ResultIndex = 1;
  84       ExplicitMentioned = Remember;
  85       return;
  86     }
  87
  88     for (;Node;Node = Node->getIDom())
  89       if (IndexMap.count(Node))
  90         break;
  91       else
  92         IndexMap[Node] = 0;
  93
  94     assert(Node && "Dominator tree invalid!");
  95
  96     unsigned Numbering = IndexMap[Node];
  97     if (Numbering > ResultIndex) {
  98       Result = Node->getBlock();
  99       ResultIndex = Numbering;
 100       ExplicitMentioned = Remember && (Result == BB);
 101     } else if (Numbering == ResultIndex) {
 102       ExplicitMentioned |= Remember;
 103     }
 104   }
 105
 106   /// \brief Is "Result" one of the BBs added with "Remember" = True?
 107   bool wasResultExplicitMentioned() {
 108     return ExplicitMentioned;
 109   }
 110
 111   /// \brief Get the query result
 112   BasicBlock *getResult() {
 113     return Result;
 114   }
 115 };
 116
 117 /// @brief Transforms the control flow graph on one single entry/exit region
 118 /// at a time.
 119 ///
 120 /// After the transform all "If"/"Then"/"Else" style control flow looks like
 121 /// this:
 122 ///
 123 /// \verbatim
 124 /// 1
 125 /// ||
 126 /// | |
 127 /// 2 |
 128 /// | /
 129 /// |/
 130 /// 3
 131 /// ||   Where:
 132 /// | |  1 = "If" block, calculates the condition
 133 /// 4 |  2 = "Then" subregion, runs if the condition is true
 134 /// | /  3 = "Flow" blocks, newly inserted flow blocks, rejoins the flow
 135 /// |/   4 = "Else" optional subregion, runs if the condition is false
 136 /// 5    5 = "End" block, also rejoins the control flow
 137 /// \endverbatim
 138 ///
 139 /// Control flow is expressed as a branch where the true exit goes into the
 140 /// "Then"/"Else" region, while the false exit skips the region
 141 /// The condition for the optional "Else" region is expressed as a PHI node.
 142 /// The incomming values of the PHI node are true for the "If" edge and false
 143 /// for the "Then" edge.
 144 ///
 145 /// Additionally to that even complicated loops look like this:
 146 ///
 147 /// \verbatim
 148 /// 1
 149 /// ||
 150 /// | |
 151 /// 2 ^  Where:
 152 /// | /  1 = "Entry" block
 153 /// |/   2 = "Loop" optional subregion, with all exits at "Flow" block
 154 /// 3    3 = "Flow" block, with back edge to entry block
 155 /// |
 156 /// \endverbatim
 157 ///
 158 /// The back edge of the "Flow" block is always on the false side of the branch
 159 /// while the true side continues the general flow. So the loop condition
 160 /// consist of a network of PHI nodes where the true incoming values expresses
 161 /// breaks and the false values expresses continue states.
 162 class AMDGPUStructurizeCFG : public RegionPass {
 163
 164   static char ID;
 165
 166   Type *Boolean;
 167   ConstantInt *BoolTrue;
 168   ConstantInt *BoolFalse;
 169   UndefValue *BoolUndef;
 170
 171   Function *Func;
 172   Region *ParentRegion;
 173
 174   DominatorTree *DT;
 175
 176   RNVector Order;
 177   BBSet Visited;
 178   PredMap Predicates;
 179   BBPhiMap DeletedPhis;
 180   BB2BBVecMap AddedPhis;
 181   BranchVector Conditions;
 182
 183   BasicBlock *LoopStart;
 184   BasicBlock *LoopEnd;
 185   BBSet LoopTargets;
 186   BBPredicates LoopPred;
 187
 188   void orderNodes();
 189
 190   Value *buildCondition(BranchInst *Term, unsigned Idx, bool Invert);
 191
 192   bool analyzeLoopStart(BasicBlock *From, BasicBlock *To, Value *Condition);
 193
 194   void analyzeNode(RegionNode *N);
 195
 196   void analyzeLoopEnd(RegionNode *N);
 197
 198   void collectInfos();
 199
 200   void insertConditions();
 201
 202   void delPhiValues(BasicBlock *From, BasicBlock *To);
 203
 204   void addPhiValues(BasicBlock *From, BasicBlock *To);
 205
 206   void setPhiValues();
 207
 208   void killTerminator(BasicBlock *BB);
 209
 210   void changeExit(RegionNode *Node, BasicBlock *NewExit,
 211                   bool IncludeDominator);
 212
 213   BasicBlock *getNextFlow(BasicBlock *Dominator);
 214
 215   BasicBlock *needPrefix(RegionNode *&Prev, RegionNode *Node);
 216
 217   BasicBlock *needPostfix(BasicBlock *Flow, bool ExitUseAllowed);
 218
 219   RegionNode *getNextPrev(BasicBlock *Next);
 220
 221   bool dominatesPredicates(BasicBlock *BB, RegionNode *Node);
 222
 223   bool isPredictableTrue(RegionNode *Who, RegionNode *Where);
 224
 225   RegionNode *wireFlow(RegionNode *&Prev, bool ExitUseAllowed);
 226
 227   void createFlow();
 228
 229   void rebuildSSA();
 230
 231 public:
 232   AMDGPUStructurizeCFG():
 233     RegionPass(ID) {
 234
 235     initializeRegionInfoPass(*PassRegistry::getPassRegistry());
 236   }
 237
 238   virtual bool doInitialization(Region *R, RGPassManager &RGM);
 239
 240   virtual bool runOnRegion(Region *R, RGPassManager &RGM);
 241
 242   virtual const char *getPassName() const {
 243     return "AMDGPU simplify control flow";
 244   }
 245
 246   void getAnalysisUsage(AnalysisUsage &AU) const {
 247
 248     AU.addRequired<DominatorTree>();
 249     AU.addPreserved<DominatorTree>();
 250     RegionPass::getAnalysisUsage(AU);
 251   }
 252
 253 };
 254
 255 } // end anonymous namespace
 256
 257 char AMDGPUStructurizeCFG::ID = 0;
 258
 259 /// \brief Initialize the types and constants used in the pass
 260 bool AMDGPUStructurizeCFG::doInitialization(Region *R, RGPassManager &RGM) {
 261   LLVMContext &Context = R->getEntry()->getContext();
 262
 263   Boolean = Type::getInt1Ty(Context);
 264   BoolTrue = ConstantInt::getTrue(Context);
 265   BoolFalse = ConstantInt::getFalse(Context);
 266   BoolUndef = UndefValue::get(Boolean);
 267
 268   return false;
 269 }
 270
 271 /// \brief Build up the general order of nodes
 272 void AMDGPUStructurizeCFG::orderNodes() {
 273   scc_iterator<Region *> I = scc_begin(ParentRegion),
 274                          E = scc_end(ParentRegion);
 275   for (Order.clear(); I != E; ++I) {
 276     std::vector<RegionNode *> &Nodes = *I;
 277     Order.append(Nodes.begin(), Nodes.end());
 278   }
 279 }
 280
 281 /// \brief Build the condition for one edge
 282 Value *AMDGPUStructurizeCFG::buildCondition(BranchInst *Term, unsigned Idx,
 283                                             bool Invert) {
 284   Value *Cond = Invert ? BoolFalse : BoolTrue;
 285   if (Term->isConditional()) {
 286     Cond = Term->getCondition();
 287
 288     if (Idx != Invert)
 289       Cond = BinaryOperator::CreateNot(Cond, "", Term);
 290   }
 291   return Cond;
 292 }
 293
 294 /// \brief Analyze the start of a loop and insert predicates as necessary
 295 bool AMDGPUStructurizeCFG::analyzeLoopStart(BasicBlock *From, BasicBlock *To,
 296                                             Value *Condition) {
 297   LoopPred[From] = Condition;
 298   LoopTargets.insert(To);
 299   if (!LoopStart) {
 300     LoopStart = To;
 301     return true;
 302
 303   } else if (LoopStart == To)
 304     return true;
 305
 306   // We need to handle the case of intersecting loops, e. g.
 307   //
 308   //    /----<-----
 309   //    |         |
 310   // -> A -> B -> C -> D
 311   //         |         |
 312   //         -----<----/
 313
 314   RNVector::reverse_iterator OI = Order.rbegin(), OE = Order.rend();
 315
 316   for (;OI != OE; ++OI)
 317     if ((*OI)->getEntry() == LoopStart)
 318       break;
 319
 320   for (;OI != OE && (*OI)->getEntry() != To; ++OI) {
 321     BBPredicates &Pred = Predicates[(*OI)->getEntry()];
 322     if (!Pred.count(From))
 323       Pred[From] = Condition;
 324   }
 325   return false;
 326 }
 327
 328 /// \brief Analyze the predecessors of each block and build up predicates
 329 void AMDGPUStructurizeCFG::analyzeNode(RegionNode *N) {
 330   RegionInfo *RI = ParentRegion->getRegionInfo();
 331   BasicBlock *BB = N->getEntry();
 332   BBPredicates &Pred = Predicates[BB];
 333
 334   for (pred_iterator PI = pred_begin(BB), PE = pred_end(BB);
 335        PI != PE; ++PI) {
 336
 337     if (!ParentRegion->contains(*PI)) {
 338       // It's a branch from outside into our region entry
 339       Pred[*PI] = BoolTrue;
 340       continue;
 341     }
 342
 343     Region *R = RI->getRegionFor(*PI);
 344     if (R == ParentRegion) {
 345
 346       // It's a top level block in our region
 347       BranchInst *Term = cast<BranchInst>((*PI)->getTerminator());
 348       for (unsigned i = 0, e = Term->getNumSuccessors(); i != e; ++i) {
 349         BasicBlock *Succ = Term->getSuccessor(i);
 350         if (Succ != BB)
 351           continue;
 352
 353         if (Visited.count(*PI)) {
 354           // Normal forward edge
 355           if (Term->isConditional()) {
 356             // Try to treat it like an ELSE block
 357             BasicBlock *Other = Term->getSuccessor(!i);
 358             if (Visited.count(Other) && !LoopTargets.count(Other) &&
 359                 !Pred.count(Other) && !Pred.count(*PI)) {
 360
 361               Pred[Other] = BoolFalse;
 362               Pred[*PI] = BoolTrue;
 363               continue;
 364             }
 365           }
 366
 367         } else {
 368           // Back edge
 369           if (analyzeLoopStart(*PI, BB, buildCondition(Term, i, true)))
 370             continue;
 371         }
 372         Pred[*PI] = buildCondition(Term, i, false);
 373       }
 374
 375     } else {
 376
 377       // It's an exit from a sub region
 378       while(R->getParent() != ParentRegion)
 379         R = R->getParent();
 380
 381       // Edge from inside a subregion to its entry, ignore it
 382       if (R == N)
 383         continue;
 384
 385       BasicBlock *Entry = R->getEntry();
 386       if (!Visited.count(Entry))
 387         if (analyzeLoopStart(Entry, BB, BoolFalse))
 388           continue;
 389
 390       Pred[Entry] = BoolTrue;
 391     }
 392   }
 393 }
 394
 395 /// \brief Determine the end of the loop
 396 void AMDGPUStructurizeCFG::analyzeLoopEnd(RegionNode *N) {
 397
 398   if (N->isSubRegion()) {
 399     // Test for exit as back edge
 400     BasicBlock *Exit = N->getNodeAs<Region>()->getExit();
 401     if (Visited.count(Exit))
 402       LoopEnd = N->getEntry();
 403
 404   } else {
 405     // Test for sucessors as back edge
 406     BasicBlock *BB = N->getNodeAs<BasicBlock>();
 407     BranchInst *Term = cast<BranchInst>(BB->getTerminator());
 408
 409     for (unsigned i = 0, e = Term->getNumSuccessors(); i != e; ++i) {
 410       BasicBlock *Succ = Term->getSuccessor(i);
 411
 412       if (Visited.count(Succ))
 413         LoopEnd = BB;
 414     }
 415   }
 416 }
 417
 418 /// \brief Collect various loop and predicate infos
 419 void AMDGPUStructurizeCFG::collectInfos() {
 420
 421   // Reset predicate
 422   Predicates.clear();
 423
 424   // and loop infos
 425   LoopStart = LoopEnd = 0;
 426   LoopTargets.clear();
 427   LoopPred.clear();
 428
 429   // Reset the visited nodes
 430   Visited.clear();
 431
 432   for (RNVector::reverse_iterator OI = Order.rbegin(), OE = Order.rend();
 433        OI != OE; ++OI) {
 434
 435     // Analyze all the conditions leading to a node
 436     analyzeNode(*OI);
 437
 438     // Remember that we've seen this node
 439     Visited.insert((*OI)->getEntry());
 440
 441     // Find the last back edge
 442     analyzeLoopEnd(*OI);
 443   }
 444
 445   // Both or neither must be set
 446   assert(!LoopStart == !LoopEnd);
 447 }
 448
 449 /// \brief Insert the missing branch conditions
 450 void AMDGPUStructurizeCFG::insertConditions() {
 451   SSAUpdater PhiInserter;
 452
 453   for (BranchVector::iterator I = Conditions.begin(),
 454        E = Conditions.end(); I != E; ++I) {
 455
 456     BranchInst *Term = *I;
 457     BasicBlock *Parent = Term->getParent();
 458
 459     assert(Term->isConditional());
 460
 461     PhiInserter.Initialize(Boolean, "");
 462     if (Parent == LoopEnd) {
 463       PhiInserter.AddAvailableValue(LoopStart, BoolTrue);
 464     } else {
 465       PhiInserter.AddAvailableValue(&Func->getEntryBlock(), BoolFalse);
 466       PhiInserter.AddAvailableValue(Parent, BoolFalse);
 467     }
 468
 469     bool ParentHasValue = false;
 470     BasicBlock *Succ = Term->getSuccessor(0);
 471     BBPredicates &Preds = (Parent == LoopEnd) ? LoopPred : Predicates[Succ];
 472     for (BBPredicates::iterator PI = Preds.begin(), PE = Preds.end();
 473          PI != PE; ++PI) {
 474
 475       PhiInserter.AddAvailableValue(PI->first, PI->second);
 476       ParentHasValue |= PI->first == Parent;
 477     }
 478
 479     if (ParentHasValue)
 480       Term->setCondition(PhiInserter.GetValueAtEndOfBlock(Parent));
 481     else
 482       Term->setCondition(PhiInserter.GetValueInMiddleOfBlock(Parent));
 483   }
 484 }
 485
 486 /// \brief Remove all PHI values coming from "From" into "To" and remember
 487 /// them in DeletedPhis
 488 void AMDGPUStructurizeCFG::delPhiValues(BasicBlock *From, BasicBlock *To) {
 489   PhiMap &Map = DeletedPhis[To];
 490   for (BasicBlock::iterator I = To->begin(), E = To->end();
 491        I != E && isa<PHINode>(*I);) {
 492
 493     PHINode &Phi = cast<PHINode>(*I++);
 494     while (Phi.getBasicBlockIndex(From) != -1) {
 495       Value *Deleted = Phi.removeIncomingValue(From, false);
 496       Map[&Phi].push_back(std::make_pair(From, Deleted));
 497     }
 498   }
 499 }
 500
 501 /// \brief Add a dummy PHI value as soon as we knew the new predecessor
 502 void AMDGPUStructurizeCFG::addPhiValues(BasicBlock *From, BasicBlock *To) {
 503   for (BasicBlock::iterator I = To->begin(), E = To->end();
 504        I != E && isa<PHINode>(*I);) {
 505
 506     PHINode &Phi = cast<PHINode>(*I++);
 507     Value *Undef = UndefValue::get(Phi.getType());
 508     Phi.addIncoming(Undef, From);
 509   }
 510   AddedPhis[To].push_back(From);
 511 }
 512
 513 /// \brief Add the real PHI value as soon as everything is set up
 514 void AMDGPUStructurizeCFG::setPhiValues() {
 515
 516   SSAUpdater Updater;
 517   for (BB2BBVecMap::iterator AI = AddedPhis.begin(), AE = AddedPhis.end();
 518        AI != AE; ++AI) {
 519
 520     BasicBlock *To = AI->first;
 521     BBVector &From = AI->second;
 522
 523     if (!DeletedPhis.count(To))
 524       continue;
 525
 526     PhiMap &Map = DeletedPhis[To];
 527     for (PhiMap::iterator PI = Map.begin(), PE = Map.end();
 528          PI != PE; ++PI) {
 529
 530       PHINode *Phi = PI->first;
 531       Value *Undef = UndefValue::get(Phi->getType());
 532       Updater.Initialize(Phi->getType(), "");
 533       Updater.AddAvailableValue(&Func->getEntryBlock(), Undef);
 534       Updater.AddAvailableValue(To, Undef);
 535
 536       for (BBValueVector::iterator VI = PI->second.begin(),
 537            VE = PI->second.end(); VI != VE; ++VI) {
 538
 539         Updater.AddAvailableValue(VI->first, VI->second);
 540       }
 541
 542       for (BBVector::iterator FI = From.begin(), FE = From.end();
 543            FI != FE; ++FI) {
 544
 545         int Idx = Phi->getBasicBlockIndex(*FI);
 546         assert(Idx != -1);
 547         Phi->setIncomingValue(Idx, Updater.GetValueAtEndOfBlock(*FI));
 548       }
 549     }
 550
 551     DeletedPhis.erase(To);
 552   }
 553   assert(DeletedPhis.empty());
 554 }
 555
 556 /// \brief Remove phi values from all successors and then remove the terminator.
 557 void AMDGPUStructurizeCFG::killTerminator(BasicBlock *BB) {
 558   TerminatorInst *Term = BB->getTerminator();
 559   if (!Term)
 560     return;
 561
 562   for (succ_iterator SI = succ_begin(BB), SE = succ_end(BB);
 563        SI != SE; ++SI) {
 564
 565     delPhiValues(BB, *SI);
 566   }
 567
 568   Term->eraseFromParent();
 569 }
 570
 571 /// \brief Let node exit(s) point to NewExit
 572 void AMDGPUStructurizeCFG::changeExit(RegionNode *Node, BasicBlock *NewExit,
 573                                       bool IncludeDominator) {
 574
 575   if (Node->isSubRegion()) {
 576     Region *SubRegion = Node->getNodeAs<Region>();
 577     BasicBlock *OldExit = SubRegion->getExit();
 578     BasicBlock *Dominator = 0;
 579
 580     // Find all the edges from the sub region to the exit
 581     for (pred_iterator I = pred_begin(OldExit), E = pred_end(OldExit);
 582          I != E;) {
 583
 584       BasicBlock *BB = *I++;
 585       if (!SubRegion->contains(BB))
 586         continue;
 587
 588       // Modify the edges to point to the new exit
 589       delPhiValues(BB, OldExit);
 590       BB->getTerminator()->replaceUsesOfWith(OldExit, NewExit);
 591       addPhiValues(BB, NewExit);
 592
 593       // Find the new dominator (if requested)
 594       if (IncludeDominator) {
 595         if (!Dominator)
 596           Dominator = BB;
 597         else
 598           Dominator = DT->findNearestCommonDominator(Dominator, BB);
 599       }
 600     }
 601
 602     // Change the dominator (if requested)
 603     if (Dominator)
 604       DT->changeImmediateDominator(NewExit, Dominator);
 605
 606     // Update the region info
 607     SubRegion->replaceExit(NewExit);
 608
 609   } else {
 610     BasicBlock *BB = Node->getNodeAs<BasicBlock>();
 611     killTerminator(BB);
 612     BranchInst::Create(NewExit, BB);
 613     addPhiValues(BB, NewExit);
 614     if (IncludeDominator)
 615       DT->changeImmediateDominator(NewExit, BB);
 616   }
 617 }
 618
 619 /// \brief Create a new flow node and update dominator tree and region info
 620 BasicBlock *AMDGPUStructurizeCFG::getNextFlow(BasicBlock *Dominator) {
 621   LLVMContext &Context = Func->getContext();
 622   BasicBlock *Insert = Order.empty() ? ParentRegion->getExit() :
 623                        Order.back()->getEntry();
 624   BasicBlock *Flow = BasicBlock::Create(Context, FlowBlockName,
 625                                         Func, Insert);
 626   DT->addNewBlock(Flow, Dominator);
 627   ParentRegion->getRegionInfo()->setRegionFor(Flow, ParentRegion);
 628   return Flow;
 629 }
 630
 631 /// \brief Create a new or reuse the previous node as flow node
 632 BasicBlock *AMDGPUStructurizeCFG::needPrefix(RegionNode *&Prev,
 633                                              RegionNode *Node) {
 634
 635   if (!Prev || Prev->isSubRegion() ||
 636       (Node && Node->getEntry() == LoopStart)) {
 637
 638     // We need to insert a flow node, first figure out the dominator
 639     DomTreeNode *Dominator = Prev ? DT->getNode(Prev->getEntry()) : 0;
 640     if (!Dominator)
 641       Dominator = DT->getNode(Node->getEntry())->getIDom();
 642     assert(Dominator && "Illegal loop to function entry");
 643
 644     // then create the flow node
 645     BasicBlock *Flow = getNextFlow(Dominator->getBlock());
 646
 647     // wire up the new flow
 648     if (Prev) {
 649       changeExit(Prev, Flow, true);
 650     } else {
 651       // Parent regions entry needs predicates, create a new region entry
 652       BasicBlock *Entry = Node->getEntry();
 653       for (pred_iterator I = pred_begin(Entry), E = pred_end(Entry);
 654            I != E;) {
 655
 656         BasicBlock *BB = *(I++);
 657         if (ParentRegion->contains(BB))
 658           continue;
 659
 660         // Remove PHY values from outside to our entry node
 661         delPhiValues(BB, Entry);
 662
 663         // Update the branch instructions
 664         BB->getTerminator()->replaceUsesOfWith(Entry, Flow);
 665       }
 666
 667       // Populate the region tree with the new entry
 668       for (Region *R = ParentRegion; R && R->getEntry() == Entry;
 669            R = R->getParent()) {
 670         R->replaceEntry(Flow);
 671       }
 672     }
 673     Prev = ParentRegion->getBBNode(Flow);
 674
 675   } else {
 676     killTerminator(Prev->getEntry());
 677   }
 678
 679   return Prev->getEntry();
 680 }
 681
 682 /// \brief Returns the region exit if possible, otherwise just a new flow node
 683 BasicBlock *AMDGPUStructurizeCFG::needPostfix(BasicBlock *Flow,
 684                                               bool ExitUseAllowed) {
 685
 686   if (Order.empty() && ExitUseAllowed) {
 687     BasicBlock *Exit = ParentRegion->getExit();
 688     DT->changeImmediateDominator(Exit, Flow);
 689     addPhiValues(Flow, Exit);
 690     return Exit;
 691   }
 692   return getNextFlow(Flow);
 693 }
 694
 695 /// \brief Returns the region node for Netx, or null if Next is the exit
 696 RegionNode *AMDGPUStructurizeCFG::getNextPrev(BasicBlock *Next) {
 697   return ParentRegion->contains(Next) ? ParentRegion->getBBNode(Next) : 0;
 698 }
 699
 700 /// \brief Does BB dominate all the predicates of Node ?
 701 bool AMDGPUStructurizeCFG::dominatesPredicates(BasicBlock *BB, RegionNode *Node) {
 702   BBPredicates &Preds = Predicates[Node->getEntry()];
 703   for (BBPredicates::iterator PI = Preds.begin(), PE = Preds.end();
 704        PI != PE; ++PI) {
 705
 706     if (!DT->dominates(BB, PI->first))
 707       return false;
 708   }
 709   return true;
 710 }
 711
 712 /// \brief Can we predict that this node will always be called?
 713 bool AMDGPUStructurizeCFG::isPredictableTrue(RegionNode *Who,
 714                                              RegionNode *Where) {
 715
 716   BBPredicates &Preds = Predicates[Who->getEntry()];
 717   bool Dominated = Where == 0;
 718
 719   for (BBPredicates::iterator I = Preds.begin(), E = Preds.end();
 720        I != E; ++I) {
 721
 722     if (I->second != BoolTrue)
 723       return false;
 724
 725     if (!Dominated && DT->dominates(I->first, Where->getEntry()))
 726       Dominated = true;
 727   }
 728
 729   // TODO: The dominator check is too strict
 730   return Dominated;
 731 }
 732
 733 /// Take one node from the order vector and wire it up
 734 RegionNode *AMDGPUStructurizeCFG::wireFlow(RegionNode *&Prev,
 735                                            bool ExitUseAllowed) {
 736
 737   RegionNode *Node = Order.pop_back_val();
 738
 739   if (isPredictableTrue(Node, Prev)) {
 740     // Just a linear flow
 741     if (Prev) {
 742       changeExit(Prev, Node->getEntry(), true);
 743     }
 744     Prev = Node;
 745
 746   } else {
 747     // Insert extra prefix node (or reuse last one)
 748     BasicBlock *Flow = needPrefix(Prev, Node);
 749     if (Node->getEntry() == LoopStart)
 750       LoopStart = Flow;
 751
 752     // Insert extra postfix node (or use exit instead)
 753     BasicBlock *Entry = Node->getEntry();
 754     BasicBlock *Next = needPostfix(Flow, ExitUseAllowed && Entry != LoopEnd);
 755
 756     // let it point to entry and next block
 757     Conditions.push_back(BranchInst::Create(Entry, Next, BoolUndef, Flow));
 758     addPhiValues(Flow, Entry);
 759     DT->changeImmediateDominator(Entry, Flow);
 760
 761     Prev = Node;
 762     while (!Order.empty() && Node->getEntry() != LoopEnd &&
 763            !LoopTargets.count(Order.back()->getEntry()) &&
 764            dominatesPredicates(Entry, Order.back())) {
 765       Node = wireFlow(Prev, false);
 766     }
 767
 768     changeExit(Prev, Next, false);
 769     Prev = getNextPrev(Next);
 770   }
 771
 772   return Node;
 773 }
 774
 775 /// After this function control flow looks like it should be, but
 776 /// branches and PHI nodes only have undefined conditions.
 777 void AMDGPUStructurizeCFG::createFlow() {
 778
 779   BasicBlock *Exit = ParentRegion->getExit();
 780   bool EntryDominatesExit = DT->dominates(ParentRegion->getEntry(), Exit);
 781
 782   DeletedPhis.clear();
 783   AddedPhis.clear();
 784   Conditions.clear();
 785
 786   RegionNode *Prev = 0;
 787   while (!Order.empty()) {
 788
 789     RegionNode *Node = wireFlow(Prev, EntryDominatesExit);
 790
 791     // Create an extra loop end node
 792     if (Node->getEntry() == LoopEnd) {
 793       LoopEnd = needPrefix(Prev, 0);
 794       BasicBlock *Next = needPostfix(LoopEnd, EntryDominatesExit);
 795
 796       Conditions.push_back(BranchInst::Create(Next, LoopStart,
 797                                               BoolUndef, LoopEnd));
 798       addPhiValues(LoopEnd, LoopStart);
 799       Prev = getNextPrev(Next);
 800     }
 801   }
 802
 803   if (Prev)
 804     changeExit(Prev, Exit, EntryDominatesExit);
 805   else
 806     assert(EntryDominatesExit);
 807 }
 808
 809 /// Handle a rare case where the disintegrated nodes instructions
 810 /// no longer dominate all their uses. Not sure if this is really nessasary
 811 void AMDGPUStructurizeCFG::rebuildSSA() {
 812   SSAUpdater Updater;
 813   for (Region::block_iterator I = ParentRegion->block_begin(),
 814                               E = ParentRegion->block_end();
 815        I != E; ++I) {
 816
 817     BasicBlock *BB = *I;
 818     for (BasicBlock::iterator II = BB->begin(), IE = BB->end();
 819          II != IE; ++II) {
 820
 821       bool Initialized = false;
 822       for (Use *I = &II->use_begin().getUse(), *Next; I; I = Next) {
 823
 824         Next = I->getNext();
 825
 826         Instruction *User = cast<Instruction>(I->getUser());
 827         if (User->getParent() == BB) {
 828           continue;
 829
 830         } else if (PHINode *UserPN = dyn_cast<PHINode>(User)) {
 831           if (UserPN->getIncomingBlock(*I) == BB)
 832             continue;
 833         }
 834
 835         if (DT->dominates(II, User))
 836           continue;
 837
 838         if (!Initialized) {
 839           Value *Undef = UndefValue::get(II->getType());
 840           Updater.Initialize(II->getType(), "");
 841           Updater.AddAvailableValue(&Func->getEntryBlock(), Undef);
 842           Updater.AddAvailableValue(BB, II);
 843           Initialized = true;
 844         }
 845         Updater.RewriteUseAfterInsertions(*I);
 846       }
 847     }
 848   }
 849 }
 850
 851 /// \brief Run the transformation for each region found
 852 bool AMDGPUStructurizeCFG::runOnRegion(Region *R, RGPassManager &RGM) {
 853   if (R->isTopLevelRegion())
 854     return false;
 855
 856   Func = R->getEntry()->getParent();
 857   ParentRegion = R;
 858
 859   DT = &getAnalysis<DominatorTree>();
 860
 861   orderNodes();
 862   collectInfos();
 863   createFlow();
 864   insertConditions();
 865   setPhiValues();
 866   rebuildSSA();
 867
 868   // Cleanup
 869   Order.clear();
 870   Visited.clear();
 871   Predicates.clear();
 872   DeletedPhis.clear();
 873   AddedPhis.clear();
 874   Conditions.clear();
 875   LoopTargets.clear();
 876   LoopPred.clear();
 877
 878   return true;
 879 }
 880
 881 /// \brief Create the pass
 882 Pass *llvm::createAMDGPUStructurizeCFGPass() {
 883   return new AMDGPUStructurizeCFG();
 884 }