lib/Target/AMDGPU/SIInsertWaits.cpp

   1 //===-- SILowerControlFlow.cpp - Use predicates for control flow ----------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 /// \file
  11 /// \brief Insert wait instructions for memory reads and writes.
  12 ///
  13 /// Memory reads and writes are issued asynchronously, so we need to insert
  14 /// S_WAITCNT instructions when we want to access any of their results or
  15 /// overwrite any register that's used asynchronously.
  16 //
  17 //===----------------------------------------------------------------------===//
  18
  19 #include "AMDGPU.h"
  20 #include "AMDGPUSubtarget.h"
  21 #include "SIDefines.h"
  22 #include "SIInstrInfo.h"
  23 #include "SIMachineFunctionInfo.h"
  24 #include "llvm/CodeGen/MachineFunction.h"
  25 #include "llvm/CodeGen/MachineFunctionPass.h"
  26 #include "llvm/CodeGen/MachineInstrBuilder.h"
  27 #include "llvm/CodeGen/MachineRegisterInfo.h"
  28
  29 using namespace llvm;
  30
  31 namespace {
  32
  33 /// \brief One variable for each of the hardware counters
  34 typedef union {
  35   struct {
  36     unsigned VM;
  37     unsigned EXP;
  38     unsigned LGKM;
  39   } Named;
  40   unsigned Array[3];
  41
  42 } Counters;
  43
  44 typedef enum {
  45   OTHER,
  46   SMEM,
  47   VMEM
  48 } InstType;
  49
  50 typedef Counters RegCounters[512];
  51 typedef std::pair<unsigned, unsigned> RegInterval;
  52
  53 class SIInsertWaits : public MachineFunctionPass {
  54
  55 private:
  56   static char ID;
  57   const SIInstrInfo *TII;
  58   const SIRegisterInfo *TRI;
  59   const MachineRegisterInfo *MRI;
  60
  61   /// \brief Constant hardware limits
  62   static const Counters WaitCounts;
  63
  64   /// \brief Constant zero value
  65   static const Counters ZeroCounts;
  66
  67   /// \brief Counter values we have already waited on.
  68   Counters WaitedOn;
  69
  70   /// \brief Counter values for last instruction issued.
  71   Counters LastIssued;
  72
  73   /// \brief Registers used by async instructions.
  74   RegCounters UsedRegs;
  75
  76   /// \brief Registers defined by async instructions.
  77   RegCounters DefinedRegs;
  78
  79   /// \brief Different export instruction types seen since last wait.
  80   unsigned ExpInstrTypesSeen;
  81
  82   /// \brief Type of the last opcode.
  83   InstType LastOpcodeType;
  84
  85   bool LastInstWritesM0;
  86
  87   /// \brief Get increment/decrement amount for this instruction.
  88   Counters getHwCounts(MachineInstr &MI);
  89
  90   /// \brief Is operand relevant for async execution?
  91   bool isOpRelevant(MachineOperand &Op);
  92
  93   /// \brief Get register interval an operand affects.
  94   RegInterval getRegInterval(MachineOperand &Op);
  95
  96   /// \brief Handle instructions async components
  97   void pushInstruction(MachineBasicBlock &MBB,
  98                        MachineBasicBlock::iterator I);
  99
 100   /// \brief Insert the actual wait instruction
 101   bool insertWait(MachineBasicBlock &MBB,
 102                   MachineBasicBlock::iterator I,
 103                   const Counters &Counts);
 104
 105   /// \brief Do we need def2def checks?
 106   bool unorderedDefines(MachineInstr &MI);
 107
 108   /// \brief Resolve all operand dependencies to counter requirements
 109   Counters handleOperands(MachineInstr &MI);
 110
 111   /// \brief Insert S_NOP between an instruction writing M0 and S_SENDMSG.
 112   void handleSendMsg(MachineBasicBlock &MBB, MachineBasicBlock::iterator I);
 113
 114 public:
 115   SIInsertWaits(TargetMachine &tm) :
 116     MachineFunctionPass(ID),
 117     TII(nullptr),
 118     TRI(nullptr),
 119     ExpInstrTypesSeen(0) { }
 120
 121   bool runOnMachineFunction(MachineFunction &MF) override;
 122
 123   const char *getPassName() const override {
 124     return "SI insert wait  instructions";
 125   }
 126
 127 };
 128
 129 } // End anonymous namespace
 130
 131 char SIInsertWaits::ID = 0;
 132
 133 const Counters SIInsertWaits::WaitCounts = { { 15, 7, 7 } };
 134 const Counters SIInsertWaits::ZeroCounts = { { 0, 0, 0 } };
 135
 136 FunctionPass *llvm::createSIInsertWaits(TargetMachine &tm) {
 137   return new SIInsertWaits(tm);
 138 }
 139
 140 Counters SIInsertWaits::getHwCounts(MachineInstr &MI) {
 141
 142   uint64_t TSFlags = TII->get(MI.getOpcode()).TSFlags;
 143   Counters Result;
 144
 145   Result.Named.VM = !!(TSFlags & SIInstrFlags::VM_CNT);
 146
 147   // Only consider stores or EXP for EXP_CNT
 148   Result.Named.EXP = !!(TSFlags & SIInstrFlags::EXP_CNT &&
 149       (MI.getOpcode() == AMDGPU::EXP || MI.getDesc().mayStore()));
 150
 151   // LGKM may uses larger values
 152   if (TSFlags & SIInstrFlags::LGKM_CNT) {
 153
 154     if (TII->isSMRD(MI.getOpcode())) {
 155
 156       MachineOperand &Op = MI.getOperand(0);
 157       assert(Op.isReg() && "First LGKM operand must be a register!");
 158
 159       unsigned Reg = Op.getReg();
 160       unsigned Size = TRI->getMinimalPhysRegClass(Reg)->getSize();
 161       Result.Named.LGKM = Size > 4 ? 2 : 1;
 162
 163     } else {
 164       // DS
 165       Result.Named.LGKM = 1;
 166     }
 167
 168   } else {
 169     Result.Named.LGKM = 0;
 170   }
 171
 172   return Result;
 173 }
 174
 175 bool SIInsertWaits::isOpRelevant(MachineOperand &Op) {
 176
 177   // Constants are always irrelevant
 178   if (!Op.isReg())
 179     return false;
 180
 181   // Defines are always relevant
 182   if (Op.isDef())
 183     return true;
 184
 185   // For exports all registers are relevant
 186   MachineInstr &MI = *Op.getParent();
 187   if (MI.getOpcode() == AMDGPU::EXP)
 188     return true;
 189
 190   // For stores the stored value is also relevant
 191   if (!MI.getDesc().mayStore())
 192     return false;
 193
 194   // Check if this operand is the value being stored.
 195   // Special case for DS instructions, since the address
 196   // operand comes before the value operand and it may have
 197   // multiple data operands.
 198
 199   if (TII->isDS(MI.getOpcode())) {
 200     MachineOperand *Data = TII->getNamedOperand(MI, AMDGPU::OpName::data);
 201     if (Data && Op.isIdenticalTo(*Data))
 202       return true;
 203
 204     MachineOperand *Data0 = TII->getNamedOperand(MI, AMDGPU::OpName::data0);
 205     if (Data0 && Op.isIdenticalTo(*Data0))
 206       return true;
 207
 208     MachineOperand *Data1 = TII->getNamedOperand(MI, AMDGPU::OpName::data1);
 209     if (Data1 && Op.isIdenticalTo(*Data1))
 210       return true;
 211
 212     return false;
 213   }
 214
 215   // NOTE: This assumes that the value operand is before the
 216   // address operand, and that there is only one value operand.
 217   for (MachineInstr::mop_iterator I = MI.operands_begin(),
 218        E = MI.operands_end(); I != E; ++I) {
 219
 220     if (I->isReg() && I->isUse())
 221       return Op.isIdenticalTo(*I);
 222   }
 223
 224   return false;
 225 }
 226
 227 RegInterval SIInsertWaits::getRegInterval(MachineOperand &Op) {
 228
 229   if (!Op.isReg() || !TRI->isInAllocatableClass(Op.getReg()))
 230     return std::make_pair(0, 0);
 231
 232   unsigned Reg = Op.getReg();
 233   unsigned Size = TRI->getMinimalPhysRegClass(Reg)->getSize();
 234
 235   assert(Size >= 4);
 236
 237   RegInterval Result;
 238   Result.first = TRI->getEncodingValue(Reg);
 239   Result.second = Result.first + Size / 4;
 240
 241   return Result;
 242 }
 243
 244 void SIInsertWaits::pushInstruction(MachineBasicBlock &MBB,
 245                                     MachineBasicBlock::iterator I) {
 246
 247   // Get the hardware counter increments and sum them up
 248   Counters Increment = getHwCounts(*I);
 249   Counters Limit = ZeroCounts;
 250   unsigned Sum = 0;
 251
 252   for (unsigned i = 0; i < 3; ++i) {
 253     LastIssued.Array[i] += Increment.Array[i];
 254     if (Increment.Array[i])
 255       Limit.Array[i] = LastIssued.Array[i];
 256     Sum += Increment.Array[i];
 257   }
 258
 259   // If we don't increase anything then that's it
 260   if (Sum == 0) {
 261     LastOpcodeType = OTHER;
 262     return;
 263   }
 264
 265   if (MBB.getParent()->getSubtarget<AMDGPUSubtarget>().getGeneration() >=
 266       AMDGPUSubtarget::VOLCANIC_ISLANDS) {
 267     // Any occurrence of consecutive VMEM or SMEM instructions forms a VMEM
 268     // or SMEM clause, respectively.
 269     //
 270     // The temporary workaround is to break the clauses with S_NOP.
 271     //
 272     // The proper solution would be to allocate registers such that all source
 273     // and destination registers don't overlap, e.g. this is illegal:
 274     //   r0 = load r2
 275     //   r2 = load r0
 276     if ((LastOpcodeType == SMEM && TII->isSMRD(I->getOpcode())) ||
 277         (LastOpcodeType == VMEM && Increment.Named.VM)) {
 278       // Insert a NOP to break the clause.
 279       BuildMI(MBB, I, DebugLoc(), TII->get(AMDGPU::S_NOP))
 280           .addImm(0);
 281       LastInstWritesM0 = false;
 282     }
 283
 284     if (TII->isSMRD(I->getOpcode()))
 285       LastOpcodeType = SMEM;
 286     else if (Increment.Named.VM)
 287       LastOpcodeType = VMEM;
 288   }
 289
 290   // Remember which export instructions we have seen
 291   if (Increment.Named.EXP) {
 292     ExpInstrTypesSeen |= I->getOpcode() == AMDGPU::EXP ? 1 : 2;
 293   }
 294
 295   for (unsigned i = 0, e = I->getNumOperands(); i != e; ++i) {
 296
 297     MachineOperand &Op = I->getOperand(i);
 298     if (!isOpRelevant(Op))
 299       continue;
 300
 301     RegInterval Interval = getRegInterval(Op);
 302     for (unsigned j = Interval.first; j < Interval.second; ++j) {
 303
 304       // Remember which registers we define
 305       if (Op.isDef())
 306         DefinedRegs[j] = Limit;
 307
 308       // and which one we are using
 309       if (Op.isUse())
 310         UsedRegs[j] = Limit;
 311     }
 312   }
 313 }
 314
 315 bool SIInsertWaits::insertWait(MachineBasicBlock &MBB,
 316                                MachineBasicBlock::iterator I,
 317                                const Counters &Required) {
 318
 319   // End of program? No need to wait on anything
 320   if (I != MBB.end() && I->getOpcode() == AMDGPU::S_ENDPGM)
 321     return false;
 322
 323   // Figure out if the async instructions execute in order
 324   bool Ordered[3];
 325
 326   // VM_CNT is always ordered
 327   Ordered[0] = true;
 328
 329   // EXP_CNT is unordered if we have both EXP & VM-writes
 330   Ordered[1] = ExpInstrTypesSeen == 3;
 331
 332   // LGKM_CNT is handled as always unordered. TODO: Handle LDS and GDS
 333   Ordered[2] = false;
 334
 335   // The values we are going to put into the S_WAITCNT instruction
 336   Counters Counts = WaitCounts;
 337
 338   // Do we really need to wait?
 339   bool NeedWait = false;
 340
 341   for (unsigned i = 0; i < 3; ++i) {
 342
 343     if (Required.Array[i] <= WaitedOn.Array[i])
 344       continue;
 345
 346     NeedWait = true;
 347
 348     if (Ordered[i]) {
 349       unsigned Value = LastIssued.Array[i] - Required.Array[i];
 350
 351       // Adjust the value to the real hardware possibilities.
 352       Counts.Array[i] = std::min(Value, WaitCounts.Array[i]);
 353
 354     } else
 355       Counts.Array[i] = 0;
 356
 357     // Remember on what we have waited on.
 358     WaitedOn.Array[i] = LastIssued.Array[i] - Counts.Array[i];
 359   }
 360
 361   if (!NeedWait)
 362     return false;
 363
 364   // Reset EXP_CNT instruction types
 365   if (Counts.Named.EXP == 0)
 366     ExpInstrTypesSeen = 0;
 367
 368   // Build the wait instruction
 369   BuildMI(MBB, I, DebugLoc(), TII->get(AMDGPU::S_WAITCNT))
 370           .addImm((Counts.Named.VM & 0xF) |
 371                   ((Counts.Named.EXP & 0x7) << 4) |
 372                   ((Counts.Named.LGKM & 0x7) << 8));
 373
 374   LastOpcodeType = OTHER;
 375   LastInstWritesM0 = false;
 376   return true;
 377 }
 378
 379 /// \brief helper function for handleOperands
 380 static void increaseCounters(Counters &Dst, const Counters &Src) {
 381
 382   for (unsigned i = 0; i < 3; ++i)
 383     Dst.Array[i] = std::max(Dst.Array[i], Src.Array[i]);
 384 }
 385
 386 Counters SIInsertWaits::handleOperands(MachineInstr &MI) {
 387
 388   Counters Result = ZeroCounts;
 389
 390   // S_SENDMSG implicitly waits for all outstanding LGKM transfers to finish,
 391   // but we also want to wait for any other outstanding transfers before
 392   // signalling other hardware blocks
 393   if (MI.getOpcode() == AMDGPU::S_SENDMSG)
 394     return LastIssued;
 395
 396   // For each register affected by this
 397   // instruction increase the result sequence
 398   for (unsigned i = 0, e = MI.getNumOperands(); i != e; ++i) {
 399
 400     MachineOperand &Op = MI.getOperand(i);
 401     RegInterval Interval = getRegInterval(Op);
 402     for (unsigned j = Interval.first; j < Interval.second; ++j) {
 403
 404       if (Op.isDef()) {
 405         increaseCounters(Result, UsedRegs[j]);
 406         increaseCounters(Result, DefinedRegs[j]);
 407       }
 408
 409       if (Op.isUse())
 410         increaseCounters(Result, DefinedRegs[j]);
 411     }
 412   }
 413
 414   return Result;
 415 }
 416
 417 void SIInsertWaits::handleSendMsg(MachineBasicBlock &MBB,
 418                                   MachineBasicBlock::iterator I) {
 419   if (MBB.getParent()->getSubtarget<AMDGPUSubtarget>().getGeneration() <
 420       AMDGPUSubtarget::VOLCANIC_ISLANDS)
 421     return;
 422
 423   // There must be "S_NOP 0" between an instruction writing M0 and S_SENDMSG.
 424   if (LastInstWritesM0 && I->getOpcode() == AMDGPU::S_SENDMSG) {
 425     BuildMI(MBB, I, DebugLoc(), TII->get(AMDGPU::S_NOP)).addImm(0);
 426     LastInstWritesM0 = false;
 427     return;
 428   }
 429
 430   // Set whether this instruction sets M0
 431   LastInstWritesM0 = false;
 432
 433   unsigned NumOperands = I->getNumOperands();
 434   for (unsigned i = 0; i < NumOperands; i++) {
 435     const MachineOperand &Op = I->getOperand(i);
 436
 437     if (Op.isReg() && Op.isDef() && Op.getReg() == AMDGPU::M0)
 438       LastInstWritesM0 = true;
 439   }
 440 }
 441
 442 // FIXME: Insert waits listed in Table 4.2 "Required User-Inserted Wait States"
 443 // around other non-memory instructions.
 444 bool SIInsertWaits::runOnMachineFunction(MachineFunction &MF) {
 445   bool Changes = false;
 446
 447   TII = static_cast<const SIInstrInfo *>(MF.getSubtarget().getInstrInfo());
 448   TRI =
 449       static_cast<const SIRegisterInfo *>(MF.getSubtarget().getRegisterInfo());
 450
 451   MRI = &MF.getRegInfo();
 452
 453   WaitedOn = ZeroCounts;
 454   LastIssued = ZeroCounts;
 455   LastOpcodeType = OTHER;
 456   LastInstWritesM0 = false;
 457
 458   memset(&UsedRegs, 0, sizeof(UsedRegs));
 459   memset(&DefinedRegs, 0, sizeof(DefinedRegs));
 460
 461   for (MachineFunction::iterator BI = MF.begin(), BE = MF.end();
 462        BI != BE; ++BI) {
 463
 464     MachineBasicBlock &MBB = *BI;
 465     for (MachineBasicBlock::iterator I = MBB.begin(), E = MBB.end();
 466          I != E; ++I) {
 467
 468       // Wait for everything before a barrier.
 469       if (I->getOpcode() == AMDGPU::S_BARRIER)
 470         Changes |= insertWait(MBB, I, LastIssued);
 471       else
 472         Changes |= insertWait(MBB, I, handleOperands(*I));
 473
 474       pushInstruction(MBB, I);
 475       handleSendMsg(MBB, I);
 476     }
 477
 478     // Wait for everything at the end of the MBB
 479     Changes |= insertWait(MBB, MBB.getFirstTerminator(), LastIssued);
 480   }
 481
 482   return Changes;
 483 }