R600: Emit CF_ALU and use true kcache register.
[oota-llvm.git] / lib / Target / R600 / MCTargetDesc / R600MCCodeEmitter.cpp
1 //===- R600MCCodeEmitter.cpp - Code Emitter for R600->Cayman GPU families -===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 /// \file
11 ///
12 /// This code emitter outputs bytecode that is understood by the r600g driver
13 /// in the Mesa [1] project.  The bytecode is very similar to the hardware's ISA,
14 /// but it still needs to be run through a finalizer in order to be executed
15 /// by the GPU.
16 ///
17 /// [1] http://www.mesa3d.org/
18 //
19 //===----------------------------------------------------------------------===//
20
21 #include "R600Defines.h"
22 #include "MCTargetDesc/AMDGPUMCCodeEmitter.h"
23 #include "MCTargetDesc/AMDGPUMCTargetDesc.h"
24 #include "llvm/MC/MCCodeEmitter.h"
25 #include "llvm/MC/MCContext.h"
26 #include "llvm/MC/MCInst.h"
27 #include "llvm/MC/MCInstrInfo.h"
28 #include "llvm/MC/MCRegisterInfo.h"
29 #include "llvm/MC/MCSubtargetInfo.h"
30 #include "llvm/Support/raw_ostream.h"
31 #include <stdio.h>
32
33 #define SRC_BYTE_COUNT 11
34 #define DST_BYTE_COUNT 5
35
36 using namespace llvm;
37
38 namespace {
39
40 class R600MCCodeEmitter : public AMDGPUMCCodeEmitter {
41   R600MCCodeEmitter(const R600MCCodeEmitter &) LLVM_DELETED_FUNCTION;
42   void operator=(const R600MCCodeEmitter &) LLVM_DELETED_FUNCTION;
43   const MCInstrInfo &MCII;
44   const MCRegisterInfo &MRI;
45   const MCSubtargetInfo &STI;
46   MCContext &Ctx;
47
48 public:
49
50   R600MCCodeEmitter(const MCInstrInfo &mcii, const MCRegisterInfo &mri,
51                     const MCSubtargetInfo &sti, MCContext &ctx)
52     : MCII(mcii), MRI(mri), STI(sti), Ctx(ctx) { }
53
54   /// \brief Encode the instruction and write it to the OS.
55   virtual void EncodeInstruction(const MCInst &MI, raw_ostream &OS,
56                          SmallVectorImpl<MCFixup> &Fixups) const;
57
58   /// \returns the encoding for an MCOperand.
59   virtual uint64_t getMachineOpValue(const MCInst &MI, const MCOperand &MO,
60                                      SmallVectorImpl<MCFixup> &Fixups) const;
61 private:
62
63   void EmitALUInstr(const MCInst &MI, SmallVectorImpl<MCFixup> &Fixups,
64                     raw_ostream &OS) const;
65   void EmitSrc(const MCInst &MI, unsigned OpIdx, raw_ostream &OS) const;
66   void EmitSrcISA(const MCInst &MI, unsigned RegOpIdx, unsigned SelOpIdx,
67                     raw_ostream &OS) const;
68   void EmitDst(const MCInst &MI, raw_ostream &OS) const;
69   void EmitFCInstr(const MCInst &MI, raw_ostream &OS) const;
70
71   void EmitNullBytes(unsigned int byteCount, raw_ostream &OS) const;
72
73   void EmitByte(unsigned int byte, raw_ostream &OS) const;
74
75   void EmitTwoBytes(uint32_t bytes, raw_ostream &OS) const;
76
77   void Emit(uint32_t value, raw_ostream &OS) const;
78   void Emit(uint64_t value, raw_ostream &OS) const;
79
80   unsigned getHWRegChan(unsigned reg) const;
81   unsigned getHWReg(unsigned regNo) const;
82
83   bool isFCOp(unsigned opcode) const;
84   bool isTexOp(unsigned opcode) const;
85   bool isFlagSet(const MCInst &MI, unsigned Operand, unsigned Flag) const;
86
87 };
88
89 } // End anonymous namespace
90
91 enum RegElement {
92   ELEMENT_X = 0,
93   ELEMENT_Y,
94   ELEMENT_Z,
95   ELEMENT_W
96 };
97
98 enum InstrTypes {
99   INSTR_ALU = 0,
100   INSTR_TEX,
101   INSTR_FC,
102   INSTR_NATIVE,
103   INSTR_VTX,
104   INSTR_EXPORT,
105   INSTR_CFALU
106 };
107
108 enum FCInstr {
109   FC_IF_PREDICATE = 0,
110   FC_ELSE,
111   FC_ENDIF,
112   FC_BGNLOOP,
113   FC_ENDLOOP,
114   FC_BREAK_PREDICATE,
115   FC_CONTINUE
116 };
117
118 enum TextureTypes {
119   TEXTURE_1D = 1,
120   TEXTURE_2D,
121   TEXTURE_3D,
122   TEXTURE_CUBE,
123   TEXTURE_RECT,
124   TEXTURE_SHADOW1D,
125   TEXTURE_SHADOW2D,
126   TEXTURE_SHADOWRECT,
127   TEXTURE_1D_ARRAY,
128   TEXTURE_2D_ARRAY,
129   TEXTURE_SHADOW1D_ARRAY,
130   TEXTURE_SHADOW2D_ARRAY
131 };
132
133 MCCodeEmitter *llvm::createR600MCCodeEmitter(const MCInstrInfo &MCII,
134                                            const MCRegisterInfo &MRI,
135                                            const MCSubtargetInfo &STI,
136                                            MCContext &Ctx) {
137   return new R600MCCodeEmitter(MCII, MRI, STI, Ctx);
138 }
139
140 void R600MCCodeEmitter::EncodeInstruction(const MCInst &MI, raw_ostream &OS,
141                                        SmallVectorImpl<MCFixup> &Fixups) const {
142   if (isFCOp(MI.getOpcode())){
143     EmitFCInstr(MI, OS);
144   } else if (MI.getOpcode() == AMDGPU::RETURN ||
145     MI.getOpcode() == AMDGPU::BUNDLE ||
146     MI.getOpcode() == AMDGPU::KILL) {
147     return;
148   } else {
149     switch(MI.getOpcode()) {
150     case AMDGPU::RAT_WRITE_CACHELESS_32_eg:
151     case AMDGPU::RAT_WRITE_CACHELESS_128_eg: {
152       uint64_t inst = getBinaryCodeForInstr(MI, Fixups);
153       EmitByte(INSTR_NATIVE, OS);
154       Emit(inst, OS);
155       break;
156     }
157     case AMDGPU::CONSTANT_LOAD_eg:
158     case AMDGPU::VTX_READ_PARAM_8_eg:
159     case AMDGPU::VTX_READ_PARAM_16_eg:
160     case AMDGPU::VTX_READ_PARAM_32_eg:
161     case AMDGPU::VTX_READ_PARAM_128_eg:
162     case AMDGPU::VTX_READ_GLOBAL_8_eg:
163     case AMDGPU::VTX_READ_GLOBAL_32_eg:
164     case AMDGPU::VTX_READ_GLOBAL_128_eg:
165     case AMDGPU::TEX_VTX_CONSTBUF:
166     case AMDGPU::TEX_VTX_TEXBUF : {
167       uint64_t InstWord01 = getBinaryCodeForInstr(MI, Fixups);
168       uint32_t InstWord2 = MI.getOperand(2).getImm(); // Offset
169
170       EmitByte(INSTR_VTX, OS);
171       Emit(InstWord01, OS);
172       Emit(InstWord2, OS);
173       break;
174     }
175     case AMDGPU::TEX_LD:
176     case AMDGPU::TEX_GET_TEXTURE_RESINFO:
177     case AMDGPU::TEX_SAMPLE:
178     case AMDGPU::TEX_SAMPLE_C:
179     case AMDGPU::TEX_SAMPLE_L:
180     case AMDGPU::TEX_SAMPLE_C_L:
181     case AMDGPU::TEX_SAMPLE_LB:
182     case AMDGPU::TEX_SAMPLE_C_LB:
183     case AMDGPU::TEX_SAMPLE_G:
184     case AMDGPU::TEX_SAMPLE_C_G:
185     case AMDGPU::TEX_GET_GRADIENTS_H:
186     case AMDGPU::TEX_GET_GRADIENTS_V:
187     case AMDGPU::TEX_SET_GRADIENTS_H:
188     case AMDGPU::TEX_SET_GRADIENTS_V: {
189       unsigned Opcode = MI.getOpcode();
190       bool HasOffsets = (Opcode == AMDGPU::TEX_LD);
191       unsigned OpOffset = HasOffsets ? 3 : 0;
192       int64_t Sampler = MI.getOperand(OpOffset + 3).getImm();
193       int64_t TextureType = MI.getOperand(OpOffset + 4).getImm();
194
195       uint32_t SrcSelect[4] = {0, 1, 2, 3};
196       uint32_t Offsets[3] = {0, 0, 0};
197       uint64_t CoordType[4] = {1, 1, 1, 1};
198
199       if (HasOffsets)
200         for (unsigned i = 0; i < 3; i++)
201           Offsets[i] = MI.getOperand(i + 2).getImm();
202
203       if (TextureType == TEXTURE_RECT ||
204           TextureType == TEXTURE_SHADOWRECT) {
205         CoordType[ELEMENT_X] = 0;
206         CoordType[ELEMENT_Y] = 0;
207       }
208
209       if (TextureType == TEXTURE_1D_ARRAY ||
210           TextureType == TEXTURE_SHADOW1D_ARRAY) {
211         if (Opcode == AMDGPU::TEX_SAMPLE_C_L ||
212             Opcode == AMDGPU::TEX_SAMPLE_C_LB) {
213           CoordType[ELEMENT_Y] = 0;
214         } else {
215           CoordType[ELEMENT_Z] = 0;
216           SrcSelect[ELEMENT_Z] = ELEMENT_Y;
217         }
218       } else if (TextureType == TEXTURE_2D_ARRAY ||
219           TextureType == TEXTURE_SHADOW2D_ARRAY) {
220         CoordType[ELEMENT_Z] = 0;
221       }
222
223
224       if ((TextureType == TEXTURE_SHADOW1D ||
225           TextureType == TEXTURE_SHADOW2D ||
226           TextureType == TEXTURE_SHADOWRECT ||
227           TextureType == TEXTURE_SHADOW1D_ARRAY) &&
228           Opcode != AMDGPU::TEX_SAMPLE_C_L &&
229           Opcode != AMDGPU::TEX_SAMPLE_C_LB) {
230         SrcSelect[ELEMENT_W] = ELEMENT_Z;
231       }
232
233       uint64_t Word01 = getBinaryCodeForInstr(MI, Fixups) |
234           CoordType[ELEMENT_X] << 60 | CoordType[ELEMENT_Y] << 61 |
235           CoordType[ELEMENT_Z] << 62 | CoordType[ELEMENT_W] << 63;
236       uint32_t Word2 = Sampler << 15 | SrcSelect[ELEMENT_X] << 20 |
237           SrcSelect[ELEMENT_Y] << 23 | SrcSelect[ELEMENT_Z] << 26 |
238           SrcSelect[ELEMENT_W] << 29 | Offsets[0] << 0 | Offsets[1] << 5 |
239           Offsets[2] << 10;
240
241       EmitByte(INSTR_TEX, OS);
242       Emit(Word01, OS);
243       Emit(Word2, OS);
244       break;
245     }
246     case AMDGPU::EG_ExportSwz:
247     case AMDGPU::R600_ExportSwz:
248     case AMDGPU::EG_ExportBuf:
249     case AMDGPU::R600_ExportBuf: {
250       uint64_t Inst = getBinaryCodeForInstr(MI, Fixups);
251       EmitByte(INSTR_EXPORT, OS);
252       Emit(Inst, OS);
253       break;
254     }
255     case AMDGPU::CF_ALU:
256     case AMDGPU::CF_ALU_PUSH_BEFORE: {
257       uint64_t Inst = getBinaryCodeForInstr(MI, Fixups);
258       EmitByte(INSTR_CFALU, OS);
259       Emit(Inst, OS);
260       break;
261     }
262
263     default:
264       EmitALUInstr(MI, Fixups, OS);
265       break;
266     }
267   }
268 }
269
270 void R600MCCodeEmitter::EmitALUInstr(const MCInst &MI,
271                                      SmallVectorImpl<MCFixup> &Fixups,
272                                      raw_ostream &OS) const {
273   const MCInstrDesc &MCDesc = MCII.get(MI.getOpcode());
274
275   // Emit instruction type
276   EmitByte(INSTR_ALU, OS);
277
278   uint64_t InstWord01 = getBinaryCodeForInstr(MI, Fixups);
279
280   //older alu have different encoding for instructions with one or two src
281   //parameters.
282   if ((STI.getFeatureBits() & AMDGPU::FeatureR600ALUInst) &&
283       !(MCDesc.TSFlags & R600_InstFlag::OP3)) {
284     uint64_t ISAOpCode = InstWord01 & (0x3FFULL << 39);
285     InstWord01 &= ~(0x3FFULL << 39);
286     InstWord01 |= ISAOpCode << 1;
287   }
288
289   unsigned SrcNum = MCDesc.TSFlags & R600_InstFlag::OP3 ? 3 :
290       MCDesc.TSFlags & R600_InstFlag::OP2 ? 2 : 1;
291
292   EmitByte(SrcNum, OS);
293
294   const unsigned SrcOps[3][2] = {
295       {R600Operands::SRC0, R600Operands::SRC0_SEL},
296       {R600Operands::SRC1, R600Operands::SRC1_SEL},
297       {R600Operands::SRC2, R600Operands::SRC2_SEL}
298   };
299
300   for (unsigned SrcIdx = 0; SrcIdx < SrcNum; ++SrcIdx) {
301     unsigned RegOpIdx = R600Operands::ALUOpTable[SrcNum-1][SrcOps[SrcIdx][0]];
302     unsigned SelOpIdx = R600Operands::ALUOpTable[SrcNum-1][SrcOps[SrcIdx][1]];
303     EmitSrcISA(MI, RegOpIdx, SelOpIdx, OS);
304   }
305
306   Emit(InstWord01, OS);
307   return;
308 }
309
310 void R600MCCodeEmitter::EmitSrc(const MCInst &MI, unsigned OpIdx,
311                                 raw_ostream &OS) const {
312   const MCOperand &MO = MI.getOperand(OpIdx);
313   union {
314     float f;
315     uint32_t i;
316   } Value;
317   Value.i = 0;
318   // Emit the source select (2 bytes).  For GPRs, this is the register index.
319   // For other potential instruction operands, (e.g. constant registers) the
320   // value of the source select is defined in the r600isa docs.
321   if (MO.isReg()) {
322     unsigned reg = MO.getReg();
323     EmitTwoBytes(getHWReg(reg), OS);
324     if (reg == AMDGPU::ALU_LITERAL_X) {
325       unsigned ImmOpIndex = MI.getNumOperands() - 1;
326       MCOperand ImmOp = MI.getOperand(ImmOpIndex);
327       if (ImmOp.isFPImm()) {
328         Value.f = ImmOp.getFPImm();
329       } else {
330         assert(ImmOp.isImm());
331         Value.i = ImmOp.getImm();
332       }
333     }
334   } else {
335     // XXX: Handle other operand types.
336     EmitTwoBytes(0, OS);
337   }
338
339   // Emit the source channel (1 byte)
340   if (MO.isReg()) {
341     EmitByte(getHWRegChan(MO.getReg()), OS);
342   } else {
343     EmitByte(0, OS);
344   }
345
346   // XXX: Emit isNegated (1 byte)
347   if ((!(isFlagSet(MI, OpIdx, MO_FLAG_ABS)))
348       && (isFlagSet(MI, OpIdx, MO_FLAG_NEG) ||
349      (MO.isReg() &&
350       (MO.getReg() == AMDGPU::NEG_ONE || MO.getReg() == AMDGPU::NEG_HALF)))){
351     EmitByte(1, OS);
352   } else {
353     EmitByte(0, OS);
354   }
355
356   // Emit isAbsolute (1 byte)
357   if (isFlagSet(MI, OpIdx, MO_FLAG_ABS)) {
358     EmitByte(1, OS);
359   } else {
360     EmitByte(0, OS);
361   }
362
363   // XXX: Emit relative addressing mode (1 byte)
364   EmitByte(0, OS);
365
366   // Emit kc_bank, This will be adjusted later by r600_asm
367   EmitByte(0, OS);
368
369   // Emit the literal value, if applicable (4 bytes).
370   Emit(Value.i, OS);
371
372 }
373
374 void R600MCCodeEmitter::EmitSrcISA(const MCInst &MI, unsigned RegOpIdx,
375                                    unsigned SelOpIdx, raw_ostream &OS) const {
376   const MCOperand &RegMO = MI.getOperand(RegOpIdx);
377   const MCOperand &SelMO = MI.getOperand(SelOpIdx);
378
379   union {
380     float f;
381     uint32_t i;
382   } InlineConstant;
383   InlineConstant.i = 0;
384   // Emit source type (1 byte) and source select (4 bytes). For GPRs type is 0
385   // and select is 0 (GPR index is encoded in the instr encoding. For constants
386   // type is 1 and select is the original const select passed from the driver.
387   unsigned Reg = RegMO.getReg();
388   if (Reg == AMDGPU::ALU_CONST) {
389     EmitByte(1, OS);
390     uint32_t Sel = SelMO.getImm();
391     Emit(Sel, OS);
392   } else {
393     EmitByte(0, OS);
394     Emit((uint32_t)0, OS);
395   }
396
397   if (Reg == AMDGPU::ALU_LITERAL_X) {
398     unsigned ImmOpIndex = MI.getNumOperands() - 1;
399     MCOperand ImmOp = MI.getOperand(ImmOpIndex);
400     if (ImmOp.isFPImm()) {
401       InlineConstant.f = ImmOp.getFPImm();
402     } else {
403       assert(ImmOp.isImm());
404       InlineConstant.i = ImmOp.getImm();
405     }
406   }
407
408   // Emit the literal value, if applicable (4 bytes).
409   Emit(InlineConstant.i, OS);
410 }
411
412 void R600MCCodeEmitter::EmitFCInstr(const MCInst &MI, raw_ostream &OS) const {
413
414   // Emit instruction type
415   EmitByte(INSTR_FC, OS);
416
417   // Emit SRC
418   unsigned NumOperands = MI.getNumOperands();
419   if (NumOperands > 0) {
420     assert(NumOperands == 1);
421     EmitSrc(MI, 0, OS);
422   } else {
423     EmitNullBytes(SRC_BYTE_COUNT, OS);
424   }
425
426   // Emit FC Instruction
427   enum FCInstr instr;
428   switch (MI.getOpcode()) {
429   case AMDGPU::PREDICATED_BREAK:
430     instr = FC_BREAK_PREDICATE;
431     break;
432   case AMDGPU::CONTINUE:
433     instr = FC_CONTINUE;
434     break;
435   case AMDGPU::IF_PREDICATE_SET:
436     instr = FC_IF_PREDICATE;
437     break;
438   case AMDGPU::ELSE:
439     instr = FC_ELSE;
440     break;
441   case AMDGPU::ENDIF:
442     instr = FC_ENDIF;
443     break;
444   case AMDGPU::ENDLOOP:
445     instr = FC_ENDLOOP;
446     break;
447   case AMDGPU::WHILELOOP:
448     instr = FC_BGNLOOP;
449     break;
450   default:
451     abort();
452     break;
453   }
454   EmitByte(instr, OS);
455 }
456
457 void R600MCCodeEmitter::EmitNullBytes(unsigned int ByteCount,
458                                       raw_ostream &OS) const {
459
460   for (unsigned int i = 0; i < ByteCount; i++) {
461     EmitByte(0, OS);
462   }
463 }
464
465 void R600MCCodeEmitter::EmitByte(unsigned int Byte, raw_ostream &OS) const {
466   OS.write((uint8_t) Byte & 0xff);
467 }
468
469 void R600MCCodeEmitter::EmitTwoBytes(unsigned int Bytes,
470                                      raw_ostream &OS) const {
471   OS.write((uint8_t) (Bytes & 0xff));
472   OS.write((uint8_t) ((Bytes >> 8) & 0xff));
473 }
474
475 void R600MCCodeEmitter::Emit(uint32_t Value, raw_ostream &OS) const {
476   for (unsigned i = 0; i < 4; i++) {
477     OS.write((uint8_t) ((Value >> (8 * i)) & 0xff));
478   }
479 }
480
481 void R600MCCodeEmitter::Emit(uint64_t Value, raw_ostream &OS) const {
482   for (unsigned i = 0; i < 8; i++) {
483     EmitByte((Value >> (8 * i)) & 0xff, OS);
484   }
485 }
486
487 unsigned R600MCCodeEmitter::getHWRegChan(unsigned reg) const {
488   return MRI.getEncodingValue(reg) >> HW_CHAN_SHIFT;
489 }
490
491 unsigned R600MCCodeEmitter::getHWReg(unsigned RegNo) const {
492   return MRI.getEncodingValue(RegNo) & HW_REG_MASK;
493 }
494
495 uint64_t R600MCCodeEmitter::getMachineOpValue(const MCInst &MI,
496                                               const MCOperand &MO,
497                                         SmallVectorImpl<MCFixup> &Fixup) const {
498   if (MO.isReg()) {
499     if (HAS_NATIVE_OPERANDS(MCII.get(MI.getOpcode()).TSFlags)) {
500       return MRI.getEncodingValue(MO.getReg());
501     } else {
502       return getHWReg(MO.getReg());
503     }
504   } else if (MO.isImm()) {
505     return MO.getImm();
506   } else {
507     assert(0);
508     return 0;
509   }
510 }
511
512 //===----------------------------------------------------------------------===//
513 // Encoding helper functions
514 //===----------------------------------------------------------------------===//
515
516 bool R600MCCodeEmitter::isFCOp(unsigned opcode) const {
517   switch(opcode) {
518   default: return false;
519   case AMDGPU::PREDICATED_BREAK:
520   case AMDGPU::CONTINUE:
521   case AMDGPU::IF_PREDICATE_SET:
522   case AMDGPU::ELSE:
523   case AMDGPU::ENDIF:
524   case AMDGPU::ENDLOOP:
525   case AMDGPU::WHILELOOP:
526     return true;
527   }
528 }
529
530 bool R600MCCodeEmitter::isTexOp(unsigned opcode) const {
531   switch(opcode) {
532   default: return false;
533   case AMDGPU::TEX_LD:
534   case AMDGPU::TEX_GET_TEXTURE_RESINFO:
535   case AMDGPU::TEX_SAMPLE:
536   case AMDGPU::TEX_SAMPLE_C:
537   case AMDGPU::TEX_SAMPLE_L:
538   case AMDGPU::TEX_SAMPLE_C_L:
539   case AMDGPU::TEX_SAMPLE_LB:
540   case AMDGPU::TEX_SAMPLE_C_LB:
541   case AMDGPU::TEX_SAMPLE_G:
542   case AMDGPU::TEX_SAMPLE_C_G:
543   case AMDGPU::TEX_GET_GRADIENTS_H:
544   case AMDGPU::TEX_GET_GRADIENTS_V:
545   case AMDGPU::TEX_SET_GRADIENTS_H:
546   case AMDGPU::TEX_SET_GRADIENTS_V:
547     return true;
548   }
549 }
550
551 bool R600MCCodeEmitter::isFlagSet(const MCInst &MI, unsigned Operand,
552                                   unsigned Flag) const {
553   const MCInstrDesc &MCDesc = MCII.get(MI.getOpcode());
554   unsigned FlagIndex = GET_FLAG_OPERAND_IDX(MCDesc.TSFlags);
555   if (FlagIndex == 0) {
556     return false;
557   }
558   assert(MI.getOperand(FlagIndex).isImm());
559   return !!((MI.getOperand(FlagIndex).getImm() >>
560             (NUM_MO_FLAGS * Operand)) & Flag);
561 }
562
563 #include "AMDGPUGenMCCodeEmitter.inc"