lib/Target/X86/X86SchedHaswell.td

   1 //=- X86SchedHaswell.td - X86 Haswell Scheduling -------------*- tablegen -*-=//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file defines the machine model for Haswell to support instruction
  11 // scheduling and other instruction cost heuristics.
  12 //
  13 //===----------------------------------------------------------------------===//
  14
  15 def HaswellModel : SchedMachineModel {
  16   // All x86 instructions are modeled as a single micro-op, and HW can decode 4
  17   // instructions per cycle.
  18   let IssueWidth = 4;
  19   let MicroOpBufferSize = 192; // Based on the reorder buffer.
  20   let LoadLatency = 4;
  21   let MispredictPenalty = 16;
  22
  23   // Based on the LSD (loop-stream detector) queue size and benchmarking data.
  24   let LoopMicroOpBufferSize = 50;
  25
  26   // FIXME: SSE4 and AVX are unimplemented. This flag is set to allow
  27   // the scheduler to assign a default model to unrecognized opcodes.
  28   let CompleteModel = 0;
  29 }
  30
  31 let SchedModel = HaswellModel in {
  32
  33 // Haswell can issue micro-ops to 8 different ports in one cycle.
  34
  35 // Ports 0, 1, 5, and 6 handle all computation.
  36 // Port 4 gets the data half of stores. Store data can be available later than
  37 // the store address, but since we don't model the latency of stores, we can
  38 // ignore that.
  39 // Ports 2 and 3 are identical. They handle loads and the address half of
  40 // stores. Port 7 can handle address calculations.
  41 def HWPort0 : ProcResource<1>;
  42 def HWPort1 : ProcResource<1>;
  43 def HWPort2 : ProcResource<1>;
  44 def HWPort3 : ProcResource<1>;
  45 def HWPort4 : ProcResource<1>;
  46 def HWPort5 : ProcResource<1>;
  47 def HWPort6 : ProcResource<1>;
  48 def HWPort7 : ProcResource<1>;
  49
  50 // Many micro-ops are capable of issuing on multiple ports.
  51 def HWPort01  : ProcResGroup<[HWPort0, HWPort1]>;
  52 def HWPort23  : ProcResGroup<[HWPort2, HWPort3]>;
  53 def HWPort237 : ProcResGroup<[HWPort2, HWPort3, HWPort7]>;
  54 def HWPort04  : ProcResGroup<[HWPort0, HWPort4]>;
  55 def HWPort05  : ProcResGroup<[HWPort0, HWPort5]>;
  56 def HWPort06 : ProcResGroup<[HWPort0, HWPort6]>;
  57 def HWPort15  : ProcResGroup<[HWPort1, HWPort5]>;
  58 def HWPort16  : ProcResGroup<[HWPort1, HWPort6]>;
  59 def HWPort56: ProcResGroup<[HWPort5, HWPort6]>;
  60 def HWPort015 : ProcResGroup<[HWPort0, HWPort1, HWPort5]>;
  61 def HWPort056: ProcResGroup<[HWPort0, HWPort5, HWPort6]>;
  62 def HWPort0156: ProcResGroup<[HWPort0, HWPort1, HWPort5, HWPort6]>;
  63
  64 // 60 Entry Unified Scheduler
  65 def HWPortAny : ProcResGroup<[HWPort0, HWPort1, HWPort2, HWPort3, HWPort4,
  66                               HWPort5, HWPort6, HWPort7]> {
  67   let BufferSize=60;
  68 }
  69
  70 // Integer division issued on port 0.
  71 def HWDivider : ProcResource<1>;
  72
  73 // Loads are 4 cycles, so ReadAfterLd registers needn't be available until 4
  74 // cycles after the memory operand.
  75 def : ReadAdvance<ReadAfterLd, 4>;
  76
  77 // Many SchedWrites are defined in pairs with and without a folded load.
  78 // Instructions with folded loads are usually micro-fused, so they only appear
  79 // as two micro-ops when queued in the reservation station.
  80 // This multiclass defines the resource usage for variants with and without
  81 // folded loads.
  82 multiclass HWWriteResPair<X86FoldableSchedWrite SchedRW,
  83                           ProcResourceKind ExePort,
  84                           int Lat> {
  85   // Register variant is using a single cycle on ExePort.
  86   def : WriteRes<SchedRW, [ExePort]> { let Latency = Lat; }
  87
  88   // Memory variant also uses a cycle on port 2/3 and adds 4 cycles to the
  89   // latency.
  90   def : WriteRes<SchedRW.Folded, [HWPort23, ExePort]> {
  91      let Latency = !add(Lat, 4);
  92   }
  93 }
  94
  95 // A folded store needs a cycle on port 4 for the store data, but it does not
  96 // need an extra port 2/3 cycle to recompute the address.
  97 def : WriteRes<WriteRMW, [HWPort4]>;
  98
  99 // Store_addr on 237.
 100 // Store_data on 4.
 101 def : WriteRes<WriteStore, [HWPort237, HWPort4]>;
 102 def : WriteRes<WriteLoad,  [HWPort23]> { let Latency = 4; }
 103 def : WriteRes<WriteMove,  [HWPort0156]>;
 104 def : WriteRes<WriteZero,  []>;
 105
 106 defm : HWWriteResPair<WriteALU,   HWPort0156, 1>;
 107 defm : HWWriteResPair<WriteIMul,  HWPort1,   3>;
 108 def  : WriteRes<WriteIMulH, []> { let Latency = 3; }
 109 defm : HWWriteResPair<WriteShift, HWPort06,  1>;
 110 defm : HWWriteResPair<WriteJump,  HWPort06,   1>;
 111
 112 // This is for simple LEAs with one or two input operands.
 113 // The complex ones can only execute on port 1, and they require two cycles on
 114 // the port to read all inputs. We don't model that.
 115 def : WriteRes<WriteLEA, [HWPort15]>;
 116
 117 // This is quite rough, latency depends on the dividend.
 118 def : WriteRes<WriteIDiv, [HWPort0, HWDivider]> {
 119   let Latency = 25;
 120   let ResourceCycles = [1, 10];
 121 }
 122 def : WriteRes<WriteIDivLd, [HWPort23, HWPort0, HWDivider]> {
 123   let Latency = 29;
 124   let ResourceCycles = [1, 1, 10];
 125 }
 126
 127 // Scalar and vector floating point.
 128 defm : HWWriteResPair<WriteFAdd,   HWPort1, 3>;
 129 defm : HWWriteResPair<WriteFMul,   HWPort0, 5>;
 130 defm : HWWriteResPair<WriteFDiv,   HWPort0, 12>; // 10-14 cycles.
 131 defm : HWWriteResPair<WriteFRcp,   HWPort0, 5>;
 132 defm : HWWriteResPair<WriteFSqrt,  HWPort0, 15>;
 133 defm : HWWriteResPair<WriteCvtF2I, HWPort1, 3>;
 134 defm : HWWriteResPair<WriteCvtI2F, HWPort1, 4>;
 135 defm : HWWriteResPair<WriteCvtF2F, HWPort1, 3>;
 136 defm : HWWriteResPair<WriteFShuffle,  HWPort5,  1>;
 137 defm : HWWriteResPair<WriteFBlend,  HWPort015,  1>;
 138 defm : HWWriteResPair<WriteFShuffle256,  HWPort5,  3>;
 139
 140 def : WriteRes<WriteFVarBlend, [HWPort5]> {
 141   let Latency = 2;
 142   let ResourceCycles = [2];
 143 }
 144 def : WriteRes<WriteFVarBlendLd, [HWPort5, HWPort23]> {
 145   let Latency = 6;
 146   let ResourceCycles = [2, 1];
 147 }
 148
 149 // Vector integer operations.
 150 defm : HWWriteResPair<WriteVecShift, HWPort0,  1>;
 151 defm : HWWriteResPair<WriteVecLogic, HWPort015, 1>;
 152 defm : HWWriteResPair<WriteVecALU,   HWPort15,  1>;
 153 defm : HWWriteResPair<WriteVecIMul,  HWPort0,   5>;
 154 defm : HWWriteResPair<WriteShuffle,  HWPort5,  1>;
 155 defm : HWWriteResPair<WriteBlend,  HWPort15,  1>;
 156 defm : HWWriteResPair<WriteShuffle256,  HWPort5,  3>;
 157
 158 def : WriteRes<WriteVarBlend, [HWPort5]> {
 159   let Latency = 2;
 160   let ResourceCycles = [2];
 161 }
 162 def : WriteRes<WriteVarBlendLd, [HWPort5, HWPort23]> {
 163   let Latency = 6;
 164   let ResourceCycles = [2, 1];
 165 }
 166
 167 def : WriteRes<WriteVarVecShift, [HWPort0, HWPort5]> {
 168   let Latency = 2;
 169   let ResourceCycles = [2, 1];
 170 }
 171 def : WriteRes<WriteVarVecShiftLd, [HWPort0, HWPort5, HWPort23]> {
 172   let Latency = 6;
 173   let ResourceCycles = [2, 1, 1];
 174 }
 175
 176 def : WriteRes<WriteMPSAD, [HWPort0, HWPort5]> {
 177   let Latency = 6;
 178   let ResourceCycles = [1, 2];
 179 }
 180 def : WriteRes<WriteMPSADLd, [HWPort23, HWPort0, HWPort5]> {
 181   let Latency = 6;
 182   let ResourceCycles = [1, 1, 2];
 183 }
 184
 185 // String instructions.
 186 // Packed Compare Implicit Length Strings, Return Mask
 187 def : WriteRes<WritePCmpIStrM, [HWPort0]> {
 188   let Latency = 10;
 189   let ResourceCycles = [3];
 190 }
 191 def : WriteRes<WritePCmpIStrMLd, [HWPort0, HWPort23]> {
 192   let Latency = 10;
 193   let ResourceCycles = [3, 1];
 194 }
 195
 196 // Packed Compare Explicit Length Strings, Return Mask
 197 def : WriteRes<WritePCmpEStrM, [HWPort0, HWPort16, HWPort5]> {
 198   let Latency = 10;
 199   let ResourceCycles = [3, 2, 4];
 200 }
 201 def : WriteRes<WritePCmpEStrMLd, [HWPort05, HWPort16, HWPort23]> {
 202   let Latency = 10;
 203   let ResourceCycles = [6, 2, 1];
 204 }
 205
 206 // Packed Compare Implicit Length Strings, Return Index
 207 def : WriteRes<WritePCmpIStrI, [HWPort0]> {
 208   let Latency = 11;
 209   let ResourceCycles = [3];
 210 }
 211 def : WriteRes<WritePCmpIStrILd, [HWPort0, HWPort23]> {
 212   let Latency = 11;
 213   let ResourceCycles = [3, 1];
 214 }
 215
 216 // Packed Compare Explicit Length Strings, Return Index
 217 def : WriteRes<WritePCmpEStrI, [HWPort05, HWPort16]> {
 218   let Latency = 11;
 219   let ResourceCycles = [6, 2];
 220 }
 221 def : WriteRes<WritePCmpEStrILd, [HWPort0, HWPort16, HWPort5, HWPort23]> {
 222   let Latency = 11;
 223   let ResourceCycles = [3, 2, 2, 1];
 224 }
 225
 226 // AES Instructions.
 227 def : WriteRes<WriteAESDecEnc, [HWPort5]> {
 228   let Latency = 7;
 229   let ResourceCycles = [1];
 230 }
 231 def : WriteRes<WriteAESDecEncLd, [HWPort5, HWPort23]> {
 232   let Latency = 7;
 233   let ResourceCycles = [1, 1];
 234 }
 235
 236 def : WriteRes<WriteAESIMC, [HWPort5]> {
 237   let Latency = 14;
 238   let ResourceCycles = [2];
 239 }
 240 def : WriteRes<WriteAESIMCLd, [HWPort5, HWPort23]> {
 241   let Latency = 14;
 242   let ResourceCycles = [2, 1];
 243 }
 244
 245 def : WriteRes<WriteAESKeyGen, [HWPort0, HWPort5]> {
 246   let Latency = 10;
 247   let ResourceCycles = [2, 8];
 248 }
 249 def : WriteRes<WriteAESKeyGenLd, [HWPort0, HWPort5, HWPort23]> {
 250   let Latency = 10;
 251   let ResourceCycles = [2, 7, 1];
 252 }
 253
 254 // Carry-less multiplication instructions.
 255 def : WriteRes<WriteCLMul, [HWPort0, HWPort5]> {
 256   let Latency = 7;
 257   let ResourceCycles = [2, 1];
 258 }
 259 def : WriteRes<WriteCLMulLd, [HWPort0, HWPort5, HWPort23]> {
 260   let Latency = 7;
 261   let ResourceCycles = [2, 1, 1];
 262 }
 263
 264 def : WriteRes<WriteSystem,     [HWPort0156]> { let Latency = 100; }
 265 def : WriteRes<WriteMicrocoded, [HWPort0156]> { let Latency = 100; }
 266 def : WriteRes<WriteFence,  [HWPort23, HWPort4]>;
 267 def : WriteRes<WriteNop, []>;
 268
 269 //================ Exceptions ================//
 270
 271 //-- Specific Scheduling Models --//
 272 def WriteP0 : SchedWriteRes<[HWPort0]>;
 273 def WriteP1 : SchedWriteRes<[HWPort1]>;
 274 def WriteP1_P23 : SchedWriteRes<[HWPort1, HWPort23]> {
 275   let NumMicroOps = 2;
 276 }
 277 def WriteP1_Lat3 : SchedWriteRes<[HWPort1]> {
 278   let Latency = 3;
 279 }
 280 def WriteP1_Lat3Ld : SchedWriteRes<[HWPort1, HWPort23]> {
 281   let Latency = 7;
 282 }
 283
 284 def Write2P0156_Lat2 : SchedWriteRes<[HWPort0156]> {
 285   let Latency = 2;
 286   let ResourceCycles = [2];
 287 }
 288 def Write2P0156_Lat2Ld : SchedWriteRes<[HWPort0156, HWPort23]> {
 289   let Latency = 6;
 290   let ResourceCycles = [2, 1];
 291 }
 292
 293 def Write5P0156 : SchedWriteRes<[HWPort0156]> {
 294   let NumMicroOps = 5;
 295   let ResourceCycles = [5];
 296 }
 297
 298 def Write2P237_P4 : SchedWriteRes<[HWPort237, HWPort4]> {
 299   let Latency = 1;
 300   let ResourceCycles = [2, 1];
 301 }
 302
 303 def WriteP01 : SchedWriteRes<[HWPort01]>;
 304
 305 def Write2P01 : SchedWriteRes<[HWPort01]> {
 306   let NumMicroOps = 2;
 307 }
 308 def Write3P01 : SchedWriteRes<[HWPort01]> {
 309   let NumMicroOps = 3;
 310 }
 311
 312 def WriteP015 : SchedWriteRes<[HWPort015]>;
 313
 314 def WriteP01_P5 : SchedWriteRes<[HWPort01, HWPort5]> {
 315   let NumMicroOps = 2;
 316 }
 317 def WriteP06 : SchedWriteRes<[HWPort06]>;
 318
 319 def Write2P06 : SchedWriteRes<[HWPort06]> {
 320   let Latency = 1;
 321   let NumMicroOps = 2;
 322   let ResourceCycles = [2];
 323 }
 324
 325 def Write2P1 : SchedWriteRes<[HWPort1]> {
 326   let NumMicroOps = 2;
 327   let ResourceCycles = [2];
 328 }
 329 def Write2P1_P23 : SchedWriteRes<[HWPort1, HWPort23]> {
 330   let NumMicroOps = 3;
 331   let ResourceCycles = [2, 1];
 332 }
 333 def WriteP15 : SchedWriteRes<[HWPort15]>;
 334 def WriteP15Ld : SchedWriteRes<[HWPort15, HWPort23]> {
 335   let Latency = 4;
 336 }
 337
 338 def Write3P06_Lat2 : SchedWriteRes<[HWPort06]> {
 339   let Latency = 2;
 340   let NumMicroOps = 3;
 341   let ResourceCycles = [3];
 342 }
 343
 344 def WriteP0156_P23 : SchedWriteRes<[HWPort0156, HWPort23]> {
 345   let NumMicroOps = 2;
 346 }
 347
 348 def WriteP0156_2P237_P4 : SchedWriteRes<[HWPort0156, HWPort237, HWPort4]> {
 349   let Latency = 1;
 350   let ResourceCycles = [1, 2, 1];
 351 }
 352
 353 def Write2P0156_2P237_P4 : SchedWriteRes<[HWPort0156, HWPort237, HWPort4]> {
 354   let Latency = 1;
 355   let ResourceCycles = [2, 2, 1];
 356 }
 357
 358 def Write2P0156_P23 : SchedWriteRes<[HWPort0156, HWPort23]> {
 359   let NumMicroOps = 3;
 360   let ResourceCycles = [2, 1];
 361 }
 362
 363 def Write3P0156_2P237_P4 : SchedWriteRes<[HWPort0156, HWPort237, HWPort4]> {
 364   let Latency = 1;
 365   let ResourceCycles = [3, 2, 1];
 366 }
 367
 368 def WriteP5 : SchedWriteRes<[HWPort5]>;
 369 def WriteP5Ld : SchedWriteRes<[HWPort5, HWPort23]> {
 370   let Latency = 5;
 371   let NumMicroOps = 2;
 372   let ResourceCycles = [1, 1];
 373 }
 374
 375 // Notation:
 376 // - r: register.
 377 // - mm: 64 bit mmx register.
 378 // - x = 128 bit xmm register.
 379 // - (x)mm = mmx or xmm register.
 380 // - y = 256 bit ymm register.
 381 // - v = any vector register.
 382 // - m = memory.
 383
 384 //=== Integer Instructions ===//
 385 //-- Move instructions --//
 386
 387 // MOV.
 388 // r16,m.
 389 def : InstRW<[WriteALULd], (instregex "MOV16rm")>;
 390
 391 // MOVSX, MOVZX.
 392 // r,m.
 393 def : InstRW<[WriteLoad], (instregex "MOV(S|Z)X32rm(8|16)")>;
 394
 395 // CMOVcc.
 396 // r,r.
 397 def : InstRW<[Write2P0156_Lat2],
 398       (instregex "CMOV(O|NO|B|AE|E|NE|BE|A|S|NS|P|NP|L|GE|LE|G)(16|32|64)rr")>;
 399 // r,m.
 400 def : InstRW<[Write2P0156_Lat2Ld, ReadAfterLd],
 401       (instregex "CMOV(O|NO|B|AE|E|NE|BE|A|S|NS|P|NP|L|GE|LE|G)(16|32|64)rm")>;
 402
 403 // XCHG.
 404 // r,r.
 405 def WriteXCHG : SchedWriteRes<[HWPort0156]> {
 406   let Latency = 2;
 407   let ResourceCycles = [3];
 408 }
 409
 410 def : InstRW<[WriteXCHG], (instregex "XCHG(8|16|32|64)rr", "XCHG(16|32|64)ar")>;
 411
 412 // r,m.
 413 def WriteXCHGrm : SchedWriteRes<[]> {
 414   let Latency = 21;
 415   let NumMicroOps = 8;
 416 }
 417 def : InstRW<[WriteXCHGrm], (instregex "XCHG(8|16|32|64)rm")>;
 418
 419 // XLAT.
 420 def WriteXLAT : SchedWriteRes<[]> {
 421   let Latency = 7;
 422   let NumMicroOps = 3;
 423 }
 424 def : InstRW<[WriteXLAT], (instregex "XLAT")>;
 425
 426 // PUSH.
 427 // m.
 428 def : InstRW<[Write2P237_P4], (instregex "PUSH(16|32)rmm")>;
 429
 430 // PUSHF.
 431 def WritePushF : SchedWriteRes<[HWPort1, HWPort4, HWPort237, HWPort06]> {
 432   let NumMicroOps = 4;
 433 }
 434 def : InstRW<[WritePushF], (instregex "PUSHF(16|32)")>;
 435
 436 // PUSHA.
 437 def WritePushA : SchedWriteRes<[]> {
 438   let NumMicroOps = 19;
 439 }
 440 def : InstRW<[WritePushA], (instregex "PUSHA(16|32)")>;
 441
 442 // POP.
 443 // m.
 444 def : InstRW<[Write2P237_P4], (instregex "POP(16|32)rmm")>;
 445
 446 // POPF.
 447 def WritePopF : SchedWriteRes<[]> {
 448   let NumMicroOps = 9;
 449 }
 450 def : InstRW<[WritePopF], (instregex "POPF(16|32)")>;
 451
 452 // POPA.
 453 def WritePopA : SchedWriteRes<[]> {
 454   let NumMicroOps = 18;
 455 }
 456 def : InstRW<[WritePopA], (instregex "POPA(16|32)")>;
 457
 458 // LAHF SAHF.
 459 def : InstRW<[WriteP06], (instregex "(S|L)AHF")>;
 460
 461 // BSWAP.
 462 // r32.
 463 def WriteBSwap32 : SchedWriteRes<[HWPort15]>;
 464 def : InstRW<[WriteBSwap32], (instregex "BSWAP32r")>;
 465
 466 // r64.
 467 def WriteBSwap64 : SchedWriteRes<[HWPort06, HWPort15]> {
 468   let NumMicroOps = 2;
 469 }
 470 def : InstRW<[WriteBSwap64], (instregex "BSWAP64r")>;
 471
 472 // MOVBE.
 473 // r16,m16 / r64,m64.
 474 def : InstRW<[Write2P0156_Lat2Ld], (instregex "MOVBE(16|64)rm")>;
 475
 476 // r32, m32.
 477 def WriteMoveBE32rm : SchedWriteRes<[HWPort15, HWPort23]> {
 478   let NumMicroOps = 2;
 479 }
 480 def : InstRW<[WriteMoveBE32rm], (instregex "MOVBE32rm")>;
 481
 482 // m16,r16.
 483 def WriteMoveBE16mr : SchedWriteRes<[HWPort06, HWPort237, HWPort4]> {
 484   let NumMicroOps = 3;
 485 }
 486 def : InstRW<[WriteMoveBE16mr], (instregex "MOVBE16mr")>;
 487
 488 // m32,r32.
 489 def WriteMoveBE32mr : SchedWriteRes<[HWPort15, HWPort237, HWPort4]> {
 490   let NumMicroOps = 3;
 491 }
 492 def : InstRW<[WriteMoveBE32mr], (instregex "MOVBE32mr")>;
 493
 494 // m64,r64.
 495 def WriteMoveBE64mr : SchedWriteRes<[HWPort06, HWPort15, HWPort237, HWPort4]> {
 496   let NumMicroOps = 4;
 497 }
 498 def : InstRW<[WriteMoveBE64mr], (instregex "MOVBE64mr")>;
 499
 500 //-- Arithmetic instructions --//
 501
 502 // ADD SUB.
 503 // m,r/i.
 504 def : InstRW<[Write2P0156_2P237_P4],
 505               (instregex "(ADD|SUB)(8|16|32|64)m(r|i)",
 506               "(ADD|SUB)(8|16|32|64)mi8", "(ADD|SUB)64mi32")>;
 507
 508 // ADC SBB.
 509 // r,r/i.
 510 def : InstRW<[Write2P0156_Lat2], (instregex "(ADC|SBB)(8|16|32|64)r(r|i)",
 511                            "(ADC|SBB)(16|32|64)ri8",
 512                            "(ADC|SBB)64ri32",
 513                            "(ADC|SBB)(8|16|32|64)rr_REV")>;
 514
 515 // r,m.
 516 def : InstRW<[Write2P0156_Lat2Ld, ReadAfterLd], (instregex "(ADC|SBB)(8|16|32|64)rm")>;
 517
 518 // m,r/i.
 519 def : InstRW<[Write3P0156_2P237_P4],
 520              (instregex "(ADC|SBB)(8|16|32|64)m(r|i)",
 521               "(ADC|SBB)(16|32|64)mi8",
 522               "(ADC|SBB)64mi32")>;
 523
 524 // INC DEC NOT NEG.
 525 // m.
 526 def : InstRW<[WriteP0156_2P237_P4],
 527              (instregex "(INC|DEC|NOT|NEG)(8|16|32|64)m",
 528               "(INC|DEC)64(16|32)m")>;
 529
 530 // MUL IMUL.
 531 // r16.
 532 def WriteMul16 : SchedWriteRes<[HWPort1, HWPort0156]> {
 533   let Latency = 4;
 534   let NumMicroOps = 4;
 535 }
 536 def : InstRW<[WriteMul16], (instregex "IMUL16r", "MUL16r")>;
 537
 538 // m16.
 539 def WriteMul16Ld : SchedWriteRes<[HWPort1, HWPort0156, HWPort23]> {
 540   let Latency = 8;
 541   let NumMicroOps = 5;
 542 }
 543 def : InstRW<[WriteMul16Ld], (instregex "IMUL16m", "MUL16m")>;
 544
 545 // r32.
 546 def WriteMul32 : SchedWriteRes<[HWPort1, HWPort0156]> {
 547   let Latency = 4;
 548   let NumMicroOps = 3;
 549 }
 550 def : InstRW<[WriteMul32], (instregex "IMUL32r", "MUL32r")>;
 551
 552 // m32.
 553 def WriteMul32Ld : SchedWriteRes<[HWPort1, HWPort0156, HWPort23]> {
 554   let Latency = 8;
 555   let NumMicroOps = 4;
 556 }
 557 def : InstRW<[WriteMul32Ld], (instregex "IMUL32m", "MUL32m")>;
 558
 559 // r64.
 560 def WriteMul64 : SchedWriteRes<[HWPort1, HWPort6]> {
 561   let Latency = 3;
 562   let NumMicroOps = 2;
 563 }
 564 def : InstRW<[WriteMul64], (instregex "IMUL64r", "MUL64r")>;
 565
 566 // m64.
 567 def WriteMul64Ld : SchedWriteRes<[HWPort1, HWPort6, HWPort23]> {
 568   let Latency = 7;
 569   let NumMicroOps = 3;
 570 }
 571 def : InstRW<[WriteMul64Ld], (instregex "IMUL64m", "MUL64m")>;
 572
 573 // r16,r16.
 574 def WriteMul16rri : SchedWriteRes<[HWPort1, HWPort0156]> {
 575   let Latency = 4;
 576   let NumMicroOps = 2;
 577 }
 578 def : InstRW<[WriteMul16rri], (instregex "IMUL16rri", "IMUL16rri8")>;
 579
 580 // r16,m16.
 581 def WriteMul16rmi : SchedWriteRes<[HWPort1, HWPort0156, HWPort23]> {
 582   let Latency = 8;
 583   let NumMicroOps = 3;
 584 }
 585 def : InstRW<[WriteMul16rmi], (instregex "IMUL16rmi", "IMUL16rmi8")>;
 586
 587 // MULX.
 588 // r32,r32,r32.
 589 def WriteMulX32 : SchedWriteRes<[HWPort1, HWPort056]> {
 590   let Latency = 4;
 591   let NumMicroOps = 3;
 592   let ResourceCycles = [1, 2];
 593 }
 594 def : InstRW<[WriteMulX32], (instregex "MULX32rr")>;
 595
 596 // r32,r32,m32.
 597 def WriteMulX32Ld : SchedWriteRes<[HWPort1, HWPort056, HWPort23]> {
 598   let Latency = 8;
 599   let NumMicroOps = 4;
 600   let ResourceCycles = [1, 2, 1];
 601 }
 602 def : InstRW<[WriteMulX32Ld], (instregex "MULX32rm")>;
 603
 604 // r64,r64,r64.
 605 def WriteMulX64 : SchedWriteRes<[HWPort1, HWPort6]> {
 606   let Latency = 4;
 607   let NumMicroOps = 2;
 608 }
 609 def : InstRW<[WriteMulX64], (instregex "MULX64rr")>;
 610
 611 // r64,r64,m64.
 612 def WriteMulX64Ld : SchedWriteRes<[HWPort1, HWPort6, HWPort23]> {
 613   let Latency = 8;
 614   let NumMicroOps = 3;
 615 }
 616 def : InstRW<[WriteMulX64Ld], (instregex "MULX64rm")>;
 617
 618 // DIV.
 619 // r8.
 620 def WriteDiv8 : SchedWriteRes<[HWPort0, HWPort1, HWPort5, HWPort6]> {
 621   let Latency = 22;
 622   let NumMicroOps = 9;
 623 }
 624 def : InstRW<[WriteDiv8], (instregex "DIV8r")>;
 625
 626 // r16.
 627 def WriteDiv16 : SchedWriteRes<[HWPort0, HWPort1, HWPort5, HWPort6]> {
 628   let Latency = 23;
 629   let NumMicroOps = 10;
 630 }
 631 def : InstRW<[WriteDiv16], (instregex "DIV16r")>;
 632
 633 // r32.
 634 def WriteDiv32 : SchedWriteRes<[HWPort0, HWPort1, HWPort5, HWPort6]> {
 635   let Latency = 22;
 636   let NumMicroOps = 10;
 637 }
 638 def : InstRW<[WriteDiv32], (instregex "DIV32r")>;
 639
 640 // r64.
 641 def WriteDiv64 : SchedWriteRes<[HWPort0, HWPort1, HWPort5, HWPort6]> {
 642   let Latency = 32;
 643   let NumMicroOps = 36;
 644 }
 645 def : InstRW<[WriteDiv64], (instregex "DIV64r")>;
 646
 647 // IDIV.
 648 // r8.
 649 def WriteIDiv8 : SchedWriteRes<[HWPort0, HWPort1, HWPort5, HWPort6]> {
 650   let Latency = 23;
 651   let NumMicroOps = 9;
 652 }
 653 def : InstRW<[WriteIDiv8], (instregex "IDIV8r")>;
 654
 655 // r16.
 656 def WriteIDiv16 : SchedWriteRes<[HWPort0, HWPort1, HWPort5, HWPort6]> {
 657   let Latency = 23;
 658   let NumMicroOps = 10;
 659 }
 660 def : InstRW<[WriteIDiv16], (instregex "IDIV16r")>;
 661
 662 // r32.
 663 def WriteIDiv32 : SchedWriteRes<[HWPort0, HWPort1, HWPort5, HWPort6]> {
 664   let Latency = 22;
 665   let NumMicroOps = 9;
 666 }
 667 def : InstRW<[WriteIDiv32], (instregex "IDIV32r")>;
 668
 669 // r64.
 670 def WriteIDiv64 : SchedWriteRes<[HWPort0, HWPort1, HWPort5, HWPort6]> {
 671   let Latency = 39;
 672   let NumMicroOps = 59;
 673 }
 674 def : InstRW<[WriteIDiv64], (instregex "IDIV64r")>;
 675
 676 //-- Logic instructions --//
 677
 678 // AND OR XOR.
 679 // m,r/i.
 680 def : InstRW<[Write2P0156_2P237_P4],
 681              (instregex "(AND|OR|XOR)(8|16|32|64)m(r|i)",
 682               "(AND|OR|XOR)(8|16|32|64)mi8", "(AND|OR|XOR)64mi32")>;
 683
 684 // SHR SHL SAR.
 685 // m,i.
 686 def WriteShiftRMW : SchedWriteRes<[HWPort06, HWPort237, HWPort4]> {
 687   let NumMicroOps = 4;
 688   let ResourceCycles = [2, 1, 1];
 689 }
 690 def : InstRW<[WriteShiftRMW], (instregex "S(A|H)(R|L)(8|16|32|64)m(i|1)")>;
 691
 692 // r,cl.
 693 def : InstRW<[Write3P06_Lat2], (instregex "S(A|H)(R|L)(8|16|32|64)rCL")>;
 694
 695 // m,cl.
 696 def WriteShiftClLdRMW : SchedWriteRes<[HWPort06, HWPort23, HWPort4]> {
 697   let NumMicroOps = 6;
 698   let ResourceCycles = [3, 2, 1];
 699 }
 700 def : InstRW<[WriteShiftClLdRMW], (instregex "S(A|H)(R|L)(8|16|32|64)mCL")>;
 701
 702 // ROR ROL.
 703 // r,1.
 704 def : InstRW<[Write2P06], (instregex "RO(R|L)(8|16|32|64)r1")>;
 705
 706 // m,i.
 707 def WriteRotateRMW : SchedWriteRes<[HWPort06, HWPort237, HWPort4]> {
 708   let NumMicroOps = 5;
 709   let ResourceCycles = [2, 2, 1];
 710 }
 711 def : InstRW<[WriteRotateRMW], (instregex "RO(R|L)(8|16|32|64)mi")>;
 712
 713 // r,cl.
 714 def : InstRW<[Write3P06_Lat2], (instregex "RO(R|L)(8|16|32|64)rCL")>;
 715
 716 // m,cl.
 717 def WriteRotateRMWCL : SchedWriteRes<[]> {
 718   let NumMicroOps = 6;
 719 }
 720 def : InstRW<[WriteRotateRMWCL], (instregex "RO(R|L)(8|16|32|64)mCL")>;
 721
 722 // RCR RCL.
 723 // r,1.
 724 def WriteRCr1 : SchedWriteRes<[HWPort06, HWPort0156]> {
 725   let Latency = 2;
 726   let NumMicroOps = 3;
 727   let ResourceCycles = [2, 1];
 728 }
 729 def : InstRW<[WriteRCr1], (instregex "RC(R|L)(8|16|32|64)r1")>;
 730
 731 // m,1.
 732 def WriteRCm1 : SchedWriteRes<[]> {
 733   let NumMicroOps = 6;
 734 }
 735 def : InstRW<[WriteRCm1], (instregex "RC(R|L)(8|16|32|64)m1")>;
 736
 737 // r,i.
 738 def WriteRCri : SchedWriteRes<[HWPort0156]> {
 739   let Latency = 6;
 740   let NumMicroOps = 8;
 741 }
 742 def : InstRW<[WriteRCri], (instregex "RC(R|L)(8|16|32|64)r(i|CL)")>;
 743
 744 // m,i.
 745 def WriteRCmi : SchedWriteRes<[]> {
 746   let NumMicroOps = 11;
 747 }
 748 def : InstRW<[WriteRCmi], (instregex "RC(R|L)(8|16|32|64)m(i|CL)")>;
 749
 750 // SHRD SHLD.
 751 // r,r,i.
 752 def WriteShDrr : SchedWriteRes<[HWPort1]> {
 753   let Latency = 3;
 754 }
 755 def : InstRW<[WriteShDrr], (instregex "SH(R|L)D(16|32|64)rri8")>;
 756
 757 // m,r,i.
 758 def WriteShDmr : SchedWriteRes<[]> {
 759   let NumMicroOps = 5;
 760 }
 761 def : InstRW<[WriteShDmr], (instregex "SH(R|L)D(16|32|64)mri8")>;
 762
 763 // r,r,cl.
 764 def WriteShlDCL : SchedWriteRes<[HWPort0156]> {
 765   let Latency = 3;
 766   let NumMicroOps = 4;
 767 }
 768 def : InstRW<[WriteShlDCL], (instregex "SHLD(16|32|64)rrCL")>;
 769
 770 // r,r,cl.
 771 def WriteShrDCL : SchedWriteRes<[HWPort0156]> {
 772   let Latency = 4;
 773   let NumMicroOps = 4;
 774 }
 775 def : InstRW<[WriteShrDCL], (instregex "SHRD(16|32|64)rrCL")>;
 776
 777 // m,r,cl.
 778 def WriteShDmrCL : SchedWriteRes<[]> {
 779   let NumMicroOps = 7;
 780 }
 781 def : InstRW<[WriteShDmrCL], (instregex "SH(R|L)D(16|32|64)mrCL")>;
 782
 783 // BT.
 784 // r,r/i.
 785 def : InstRW<[WriteShift], (instregex "BT(16|32|64)r(r|i8)")>;
 786
 787 // m,r.
 788 def WriteBTmr : SchedWriteRes<[]> {
 789   let NumMicroOps = 10;
 790 }
 791 def : InstRW<[WriteBTmr], (instregex "BT(16|32|64)mr")>;
 792
 793 // m,i.
 794 def : InstRW<[WriteShiftLd], (instregex "BT(16|32|64)mi8")>;
 795
 796 // BTR BTS BTC.
 797 // r,r,i.
 798 def : InstRW<[WriteShift], (instregex "BT(R|S|C)(16|32|64)r(r|i8)")>;
 799
 800 // m,r.
 801 def WriteBTRSCmr : SchedWriteRes<[]> {
 802   let NumMicroOps = 11;
 803 }
 804 def : InstRW<[WriteBTRSCmr], (instregex "BT(R|S|C)(16|32|64)mr")>;
 805
 806 // m,i.
 807 def : InstRW<[WriteShiftLd], (instregex "BT(R|S|C)(16|32|64)mi8")>;
 808
 809 // BSF BSR.
 810 // r,r.
 811 def : InstRW<[WriteP1_Lat3], (instregex "BS(R|F)(16|32|64)rr")>;
 812 // r,m.
 813 def : InstRW<[WriteP1_Lat3Ld], (instregex "BS(R|F)(16|32|64)rm")>;
 814
 815 // SETcc.
 816 // r.
 817 def : InstRW<[WriteShift],
 818              (instregex "SET(O|NO|B|AE|E|NE|BE|A|S|NS|P|NP|L|GE|LE|G)r")>;
 819 // m.
 820 def WriteSetCCm : SchedWriteRes<[HWPort06, HWPort237, HWPort4]> {
 821   let NumMicroOps = 3;
 822 }
 823 def : InstRW<[WriteSetCCm],
 824              (instregex "SET(O|NO|B|AE|E|NE|BE|A|S|NS|P|NP|L|GE|LE|G)m")>;
 825
 826 // CLD STD.
 827 def WriteCldStd : SchedWriteRes<[HWPort15, HWPort6]> {
 828   let NumMicroOps = 3;
 829 }
 830 def : InstRW<[WriteCldStd], (instregex "STD", "CLD")>;
 831
 832 // LZCNT TZCNT.
 833 // r,r.
 834 def : InstRW<[WriteP1_Lat3], (instregex "(L|TZCNT)(16|32|64)rr")>;
 835 // r,m.
 836 def : InstRW<[WriteP1_Lat3Ld], (instregex "(L|TZCNT)(16|32|64)rm")>;
 837
 838 // ANDN.
 839 // r,r.
 840 def : InstRW<[WriteP15], (instregex "ANDN(32|64)rr")>;
 841 // r,m.
 842 def : InstRW<[WriteP15Ld], (instregex "ANDN(32|64)rm")>;
 843
 844 // BLSI BLSMSK BLSR.
 845 // r,r.
 846 def : InstRW<[WriteP15], (instregex "BLS(I|MSK|R)(32|64)rr")>;
 847 // r,m.
 848 def : InstRW<[WriteP15Ld], (instregex "BLS(I|MSK|R)(32|64)rm")>;
 849
 850 // BEXTR.
 851 // r,r,r.
 852 def : InstRW<[Write2P0156_Lat2], (instregex "BEXTR(32|64)rr")>;
 853 // r,m,r.
 854 def : InstRW<[Write2P0156_Lat2Ld], (instregex "BEXTR(32|64)rm")>;
 855
 856 // BZHI.
 857 // r,r,r.
 858 def : InstRW<[WriteP15], (instregex "BZHI(32|64)rr")>;
 859 // r,m,r.
 860 def : InstRW<[WriteP15Ld], (instregex "BZHI(32|64)rm")>;
 861
 862 // PDEP PEXT.
 863 // r,r,r.
 864 def : InstRW<[WriteP1_Lat3], (instregex "PDEP(32|64)rr", "PEXT(32|64)rr")>;
 865 // r,m,r.
 866 def : InstRW<[WriteP1_Lat3Ld], (instregex "PDEP(32|64)rm", "PEXT(32|64)rm")>;
 867
 868 //-- Control transfer instructions --//
 869
 870 // J(E|R)CXZ.
 871 def WriteJCXZ : SchedWriteRes<[HWPort0156, HWPort6]> {
 872   let NumMicroOps = 2;
 873 }
 874 def : InstRW<[WriteJCXZ], (instregex "JCXZ", "JECXZ_(32|64)", "JRCXZ")>;
 875
 876 // LOOP.
 877 def WriteLOOP : SchedWriteRes<[]> {
 878   let NumMicroOps = 7;
 879 }
 880 def : InstRW<[WriteLOOP], (instregex "LOOP")>;
 881
 882 // LOOP(N)E
 883 def WriteLOOPE : SchedWriteRes<[]> {
 884   let NumMicroOps = 11;
 885 }
 886 def : InstRW<[WriteLOOPE], (instregex "LOOPE", "LOOPNE")>;
 887
 888 // CALL.
 889 // r.
 890 def WriteCALLr : SchedWriteRes<[HWPort237, HWPort4, HWPort6]> {
 891   let NumMicroOps = 3;
 892 }
 893 def : InstRW<[WriteCALLr], (instregex "CALL(16|32)r")>;
 894
 895 // m.
 896 def WriteCALLm : SchedWriteRes<[HWPort237, HWPort4, HWPort6]> {
 897   let NumMicroOps = 4;
 898   let ResourceCycles = [2, 1, 1];
 899 }
 900 def : InstRW<[WriteCALLm], (instregex "CALL(16|32)m")>;
 901
 902 // RET.
 903 def WriteRET : SchedWriteRes<[HWPort237, HWPort6]> {
 904   let NumMicroOps = 2;
 905 }
 906 def : InstRW<[WriteRET], (instregex "RET(L|Q|W)", "LRET(L|Q|W)")>;
 907
 908 // i.
 909 def WriteRETI : SchedWriteRes<[HWPort23, HWPort6, HWPort015]> {
 910   let NumMicroOps = 4;
 911   let ResourceCycles = [1, 2, 1];
 912 }
 913 def : InstRW<[WriteRETI], (instregex "RETI(L|Q|W)", "LRETI(L|Q|W)")>;
 914
 915 // BOUND.
 916 // r,m.
 917 def WriteBOUND : SchedWriteRes<[]> {
 918   let NumMicroOps = 15;
 919 }
 920 def : InstRW<[WriteBOUND], (instregex "BOUNDS(16|32)rm")>;
 921
 922 // INTO.
 923 def WriteINTO : SchedWriteRes<[]> {
 924   let NumMicroOps = 4;
 925 }
 926 def : InstRW<[WriteINTO], (instregex "INTO")>;
 927
 928 //-- String instructions --//
 929
 930 // LODSB/W.
 931 def : InstRW<[Write2P0156_P23], (instregex "LODS(B|W)")>;
 932
 933 // LODSD/Q.
 934 def : InstRW<[WriteP0156_P23], (instregex "LODS(L|Q)")>;
 935
 936 // STOS.
 937 def WriteSTOS : SchedWriteRes<[HWPort23, HWPort0156, HWPort4]> {
 938   let NumMicroOps = 3;
 939 }
 940 def : InstRW<[WriteSTOS], (instregex "STOS(B|L|Q|W)")>;
 941
 942 // MOVS.
 943 def WriteMOVS : SchedWriteRes<[HWPort23, HWPort4, HWPort0156]> {
 944   let Latency = 4;
 945   let NumMicroOps = 5;
 946   let ResourceCycles = [2, 1, 2];
 947 }
 948 def : InstRW<[WriteMOVS], (instregex "MOVS(B|L|Q|W)")>;
 949
 950 // SCAS.
 951 def : InstRW<[Write2P0156_P23], (instregex "SCAS(B|W|L|Q)")>;
 952
 953 // CMPS.
 954 def WriteCMPS : SchedWriteRes<[HWPort23, HWPort0156]> {
 955   let Latency = 4;
 956   let NumMicroOps = 5;
 957   let ResourceCycles = [2, 3];
 958 }
 959 def : InstRW<[WriteCMPS], (instregex "CMPS(B|L|Q|W)")>;
 960
 961 //-- Synchronization instructions --//
 962
 963 // XADD.
 964 def WriteXADD : SchedWriteRes<[]> {
 965   let NumMicroOps = 5;
 966 }
 967 def : InstRW<[WriteXADD], (instregex "XADD(8|16|32|64)rm")>;
 968
 969 // CMPXCHG.
 970 def WriteCMPXCHG : SchedWriteRes<[]> {
 971   let NumMicroOps = 6;
 972 }
 973 def : InstRW<[WriteCMPXCHG], (instregex "CMPXCHG(8|16|32|64)rm")>;
 974
 975 // CMPXCHG8B.
 976 def WriteCMPXCHG8B : SchedWriteRes<[]> {
 977   let NumMicroOps = 15;
 978 }
 979 def : InstRW<[WriteCMPXCHG8B], (instregex "CMPXCHG8B")>;
 980
 981 // CMPXCHG16B.
 982 def WriteCMPXCHG16B : SchedWriteRes<[]> {
 983   let NumMicroOps = 22;
 984 }
 985 def : InstRW<[WriteCMPXCHG16B], (instregex "CMPXCHG16B")>;
 986
 987 //-- Other --//
 988
 989 // PAUSE.
 990 def WritePAUSE : SchedWriteRes<[HWPort05, HWPort6]> {
 991   let NumMicroOps = 5;
 992   let ResourceCycles = [1, 3];
 993 }
 994 def : InstRW<[WritePAUSE], (instregex "PAUSE")>;
 995
 996 // LEAVE.
 997 def : InstRW<[Write2P0156_P23], (instregex "LEAVE")>;
 998
 999 // XGETBV.
1000 def WriteXGETBV : SchedWriteRes<[]> {
1001   let NumMicroOps = 8;
1002 }
1003 def : InstRW<[WriteXGETBV], (instregex "XGETBV")>;
1004
1005 // RDTSC.
1006 def WriteRDTSC : SchedWriteRes<[]> {
1007   let NumMicroOps = 15;
1008 }
1009 def : InstRW<[WriteRDTSC], (instregex "RDTSC")>;
1010
1011 // RDPMC.
1012 def WriteRDPMC : SchedWriteRes<[]> {
1013   let NumMicroOps = 34;
1014 }
1015 def : InstRW<[WriteRDPMC], (instregex "RDPMC")>;
1016
1017 // RDRAND.
1018 def WriteRDRAND : SchedWriteRes<[HWPort23, HWPort015]> {
1019   let NumMicroOps = 17;
1020   let ResourceCycles = [1, 16];
1021 }
1022 def : InstRW<[WriteRDRAND], (instregex "RDRAND(16|32|64)r")>;
1023
1024 //=== Floating Point x87 Instructions ===//
1025 //-- Move instructions --//
1026
1027 // FLD.
1028 // m80.
1029 def : InstRW<[WriteP01], (instregex "LD_Frr")>;
1030
1031 def WriteLD_F80m : SchedWriteRes<[HWPort01, HWPort23]> {
1032   let Latency = 4;
1033   let NumMicroOps = 4;
1034   let ResourceCycles = [2, 2];
1035 }
1036 def : InstRW<[WriteLD_F80m], (instregex "LD_F80m")>;
1037
1038 // FBLD.
1039 // m80.
1040 def WriteFBLD : SchedWriteRes<[]> {
1041   let Latency = 47;
1042   let NumMicroOps = 43;
1043 }
1044 def : InstRW<[WriteFBLD], (instregex "FBLDm")>;
1045
1046 // FST(P).
1047 // r.
1048 def : InstRW<[WriteP01], (instregex "ST_(F|FP)rr")>;
1049
1050 // m80.
1051 def WriteST_FP80m : SchedWriteRes<[HWPort0156, HWPort23, HWPort4]> {
1052   let NumMicroOps = 7;
1053   let ResourceCycles = [3, 2, 2];
1054 }
1055 def : InstRW<[WriteST_FP80m], (instregex "ST_FP80m")>;
1056
1057 // FBSTP.
1058 // m80.
1059 def WriteFBSTP : SchedWriteRes<[]> {
1060   let NumMicroOps = 226;
1061 }
1062 def : InstRW<[WriteFBSTP], (instregex "FBSTPm")>;
1063
1064 // FXCHG.
1065 def : InstRW<[WriteNop], (instregex "XCH_F")>;
1066
1067 // FILD.
1068 def WriteFILD : SchedWriteRes<[HWPort01, HWPort23]> {
1069   let Latency = 6;
1070   let NumMicroOps = 2;
1071 }
1072 def : InstRW<[WriteFILD], (instregex "ILD_F(16|32|64)m")>;
1073
1074 // FIST(P) FISTTP.
1075 def WriteFIST : SchedWriteRes<[HWPort1, HWPort23, HWPort4]> {
1076   let Latency = 7;
1077   let NumMicroOps = 3;
1078 }
1079 def : InstRW<[WriteFIST], (instregex "IST_(F|FP)(16|32)m")>;
1080
1081 // FLDZ.
1082 def : InstRW<[WriteP01], (instregex "LD_F0")>;
1083
1084 // FLD1.
1085 def : InstRW<[Write2P01], (instregex "LD_F1")>;
1086
1087 // FLDPI FLDL2E etc.
1088 def : InstRW<[Write2P01], (instregex "FLDPI", "FLDL2(T|E)" "FLDL(G|N)2")>;
1089
1090 // FCMOVcc.
1091 def WriteFCMOVcc : SchedWriteRes<[HWPort0, HWPort5]> {
1092   let Latency = 2;
1093   let NumMicroOps = 3;
1094   let ResourceCycles = [2, 1];
1095 }
1096 def : InstRW<[WriteFCMOVcc], (instregex "CMOV(B|BE|P|NB|NBE|NE|NP)_F")>;
1097
1098 // FNSTSW.
1099 // AX.
1100 def WriteFNSTSW : SchedWriteRes<[HWPort0, HWPort0156]> {
1101   let NumMicroOps = 2;
1102 }
1103 def : InstRW<[WriteFNSTSW], (instregex "FNSTSW16r")>;
1104
1105 // m16.
1106 def WriteFNSTSWm : SchedWriteRes<[HWPort0, HWPort4, HWPort237]> {
1107   let Latency = 6;
1108   let NumMicroOps = 3;
1109 }
1110 def : InstRW<[WriteFNSTSWm], (instregex "FNSTSWm")>;
1111
1112 // FLDCW.
1113 def WriteFLDCW : SchedWriteRes<[HWPort01, HWPort23, HWPort6]> {
1114   let Latency = 7;
1115   let NumMicroOps = 3;
1116 }
1117 def : InstRW<[WriteFLDCW], (instregex "FLDCW16m")>;
1118
1119 // FNSTCW.
1120 def WriteFNSTCW : SchedWriteRes<[HWPort237, HWPort4, HWPort6]> {
1121   let NumMicroOps = 3;
1122 }
1123 def : InstRW<[WriteFNSTCW], (instregex "FNSTCW16m")>;
1124
1125 // FINCSTP FDECSTP.
1126 def : InstRW<[WriteP01], (instregex "FINCSTP", "FDECSTP")>;
1127
1128 // FFREE.
1129 def : InstRW<[WriteP01], (instregex "FFREE")>;
1130
1131 // FNSAVE.
1132 def WriteFNSAVE : SchedWriteRes<[]> {
1133   let NumMicroOps = 147;
1134 }
1135 def : InstRW<[WriteFNSAVE], (instregex "FSAVEm")>;
1136
1137 // FRSTOR.
1138 def WriteFRSTOR : SchedWriteRes<[]> {
1139   let NumMicroOps = 90;
1140 }
1141 def : InstRW<[WriteFRSTOR], (instregex "FRSTORm")>;
1142
1143 //-- Arithmetic instructions --//
1144
1145 // FABS.
1146 def : InstRW<[WriteP0], (instregex "ABS_F")>;
1147
1148 // FCHS.
1149 def : InstRW<[WriteP0], (instregex "CHS_F")>;
1150
1151 // FCOM(P) FUCOM(P).
1152 // r.
1153 def : InstRW<[WriteP1], (instregex "COM_FST0r", "COMP_FST0r", "UCOM_Fr",
1154                          "UCOM_FPr")>;
1155 // m.
1156 def : InstRW<[WriteP1_P23], (instregex "FCOM(32|64)m", "FCOMP(32|64)m")>;
1157
1158 // FCOMPP FUCOMPP.
1159 // r.
1160 def : InstRW<[Write2P01], (instregex "FCOMPP", "UCOM_FPPr")>;
1161
1162 // FCOMI(P) FUCOMI(P).
1163 // m.
1164 def : InstRW<[Write3P01], (instregex "COM_FIr", "COM_FIPr", "UCOM_FIr",
1165                            "UCOM_FIPr")>;
1166
1167 // FICOM(P).
1168 def : InstRW<[Write2P1_P23], (instregex "FICOM(16|32)m", "FICOMP(16|32)m")>;
1169
1170 // FTST.
1171 def : InstRW<[WriteP1], (instregex "TST_F")>;
1172
1173 // FXAM.
1174 def : InstRW<[Write2P1], (instregex "FXAM")>;
1175
1176 // FPREM.
1177 def WriteFPREM : SchedWriteRes<[]> {
1178   let Latency = 19;
1179   let NumMicroOps = 28;
1180 }
1181 def : InstRW<[WriteFPREM], (instregex "FPREM")>;
1182
1183 // FPREM1.
1184 def WriteFPREM1 : SchedWriteRes<[]> {
1185   let Latency = 27;
1186   let NumMicroOps = 41;
1187 }
1188 def : InstRW<[WriteFPREM1], (instregex "FPREM1")>;
1189
1190 // FRNDINT.
1191 def WriteFRNDINT : SchedWriteRes<[]> {
1192   let Latency = 11;
1193   let NumMicroOps = 17;
1194 }
1195 def : InstRW<[WriteFRNDINT], (instregex "FRNDINT")>;
1196
1197 //-- Math instructions --//
1198
1199 // FSCALE.
1200 def WriteFSCALE : SchedWriteRes<[]> {
1201   let Latency = 75; // 49-125
1202   let NumMicroOps = 50; // 25-75
1203 }
1204 def : InstRW<[WriteFSCALE], (instregex "FSCALE")>;
1205
1206 // FXTRACT.
1207 def WriteFXTRACT : SchedWriteRes<[]> {
1208   let Latency = 15;
1209   let NumMicroOps = 17;
1210 }
1211 def : InstRW<[WriteFXTRACT], (instregex "FXTRACT")>;
1212
1213 //-- Other instructions --//
1214
1215 // FNOP.
1216 def : InstRW<[WriteP01], (instregex "FNOP")>;
1217
1218 // WAIT.
1219 def : InstRW<[Write2P01], (instregex "WAIT")>;
1220
1221 // FNCLEX.
1222 def : InstRW<[Write5P0156], (instregex "FNCLEX")>;
1223
1224 // FNINIT.
1225 def WriteFNINIT : SchedWriteRes<[]> {
1226   let NumMicroOps = 26;
1227 }
1228 def : InstRW<[WriteFNINIT], (instregex "FNINIT")>;
1229
1230 //=== Integer MMX and XMM Instructions ===//
1231 //-- Move instructions --//
1232
1233 // MOVD.
1234 // r32/64 <- (x)mm.
1235 def : InstRW<[WriteP0], (instregex "MMX_MOVD64grr", "MMX_MOVD64from64rr",
1236                          "VMOVPDI2DIrr", "MOVPDI2DIrr")>;
1237
1238 // (x)mm <- r32/64.
1239 def : InstRW<[WriteP5], (instregex "MMX_MOVD64rr", "MMX_MOVD64to64rr",
1240                          "VMOVDI2PDIrr", "MOVDI2PDIrr")>;
1241
1242 // MOVQ.
1243 // r64 <- (x)mm.
1244 def : InstRW<[WriteP0], (instregex "VMOVPQIto64rr")>;
1245
1246 // (x)mm <- r64.
1247 def : InstRW<[WriteP5], (instregex "VMOV64toPQIrr", "VMOVZQI2PQIrr")>;
1248
1249 // (x)mm <- (x)mm.
1250 def : InstRW<[WriteP015], (instregex "MMX_MOVQ64rr")>;
1251
1252 // (V)MOVDQA/U.
1253 // x <- x.
1254 def : InstRW<[WriteP015], (instregex "MOVDQ(A|U)rr", "VMOVDQ(A|U)rr",
1255                            "MOVDQ(A|U)rr_REV", "VMOVDQ(A|U)rr_REV",
1256                            "VMOVDQ(A|U)Yrr", "VMOVDQ(A|U)Yrr_REV")>;
1257
1258 // MOVDQ2Q.
1259 def : InstRW<[WriteP01_P5], (instregex "MMX_MOVDQ2Qrr")>;
1260
1261 // MOVQ2DQ.
1262 def : InstRW<[WriteP015], (instregex "MMX_MOVQ2DQrr")>;
1263
1264
1265 // PACKSSWB/DW.
1266 // mm <- mm.
1267 def WriteMMXPACKSSrr : SchedWriteRes<[HWPort5]> {
1268   let Latency = 2;
1269   let NumMicroOps = 3;
1270   let ResourceCycles = [3];
1271 }
1272 def : InstRW<[WriteMMXPACKSSrr], (instregex "MMX_PACKSSDWirr",
1273                                   "MMX_PACKSSWBirr", "MMX_PACKUSWBirr")>;
1274
1275 // mm <- m64.
1276 def WriteMMXPACKSSrm : SchedWriteRes<[HWPort23, HWPort5]> {
1277   let Latency = 4;
1278   let NumMicroOps = 3;
1279   let ResourceCycles = [1, 3];
1280 }
1281 def : InstRW<[WriteMMXPACKSSrm], (instregex "MMX_PACKSSDWirm",
1282                                   "MMX_PACKSSWBirm", "MMX_PACKUSWBirm")>;
1283
1284 // VPMOVSX/ZX BW BD BQ DW DQ.
1285 // y <- x.
1286 def WriteVPMOVSX : SchedWriteRes<[HWPort5]> {
1287   let Latency = 3;
1288   let NumMicroOps = 1;
1289 }
1290 def : InstRW<[WriteVPMOVSX], (instregex "VPMOV(SX|ZX)(BW|BQ|DW|DQ)Yrr")>;
1291
1292 // PBLENDW.
1293 // x,x,i / v,v,v,i
1294 def WritePBLENDWr : SchedWriteRes<[HWPort5]>;
1295 def : InstRW<[WritePBLENDWr], (instregex "(V?)PBLENDW(Y?)rri")>;
1296
1297 // x,m,i / v,v,m,i
1298 def WritePBLENDWm : SchedWriteRes<[HWPort5, HWPort23]> {
1299   let NumMicroOps = 2;
1300   let Latency = 4;
1301   let ResourceCycles = [1, 1];
1302 }
1303 def : InstRW<[WritePBLENDWm, ReadAfterLd], (instregex "(V?)PBLENDW(Y?)rmi")>;
1304
1305 // VPBLENDD.
1306 // v,v,v,i.
1307 def WriteVPBLENDDr : SchedWriteRes<[HWPort015]>;
1308 def : InstRW<[WriteVPBLENDDr], (instregex "VPBLENDD(Y?)rri")>;
1309
1310 // v,v,m,i
1311 def WriteVPBLENDDm : SchedWriteRes<[HWPort015, HWPort23]> {
1312   let NumMicroOps = 2;
1313   let Latency = 4;
1314   let ResourceCycles = [1, 1];
1315 }
1316 def : InstRW<[WriteVPBLENDDm, ReadAfterLd], (instregex "VPBLENDD(Y?)rmi")>;
1317
1318 // MASKMOVQ.
1319 def WriteMASKMOVQ : SchedWriteRes<[HWPort0, HWPort4, HWPort23]> {
1320   let Latency = 13;
1321   let NumMicroOps = 4;
1322   let ResourceCycles = [1, 1, 2];
1323 }
1324 def : InstRW<[WriteMASKMOVQ], (instregex "MMX_MASKMOVQ(64)?")>;
1325
1326 // MASKMOVDQU.
1327 def WriteMASKMOVDQU : SchedWriteRes<[HWPort04, HWPort56, HWPort23]> {
1328   let Latency = 14;
1329   let NumMicroOps = 10;
1330   let ResourceCycles = [4, 2, 4];
1331 }
1332 def : InstRW<[WriteMASKMOVDQU], (instregex "(V?)MASKMOVDQU(64)?")>;
1333
1334 // VPMASKMOV D/Q.
1335 // v,v,m.
1336 def WriteVPMASKMOVr : SchedWriteRes<[HWPort5, HWPort23]> {
1337   let Latency = 4;
1338   let NumMicroOps = 3;
1339   let ResourceCycles = [2, 1];
1340 }
1341 def : InstRW<[WriteVPMASKMOVr, ReadAfterLd],
1342                                (instregex "VPMASKMOV(D|Q)(Y?)rm")>;
1343
1344 // m, v,v.
1345 def WriteVPMASKMOVm : SchedWriteRes<[HWPort0, HWPort1, HWPort4, HWPort23]> {
1346   let Latency = 13;
1347   let NumMicroOps = 4;
1348   let ResourceCycles = [1, 1, 1, 1];
1349 }
1350 def : InstRW<[WriteVPMASKMOVm], (instregex "VPMASKMOV(D|Q)(Y?)mr")>;
1351
1352 // PMOVMSKB.
1353 def WritePMOVMSKB : SchedWriteRes<[HWPort0]> {
1354   let Latency = 3;
1355 }
1356 def : InstRW<[WritePMOVMSKB], (instregex "(V|MMX_)?PMOVMSKB(Y?)rr")>;
1357
1358 // PEXTR B/W/D/Q.
1359 // r32,x,i.
1360 def WritePEXTRr : SchedWriteRes<[HWPort0, HWPort5]> {
1361   let Latency = 2;
1362   let NumMicroOps = 2;
1363   let ResourceCycles = [1, 1];
1364 }
1365 def : InstRW<[WritePEXTRr], (instregex "PEXTR(B|W|D|Q)rr", "MMX_PEXTRWirri")>;
1366
1367 // m8,x,i.
1368 def WritePEXTRm : SchedWriteRes<[HWPort23, HWPort4, HWPort5]> {
1369   let NumMicroOps = 3;
1370   let ResourceCycles = [1, 1, 1];
1371 }
1372 def : InstRW<[WritePEXTRm], (instregex "PEXTR(B|W|D|Q)mr")>;
1373
1374 // VPBROADCAST B/W.
1375 // x, m8/16.
1376 def WriteVPBROADCAST128Ld : SchedWriteRes<[HWPort01, HWPort23, HWPort5]> {
1377   let Latency = 5;
1378   let NumMicroOps = 3;
1379   let ResourceCycles = [1, 1, 1];
1380 }
1381 def : InstRW<[WriteVPBROADCAST128Ld, ReadAfterLd],
1382                                      (instregex "VPBROADCAST(B|W)rm")>;
1383
1384 // y, m8/16
1385 def WriteVPBROADCAST256Ld : SchedWriteRes<[HWPort01, HWPort23, HWPort5]> {
1386   let Latency = 7;
1387   let NumMicroOps = 3;
1388   let ResourceCycles = [1, 1, 1];
1389 }
1390 def : InstRW<[WriteVPBROADCAST256Ld, ReadAfterLd],
1391                                      (instregex "VPBROADCAST(B|W)Yrm")>;
1392
1393 // VPGATHERDD.
1394 // x.
1395 def WriteVPGATHERDD128 : SchedWriteRes<[]> {
1396   let NumMicroOps = 20;
1397 }
1398 def : InstRW<[WriteVPGATHERDD128, ReadAfterLd], (instregex "VPGATHERDDrm")>;
1399
1400 // y.
1401 def WriteVPGATHERDD256 : SchedWriteRes<[]> {
1402   let NumMicroOps = 34;
1403 }
1404 def : InstRW<[WriteVPGATHERDD256, ReadAfterLd], (instregex "VPGATHERDDYrm")>;
1405
1406 // VPGATHERQD.
1407 // x.
1408 def WriteVPGATHERQD128 : SchedWriteRes<[]> {
1409   let NumMicroOps = 15;
1410 }
1411 def : InstRW<[WriteVPGATHERQD128, ReadAfterLd], (instregex "VPGATHERQDrm")>;
1412
1413 // y.
1414 def WriteVPGATHERQD256 : SchedWriteRes<[]> {
1415   let NumMicroOps = 22;
1416 }
1417 def : InstRW<[WriteVPGATHERQD256, ReadAfterLd], (instregex "VPGATHERQDYrm")>;
1418
1419 // VPGATHERDQ.
1420 // x.
1421 def WriteVPGATHERDQ128 : SchedWriteRes<[]> {
1422   let NumMicroOps = 12;
1423 }
1424 def : InstRW<[WriteVPGATHERDQ128, ReadAfterLd], (instregex "VPGATHERDQrm")>;
1425
1426 // y.
1427 def WriteVPGATHERDQ256 : SchedWriteRes<[]> {
1428   let NumMicroOps = 20;
1429 }
1430 def : InstRW<[WriteVPGATHERDQ256, ReadAfterLd], (instregex "VPGATHERDQYrm")>;
1431
1432 // VPGATHERQQ.
1433 // x.
1434 def WriteVPGATHERQQ128 : SchedWriteRes<[]> {
1435   let NumMicroOps = 14;
1436 }
1437 def : InstRW<[WriteVPGATHERQQ128, ReadAfterLd], (instregex "VPGATHERQQrm")>;
1438
1439 // y.
1440 def WriteVPGATHERQQ256 : SchedWriteRes<[]> {
1441   let NumMicroOps = 22;
1442 }
1443 def : InstRW<[WriteVPGATHERQQ256, ReadAfterLd], (instregex "VPGATHERQQYrm")>;
1444
1445 //-- Arithmetic instructions --//
1446
1447 // PHADD|PHSUB (S) W/D.
1448 // v <- v,v.
1449 def WritePHADDSUBr : SchedWriteRes<[HWPort1, HWPort5]> {
1450   let Latency = 3;
1451   let NumMicroOps = 3;
1452   let ResourceCycles = [1, 2];
1453 }
1454 def : InstRW<[WritePHADDSUBr], (instregex "MMX_PHADD(W?)rr64",
1455                                "MMX_PHADDSWrr64",
1456                                "MMX_PHSUB(W|D)rr64",
1457                                "MMX_PHSUBSWrr64",
1458                                "(V?)PH(ADD|SUB)(W|D)(Y?)rr",
1459                                "(V?)PH(ADD|SUB)SWrr(256)?")>;
1460
1461 // v <- v,m.
1462 def WritePHADDSUBm : SchedWriteRes<[HWPort1, HWPort5, HWPort23]> {
1463   let Latency = 6;
1464   let NumMicroOps = 3;
1465   let ResourceCycles = [1, 2, 1];
1466 }
1467 def : InstRW<[WritePHADDSUBm, ReadAfterLd],
1468                               (instregex "MMX_PHADD(W?)rm64",
1469                                "MMX_PHADDSWrm64",
1470                                "MMX_PHSUB(W|D)rm64",
1471                                "MMX_PHSUBSWrm64",
1472                                "(V?)PH(ADD|SUB)(W|D)(Y?)rm",
1473                                "(V?)PH(ADD|SUB)SWrm(128|256)?")>;
1474
1475 // PCMPGTQ.
1476 // v <- v,v.
1477 def WritePCMPGTQr : SchedWriteRes<[HWPort0]> {
1478   let Latency = 5;
1479   let NumMicroOps = 1;
1480 }
1481 def : InstRW<[WritePCMPGTQr], (instregex "(V?)PCMPGTQ(Y?)rr")>;
1482
1483 // v <- v,m.
1484 def WritePCMPGTQm : SchedWriteRes<[HWPort0, HWPort23]> {
1485   let Latency = 5;
1486   let NumMicroOps = 2;
1487   let ResourceCycles = [1, 1];
1488 }
1489 def : InstRW<[WritePCMPGTQm, ReadAfterLd], (instregex "(V?)PCMPGTQ(Y?)rm")>;
1490
1491 // PMULLD.
1492 // x,x / y,y,y.
1493 def WritePMULLDr : SchedWriteRes<[HWPort0]> {
1494   let Latency = 10;
1495   let NumMicroOps = 2;
1496   let ResourceCycles = [2];
1497 }
1498 def : InstRW<[WritePMULLDr], (instregex "(V?)PMULLD(Y?)rr")>;
1499
1500 // x,m / y,y,m.
1501 def WritePMULLDm : SchedWriteRes<[HWPort0, HWPort23]> {
1502   let Latency = 10;
1503   let NumMicroOps = 3;
1504   let ResourceCycles = [2, 1];
1505 }
1506 def : InstRW<[WritePMULLDm, ReadAfterLd], (instregex "(V?)PMULLD(Y?)rm")>;
1507
1508 } // SchedModel