lib/Target/X86/X86InstrMMX.td

   1 //====- X86InstrMMX.td - Describe the X86 Instruction Set --*- tablegen -*-===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file was developed by the Evan Cheng and is distributed under
   6 // the University of Illinois Open Source License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file describes the X86 MMX instruction set, defining the instructions,
  11 // and properties of the instructions which are needed for code generation,
  12 // machine code emission, and analysis.
  13 //
  14 //===----------------------------------------------------------------------===//
  15
  16 //===----------------------------------------------------------------------===//
  17 // Instruction templates
  18 //===----------------------------------------------------------------------===//
  19
  20 // MMXI   - MMX instructions with TB prefix.
  21 // MMX2I  - MMX / SSE2 instructions with TB and OpSize prefixes.
  22 // MMXIi8 - MMX instructions with ImmT == Imm8 and TB prefix.
  23 class MMXI<bits<8> o, Format F, dag ops, string asm, list<dag> pattern>
  24       : I<o, F, ops, asm, pattern>, TB, Requires<[HasMMX]>;
  25 class MMX2I<bits<8> o, Format F, dag ops, string asm, list<dag> pattern>
  26       : I<o, F, ops, asm, pattern>, TB, OpSize, Requires<[HasMMX]>;
  27 class MMXIi8<bits<8> o, Format F, dag ops, string asm, list<dag> pattern>
  28       : Ii8<o, F, ops, asm, pattern>, TB, Requires<[HasMMX]>;
  29
  30 // Some 'special' instructions
  31 def IMPLICIT_DEF_VR64 : I<0, Pseudo, (ops VR64:$dst),
  32                           "#IMPLICIT_DEF $dst",
  33                           [(set VR64:$dst, (v8i8 (undef)))]>,
  34                         Requires<[HasMMX]>;
  35
  36 // 64-bit vector undef's.
  37 def : Pat<(v8i8  (undef)), (IMPLICIT_DEF_VR64)>;
  38 def : Pat<(v4i16 (undef)), (IMPLICIT_DEF_VR64)>;
  39 def : Pat<(v2i32 (undef)), (IMPLICIT_DEF_VR64)>;
  40 def : Pat<(v1i64 (undef)), (IMPLICIT_DEF_VR64)>;
  41
  42 //===----------------------------------------------------------------------===//
  43 // MMX Pattern Fragments
  44 //===----------------------------------------------------------------------===//
  45
  46 def load_mmx : PatFrag<(ops node:$ptr), (v1i64 (load node:$ptr))>;
  47
  48 def bc_v8i8  : PatFrag<(ops node:$in), (v8i8  (bitconvert node:$in))>;
  49 def bc_v4i16 : PatFrag<(ops node:$in), (v4i16 (bitconvert node:$in))>;
  50 def bc_v2i32 : PatFrag<(ops node:$in), (v2i32 (bitconvert node:$in))>;
  51 def bc_v1i64 : PatFrag<(ops node:$in), (v1i64 (bitconvert node:$in))>;
  52
  53 //===----------------------------------------------------------------------===//
  54 // MMX Multiclasses
  55 //===----------------------------------------------------------------------===//
  56
  57 let isTwoAddress = 1 in {
  58   // MMXI_binop_rm - Simple MMX binary operator.
  59   multiclass MMXI_binop_rm<bits<8> opc, string OpcodeStr, SDNode OpNode,
  60                            ValueType OpVT, bit Commutable = 0> {
  61     def rr : MMXI<opc, MRMSrcReg, (ops VR64:$dst, VR64:$src1, VR64:$src2),
  62                   !strconcat(OpcodeStr, " {$src2, $dst|$dst, $src2}"),
  63                   [(set VR64:$dst, (OpVT (OpNode VR64:$src1, VR64:$src2)))]> {
  64       let isCommutable = Commutable;
  65     }
  66     def rm : MMXI<opc, MRMSrcMem, (ops VR64:$dst, VR64:$src1, i64mem:$src2),
  67                   !strconcat(OpcodeStr, " {$src2, $dst|$dst, $src2}"),
  68                   [(set VR64:$dst, (OpVT (OpNode VR64:$src1,
  69                                          (bitconvert
  70                                           (load_mmx addr:$src2)))))]>;
  71   }
  72
  73   multiclass MMXI_binop_rm_int<bits<8> opc, string OpcodeStr, Intrinsic IntId,
  74                                bit Commutable = 0> {
  75     def rr : MMXI<opc, MRMSrcReg, (ops VR64:$dst, VR64:$src1, VR64:$src2),
  76                  !strconcat(OpcodeStr, " {$src2, $dst|$dst, $src2}"),
  77                  [(set VR64:$dst, (IntId VR64:$src1, VR64:$src2))]> {
  78       let isCommutable = Commutable;
  79     }
  80     def rm : MMXI<opc, MRMSrcMem, (ops VR64:$dst, VR64:$src1, i64mem:$src2),
  81                  !strconcat(OpcodeStr, " {$src2, $dst|$dst, $src2}"),
  82                  [(set VR64:$dst, (IntId VR64:$src1,
  83                                    (bitconvert (load_mmx addr:$src2))))]>;
  84   }
  85
  86   // MMXI_binop_rm_v1i64 - Simple MMX binary operator whose type is v1i64.
  87   //
  88   // FIXME: we could eliminate this and use MMXI_binop_rm instead if tblgen knew
  89   // to collapse (bitconvert VT to VT) into its operand.
  90   //
  91   multiclass MMXI_binop_rm_v1i64<bits<8> opc, string OpcodeStr, SDNode OpNode,
  92                                  bit Commutable = 0> {
  93     def rr : MMXI<opc, MRMSrcReg, (ops VR64:$dst, VR64:$src1, VR64:$src2),
  94                   !strconcat(OpcodeStr, " {$src2, $dst|$dst, $src2}"),
  95                   [(set VR64:$dst, (v1i64 (OpNode VR64:$src1, VR64:$src2)))]> {
  96       let isCommutable = Commutable;
  97     }
  98     def rm : MMXI<opc, MRMSrcMem, (ops VR64:$dst, VR64:$src1, i64mem:$src2),
  99                   !strconcat(OpcodeStr, " {$src2, $dst|$dst, $src2}"),
 100                   [(set VR64:$dst,
 101                     (OpNode VR64:$src1,(load_mmx addr:$src2)))]>;
 102   }
 103
 104   multiclass MMXI_binop_rmi_int<bits<8> opc, bits<8> opc2, Format ImmForm,
 105                                 string OpcodeStr, Intrinsic IntId> {
 106     def rr : MMXI<opc, MRMSrcReg, (ops VR64:$dst, VR64:$src1, VR64:$src2),
 107                   !strconcat(OpcodeStr, " {$src2, $dst|$dst, $src2}"),
 108                   [(set VR64:$dst, (IntId VR64:$src1, VR64:$src2))]>;
 109     def rm : MMXI<opc, MRMSrcMem, (ops VR64:$dst, VR64:$src1, i64mem:$src2),
 110                   !strconcat(OpcodeStr, " {$src2, $dst|$dst, $src2}"),
 111                   [(set VR64:$dst, (IntId VR64:$src1,
 112                                     (bitconvert (load_mmx addr:$src2))))]>;
 113     def ri : MMXIi8<opc2, ImmForm, (ops VR64:$dst, VR64:$src1, i32i8imm:$src2),
 114                     !strconcat(OpcodeStr, " {$src2, $dst|$dst, $src2}"),
 115                     [(set VR64:$dst, (IntId VR64:$src1,
 116                                       (scalar_to_vector (i32 imm:$src2))))]>;
 117   }
 118 }
 119
 120 //===----------------------------------------------------------------------===//
 121 // MMX EMMS Instruction
 122 //===----------------------------------------------------------------------===//
 123
 124 def MMX_EMMS : MMXI<0x77, RawFrm, (ops), "emms", [(int_x86_mmx_emms)]>;
 125
 126 //===----------------------------------------------------------------------===//
 127 // MMX Scalar Instructions
 128 //===----------------------------------------------------------------------===//
 129
 130 // Arithmetic Instructions
 131 defm MMX_PADDB : MMXI_binop_rm<0xFC, "paddb", add, v8i8, 1>;
 132 defm MMX_PADDW : MMXI_binop_rm<0xFD, "paddw", add, v4i16, 1>;
 133 defm MMX_PADDD : MMXI_binop_rm<0xFE, "paddd", add, v2i32, 1>;
 134
 135 defm MMX_PADDSB  : MMXI_binop_rm_int<0xEC, "paddsb" , int_x86_mmx_padds_b, 1>;
 136 defm MMX_PADDSW  : MMXI_binop_rm_int<0xED, "paddsw" , int_x86_mmx_padds_w, 1>;
 137
 138 defm MMX_PADDUSB : MMXI_binop_rm_int<0xDC, "paddusb", int_x86_mmx_paddus_b, 1>;
 139 defm MMX_PADDUSW : MMXI_binop_rm_int<0xDD, "paddusw", int_x86_mmx_paddus_w, 1>;
 140
 141 defm MMX_PSUBB : MMXI_binop_rm<0xF8, "psubb", sub, v8i8>;
 142 defm MMX_PSUBW : MMXI_binop_rm<0xF9, "psubw", sub, v4i16>;
 143 defm MMX_PSUBD : MMXI_binop_rm<0xFA, "psubd", sub, v2i32>;
 144
 145 defm MMX_PSUBSB  : MMXI_binop_rm_int<0xE8, "psubsb" , int_x86_mmx_psubs_b>;
 146 defm MMX_PSUBSW  : MMXI_binop_rm_int<0xE9, "psubsw" , int_x86_mmx_psubs_w>;
 147
 148 defm MMX_PSUBUSB : MMXI_binop_rm_int<0xD8, "psubusb", int_x86_mmx_psubus_b>;
 149 defm MMX_PSUBUSW : MMXI_binop_rm_int<0xD9, "psubusw", int_x86_mmx_psubus_w>;
 150
 151 defm MMX_PMULLW  : MMXI_binop_rm<0xD5, "pmullw", mul, v4i16, 1>;
 152
 153 defm MMX_PMULHW  : MMXI_binop_rm_int<0xE5, "pmulhw" , int_x86_mmx_pmulh_w , 1>;
 154 defm MMX_PMADDWD : MMXI_binop_rm_int<0xF5, "pmaddwd", int_x86_mmx_pmadd_wd, 1>;
 155
 156 // MMX_SHUFFLE_get_shuf_imm xform function: convert vector_shuffle mask to
 157 // MMX_PSHUF*, MMX_SHUFP* etc. imm.
 158 def MMX_SHUFFLE_get_shuf_imm : SDNodeXForm<build_vector, [{
 159   return getI8Imm(X86::getShuffleSHUFImmediate(N));
 160 }]>;
 161
 162 def MMX_splat_mask : PatLeaf<(build_vector), [{
 163   return X86::isSplatMask(N);
 164 }], MMX_SHUFFLE_get_shuf_imm>;
 165
 166 def MMX_UNPCKH_shuffle_mask : PatLeaf<(build_vector), [{
 167   return X86::isUNPCKHMask(N);
 168 }]>;
 169
 170 let isTwoAddress = 1 in {
 171 def MMX_PUNPCKHBWrr : MMXI<0x68, MRMSrcReg,
 172                            (ops VR64:$dst, VR64:$src1, VR64:$src2),
 173                            "punpckhbw {$src2, $dst|$dst, $src2}",
 174                            [(set VR64:$dst,
 175                              (v8i8 (vector_shuffle VR64:$src1, VR64:$src2,
 176                                     MMX_UNPCKH_shuffle_mask)))]>;
 177 def MMX_PUNPCKHBWrm : MMXI<0x68, MRMSrcMem,
 178                            (ops VR64:$dst, VR64:$src1, i64mem:$src2),
 179                            "punpckhbw {$src2, $dst|$dst, $src2}",
 180                            [(set VR64:$dst,
 181                              (v8i8 (vector_shuffle VR64:$src1,
 182                                     (bc_v8i8 (load_mmx addr:$src2)),
 183                                     MMX_UNPCKH_shuffle_mask)))]>;
 184 def MMX_PUNPCKHWDrr : MMXI<0x69, MRMSrcReg,
 185                            (ops VR64:$dst, VR64:$src1, VR64:$src2),
 186                            "punpckhwd {$src2, $dst|$dst, $src2}",
 187                            [(set VR64:$dst,
 188                              (v4i16 (vector_shuffle VR64:$src1, VR64:$src2,
 189                                      MMX_UNPCKH_shuffle_mask)))]>;
 190 def MMX_PUNPCKHWDrm : MMXI<0x69, MRMSrcMem,
 191                            (ops VR64:$dst, VR64:$src1, i64mem:$src2),
 192                            "punpckhwd {$src2, $dst|$dst, $src2}",
 193                            [(set VR64:$dst,
 194                              (v4i16 (vector_shuffle VR64:$src1,
 195                                      (bc_v4i16 (load_mmx addr:$src2)),
 196                                      MMX_UNPCKH_shuffle_mask)))]>;
 197 def MMX_PUNPCKHDQrr : MMXI<0x6A, MRMSrcReg,
 198                            (ops VR64:$dst, VR64:$src1, VR64:$src2),
 199                            "punpckhdq {$src2, $dst|$dst, $src2}",
 200                            [(set VR64:$dst,
 201                              (v1i64 (vector_shuffle VR64:$src1, VR64:$src2,
 202                                      MMX_UNPCKH_shuffle_mask)))]>;
 203 def MMX_PUNPCKHDQrm : MMXI<0x6A, MRMSrcMem,
 204                            (ops VR64:$dst, VR64:$src1, i64mem:$src2),
 205                            "punpckhdq {$src2, $dst|$dst, $src2}",
 206                            [(set VR64:$dst,
 207                              (v1i64 (vector_shuffle VR64:$src1,
 208                                      (load_mmx addr:$src2),
 209                                      MMX_UNPCKH_shuffle_mask)))]>;
 210 }
 211
 212 // Logical Instructions
 213 defm MMX_PAND : MMXI_binop_rm_v1i64<0xDB, "pand", and, 1>;
 214 defm MMX_POR  : MMXI_binop_rm_v1i64<0xEB, "por" , or,  1>;
 215 defm MMX_PXOR : MMXI_binop_rm_v1i64<0xEF, "pxor", xor, 1>;
 216
 217 let isTwoAddress = 1 in {
 218   def MMX_PANDNrr : MMXI<0xDF, MRMSrcReg,
 219                          (ops VR64:$dst, VR64:$src1, VR64:$src2),
 220                          "pandn {$src2, $dst|$dst, $src2}",
 221                          [(set VR64:$dst, (v1i64 (and (vnot VR64:$src1),
 222                                                   VR64:$src2)))]>;
 223   def MMX_PANDNrm : MMXI<0xDF, MRMSrcMem,
 224                          (ops VR64:$dst, VR64:$src1, i64mem:$src2),
 225                          "pandn {$src2, $dst|$dst, $src2}",
 226                          [(set VR64:$dst, (v1i64 (and (vnot VR64:$src1),
 227                                                   (load addr:$src2))))]>;
 228 }
 229
 230 // Shift Instructions
 231 defm MMX_PSRLW : MMXI_binop_rmi_int<0xD1, 0x71, MRM2r, "psrlw",
 232                                     int_x86_mmx_psrl_w>;
 233 defm MMX_PSRLD : MMXI_binop_rmi_int<0xD2, 0x72, MRM2r, "psrld",
 234                                     int_x86_mmx_psrl_d>;
 235 defm MMX_PSRLQ : MMXI_binop_rmi_int<0xD3, 0x73, MRM2r, "psrlq",
 236                                     int_x86_mmx_psrl_q>;
 237
 238 defm MMX_PSLLW : MMXI_binop_rmi_int<0xF1, 0x71, MRM6r, "psllw",
 239                                     int_x86_mmx_psll_w>;
 240 defm MMX_PSLLD : MMXI_binop_rmi_int<0xF2, 0x72, MRM6r, "pslld",
 241                                     int_x86_mmx_psll_d>;
 242 defm MMX_PSLLQ : MMXI_binop_rmi_int<0xF3, 0x73, MRM6r, "psllq",
 243                                     int_x86_mmx_psll_q>;
 244
 245 defm MMX_PSRAW : MMXI_binop_rmi_int<0xE1, 0x71, MRM4r, "psraw",
 246                                     int_x86_mmx_psra_w>;
 247 defm MMX_PSRAD : MMXI_binop_rmi_int<0xE2, 0x72, MRM4r, "psrad",
 248                                     int_x86_mmx_psra_d>;
 249
 250 // Pack instructions
 251 defm MMX_PACKSSWB : MMXI_binop_rm_int<0x63, "packsswb", int_x86_mmx_packsswb>;
 252 defm MMX_PACKSSDW : MMXI_binop_rm_int<0x6B, "packssdw", int_x86_mmx_packssdw>;
 253 defm MMX_PACKUSWB : MMXI_binop_rm_int<0x67, "packuswb", int_x86_mmx_packuswb>;
 254
 255 // Integer comparison
 256 defm MMX_PCMPEQB : MMXI_binop_rm_int<0x74, "pcmpeqb", int_x86_mmx_pcmpeq_b>;
 257 defm MMX_PCMPEQW : MMXI_binop_rm_int<0x75, "pcmpeqw", int_x86_mmx_pcmpeq_w>;
 258 defm MMX_PCMPEQD : MMXI_binop_rm_int<0x76, "pcmpeqd", int_x86_mmx_pcmpeq_d>;
 259
 260 defm MMX_PCMPGTB : MMXI_binop_rm_int<0x64, "pcmpgtb", int_x86_mmx_pcmpgt_b>;
 261 defm MMX_PCMPGTW : MMXI_binop_rm_int<0x65, "pcmpgtw", int_x86_mmx_pcmpgt_w>;
 262 defm MMX_PCMPGTD : MMXI_binop_rm_int<0x66, "pcmpgtd", int_x86_mmx_pcmpgt_d>;
 263
 264 // Move Instructions
 265 def MOVD64rr : MMXI<0x6E, MRMSrcReg, (ops VR64:$dst, GR32:$src),
 266                     "movd {$src, $dst|$dst, $src}", []>;
 267 def MOVD64rm : MMXI<0x6E, MRMSrcMem, (ops VR64:$dst, i32mem:$src),
 268                     "movd {$src, $dst|$dst, $src}", []>;
 269 def MOVD64mr : MMXI<0x7E, MRMDestMem, (ops i32mem:$dst, VR64:$src),
 270                     "movd {$src, $dst|$dst, $src}", []>;
 271
 272 def MOVQ64rr : MMXI<0x6F, MRMSrcReg, (ops VR64:$dst, VR64:$src),
 273                     "movq {$src, $dst|$dst, $src}", []>;
 274 def MOVQ64rm : MMXI<0x6F, MRMSrcMem, (ops VR64:$dst, i64mem:$src),
 275                     "movq {$src, $dst|$dst, $src}",
 276                     [(set VR64:$dst, (load_mmx addr:$src))]>;
 277 def MOVQ64mr : MMXI<0x7F, MRMDestMem, (ops i64mem:$dst, VR64:$src),
 278                     "movq {$src, $dst|$dst, $src}",
 279                     [(store (v1i64 VR64:$src), addr:$dst)]>;
 280
 281 // Conversion instructions
 282 def CVTPI2PSrr : MMXI<0x2A, MRMSrcReg, (ops VR128:$dst, VR64:$src),
 283                       "cvtpi2ps {$src, $dst|$dst, $src}", []>;
 284 def CVTPI2PSrm : MMXI<0x2A, MRMSrcMem, (ops VR128:$dst, i64mem:$src),
 285                       "cvtpi2ps {$src, $dst|$dst, $src}", []>;
 286 def CVTPI2PDrr : MMX2I<0x2A, MRMSrcReg, (ops VR128:$dst, VR64:$src),
 287                        "cvtpi2pd {$src, $dst|$dst, $src}", []>;
 288 def CVTPI2PDrm : MMX2I<0x2A, MRMSrcMem, (ops VR128:$dst, i64mem:$src),
 289                        "cvtpi2pd {$src, $dst|$dst, $src}", []>;
 290 def CVTTPS2PIrr: I<0x2C, MRMSrcReg, (ops VR64:$dst, VR128:$src),
 291                    "cvttps2pi {$src, $dst|$dst, $src}", []>, TB,
 292                    Requires<[HasMMX]>;
 293 def CVTTPS2PIrm: I<0x2C, MRMSrcMem, (ops VR64:$dst, f64mem:$src),
 294                    "cvttps2pi {$src, $dst|$dst, $src}", []>, TB,
 295                  Requires<[HasMMX]>;
 296 def CVTPS2PIrr : MMXI<0x2D, MRMSrcReg, (ops VR64:$dst, VR128:$src),
 297                       "cvtps2pi {$src, $dst|$dst, $src}", []>;
 298 def CVTPS2PIrm : MMXI<0x2D, MRMSrcMem, (ops VR64:$dst, f64mem:$src),
 299                       "cvtps2pi {$src, $dst|$dst, $src}", []>;
 300 def CVTPD2PIrr : MMX2I<0x2D, MRMSrcReg, (ops VR64:$dst, VR128:$src),
 301                        "cvtpd2pi {$src, $dst|$dst, $src}", []>;
 302 def CVTPD2PIrm : MMX2I<0x2D, MRMSrcMem, (ops VR64:$dst, f128mem:$src),
 303                        "cvtpd2pi {$src, $dst|$dst, $src}", []>;
 304
 305 // Shuffle and unpack instructions
 306 def PSHUFWri : MMXIi8<0x70, MRMSrcReg,
 307                       (ops VR64:$dst, VR64:$src1, i8imm:$src2),
 308                       "pshufw {$src2, $src1, $dst|$dst, $src1, $src2}", []>;
 309 def PSHUFWmi : MMXIi8<0x70, MRMSrcMem,
 310                       (ops VR64:$dst, i64mem:$src1, i8imm:$src2),
 311                       "pshufw {$src2, $src1, $dst|$dst, $src1, $src2}", []>;
 312
 313 // Misc.
 314 def MOVNTQ   : I<0xE7, MRMDestMem, (ops i64mem:$dst, VR64:$src),
 315                  "movntq {$src, $dst|$dst, $src}", []>, TB,
 316                Requires<[HasMMX]>;
 317
 318 def MASKMOVQ : I<0xF7, MRMDestMem, (ops VR64:$src, VR64:$mask),
 319                  "maskmovq {$mask, $src|$src, $mask}", []>, TB,
 320                Requires<[HasMMX]>;
 321
 322 //===----------------------------------------------------------------------===//
 323 // Alias Instructions
 324 //===----------------------------------------------------------------------===//
 325
 326 // Alias instructions that map zero vector to pxor.
 327 // FIXME: remove when we can teach regalloc that xor reg, reg is ok.
 328 let isReMaterializable = 1 in {
 329 def MMX_V_SET0 : MMXI<0xEF, MRMInitReg, (ops VR64:$dst),
 330                       "pxor $dst, $dst",
 331                       [(set VR64:$dst, (v1i64 immAllZerosV))]>;
 332 def MMX_V_SETALLONES : MMXI<0x76, MRMInitReg, (ops VR64:$dst),
 333                             "pcmpeqd $dst, $dst",
 334                             [(set VR64:$dst, (v1i64 immAllOnesV))]>;
 335 }
 336
 337 //===----------------------------------------------------------------------===//
 338 // Non-Instruction Patterns
 339 //===----------------------------------------------------------------------===//
 340
 341 // Store 64-bit integer vector values.
 342 def : Pat<(store (v8i8  VR64:$src), addr:$dst),
 343           (MOVQ64mr addr:$dst, VR64:$src)>;
 344 def : Pat<(store (v4i16 VR64:$src), addr:$dst),
 345           (MOVQ64mr addr:$dst, VR64:$src)>;
 346 def : Pat<(store (v2i32 VR64:$src), addr:$dst),
 347           (MOVQ64mr addr:$dst, VR64:$src)>;
 348
 349 // 64-bit vector all zero's.
 350 def : Pat<(v8i8  immAllZerosV), (MMX_V_SET0)>;
 351 def : Pat<(v4i16 immAllZerosV), (MMX_V_SET0)>;
 352 def : Pat<(v2i32 immAllZerosV), (MMX_V_SET0)>;
 353 def : Pat<(v1i64 immAllZerosV), (MMX_V_SET0)>;
 354
 355 // 64-bit vector all one's.
 356 def : Pat<(v8i8  immAllOnesV), (MMX_V_SETALLONES)>;
 357 def : Pat<(v4i16 immAllOnesV), (MMX_V_SETALLONES)>;
 358 def : Pat<(v2i32 immAllOnesV), (MMX_V_SETALLONES)>;
 359 def : Pat<(v1i64 immAllOnesV), (MMX_V_SETALLONES)>;
 360
 361 // Bit convert.
 362 def : Pat<(v8i8  (bitconvert (v1i64 VR64:$src))), (v8i8  VR64:$src)>;
 363 def : Pat<(v8i8  (bitconvert (v2i32 VR64:$src))), (v8i8  VR64:$src)>;
 364 def : Pat<(v8i8  (bitconvert (v4i16 VR64:$src))), (v8i8  VR64:$src)>;
 365 def : Pat<(v4i16 (bitconvert (v1i64 VR64:$src))), (v4i16 VR64:$src)>;
 366 def : Pat<(v4i16 (bitconvert (v2i32 VR64:$src))), (v4i16 VR64:$src)>;
 367 def : Pat<(v4i16 (bitconvert (v8i8  VR64:$src))), (v4i16 VR64:$src)>;
 368 def : Pat<(v2i32 (bitconvert (v1i64 VR64:$src))), (v2i32 VR64:$src)>;
 369 def : Pat<(v2i32 (bitconvert (v4i16 VR64:$src))), (v2i32 VR64:$src)>;
 370 def : Pat<(v2i32 (bitconvert (v8i8  VR64:$src))), (v2i32 VR64:$src)>;
 371 def : Pat<(v1i64 (bitconvert (v2i32 VR64:$src))), (v1i64 VR64:$src)>;
 372 def : Pat<(v1i64 (bitconvert (v4i16 VR64:$src))), (v1i64 VR64:$src)>;
 373 def : Pat<(v1i64 (bitconvert (v8i8  VR64:$src))), (v1i64 VR64:$src)>;
 374
 375 // Splat v1i64
 376 let AddedComplexity = 10 in {
 377   def : Pat<(vector_shuffle (v1i64 VR64:$src), (undef),
 378              MMX_splat_mask:$sm),
 379             (MMX_PUNPCKHDQrr VR64:$src, VR64:$src)>;
 380   def : Pat<(vector_shuffle (v1i64 VR64:$src), (undef),
 381              MMX_UNPCKH_shuffle_mask:$sm),
 382             (MMX_PUNPCKHDQrr VR64:$src, VR64:$src)>;
 383 }
 384
 385 def MMX_X86s2vec : SDNode<"X86ISD::S2VEC",  SDTypeProfile<1, 1, []>, []>;
 386
 387 // Scalar to v4i16 / v8i8. The source may be a GR32, but only the lower 8 or
 388 // 16-bits matter.
 389 def : Pat<(v8i8  (MMX_X86s2vec GR32:$src)), (MOVD64rr GR32:$src)>;
 390 def : Pat<(v4i16 (MMX_X86s2vec GR32:$src)), (MOVD64rr GR32:$src)>;
 391
 392 // Some special case pandn patterns.
 393 def : Pat<(v1i64 (and (xor VR64:$src1, (bc_v1i64 (v2i32 immAllOnesV))),
 394                   VR64:$src2)),
 395           (MMX_PANDNrr VR64:$src1, VR64:$src2)>;
 396 def : Pat<(v1i64 (and (xor VR64:$src1, (bc_v1i64 (v4i16 immAllOnesV))),
 397                   VR64:$src2)),
 398           (MMX_PANDNrr VR64:$src1, VR64:$src2)>;
 399 def : Pat<(v1i64 (and (xor VR64:$src1, (bc_v1i64 (v8i8  immAllOnesV))),
 400                   VR64:$src2)),
 401           (MMX_PANDNrr VR64:$src1, VR64:$src2)>;
 402
 403 def : Pat<(v1i64 (and (xor VR64:$src1, (bc_v1i64 (v2i32 immAllOnesV))),
 404                   (load addr:$src2))),
 405           (MMX_PANDNrm VR64:$src1, addr:$src2)>;
 406 def : Pat<(v1i64 (and (xor VR64:$src1, (bc_v1i64 (v4i16 immAllOnesV))),
 407                   (load addr:$src2))),
 408           (MMX_PANDNrm VR64:$src1, addr:$src2)>;
 409 def : Pat<(v1i64 (and (xor VR64:$src1, (bc_v1i64 (v8i8  immAllOnesV))),
 410                   (load addr:$src2))),
 411           (MMX_PANDNrm VR64:$src1, addr:$src2)>;