lib/Target/X86/Disassembler/X86DisassemblerDecoder.c

   1 /*===-- X86DisassemblerDecoder.c - Disassembler decoder ------------*- C -*-===*
   2  *
   3  *                     The LLVM Compiler Infrastructure
   4  *
   5  * This file is distributed under the University of Illinois Open Source
   6  * License. See LICENSE.TXT for details.
   7  *
   8  *===----------------------------------------------------------------------===*
   9  *
  10  * This file is part of the X86 Disassembler.
  11  * It contains the implementation of the instruction decoder.
  12  * Documentation for the disassembler can be found in X86Disassembler.h.
  13  *
  14  *===----------------------------------------------------------------------===*/
  15
  16 #include <stdarg.h>   /* for va_*()       */
  17 #include <stdio.h>    /* for vsnprintf()  */
  18 #include <stdlib.h>   /* for exit()       */
  19 #include <string.h>   /* for memset()     */
  20
  21 #include "X86DisassemblerDecoder.h"
  22
  23 #include "X86GenDisassemblerTables.inc"
  24
  25 #define TRUE  1
  26 #define FALSE 0
  27
  28 #ifndef NDEBUG
  29 #define debug(s) do { x86DisassemblerDebug(__FILE__, __LINE__, s); } while (0)
  30 #else
  31 #define debug(s) do { } while (0)
  32 #endif
  33
  34
  35 /*
  36  * contextForAttrs - Client for the instruction context table.  Takes a set of
  37  *   attributes and returns the appropriate decode context.
  38  *
  39  * @param attrMask  - Attributes, from the enumeration attributeBits.
  40  * @return          - The InstructionContext to use when looking up an
  41  *                    an instruction with these attributes.
  42  */
  43 static InstructionContext contextForAttrs(uint16_t attrMask) {
  44   return CONTEXTS_SYM[attrMask];
  45 }
  46
  47 /*
  48  * modRMRequired - Reads the appropriate instruction table to determine whether
  49  *   the ModR/M byte is required to decode a particular instruction.
  50  *
  51  * @param type        - The opcode type (i.e., how many bytes it has).
  52  * @param insnContext - The context for the instruction, as returned by
  53  *                      contextForAttrs.
  54  * @param opcode      - The last byte of the instruction's opcode, not counting
  55  *                      ModR/M extensions and escapes.
  56  * @return            - TRUE if the ModR/M byte is required, FALSE otherwise.
  57  */
  58 static int modRMRequired(OpcodeType type,
  59                          InstructionContext insnContext,
  60                          uint16_t opcode) {
  61   const struct ContextDecision* decision = 0;
  62
  63   switch (type) {
  64   case ONEBYTE:
  65     decision = &ONEBYTE_SYM;
  66     break;
  67   case TWOBYTE:
  68     decision = &TWOBYTE_SYM;
  69     break;
  70   case THREEBYTE_38:
  71     decision = &THREEBYTE38_SYM;
  72     break;
  73   case THREEBYTE_3A:
  74     decision = &THREEBYTE3A_SYM;
  75     break;
  76   case XOP8_MAP:
  77     decision = &XOP8_MAP_SYM;
  78     break;
  79   case XOP9_MAP:
  80     decision = &XOP9_MAP_SYM;
  81     break;
  82   case XOPA_MAP:
  83     decision = &XOPA_MAP_SYM;
  84     break;
  85   }
  86
  87   return decision->opcodeDecisions[insnContext].modRMDecisions[opcode].
  88     modrm_type != MODRM_ONEENTRY;
  89 }
  90
  91 /*
  92  * decode - Reads the appropriate instruction table to obtain the unique ID of
  93  *   an instruction.
  94  *
  95  * @param type        - See modRMRequired().
  96  * @param insnContext - See modRMRequired().
  97  * @param opcode      - See modRMRequired().
  98  * @param modRM       - The ModR/M byte if required, or any value if not.
  99  * @return            - The UID of the instruction, or 0 on failure.
 100  */
 101 static InstrUID decode(OpcodeType type,
 102                        InstructionContext insnContext,
 103                        uint8_t opcode,
 104                        uint8_t modRM) {
 105   const struct ModRMDecision* dec = 0;
 106
 107   switch (type) {
 108   case ONEBYTE:
 109     dec = &ONEBYTE_SYM.opcodeDecisions[insnContext].modRMDecisions[opcode];
 110     break;
 111   case TWOBYTE:
 112     dec = &TWOBYTE_SYM.opcodeDecisions[insnContext].modRMDecisions[opcode];
 113     break;
 114   case THREEBYTE_38:
 115     dec = &THREEBYTE38_SYM.opcodeDecisions[insnContext].modRMDecisions[opcode];
 116     break;
 117   case THREEBYTE_3A:
 118     dec = &THREEBYTE3A_SYM.opcodeDecisions[insnContext].modRMDecisions[opcode];
 119     break;
 120   case XOP8_MAP:
 121     dec = &XOP8_MAP_SYM.opcodeDecisions[insnContext].modRMDecisions[opcode];
 122     break;
 123   case XOP9_MAP:
 124     dec = &XOP9_MAP_SYM.opcodeDecisions[insnContext].modRMDecisions[opcode];
 125     break;
 126   case XOPA_MAP:
 127     dec = &XOPA_MAP_SYM.opcodeDecisions[insnContext].modRMDecisions[opcode];
 128     break;
 129   }
 130
 131   switch (dec->modrm_type) {
 132   default:
 133     debug("Corrupt table!  Unknown modrm_type");
 134     return 0;
 135   case MODRM_ONEENTRY:
 136     return modRMTable[dec->instructionIDs];
 137   case MODRM_SPLITRM:
 138     if (modFromModRM(modRM) == 0x3)
 139       return modRMTable[dec->instructionIDs+1];
 140     return modRMTable[dec->instructionIDs];
 141   case MODRM_SPLITREG:
 142     if (modFromModRM(modRM) == 0x3)
 143       return modRMTable[dec->instructionIDs+((modRM & 0x38) >> 3)+8];
 144     return modRMTable[dec->instructionIDs+((modRM & 0x38) >> 3)];
 145   case MODRM_SPLITMISC:
 146     if (modFromModRM(modRM) == 0x3)
 147       return modRMTable[dec->instructionIDs+(modRM & 0x3f)+8];
 148     return modRMTable[dec->instructionIDs+((modRM & 0x38) >> 3)];
 149   case MODRM_FULL:
 150     return modRMTable[dec->instructionIDs+modRM];
 151   }
 152 }
 153
 154 /*
 155  * specifierForUID - Given a UID, returns the name and operand specification for
 156  *   that instruction.
 157  *
 158  * @param uid - The unique ID for the instruction.  This should be returned by
 159  *              decode(); specifierForUID will not check bounds.
 160  * @return    - A pointer to the specification for that instruction.
 161  */
 162 static const struct InstructionSpecifier *specifierForUID(InstrUID uid) {
 163   return &INSTRUCTIONS_SYM[uid];
 164 }
 165
 166 /*
 167  * consumeByte - Uses the reader function provided by the user to consume one
 168  *   byte from the instruction's memory and advance the cursor.
 169  *
 170  * @param insn  - The instruction with the reader function to use.  The cursor
 171  *                for this instruction is advanced.
 172  * @param byte  - A pointer to a pre-allocated memory buffer to be populated
 173  *                with the data read.
 174  * @return      - 0 if the read was successful; nonzero otherwise.
 175  */
 176 static int consumeByte(struct InternalInstruction* insn, uint8_t* byte) {
 177   int ret = insn->reader(insn->readerArg, byte, insn->readerCursor);
 178
 179   if (!ret)
 180     ++(insn->readerCursor);
 181
 182   return ret;
 183 }
 184
 185 /*
 186  * lookAtByte - Like consumeByte, but does not advance the cursor.
 187  *
 188  * @param insn  - See consumeByte().
 189  * @param byte  - See consumeByte().
 190  * @return      - See consumeByte().
 191  */
 192 static int lookAtByte(struct InternalInstruction* insn, uint8_t* byte) {
 193   return insn->reader(insn->readerArg, byte, insn->readerCursor);
 194 }
 195
 196 static void unconsumeByte(struct InternalInstruction* insn) {
 197   insn->readerCursor--;
 198 }
 199
 200 #define CONSUME_FUNC(name, type)                                  \
 201   static int name(struct InternalInstruction* insn, type* ptr) {  \
 202     type combined = 0;                                            \
 203     unsigned offset;                                              \
 204     for (offset = 0; offset < sizeof(type); ++offset) {           \
 205       uint8_t byte;                                               \
 206       int ret = insn->reader(insn->readerArg,                     \
 207                              &byte,                               \
 208                              insn->readerCursor + offset);        \
 209       if (ret)                                                    \
 210         return ret;                                               \
 211       combined = combined | ((uint64_t)byte << (offset * 8));     \
 212     }                                                             \
 213     *ptr = combined;                                              \
 214     insn->readerCursor += sizeof(type);                           \
 215     return 0;                                                     \
 216   }
 217
 218 /*
 219  * consume* - Use the reader function provided by the user to consume data
 220  *   values of various sizes from the instruction's memory and advance the
 221  *   cursor appropriately.  These readers perform endian conversion.
 222  *
 223  * @param insn    - See consumeByte().
 224  * @param ptr     - A pointer to a pre-allocated memory of appropriate size to
 225  *                  be populated with the data read.
 226  * @return        - See consumeByte().
 227  */
 228 CONSUME_FUNC(consumeInt8, int8_t)
 229 CONSUME_FUNC(consumeInt16, int16_t)
 230 CONSUME_FUNC(consumeInt32, int32_t)
 231 CONSUME_FUNC(consumeUInt16, uint16_t)
 232 CONSUME_FUNC(consumeUInt32, uint32_t)
 233 CONSUME_FUNC(consumeUInt64, uint64_t)
 234
 235 /*
 236  * dbgprintf - Uses the logging function provided by the user to log a single
 237  *   message, typically without a carriage-return.
 238  *
 239  * @param insn    - The instruction containing the logging function.
 240  * @param format  - See printf().
 241  * @param ...     - See printf().
 242  */
 243 static void dbgprintf(struct InternalInstruction* insn,
 244                       const char* format,
 245                       ...) {
 246   char buffer[256];
 247   va_list ap;
 248
 249   if (!insn->dlog)
 250     return;
 251
 252   va_start(ap, format);
 253   (void)vsnprintf(buffer, sizeof(buffer), format, ap);
 254   va_end(ap);
 255
 256   insn->dlog(insn->dlogArg, buffer);
 257
 258   return;
 259 }
 260
 261 /*
 262  * setPrefixPresent - Marks that a particular prefix is present at a particular
 263  *   location.
 264  *
 265  * @param insn      - The instruction to be marked as having the prefix.
 266  * @param prefix    - The prefix that is present.
 267  * @param location  - The location where the prefix is located (in the address
 268  *                    space of the instruction's reader).
 269  */
 270 static void setPrefixPresent(struct InternalInstruction* insn,
 271                                     uint8_t prefix,
 272                                     uint64_t location)
 273 {
 274   insn->prefixPresent[prefix] = 1;
 275   insn->prefixLocations[prefix] = location;
 276 }
 277
 278 /*
 279  * isPrefixAtLocation - Queries an instruction to determine whether a prefix is
 280  *   present at a given location.
 281  *
 282  * @param insn      - The instruction to be queried.
 283  * @param prefix    - The prefix.
 284  * @param location  - The location to query.
 285  * @return          - Whether the prefix is at that location.
 286  */
 287 static BOOL isPrefixAtLocation(struct InternalInstruction* insn,
 288                                uint8_t prefix,
 289                                uint64_t location)
 290 {
 291   if (insn->prefixPresent[prefix] == 1 &&
 292      insn->prefixLocations[prefix] == location)
 293     return TRUE;
 294   else
 295     return FALSE;
 296 }
 297
 298 /*
 299  * readPrefixes - Consumes all of an instruction's prefix bytes, and marks the
 300  *   instruction as having them.  Also sets the instruction's default operand,
 301  *   address, and other relevant data sizes to report operands correctly.
 302  *
 303  * @param insn  - The instruction whose prefixes are to be read.
 304  * @return      - 0 if the instruction could be read until the end of the prefix
 305  *                bytes, and no prefixes conflicted; nonzero otherwise.
 306  */
 307 static int readPrefixes(struct InternalInstruction* insn) {
 308   BOOL isPrefix = TRUE;
 309   BOOL prefixGroups[4] = { FALSE };
 310   uint64_t prefixLocation;
 311   uint8_t byte = 0;
 312   uint8_t nextByte;
 313
 314   BOOL hasAdSize = FALSE;
 315   BOOL hasOpSize = FALSE;
 316
 317   dbgprintf(insn, "readPrefixes()");
 318
 319   while (isPrefix) {
 320     prefixLocation = insn->readerCursor;
 321
 322     /* If we fail reading prefixes, just stop here and let the opcode reader deal with it */
 323     if (consumeByte(insn, &byte))
 324       break;
 325
 326     /*
 327      * If the byte is a LOCK/REP/REPNE prefix and not a part of the opcode, then
 328      * break and let it be disassembled as a normal "instruction".
 329      */
 330     if (insn->readerCursor - 1 == insn->startLocation && byte == 0xf0)
 331       break;
 332
 333     if (insn->readerCursor - 1 == insn->startLocation
 334         && (byte == 0xf2 || byte == 0xf3)
 335         && !lookAtByte(insn, &nextByte))
 336     {
 337       /*
 338        * If the byte is 0xf2 or 0xf3, and any of the following conditions are
 339        * met:
 340        * - it is followed by a LOCK (0xf0) prefix
 341        * - it is followed by an xchg instruction
 342        * then it should be disassembled as a xacquire/xrelease not repne/rep.
 343        */
 344       if ((byte == 0xf2 || byte == 0xf3) &&
 345           ((nextByte == 0xf0) |
 346           ((nextByte & 0xfe) == 0x86 || (nextByte & 0xf8) == 0x90)))
 347         insn->xAcquireRelease = TRUE;
 348       /*
 349        * Also if the byte is 0xf3, and the following condition is met:
 350        * - it is followed by a "mov mem, reg" (opcode 0x88/0x89) or
 351        *                       "mov mem, imm" (opcode 0xc6/0xc7) instructions.
 352        * then it should be disassembled as an xrelease not rep.
 353        */
 354       if (byte == 0xf3 &&
 355           (nextByte == 0x88 || nextByte == 0x89 ||
 356            nextByte == 0xc6 || nextByte == 0xc7))
 357         insn->xAcquireRelease = TRUE;
 358       if (insn->mode == MODE_64BIT && (nextByte & 0xf0) == 0x40) {
 359         if (consumeByte(insn, &nextByte))
 360           return -1;
 361         if (lookAtByte(insn, &nextByte))
 362           return -1;
 363         unconsumeByte(insn);
 364       }
 365       if (nextByte != 0x0f && nextByte != 0x90)
 366         break;
 367     }
 368
 369     switch (byte) {
 370     case 0xf0:  /* LOCK */
 371     case 0xf2:  /* REPNE/REPNZ */
 372     case 0xf3:  /* REP or REPE/REPZ */
 373       if (prefixGroups[0])
 374         dbgprintf(insn, "Redundant Group 1 prefix");
 375       prefixGroups[0] = TRUE;
 376       setPrefixPresent(insn, byte, prefixLocation);
 377       break;
 378     case 0x2e:  /* CS segment override -OR- Branch not taken */
 379     case 0x36:  /* SS segment override -OR- Branch taken */
 380     case 0x3e:  /* DS segment override */
 381     case 0x26:  /* ES segment override */
 382     case 0x64:  /* FS segment override */
 383     case 0x65:  /* GS segment override */
 384       switch (byte) {
 385       case 0x2e:
 386         insn->segmentOverride = SEG_OVERRIDE_CS;
 387         break;
 388       case 0x36:
 389         insn->segmentOverride = SEG_OVERRIDE_SS;
 390         break;
 391       case 0x3e:
 392         insn->segmentOverride = SEG_OVERRIDE_DS;
 393         break;
 394       case 0x26:
 395         insn->segmentOverride = SEG_OVERRIDE_ES;
 396         break;
 397       case 0x64:
 398         insn->segmentOverride = SEG_OVERRIDE_FS;
 399         break;
 400       case 0x65:
 401         insn->segmentOverride = SEG_OVERRIDE_GS;
 402         break;
 403       default:
 404         debug("Unhandled override");
 405         return -1;
 406       }
 407       if (prefixGroups[1])
 408         dbgprintf(insn, "Redundant Group 2 prefix");
 409       prefixGroups[1] = TRUE;
 410       setPrefixPresent(insn, byte, prefixLocation);
 411       break;
 412     case 0x66:  /* Operand-size override */
 413       if (prefixGroups[2])
 414         dbgprintf(insn, "Redundant Group 3 prefix");
 415       prefixGroups[2] = TRUE;
 416       hasOpSize = TRUE;
 417       setPrefixPresent(insn, byte, prefixLocation);
 418       break;
 419     case 0x67:  /* Address-size override */
 420       if (prefixGroups[3])
 421         dbgprintf(insn, "Redundant Group 4 prefix");
 422       prefixGroups[3] = TRUE;
 423       hasAdSize = TRUE;
 424       setPrefixPresent(insn, byte, prefixLocation);
 425       break;
 426     default:    /* Not a prefix byte */
 427       isPrefix = FALSE;
 428       break;
 429     }
 430
 431     if (isPrefix)
 432       dbgprintf(insn, "Found prefix 0x%hhx", byte);
 433   }
 434
 435   insn->vectorExtensionType = TYPE_NO_VEX_XOP;
 436
 437   if (byte == 0x62) {
 438     uint8_t byte1, byte2;
 439
 440     if (consumeByte(insn, &byte1)) {
 441       dbgprintf(insn, "Couldn't read second byte of EVEX prefix");
 442       return -1;
 443     }
 444
 445     if (lookAtByte(insn, &byte2)) {
 446       dbgprintf(insn, "Couldn't read third byte of EVEX prefix");
 447       return -1;
 448     }
 449
 450     if ((insn->mode == MODE_64BIT || (byte1 & 0xc0) == 0xc0) &&
 451        ((~byte1 & 0xc) == 0xc) && ((byte2 & 0x4) == 0x4)) {
 452       insn->vectorExtensionType = TYPE_EVEX;
 453     }
 454     else {
 455       unconsumeByte(insn); /* unconsume byte1 */
 456       unconsumeByte(insn); /* unconsume byte  */
 457       insn->necessaryPrefixLocation = insn->readerCursor - 2;
 458     }
 459
 460     if (insn->vectorExtensionType == TYPE_EVEX) {
 461       insn->vectorExtensionPrefix[0] = byte;
 462       insn->vectorExtensionPrefix[1] = byte1;
 463       if (consumeByte(insn, &insn->vectorExtensionPrefix[2])) {
 464         dbgprintf(insn, "Couldn't read third byte of EVEX prefix");
 465         return -1;
 466       }
 467       if (consumeByte(insn, &insn->vectorExtensionPrefix[3])) {
 468         dbgprintf(insn, "Couldn't read fourth byte of EVEX prefix");
 469         return -1;
 470       }
 471
 472       /* We simulate the REX prefix for simplicity's sake */
 473       if (insn->mode == MODE_64BIT) {
 474         insn->rexPrefix = 0x40
 475                         | (wFromEVEX3of4(insn->vectorExtensionPrefix[2]) << 3)
 476                         | (rFromEVEX2of4(insn->vectorExtensionPrefix[1]) << 2)
 477                         | (xFromEVEX2of4(insn->vectorExtensionPrefix[1]) << 1)
 478                         | (bFromEVEX2of4(insn->vectorExtensionPrefix[1]) << 0);
 479       }
 480
 481       dbgprintf(insn, "Found EVEX prefix 0x%hhx 0x%hhx 0x%hhx 0x%hhx",
 482               insn->vectorExtensionPrefix[0], insn->vectorExtensionPrefix[1],
 483               insn->vectorExtensionPrefix[2], insn->vectorExtensionPrefix[3]);
 484     }
 485   }
 486   else if (byte == 0xc4) {
 487     uint8_t byte1;
 488
 489     if (lookAtByte(insn, &byte1)) {
 490       dbgprintf(insn, "Couldn't read second byte of VEX");
 491       return -1;
 492     }
 493
 494     if (insn->mode == MODE_64BIT || (byte1 & 0xc0) == 0xc0) {
 495       insn->vectorExtensionType = TYPE_VEX_3B;
 496       insn->necessaryPrefixLocation = insn->readerCursor - 1;
 497     }
 498     else {
 499       unconsumeByte(insn);
 500       insn->necessaryPrefixLocation = insn->readerCursor - 1;
 501     }
 502
 503     if (insn->vectorExtensionType == TYPE_VEX_3B) {
 504       insn->vectorExtensionPrefix[0] = byte;
 505       consumeByte(insn, &insn->vectorExtensionPrefix[1]);
 506       consumeByte(insn, &insn->vectorExtensionPrefix[2]);
 507
 508       /* We simulate the REX prefix for simplicity's sake */
 509
 510       if (insn->mode == MODE_64BIT) {
 511         insn->rexPrefix = 0x40
 512                         | (wFromVEX3of3(insn->vectorExtensionPrefix[2]) << 3)
 513                         | (rFromVEX2of3(insn->vectorExtensionPrefix[1]) << 2)
 514                         | (xFromVEX2of3(insn->vectorExtensionPrefix[1]) << 1)
 515                         | (bFromVEX2of3(insn->vectorExtensionPrefix[1]) << 0);
 516       }
 517
 518       dbgprintf(insn, "Found VEX prefix 0x%hhx 0x%hhx 0x%hhx",
 519                 insn->vectorExtensionPrefix[0], insn->vectorExtensionPrefix[1],
 520                 insn->vectorExtensionPrefix[2]);
 521     }
 522   }
 523   else if (byte == 0xc5) {
 524     uint8_t byte1;
 525
 526     if (lookAtByte(insn, &byte1)) {
 527       dbgprintf(insn, "Couldn't read second byte of VEX");
 528       return -1;
 529     }
 530
 531     if (insn->mode == MODE_64BIT || (byte1 & 0xc0) == 0xc0) {
 532       insn->vectorExtensionType = TYPE_VEX_2B;
 533     }
 534     else {
 535       unconsumeByte(insn);
 536     }
 537
 538     if (insn->vectorExtensionType == TYPE_VEX_2B) {
 539       insn->vectorExtensionPrefix[0] = byte;
 540       consumeByte(insn, &insn->vectorExtensionPrefix[1]);
 541
 542       if (insn->mode == MODE_64BIT) {
 543         insn->rexPrefix = 0x40
 544                         | (rFromVEX2of2(insn->vectorExtensionPrefix[1]) << 2);
 545       }
 546
 547       switch (ppFromVEX2of2(insn->vectorExtensionPrefix[1]))
 548       {
 549       default:
 550         break;
 551       case VEX_PREFIX_66:
 552         hasOpSize = TRUE;
 553         break;
 554       }
 555
 556       dbgprintf(insn, "Found VEX prefix 0x%hhx 0x%hhx",
 557                 insn->vectorExtensionPrefix[0],
 558                 insn->vectorExtensionPrefix[1]);
 559     }
 560   }
 561   else if (byte == 0x8f) {
 562     uint8_t byte1;
 563
 564     if (lookAtByte(insn, &byte1)) {
 565       dbgprintf(insn, "Couldn't read second byte of XOP");
 566       return -1;
 567     }
 568
 569     if ((byte1 & 0x38) != 0x0) { /* 0 in these 3 bits is a POP instruction. */
 570       insn->vectorExtensionType = TYPE_XOP;
 571       insn->necessaryPrefixLocation = insn->readerCursor - 1;
 572     }
 573     else {
 574       unconsumeByte(insn);
 575       insn->necessaryPrefixLocation = insn->readerCursor - 1;
 576     }
 577
 578     if (insn->vectorExtensionType == TYPE_XOP) {
 579       insn->vectorExtensionPrefix[0] = byte;
 580       consumeByte(insn, &insn->vectorExtensionPrefix[1]);
 581       consumeByte(insn, &insn->vectorExtensionPrefix[2]);
 582
 583       /* We simulate the REX prefix for simplicity's sake */
 584
 585       if (insn->mode == MODE_64BIT) {
 586         insn->rexPrefix = 0x40
 587                         | (wFromXOP3of3(insn->vectorExtensionPrefix[2]) << 3)
 588                         | (rFromXOP2of3(insn->vectorExtensionPrefix[1]) << 2)
 589                         | (xFromXOP2of3(insn->vectorExtensionPrefix[1]) << 1)
 590                         | (bFromXOP2of3(insn->vectorExtensionPrefix[1]) << 0);
 591       }
 592
 593       switch (ppFromXOP3of3(insn->vectorExtensionPrefix[2]))
 594       {
 595       default:
 596         break;
 597       case VEX_PREFIX_66:
 598         hasOpSize = TRUE;
 599         break;
 600       }
 601
 602       dbgprintf(insn, "Found XOP prefix 0x%hhx 0x%hhx 0x%hhx",
 603                 insn->vectorExtensionPrefix[0], insn->vectorExtensionPrefix[1],
 604                 insn->vectorExtensionPrefix[2]);
 605     }
 606   }
 607   else {
 608     if (insn->mode == MODE_64BIT) {
 609       if ((byte & 0xf0) == 0x40) {
 610         uint8_t opcodeByte;
 611
 612         if (lookAtByte(insn, &opcodeByte) || ((opcodeByte & 0xf0) == 0x40)) {
 613           dbgprintf(insn, "Redundant REX prefix");
 614           return -1;
 615         }
 616
 617         insn->rexPrefix = byte;
 618         insn->necessaryPrefixLocation = insn->readerCursor - 2;
 619
 620         dbgprintf(insn, "Found REX prefix 0x%hhx", byte);
 621       } else {
 622         unconsumeByte(insn);
 623         insn->necessaryPrefixLocation = insn->readerCursor - 1;
 624       }
 625     } else {
 626       unconsumeByte(insn);
 627       insn->necessaryPrefixLocation = insn->readerCursor - 1;
 628     }
 629   }
 630
 631   if (insn->mode == MODE_16BIT) {
 632     insn->registerSize       = (hasOpSize ? 4 : 2);
 633     insn->addressSize        = (hasAdSize ? 4 : 2);
 634     insn->displacementSize   = (hasAdSize ? 4 : 2);
 635     insn->immediateSize      = (hasOpSize ? 4 : 2);
 636   } else if (insn->mode == MODE_32BIT) {
 637     insn->registerSize       = (hasOpSize ? 2 : 4);
 638     insn->addressSize        = (hasAdSize ? 2 : 4);
 639     insn->displacementSize   = (hasAdSize ? 2 : 4);
 640     insn->immediateSize      = (hasOpSize ? 2 : 4);
 641   } else if (insn->mode == MODE_64BIT) {
 642     if (insn->rexPrefix && wFromREX(insn->rexPrefix)) {
 643       insn->registerSize       = 8;
 644       insn->addressSize        = (hasAdSize ? 4 : 8);
 645       insn->displacementSize   = 4;
 646       insn->immediateSize      = 4;
 647     } else if (insn->rexPrefix) {
 648       insn->registerSize       = (hasOpSize ? 2 : 4);
 649       insn->addressSize        = (hasAdSize ? 4 : 8);
 650       insn->displacementSize   = (hasOpSize ? 2 : 4);
 651       insn->immediateSize      = (hasOpSize ? 2 : 4);
 652     } else {
 653       insn->registerSize       = (hasOpSize ? 2 : 4);
 654       insn->addressSize        = (hasAdSize ? 4 : 8);
 655       insn->displacementSize   = (hasOpSize ? 2 : 4);
 656       insn->immediateSize      = (hasOpSize ? 2 : 4);
 657     }
 658   }
 659
 660   return 0;
 661 }
 662
 663 /*
 664  * readOpcode - Reads the opcode (excepting the ModR/M byte in the case of
 665  *   extended or escape opcodes).
 666  *
 667  * @param insn  - The instruction whose opcode is to be read.
 668  * @return      - 0 if the opcode could be read successfully; nonzero otherwise.
 669  */
 670 static int readOpcode(struct InternalInstruction* insn) {
 671   /* Determine the length of the primary opcode */
 672
 673   uint8_t current;
 674
 675   dbgprintf(insn, "readOpcode()");
 676
 677   insn->opcodeType = ONEBYTE;
 678
 679   if (insn->vectorExtensionType == TYPE_EVEX)
 680   {
 681     switch (mmFromEVEX2of4(insn->vectorExtensionPrefix[1])) {
 682     default:
 683       dbgprintf(insn, "Unhandled mm field for instruction (0x%hhx)",
 684                 mmFromEVEX2of4(insn->vectorExtensionPrefix[1]));
 685       return -1;
 686     case VEX_LOB_0F:
 687       insn->opcodeType = TWOBYTE;
 688       return consumeByte(insn, &insn->opcode);
 689     case VEX_LOB_0F38:
 690       insn->opcodeType = THREEBYTE_38;
 691       return consumeByte(insn, &insn->opcode);
 692     case VEX_LOB_0F3A:
 693       insn->opcodeType = THREEBYTE_3A;
 694       return consumeByte(insn, &insn->opcode);
 695     }
 696   }
 697   else if (insn->vectorExtensionType == TYPE_VEX_3B) {
 698     switch (mmmmmFromVEX2of3(insn->vectorExtensionPrefix[1])) {
 699     default:
 700       dbgprintf(insn, "Unhandled m-mmmm field for instruction (0x%hhx)",
 701                 mmmmmFromVEX2of3(insn->vectorExtensionPrefix[1]));
 702       return -1;
 703     case VEX_LOB_0F:
 704       insn->opcodeType = TWOBYTE;
 705       return consumeByte(insn, &insn->opcode);
 706     case VEX_LOB_0F38:
 707       insn->opcodeType = THREEBYTE_38;
 708       return consumeByte(insn, &insn->opcode);
 709     case VEX_LOB_0F3A:
 710       insn->opcodeType = THREEBYTE_3A;
 711       return consumeByte(insn, &insn->opcode);
 712     }
 713   }
 714   else if (insn->vectorExtensionType == TYPE_VEX_2B) {
 715     insn->opcodeType = TWOBYTE;
 716     return consumeByte(insn, &insn->opcode);
 717   }
 718   else if (insn->vectorExtensionType == TYPE_XOP) {
 719     switch (mmmmmFromXOP2of3(insn->vectorExtensionPrefix[1])) {
 720     default:
 721       dbgprintf(insn, "Unhandled m-mmmm field for instruction (0x%hhx)",
 722                 mmmmmFromVEX2of3(insn->vectorExtensionPrefix[1]));
 723       return -1;
 724     case XOP_MAP_SELECT_8:
 725       insn->opcodeType = XOP8_MAP;
 726       return consumeByte(insn, &insn->opcode);
 727     case XOP_MAP_SELECT_9:
 728       insn->opcodeType = XOP9_MAP;
 729       return consumeByte(insn, &insn->opcode);
 730     case XOP_MAP_SELECT_A:
 731       insn->opcodeType = XOPA_MAP;
 732       return consumeByte(insn, &insn->opcode);
 733     }
 734   }
 735
 736   if (consumeByte(insn, &current))
 737     return -1;
 738
 739   if (current == 0x0f) {
 740     dbgprintf(insn, "Found a two-byte escape prefix (0x%hhx)", current);
 741
 742     if (consumeByte(insn, &current))
 743       return -1;
 744
 745     if (current == 0x38) {
 746       dbgprintf(insn, "Found a three-byte escape prefix (0x%hhx)", current);
 747
 748       if (consumeByte(insn, &current))
 749         return -1;
 750
 751       insn->opcodeType = THREEBYTE_38;
 752     } else if (current == 0x3a) {
 753       dbgprintf(insn, "Found a three-byte escape prefix (0x%hhx)", current);
 754
 755       if (consumeByte(insn, &current))
 756         return -1;
 757
 758       insn->opcodeType = THREEBYTE_3A;
 759     } else {
 760       dbgprintf(insn, "Didn't find a three-byte escape prefix");
 761
 762       insn->opcodeType = TWOBYTE;
 763     }
 764   }
 765
 766   /*
 767    * At this point we have consumed the full opcode.
 768    * Anything we consume from here on must be unconsumed.
 769    */
 770
 771   insn->opcode = current;
 772
 773   return 0;
 774 }
 775
 776 static int readModRM(struct InternalInstruction* insn);
 777
 778 /*
 779  * getIDWithAttrMask - Determines the ID of an instruction, consuming
 780  *   the ModR/M byte as appropriate for extended and escape opcodes,
 781  *   and using a supplied attribute mask.
 782  *
 783  * @param instructionID - A pointer whose target is filled in with the ID of the
 784  *                        instruction.
 785  * @param insn          - The instruction whose ID is to be determined.
 786  * @param attrMask      - The attribute mask to search.
 787  * @return              - 0 if the ModR/M could be read when needed or was not
 788  *                        needed; nonzero otherwise.
 789  */
 790 static int getIDWithAttrMask(uint16_t* instructionID,
 791                              struct InternalInstruction* insn,
 792                              uint16_t attrMask) {
 793   BOOL hasModRMExtension;
 794
 795   uint16_t instructionClass;
 796
 797   instructionClass = contextForAttrs(attrMask);
 798
 799   hasModRMExtension = modRMRequired(insn->opcodeType,
 800                                     instructionClass,
 801                                     insn->opcode);
 802
 803   if (hasModRMExtension) {
 804     if (readModRM(insn))
 805       return -1;
 806
 807     *instructionID = decode(insn->opcodeType,
 808                             instructionClass,
 809                             insn->opcode,
 810                             insn->modRM);
 811   } else {
 812     *instructionID = decode(insn->opcodeType,
 813                             instructionClass,
 814                             insn->opcode,
 815                             0);
 816   }
 817
 818   return 0;
 819 }
 820
 821 /*
 822  * is16BitEquivalent - Determines whether two instruction names refer to
 823  * equivalent instructions but one is 16-bit whereas the other is not.
 824  *
 825  * @param orig  - The instruction that is not 16-bit
 826  * @param equiv - The instruction that is 16-bit
 827  */
 828 static BOOL is16BitEquivalent(const char* orig, const char* equiv) {
 829   off_t i;
 830
 831   for (i = 0;; i++) {
 832     if (orig[i] == '\0' && equiv[i] == '\0')
 833       return TRUE;
 834     if (orig[i] == '\0' || equiv[i] == '\0')
 835       return FALSE;
 836     if (orig[i] != equiv[i]) {
 837       if ((orig[i] == 'Q' || orig[i] == 'L') && equiv[i] == 'W')
 838         continue;
 839       if ((orig[i] == '6' || orig[i] == '3') && equiv[i] == '1')
 840         continue;
 841       if ((orig[i] == '4' || orig[i] == '2') && equiv[i] == '6')
 842         continue;
 843       return FALSE;
 844     }
 845   }
 846 }
 847
 848 /*
 849  * getID - Determines the ID of an instruction, consuming the ModR/M byte as
 850  *   appropriate for extended and escape opcodes.  Determines the attributes and
 851  *   context for the instruction before doing so.
 852  *
 853  * @param insn  - The instruction whose ID is to be determined.
 854  * @return      - 0 if the ModR/M could be read when needed or was not needed;
 855  *                nonzero otherwise.
 856  */
 857 static int getID(struct InternalInstruction* insn, const void *miiArg) {
 858   uint16_t attrMask;
 859   uint16_t instructionID;
 860
 861   dbgprintf(insn, "getID()");
 862
 863   attrMask = ATTR_NONE;
 864
 865   if (insn->mode == MODE_64BIT)
 866     attrMask |= ATTR_64BIT;
 867
 868   if (insn->vectorExtensionType != TYPE_NO_VEX_XOP) {
 869     attrMask |= (insn->vectorExtensionType == TYPE_EVEX) ? ATTR_EVEX : ATTR_VEX;
 870
 871     if (insn->vectorExtensionType == TYPE_EVEX) {
 872       switch (ppFromEVEX3of4(insn->vectorExtensionPrefix[2])) {
 873       case VEX_PREFIX_66:
 874         attrMask |= ATTR_OPSIZE;
 875         break;
 876       case VEX_PREFIX_F3:
 877         attrMask |= ATTR_XS;
 878         break;
 879       case VEX_PREFIX_F2:
 880         attrMask |= ATTR_XD;
 881         break;
 882       }
 883
 884       if (zFromEVEX4of4(insn->vectorExtensionPrefix[3]))
 885         attrMask |= ATTR_EVEXKZ;
 886       if (bFromEVEX4of4(insn->vectorExtensionPrefix[3]))
 887         attrMask |= ATTR_EVEXB;
 888       if (aaaFromEVEX4of4(insn->vectorExtensionPrefix[3]))
 889         attrMask |= ATTR_EVEXK;
 890       if (lFromEVEX4of4(insn->vectorExtensionPrefix[3]))
 891         attrMask |= ATTR_EVEXL;
 892       if (l2FromEVEX4of4(insn->vectorExtensionPrefix[3]))
 893         attrMask |= ATTR_EVEXL2;
 894     }
 895     else if (insn->vectorExtensionType == TYPE_VEX_3B) {
 896       switch (ppFromVEX3of3(insn->vectorExtensionPrefix[2])) {
 897       case VEX_PREFIX_66:
 898         attrMask |= ATTR_OPSIZE;
 899         break;
 900       case VEX_PREFIX_F3:
 901         attrMask |= ATTR_XS;
 902         break;
 903       case VEX_PREFIX_F2:
 904         attrMask |= ATTR_XD;
 905         break;
 906       }
 907
 908       if (lFromVEX3of3(insn->vectorExtensionPrefix[2]))
 909         attrMask |= ATTR_VEXL;
 910     }
 911     else if (insn->vectorExtensionType == TYPE_VEX_2B) {
 912       switch (ppFromVEX2of2(insn->vectorExtensionPrefix[1])) {
 913       case VEX_PREFIX_66:
 914         attrMask |= ATTR_OPSIZE;
 915         break;
 916       case VEX_PREFIX_F3:
 917         attrMask |= ATTR_XS;
 918         break;
 919       case VEX_PREFIX_F2:
 920         attrMask |= ATTR_XD;
 921         break;
 922       }
 923
 924       if (lFromVEX2of2(insn->vectorExtensionPrefix[1]))
 925         attrMask |= ATTR_VEXL;
 926     }
 927     else if (insn->vectorExtensionType == TYPE_XOP) {
 928       switch (ppFromXOP3of3(insn->vectorExtensionPrefix[2])) {
 929       case VEX_PREFIX_66:
 930         attrMask |= ATTR_OPSIZE;
 931         break;
 932       case VEX_PREFIX_F3:
 933         attrMask |= ATTR_XS;
 934         break;
 935       case VEX_PREFIX_F2:
 936         attrMask |= ATTR_XD;
 937         break;
 938       }
 939
 940       if (lFromXOP3of3(insn->vectorExtensionPrefix[2]))
 941         attrMask |= ATTR_VEXL;
 942     }
 943     else {
 944       return -1;
 945     }
 946   }
 947   else {
 948     if (insn->mode != MODE_16BIT && isPrefixAtLocation(insn, 0x66, insn->necessaryPrefixLocation))
 949       attrMask |= ATTR_OPSIZE;
 950     else if (isPrefixAtLocation(insn, 0x67, insn->necessaryPrefixLocation))
 951       attrMask |= ATTR_ADSIZE;
 952     else if (isPrefixAtLocation(insn, 0xf3, insn->necessaryPrefixLocation))
 953       attrMask |= ATTR_XS;
 954     else if (isPrefixAtLocation(insn, 0xf2, insn->necessaryPrefixLocation))
 955       attrMask |= ATTR_XD;
 956   }
 957
 958   if (insn->rexPrefix & 0x08)
 959     attrMask |= ATTR_REXW;
 960
 961   if (getIDWithAttrMask(&instructionID, insn, attrMask))
 962     return -1;
 963
 964   /*
 965    * JCXZ/JECXZ need special handling for 16-bit mode because the meaning
 966    * of the AdSize prefix is inverted w.r.t. 32-bit mode.
 967    */
 968   if (insn->mode == MODE_16BIT && insn->opcode == 0xE3) {
 969     const struct InstructionSpecifier *spec;
 970     spec = specifierForUID(instructionID);
 971
 972     /*
 973      * Check for Ii8PCRel instructions. We could alternatively do a
 974      * string-compare on the names, but this is probably cheaper.
 975      */
 976     if (x86OperandSets[spec->operands][0].type == TYPE_REL8) {
 977       attrMask ^= ATTR_ADSIZE;
 978       if (getIDWithAttrMask(&instructionID, insn, attrMask))
 979         return -1;
 980     }
 981   }
 982
 983   /* The following clauses compensate for limitations of the tables. */
 984
 985   if ((insn->mode == MODE_16BIT || insn->prefixPresent[0x66]) &&
 986       !(attrMask & ATTR_OPSIZE)) {
 987     /*
 988      * The instruction tables make no distinction between instructions that
 989      * allow OpSize anywhere (i.e., 16-bit operations) and that need it in a
 990      * particular spot (i.e., many MMX operations).  In general we're
 991      * conservative, but in the specific case where OpSize is present but not
 992      * in the right place we check if there's a 16-bit operation.
 993      */
 994
 995     const struct InstructionSpecifier *spec;
 996     uint16_t instructionIDWithOpsize;
 997     const char *specName, *specWithOpSizeName;
 998
 999     spec = specifierForUID(instructionID);
1000
1001     if (getIDWithAttrMask(&instructionIDWithOpsize,
1002                           insn,
1003                           attrMask | ATTR_OPSIZE)) {
1004       /*
1005        * ModRM required with OpSize but not present; give up and return version
1006        * without OpSize set
1007        */
1008
1009       insn->instructionID = instructionID;
1010       insn->spec = spec;
1011       return 0;
1012     }
1013
1014     specName = x86DisassemblerGetInstrName(instructionID, miiArg);
1015     specWithOpSizeName =
1016       x86DisassemblerGetInstrName(instructionIDWithOpsize, miiArg);
1017
1018     if (is16BitEquivalent(specName, specWithOpSizeName) &&
1019         (insn->mode == MODE_16BIT) ^ insn->prefixPresent[0x66]) {
1020       insn->instructionID = instructionIDWithOpsize;
1021       insn->spec = specifierForUID(instructionIDWithOpsize);
1022     } else {
1023       insn->instructionID = instructionID;
1024       insn->spec = spec;
1025     }
1026     return 0;
1027   }
1028
1029   if (insn->opcodeType == ONEBYTE && insn->opcode == 0x90 &&
1030       insn->rexPrefix & 0x01) {
1031     /*
1032      * NOOP shouldn't decode as NOOP if REX.b is set. Instead
1033      * it should decode as XCHG %r8, %eax.
1034      */
1035
1036     const struct InstructionSpecifier *spec;
1037     uint16_t instructionIDWithNewOpcode;
1038     const struct InstructionSpecifier *specWithNewOpcode;
1039
1040     spec = specifierForUID(instructionID);
1041
1042     /* Borrow opcode from one of the other XCHGar opcodes */
1043     insn->opcode = 0x91;
1044
1045     if (getIDWithAttrMask(&instructionIDWithNewOpcode,
1046                           insn,
1047                           attrMask)) {
1048       insn->opcode = 0x90;
1049
1050       insn->instructionID = instructionID;
1051       insn->spec = spec;
1052       return 0;
1053     }
1054
1055     specWithNewOpcode = specifierForUID(instructionIDWithNewOpcode);
1056
1057     /* Change back */
1058     insn->opcode = 0x90;
1059
1060     insn->instructionID = instructionIDWithNewOpcode;
1061     insn->spec = specWithNewOpcode;
1062
1063     return 0;
1064   }
1065
1066   insn->instructionID = instructionID;
1067   insn->spec = specifierForUID(insn->instructionID);
1068
1069   return 0;
1070 }
1071
1072 /*
1073  * readSIB - Consumes the SIB byte to determine addressing information for an
1074  *   instruction.
1075  *
1076  * @param insn  - The instruction whose SIB byte is to be read.
1077  * @return      - 0 if the SIB byte was successfully read; nonzero otherwise.
1078  */
1079 static int readSIB(struct InternalInstruction* insn) {
1080   SIBIndex sibIndexBase = 0;
1081   SIBBase sibBaseBase = 0;
1082   uint8_t index, base;
1083
1084   dbgprintf(insn, "readSIB()");
1085
1086   if (insn->consumedSIB)
1087     return 0;
1088
1089   insn->consumedSIB = TRUE;
1090
1091   switch (insn->addressSize) {
1092   case 2:
1093     dbgprintf(insn, "SIB-based addressing doesn't work in 16-bit mode");
1094     return -1;
1095     break;
1096   case 4:
1097     sibIndexBase = SIB_INDEX_EAX;
1098     sibBaseBase = SIB_BASE_EAX;
1099     break;
1100   case 8:
1101     sibIndexBase = SIB_INDEX_RAX;
1102     sibBaseBase = SIB_BASE_RAX;
1103     break;
1104   }
1105
1106   if (consumeByte(insn, &insn->sib))
1107     return -1;
1108
1109   index = indexFromSIB(insn->sib) | (xFromREX(insn->rexPrefix) << 3);
1110   if (insn->vectorExtensionType == TYPE_EVEX)
1111     index |= v2FromEVEX4of4(insn->vectorExtensionPrefix[3]) << 4;
1112
1113   switch (index) {
1114   case 0x4:
1115     insn->sibIndex = SIB_INDEX_NONE;
1116     break;
1117   default:
1118     insn->sibIndex = (SIBIndex)(sibIndexBase + index);
1119     if (insn->sibIndex == SIB_INDEX_sib ||
1120         insn->sibIndex == SIB_INDEX_sib64)
1121       insn->sibIndex = SIB_INDEX_NONE;
1122     break;
1123   }
1124
1125   switch (scaleFromSIB(insn->sib)) {
1126   case 0:
1127     insn->sibScale = 1;
1128     break;
1129   case 1:
1130     insn->sibScale = 2;
1131     break;
1132   case 2:
1133     insn->sibScale = 4;
1134     break;
1135   case 3:
1136     insn->sibScale = 8;
1137     break;
1138   }
1139
1140   base = baseFromSIB(insn->sib) | (bFromREX(insn->rexPrefix) << 3);
1141
1142   switch (base) {
1143   case 0x5:
1144   case 0xd:
1145     switch (modFromModRM(insn->modRM)) {
1146     case 0x0:
1147       insn->eaDisplacement = EA_DISP_32;
1148       insn->sibBase = SIB_BASE_NONE;
1149       break;
1150     case 0x1:
1151       insn->eaDisplacement = EA_DISP_8;
1152       insn->sibBase = (SIBBase)(sibBaseBase + base);
1153       break;
1154     case 0x2:
1155       insn->eaDisplacement = EA_DISP_32;
1156       insn->sibBase = (SIBBase)(sibBaseBase + base);
1157       break;
1158     case 0x3:
1159       debug("Cannot have Mod = 0b11 and a SIB byte");
1160       return -1;
1161     }
1162     break;
1163   default:
1164     insn->sibBase = (SIBBase)(sibBaseBase + base);
1165     break;
1166   }
1167
1168   return 0;
1169 }
1170
1171 /*
1172  * readDisplacement - Consumes the displacement of an instruction.
1173  *
1174  * @param insn  - The instruction whose displacement is to be read.
1175  * @return      - 0 if the displacement byte was successfully read; nonzero
1176  *                otherwise.
1177  */
1178 static int readDisplacement(struct InternalInstruction* insn) {
1179   int8_t d8;
1180   int16_t d16;
1181   int32_t d32;
1182
1183   dbgprintf(insn, "readDisplacement()");
1184
1185   if (insn->consumedDisplacement)
1186     return 0;
1187
1188   insn->consumedDisplacement = TRUE;
1189   insn->displacementOffset = insn->readerCursor - insn->startLocation;
1190
1191   switch (insn->eaDisplacement) {
1192   case EA_DISP_NONE:
1193     insn->consumedDisplacement = FALSE;
1194     break;
1195   case EA_DISP_8:
1196     if (consumeInt8(insn, &d8))
1197       return -1;
1198     insn->displacement = d8;
1199     break;
1200   case EA_DISP_16:
1201     if (consumeInt16(insn, &d16))
1202       return -1;
1203     insn->displacement = d16;
1204     break;
1205   case EA_DISP_32:
1206     if (consumeInt32(insn, &d32))
1207       return -1;
1208     insn->displacement = d32;
1209     break;
1210   }
1211
1212   insn->consumedDisplacement = TRUE;
1213   return 0;
1214 }
1215
1216 /*
1217  * readModRM - Consumes all addressing information (ModR/M byte, SIB byte, and
1218  *   displacement) for an instruction and interprets it.
1219  *
1220  * @param insn  - The instruction whose addressing information is to be read.
1221  * @return      - 0 if the information was successfully read; nonzero otherwise.
1222  */
1223 static int readModRM(struct InternalInstruction* insn) {
1224   uint8_t mod, rm, reg;
1225
1226   dbgprintf(insn, "readModRM()");
1227
1228   if (insn->consumedModRM)
1229     return 0;
1230
1231   if (consumeByte(insn, &insn->modRM))
1232     return -1;
1233   insn->consumedModRM = TRUE;
1234
1235   mod     = modFromModRM(insn->modRM);
1236   rm      = rmFromModRM(insn->modRM);
1237   reg     = regFromModRM(insn->modRM);
1238
1239   /*
1240    * This goes by insn->registerSize to pick the correct register, which messes
1241    * up if we're using (say) XMM or 8-bit register operands.  That gets fixed in
1242    * fixupReg().
1243    */
1244   switch (insn->registerSize) {
1245   case 2:
1246     insn->regBase = MODRM_REG_AX;
1247     insn->eaRegBase = EA_REG_AX;
1248     break;
1249   case 4:
1250     insn->regBase = MODRM_REG_EAX;
1251     insn->eaRegBase = EA_REG_EAX;
1252     break;
1253   case 8:
1254     insn->regBase = MODRM_REG_RAX;
1255     insn->eaRegBase = EA_REG_RAX;
1256     break;
1257   }
1258
1259   reg |= rFromREX(insn->rexPrefix) << 3;
1260   rm  |= bFromREX(insn->rexPrefix) << 3;
1261   if (insn->vectorExtensionType == TYPE_EVEX) {
1262     reg |= r2FromEVEX2of4(insn->vectorExtensionPrefix[1]) << 4;
1263     rm  |=  xFromEVEX2of4(insn->vectorExtensionPrefix[1]) << 4;
1264   }
1265
1266   insn->reg = (Reg)(insn->regBase + reg);
1267
1268   switch (insn->addressSize) {
1269   case 2:
1270     insn->eaBaseBase = EA_BASE_BX_SI;
1271
1272     switch (mod) {
1273     case 0x0:
1274       if (rm == 0x6) {
1275         insn->eaBase = EA_BASE_NONE;
1276         insn->eaDisplacement = EA_DISP_16;
1277         if (readDisplacement(insn))
1278           return -1;
1279       } else {
1280         insn->eaBase = (EABase)(insn->eaBaseBase + rm);
1281         insn->eaDisplacement = EA_DISP_NONE;
1282       }
1283       break;
1284     case 0x1:
1285       insn->eaBase = (EABase)(insn->eaBaseBase + rm);
1286       insn->eaDisplacement = EA_DISP_8;
1287       insn->displacementSize = 1;
1288       if (readDisplacement(insn))
1289         return -1;
1290       break;
1291     case 0x2:
1292       insn->eaBase = (EABase)(insn->eaBaseBase + rm);
1293       insn->eaDisplacement = EA_DISP_16;
1294       if (readDisplacement(insn))
1295         return -1;
1296       break;
1297     case 0x3:
1298       insn->eaBase = (EABase)(insn->eaRegBase + rm);
1299       if (readDisplacement(insn))
1300         return -1;
1301       break;
1302     }
1303     break;
1304   case 4:
1305   case 8:
1306     insn->eaBaseBase = (insn->addressSize == 4 ? EA_BASE_EAX : EA_BASE_RAX);
1307
1308     switch (mod) {
1309     case 0x0:
1310       insn->eaDisplacement = EA_DISP_NONE; /* readSIB may override this */
1311       switch (rm) {
1312       case 0x14:
1313       case 0x4:
1314       case 0xc:   /* in case REXW.b is set */
1315         insn->eaBase = (insn->addressSize == 4 ?
1316                         EA_BASE_sib : EA_BASE_sib64);
1317         readSIB(insn);
1318         if (readDisplacement(insn))
1319           return -1;
1320         break;
1321       case 0x5:
1322         insn->eaBase = EA_BASE_NONE;
1323         insn->eaDisplacement = EA_DISP_32;
1324         if (readDisplacement(insn))
1325           return -1;
1326         break;
1327       default:
1328         insn->eaBase = (EABase)(insn->eaBaseBase + rm);
1329         break;
1330       }
1331       break;
1332     case 0x1:
1333       insn->displacementSize = 1;
1334       /* FALLTHROUGH */
1335     case 0x2:
1336       insn->eaDisplacement = (mod == 0x1 ? EA_DISP_8 : EA_DISP_32);
1337       switch (rm) {
1338       case 0x14:
1339       case 0x4:
1340       case 0xc:   /* in case REXW.b is set */
1341         insn->eaBase = EA_BASE_sib;
1342         readSIB(insn);
1343         if (readDisplacement(insn))
1344           return -1;
1345         break;
1346       default:
1347         insn->eaBase = (EABase)(insn->eaBaseBase + rm);
1348         if (readDisplacement(insn))
1349           return -1;
1350         break;
1351       }
1352       break;
1353     case 0x3:
1354       insn->eaDisplacement = EA_DISP_NONE;
1355       insn->eaBase = (EABase)(insn->eaRegBase + rm);
1356       break;
1357     }
1358     break;
1359   } /* switch (insn->addressSize) */
1360
1361   return 0;
1362 }
1363
1364 #define GENERIC_FIXUP_FUNC(name, base, prefix)            \
1365   static uint8_t name(struct InternalInstruction *insn,   \
1366                       OperandType type,                   \
1367                       uint8_t index,                      \
1368                       uint8_t *valid) {                   \
1369     *valid = 1;                                           \
1370     switch (type) {                                       \
1371     default:                                              \
1372       debug("Unhandled register type");                   \
1373       *valid = 0;                                         \
1374       return 0;                                           \
1375     case TYPE_Rv:                                         \
1376       return base + index;                                \
1377     case TYPE_R8:                                         \
1378       if (insn->rexPrefix &&                              \
1379          index >= 4 && index <= 7) {                      \
1380         return prefix##_SPL + (index - 4);                \
1381       } else {                                            \
1382         return prefix##_AL + index;                       \
1383       }                                                   \
1384     case TYPE_R16:                                        \
1385       return prefix##_AX + index;                         \
1386     case TYPE_R32:                                        \
1387       return prefix##_EAX + index;                        \
1388     case TYPE_R64:                                        \
1389       return prefix##_RAX + index;                        \
1390     case TYPE_XMM512:                                     \
1391       return prefix##_ZMM0 + index;                       \
1392     case TYPE_XMM256:                                     \
1393       return prefix##_YMM0 + index;                       \
1394     case TYPE_XMM128:                                     \
1395     case TYPE_XMM64:                                      \
1396     case TYPE_XMM32:                                      \
1397     case TYPE_XMM:                                        \
1398       return prefix##_XMM0 + index;                       \
1399     case TYPE_VK1:                                        \
1400     case TYPE_VK8:                                        \
1401     case TYPE_VK16:                                       \
1402       return prefix##_K0 + index;                         \
1403     case TYPE_MM64:                                       \
1404     case TYPE_MM32:                                       \
1405     case TYPE_MM:                                         \
1406       if (index > 7)                                      \
1407         *valid = 0;                                       \
1408       return prefix##_MM0 + index;                        \
1409     case TYPE_SEGMENTREG:                                 \
1410       if (index > 5)                                      \
1411         *valid = 0;                                       \
1412       return prefix##_ES + index;                         \
1413     case TYPE_DEBUGREG:                                   \
1414       if (index > 7)                                      \
1415         *valid = 0;                                       \
1416       return prefix##_DR0 + index;                        \
1417     case TYPE_CONTROLREG:                                 \
1418       if (index > 8)                                      \
1419         *valid = 0;                                       \
1420       return prefix##_CR0 + index;                        \
1421     }                                                     \
1422   }
1423
1424 /*
1425  * fixup*Value - Consults an operand type to determine the meaning of the
1426  *   reg or R/M field.  If the operand is an XMM operand, for example, an
1427  *   operand would be XMM0 instead of AX, which readModRM() would otherwise
1428  *   misinterpret it as.
1429  *
1430  * @param insn  - The instruction containing the operand.
1431  * @param type  - The operand type.
1432  * @param index - The existing value of the field as reported by readModRM().
1433  * @param valid - The address of a uint8_t.  The target is set to 1 if the
1434  *                field is valid for the register class; 0 if not.
1435  * @return      - The proper value.
1436  */
1437 GENERIC_FIXUP_FUNC(fixupRegValue, insn->regBase,    MODRM_REG)
1438 GENERIC_FIXUP_FUNC(fixupRMValue,  insn->eaRegBase,  EA_REG)
1439
1440 /*
1441  * fixupReg - Consults an operand specifier to determine which of the
1442  *   fixup*Value functions to use in correcting readModRM()'ss interpretation.
1443  *
1444  * @param insn  - See fixup*Value().
1445  * @param op    - The operand specifier.
1446  * @return      - 0 if fixup was successful; -1 if the register returned was
1447  *                invalid for its class.
1448  */
1449 static int fixupReg(struct InternalInstruction *insn,
1450                     const struct OperandSpecifier *op) {
1451   uint8_t valid;
1452
1453   dbgprintf(insn, "fixupReg()");
1454
1455   switch ((OperandEncoding)op->encoding) {
1456   default:
1457     debug("Expected a REG or R/M encoding in fixupReg");
1458     return -1;
1459   case ENCODING_VVVV:
1460     insn->vvvv = (Reg)fixupRegValue(insn,
1461                                     (OperandType)op->type,
1462                                     insn->vvvv,
1463                                     &valid);
1464     if (!valid)
1465       return -1;
1466     break;
1467   case ENCODING_REG:
1468     insn->reg = (Reg)fixupRegValue(insn,
1469                                    (OperandType)op->type,
1470                                    insn->reg - insn->regBase,
1471                                    &valid);
1472     if (!valid)
1473       return -1;
1474     break;
1475   case ENCODING_RM:
1476     if (insn->eaBase >= insn->eaRegBase) {
1477       insn->eaBase = (EABase)fixupRMValue(insn,
1478                                           (OperandType)op->type,
1479                                           insn->eaBase - insn->eaRegBase,
1480                                           &valid);
1481       if (!valid)
1482         return -1;
1483     }
1484     break;
1485   }
1486
1487   return 0;
1488 }
1489
1490 /*
1491  * readOpcodeRegister - Reads an operand from the opcode field of an
1492  *   instruction and interprets it appropriately given the operand width.
1493  *   Handles AddRegFrm instructions.
1494  *
1495  * @param insn  - the instruction whose opcode field is to be read.
1496  * @param size  - The width (in bytes) of the register being specified.
1497  *                1 means AL and friends, 2 means AX, 4 means EAX, and 8 means
1498  *                RAX.
1499  * @return      - 0 on success; nonzero otherwise.
1500  */
1501 static int readOpcodeRegister(struct InternalInstruction* insn, uint8_t size) {
1502   dbgprintf(insn, "readOpcodeRegister()");
1503
1504   if (size == 0)
1505     size = insn->registerSize;
1506
1507   switch (size) {
1508   case 1:
1509     insn->opcodeRegister = (Reg)(MODRM_REG_AL + ((bFromREX(insn->rexPrefix) << 3)
1510                                                   | (insn->opcode & 7)));
1511     if (insn->rexPrefix &&
1512         insn->opcodeRegister >= MODRM_REG_AL + 0x4 &&
1513         insn->opcodeRegister < MODRM_REG_AL + 0x8) {
1514       insn->opcodeRegister = (Reg)(MODRM_REG_SPL
1515                                    + (insn->opcodeRegister - MODRM_REG_AL - 4));
1516     }
1517
1518     break;
1519   case 2:
1520     insn->opcodeRegister = (Reg)(MODRM_REG_AX
1521                                  + ((bFromREX(insn->rexPrefix) << 3)
1522                                     | (insn->opcode & 7)));
1523     break;
1524   case 4:
1525     insn->opcodeRegister = (Reg)(MODRM_REG_EAX
1526                                  + ((bFromREX(insn->rexPrefix) << 3)
1527                                     | (insn->opcode & 7)));
1528     break;
1529   case 8:
1530     insn->opcodeRegister = (Reg)(MODRM_REG_RAX
1531                                  + ((bFromREX(insn->rexPrefix) << 3)
1532                                     | (insn->opcode & 7)));
1533     break;
1534   }
1535
1536   return 0;
1537 }
1538
1539 /*
1540  * readImmediate - Consumes an immediate operand from an instruction, given the
1541  *   desired operand size.
1542  *
1543  * @param insn  - The instruction whose operand is to be read.
1544  * @param size  - The width (in bytes) of the operand.
1545  * @return      - 0 if the immediate was successfully consumed; nonzero
1546  *                otherwise.
1547  */
1548 static int readImmediate(struct InternalInstruction* insn, uint8_t size) {
1549   uint8_t imm8;
1550   uint16_t imm16;
1551   uint32_t imm32;
1552   uint64_t imm64;
1553
1554   dbgprintf(insn, "readImmediate()");
1555
1556   if (insn->numImmediatesConsumed == 2) {
1557     debug("Already consumed two immediates");
1558     return -1;
1559   }
1560
1561   if (size == 0)
1562     size = insn->immediateSize;
1563   else
1564     insn->immediateSize = size;
1565   insn->immediateOffset = insn->readerCursor - insn->startLocation;
1566
1567   switch (size) {
1568   case 1:
1569     if (consumeByte(insn, &imm8))
1570       return -1;
1571     insn->immediates[insn->numImmediatesConsumed] = imm8;
1572     break;
1573   case 2:
1574     if (consumeUInt16(insn, &imm16))
1575       return -1;
1576     insn->immediates[insn->numImmediatesConsumed] = imm16;
1577     break;
1578   case 4:
1579     if (consumeUInt32(insn, &imm32))
1580       return -1;
1581     insn->immediates[insn->numImmediatesConsumed] = imm32;
1582     break;
1583   case 8:
1584     if (consumeUInt64(insn, &imm64))
1585       return -1;
1586     insn->immediates[insn->numImmediatesConsumed] = imm64;
1587     break;
1588   }
1589
1590   insn->numImmediatesConsumed++;
1591
1592   return 0;
1593 }
1594
1595 /*
1596  * readVVVV - Consumes vvvv from an instruction if it has a VEX prefix.
1597  *
1598  * @param insn  - The instruction whose operand is to be read.
1599  * @return      - 0 if the vvvv was successfully consumed; nonzero
1600  *                otherwise.
1601  */
1602 static int readVVVV(struct InternalInstruction* insn) {
1603   dbgprintf(insn, "readVVVV()");
1604
1605   if (insn->vectorExtensionType == TYPE_EVEX)
1606     insn->vvvv = vvvvFromEVEX3of4(insn->vectorExtensionPrefix[2]);
1607   else if (insn->vectorExtensionType == TYPE_VEX_3B)
1608     insn->vvvv = vvvvFromVEX3of3(insn->vectorExtensionPrefix[2]);
1609   else if (insn->vectorExtensionType == TYPE_VEX_2B)
1610     insn->vvvv = vvvvFromVEX2of2(insn->vectorExtensionPrefix[1]);
1611   else if (insn->vectorExtensionType == TYPE_XOP)
1612     insn->vvvv = vvvvFromXOP3of3(insn->vectorExtensionPrefix[2]);
1613   else
1614     return -1;
1615
1616   if (insn->mode != MODE_64BIT)
1617     insn->vvvv &= 0x7;
1618
1619   return 0;
1620 }
1621
1622 /*
1623  * readMaskRegister - Reads an mask register from the opcode field of an
1624  *   instruction.
1625  *
1626  * @param insn    - The instruction whose opcode field is to be read.
1627  * @return        - 0 on success; nonzero otherwise.
1628  */
1629 static int readMaskRegister(struct InternalInstruction* insn) {
1630   dbgprintf(insn, "readMaskRegister()");
1631
1632   if (insn->vectorExtensionType != TYPE_EVEX)
1633     return -1;
1634
1635   insn->writemask = aaaFromEVEX4of4(insn->vectorExtensionPrefix[3]);
1636   return 0;
1637 }
1638
1639 /*
1640  * readOperands - Consults the specifier for an instruction and consumes all
1641  *   operands for that instruction, interpreting them as it goes.
1642  *
1643  * @param insn  - The instruction whose operands are to be read and interpreted.
1644  * @return      - 0 if all operands could be read; nonzero otherwise.
1645  */
1646 static int readOperands(struct InternalInstruction* insn) {
1647   int index;
1648   int hasVVVV, needVVVV;
1649   int sawRegImm = 0;
1650
1651   dbgprintf(insn, "readOperands()");
1652
1653   /* If non-zero vvvv specified, need to make sure one of the operands
1654      uses it. */
1655   hasVVVV = !readVVVV(insn);
1656   needVVVV = hasVVVV && (insn->vvvv != 0);
1657
1658   for (index = 0; index < X86_MAX_OPERANDS; ++index) {
1659     switch (x86OperandSets[insn->spec->operands][index].encoding) {
1660     case ENCODING_NONE:
1661     case ENCODING_SI:
1662     case ENCODING_DI:
1663       break;
1664     case ENCODING_REG:
1665     case ENCODING_RM:
1666       if (readModRM(insn))
1667         return -1;
1668       if (fixupReg(insn, &x86OperandSets[insn->spec->operands][index]))
1669         return -1;
1670       break;
1671     case ENCODING_CB:
1672     case ENCODING_CW:
1673     case ENCODING_CD:
1674     case ENCODING_CP:
1675     case ENCODING_CO:
1676     case ENCODING_CT:
1677       dbgprintf(insn, "We currently don't hande code-offset encodings");
1678       return -1;
1679     case ENCODING_IB:
1680       if (sawRegImm) {
1681         /* Saw a register immediate so don't read again and instead split the
1682            previous immediate.  FIXME: This is a hack. */
1683         insn->immediates[insn->numImmediatesConsumed] =
1684           insn->immediates[insn->numImmediatesConsumed - 1] & 0xf;
1685         ++insn->numImmediatesConsumed;
1686         break;
1687       }
1688       if (readImmediate(insn, 1))
1689         return -1;
1690       if (x86OperandSets[insn->spec->operands][index].type == TYPE_IMM3 &&
1691           insn->immediates[insn->numImmediatesConsumed - 1] > 7)
1692         return -1;
1693       if (x86OperandSets[insn->spec->operands][index].type == TYPE_IMM5 &&
1694           insn->immediates[insn->numImmediatesConsumed - 1] > 31)
1695         return -1;
1696       if (x86OperandSets[insn->spec->operands][index].type == TYPE_XMM128 ||
1697           x86OperandSets[insn->spec->operands][index].type == TYPE_XMM256)
1698         sawRegImm = 1;
1699       break;
1700     case ENCODING_IW:
1701       if (readImmediate(insn, 2))
1702         return -1;
1703       break;
1704     case ENCODING_ID:
1705       if (readImmediate(insn, 4))
1706         return -1;
1707       break;
1708     case ENCODING_IO:
1709       if (readImmediate(insn, 8))
1710         return -1;
1711       break;
1712     case ENCODING_Iv:
1713       if (readImmediate(insn, insn->immediateSize))
1714         return -1;
1715       break;
1716     case ENCODING_Ia:
1717       if (readImmediate(insn, insn->addressSize))
1718         return -1;
1719       break;
1720     case ENCODING_RB:
1721       if (readOpcodeRegister(insn, 1))
1722         return -1;
1723       break;
1724     case ENCODING_RW:
1725       if (readOpcodeRegister(insn, 2))
1726         return -1;
1727       break;
1728     case ENCODING_RD:
1729       if (readOpcodeRegister(insn, 4))
1730         return -1;
1731       break;
1732     case ENCODING_RO:
1733       if (readOpcodeRegister(insn, 8))
1734         return -1;
1735       break;
1736     case ENCODING_Rv:
1737       if (readOpcodeRegister(insn, 0))
1738         return -1;
1739       break;
1740     case ENCODING_FP:
1741       break;
1742     case ENCODING_VVVV:
1743       needVVVV = 0; /* Mark that we have found a VVVV operand. */
1744       if (!hasVVVV)
1745         return -1;
1746       if (fixupReg(insn, &x86OperandSets[insn->spec->operands][index]))
1747         return -1;
1748       break;
1749     case ENCODING_WRITEMASK:
1750       if (readMaskRegister(insn))
1751         return -1;
1752       break;
1753     case ENCODING_DUP:
1754       break;
1755     default:
1756       dbgprintf(insn, "Encountered an operand with an unknown encoding.");
1757       return -1;
1758     }
1759   }
1760
1761   /* If we didn't find ENCODING_VVVV operand, but non-zero vvvv present, fail */
1762   if (needVVVV) return -1;
1763
1764   return 0;
1765 }
1766
1767 /*
1768  * decodeInstruction - Reads and interprets a full instruction provided by the
1769  *   user.
1770  *
1771  * @param insn      - A pointer to the instruction to be populated.  Must be
1772  *                    pre-allocated.
1773  * @param reader    - The function to be used to read the instruction's bytes.
1774  * @param readerArg - A generic argument to be passed to the reader to store
1775  *                    any internal state.
1776  * @param logger    - If non-NULL, the function to be used to write log messages
1777  *                    and warnings.
1778  * @param loggerArg - A generic argument to be passed to the logger to store
1779  *                    any internal state.
1780  * @param startLoc  - The address (in the reader's address space) of the first
1781  *                    byte in the instruction.
1782  * @param mode      - The mode (real mode, IA-32e, or IA-32e in 64-bit mode) to
1783  *                    decode the instruction in.
1784  * @return          - 0 if the instruction's memory could be read; nonzero if
1785  *                    not.
1786  */
1787 int decodeInstruction(struct InternalInstruction* insn,
1788                       byteReader_t reader,
1789                       const void* readerArg,
1790                       dlog_t logger,
1791                       void* loggerArg,
1792                       const void* miiArg,
1793                       uint64_t startLoc,
1794                       DisassemblerMode mode) {
1795   memset(insn, 0, sizeof(struct InternalInstruction));
1796
1797   insn->reader = reader;
1798   insn->readerArg = readerArg;
1799   insn->dlog = logger;
1800   insn->dlogArg = loggerArg;
1801   insn->startLocation = startLoc;
1802   insn->readerCursor = startLoc;
1803   insn->mode = mode;
1804   insn->numImmediatesConsumed = 0;
1805
1806   if (readPrefixes(insn)       ||
1807       readOpcode(insn)         ||
1808       getID(insn, miiArg)      ||
1809       insn->instructionID == 0 ||
1810       readOperands(insn))
1811     return -1;
1812
1813   insn->operands = &x86OperandSets[insn->spec->operands][0];
1814
1815   insn->length = insn->readerCursor - insn->startLocation;
1816
1817   dbgprintf(insn, "Read from 0x%llx to 0x%llx: length %zu",
1818             startLoc, insn->readerCursor, insn->length);
1819
1820   if (insn->length > 15)
1821     dbgprintf(insn, "Instruction exceeds 15-byte limit");
1822
1823   return 0;
1824 }