drivers/ata/ahci.c

   1 /*
   2  *  ahci.c - AHCI SATA support
   3  *
   4  *  Maintained by:  Tejun Heo <tj@kernel.org>
   5  *                  Please ALWAYS copy linux-ide@vger.kernel.org
   6  *                  on emails.
   7  *
   8  *  Copyright 2004-2005 Red Hat, Inc.
   9  *
  10  *
  11  *  This program is free software; you can redistribute it and/or modify
  12  *  it under the terms of the GNU General Public License as published by
  13  *  the Free Software Foundation; either version 2, or (at your option)
  14  *  any later version.
  15  *
  16  *  This program is distributed in the hope that it will be useful,
  17  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
  18  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  19  *  GNU General Public License for more details.
  20  *
  21  *  You should have received a copy of the GNU General Public License
  22  *  along with this program; see the file COPYING.  If not, write to
  23  *  the Free Software Foundation, 675 Mass Ave, Cambridge, MA 02139, USA.
  24  *
  25  *
  26  * libata documentation is available via 'make {ps|pdf}docs',
  27  * as Documentation/DocBook/libata.*
  28  *
  29  * AHCI hardware documentation:
  30  * http://www.intel.com/technology/serialata/pdf/rev1_0.pdf
  31  * http://www.intel.com/technology/serialata/pdf/rev1_1.pdf
  32  *
  33  */
  34
  35 #include <linux/kernel.h>
  36 #include <linux/module.h>
  37 #include <linux/pci.h>
  38 #include <linux/blkdev.h>
  39 #include <linux/delay.h>
  40 #include <linux/interrupt.h>
  41 #include <linux/dma-mapping.h>
  42 #include <linux/device.h>
  43 #include <linux/dmi.h>
  44 #include <linux/gfp.h>
  45 #include <linux/msi.h>
  46 #include <scsi/scsi_host.h>
  47 #include <scsi/scsi_cmnd.h>
  48 #include <linux/libata.h>
  49 #include "ahci.h"
  50
  51 #define DRV_NAME        "ahci"
  52 #define DRV_VERSION     "3.0"
  53
  54 enum {
  55         AHCI_PCI_BAR_STA2X11    = 0,
  56         AHCI_PCI_BAR_CAVIUM     = 0,
  57         AHCI_PCI_BAR_ENMOTUS    = 2,
  58         AHCI_PCI_BAR_STANDARD   = 5,
  59 };
  60
  61 enum board_ids {
  62         /* board IDs by feature in alphabetical order */
  63         board_ahci,
  64         board_ahci_ign_iferr,
  65         board_ahci_nomsi,
  66         board_ahci_noncq,
  67         board_ahci_nosntf,
  68         board_ahci_yes_fbs,
  69
  70         /* board IDs for specific chipsets in alphabetical order */
  71         board_ahci_avn,
  72         board_ahci_mcp65,
  73         board_ahci_mcp77,
  74         board_ahci_mcp89,
  75         board_ahci_mv,
  76         board_ahci_sb600,
  77         board_ahci_sb700,       /* for SB700 and SB800 */
  78         board_ahci_vt8251,
  79
  80         /* aliases */
  81         board_ahci_mcp_linux    = board_ahci_mcp65,
  82         board_ahci_mcp67        = board_ahci_mcp65,
  83         board_ahci_mcp73        = board_ahci_mcp65,
  84         board_ahci_mcp79        = board_ahci_mcp77,
  85 };
  86
  87 static int ahci_init_one(struct pci_dev *pdev, const struct pci_device_id *ent);
  88 static int ahci_vt8251_hardreset(struct ata_link *link, unsigned int *class,
  89                                  unsigned long deadline);
  90 static int ahci_avn_hardreset(struct ata_link *link, unsigned int *class,
  91                               unsigned long deadline);
  92 static void ahci_mcp89_apple_enable(struct pci_dev *pdev);
  93 static bool is_mcp89_apple(struct pci_dev *pdev);
  94 static int ahci_p5wdh_hardreset(struct ata_link *link, unsigned int *class,
  95                                 unsigned long deadline);
  96 #ifdef CONFIG_PM
  97 static int ahci_pci_device_suspend(struct pci_dev *pdev, pm_message_t mesg);
  98 static int ahci_pci_device_resume(struct pci_dev *pdev);
  99 #endif
 100
 101 static struct scsi_host_template ahci_sht = {
 102         AHCI_SHT("ahci"),
 103 };
 104
 105 static struct ata_port_operations ahci_vt8251_ops = {
 106         .inherits               = &ahci_ops,
 107         .hardreset              = ahci_vt8251_hardreset,
 108 };
 109
 110 static struct ata_port_operations ahci_p5wdh_ops = {
 111         .inherits               = &ahci_ops,
 112         .hardreset              = ahci_p5wdh_hardreset,
 113 };
 114
 115 static struct ata_port_operations ahci_avn_ops = {
 116         .inherits               = &ahci_ops,
 117         .hardreset              = ahci_avn_hardreset,
 118 };
 119
 120 static const struct ata_port_info ahci_port_info[] = {
 121         /* by features */
 122         [board_ahci] = {
 123                 .flags          = AHCI_FLAG_COMMON,
 124                 .pio_mask       = ATA_PIO4,
 125                 .udma_mask      = ATA_UDMA6,
 126                 .port_ops       = &ahci_ops,
 127         },
 128         [board_ahci_ign_iferr] = {
 129                 AHCI_HFLAGS     (AHCI_HFLAG_IGN_IRQ_IF_ERR),
 130                 .flags          = AHCI_FLAG_COMMON,
 131                 .pio_mask       = ATA_PIO4,
 132                 .udma_mask      = ATA_UDMA6,
 133                 .port_ops       = &ahci_ops,
 134         },
 135         [board_ahci_nomsi] = {
 136                 AHCI_HFLAGS     (AHCI_HFLAG_NO_MSI),
 137                 .flags          = AHCI_FLAG_COMMON,
 138                 .pio_mask       = ATA_PIO4,
 139                 .udma_mask      = ATA_UDMA6,
 140                 .port_ops       = &ahci_ops,
 141         },
 142         [board_ahci_noncq] = {
 143                 AHCI_HFLAGS     (AHCI_HFLAG_NO_NCQ),
 144                 .flags          = AHCI_FLAG_COMMON,
 145                 .pio_mask       = ATA_PIO4,
 146                 .udma_mask      = ATA_UDMA6,
 147                 .port_ops       = &ahci_ops,
 148         },
 149         [board_ahci_nosntf] = {
 150                 AHCI_HFLAGS     (AHCI_HFLAG_NO_SNTF),
 151                 .flags          = AHCI_FLAG_COMMON,
 152                 .pio_mask       = ATA_PIO4,
 153                 .udma_mask      = ATA_UDMA6,
 154                 .port_ops       = &ahci_ops,
 155         },
 156         [board_ahci_yes_fbs] = {
 157                 AHCI_HFLAGS     (AHCI_HFLAG_YES_FBS),
 158                 .flags          = AHCI_FLAG_COMMON,
 159                 .pio_mask       = ATA_PIO4,
 160                 .udma_mask      = ATA_UDMA6,
 161                 .port_ops       = &ahci_ops,
 162         },
 163         /* by chipsets */
 164         [board_ahci_avn] = {
 165                 .flags          = AHCI_FLAG_COMMON,
 166                 .pio_mask       = ATA_PIO4,
 167                 .udma_mask      = ATA_UDMA6,
 168                 .port_ops       = &ahci_avn_ops,
 169         },
 170         [board_ahci_mcp65] = {
 171                 AHCI_HFLAGS     (AHCI_HFLAG_NO_FPDMA_AA | AHCI_HFLAG_NO_PMP |
 172                                  AHCI_HFLAG_YES_NCQ),
 173                 .flags          = AHCI_FLAG_COMMON | ATA_FLAG_NO_DIPM,
 174                 .pio_mask       = ATA_PIO4,
 175                 .udma_mask      = ATA_UDMA6,
 176                 .port_ops       = &ahci_ops,
 177         },
 178         [board_ahci_mcp77] = {
 179                 AHCI_HFLAGS     (AHCI_HFLAG_NO_FPDMA_AA | AHCI_HFLAG_NO_PMP),
 180                 .flags          = AHCI_FLAG_COMMON,
 181                 .pio_mask       = ATA_PIO4,
 182                 .udma_mask      = ATA_UDMA6,
 183                 .port_ops       = &ahci_ops,
 184         },
 185         [board_ahci_mcp89] = {
 186                 AHCI_HFLAGS     (AHCI_HFLAG_NO_FPDMA_AA),
 187                 .flags          = AHCI_FLAG_COMMON,
 188                 .pio_mask       = ATA_PIO4,
 189                 .udma_mask      = ATA_UDMA6,
 190                 .port_ops       = &ahci_ops,
 191         },
 192         [board_ahci_mv] = {
 193                 AHCI_HFLAGS     (AHCI_HFLAG_NO_NCQ | AHCI_HFLAG_NO_MSI |
 194                                  AHCI_HFLAG_MV_PATA | AHCI_HFLAG_NO_PMP),
 195                 .flags          = ATA_FLAG_SATA | ATA_FLAG_PIO_DMA,
 196                 .pio_mask       = ATA_PIO4,
 197                 .udma_mask      = ATA_UDMA6,
 198                 .port_ops       = &ahci_ops,
 199         },
 200         [board_ahci_sb600] = {
 201                 AHCI_HFLAGS     (AHCI_HFLAG_IGN_SERR_INTERNAL |
 202                                  AHCI_HFLAG_NO_MSI | AHCI_HFLAG_SECT255 |
 203                                  AHCI_HFLAG_32BIT_ONLY),
 204                 .flags          = AHCI_FLAG_COMMON,
 205                 .pio_mask       = ATA_PIO4,
 206                 .udma_mask      = ATA_UDMA6,
 207                 .port_ops       = &ahci_pmp_retry_srst_ops,
 208         },
 209         [board_ahci_sb700] = {  /* for SB700 and SB800 */
 210                 AHCI_HFLAGS     (AHCI_HFLAG_IGN_SERR_INTERNAL),
 211                 .flags          = AHCI_FLAG_COMMON,
 212                 .pio_mask       = ATA_PIO4,
 213                 .udma_mask      = ATA_UDMA6,
 214                 .port_ops       = &ahci_pmp_retry_srst_ops,
 215         },
 216         [board_ahci_vt8251] = {
 217                 AHCI_HFLAGS     (AHCI_HFLAG_NO_NCQ | AHCI_HFLAG_NO_PMP),
 218                 .flags          = AHCI_FLAG_COMMON,
 219                 .pio_mask       = ATA_PIO4,
 220                 .udma_mask      = ATA_UDMA6,
 221                 .port_ops       = &ahci_vt8251_ops,
 222         },
 223 };
 224
 225 static const struct pci_device_id ahci_pci_tbl[] = {
 226         /* Intel */
 227         { PCI_VDEVICE(INTEL, 0x2652), board_ahci }, /* ICH6 */
 228         { PCI_VDEVICE(INTEL, 0x2653), board_ahci }, /* ICH6M */
 229         { PCI_VDEVICE(INTEL, 0x27c1), board_ahci }, /* ICH7 */
 230         { PCI_VDEVICE(INTEL, 0x27c5), board_ahci }, /* ICH7M */
 231         { PCI_VDEVICE(INTEL, 0x27c3), board_ahci }, /* ICH7R */
 232         { PCI_VDEVICE(AL, 0x5288), board_ahci_ign_iferr }, /* ULi M5288 */
 233         { PCI_VDEVICE(INTEL, 0x2681), board_ahci }, /* ESB2 */
 234         { PCI_VDEVICE(INTEL, 0x2682), board_ahci }, /* ESB2 */
 235         { PCI_VDEVICE(INTEL, 0x2683), board_ahci }, /* ESB2 */
 236         { PCI_VDEVICE(INTEL, 0x27c6), board_ahci }, /* ICH7-M DH */
 237         { PCI_VDEVICE(INTEL, 0x2821), board_ahci }, /* ICH8 */
 238         { PCI_VDEVICE(INTEL, 0x2822), board_ahci_nosntf }, /* ICH8 */
 239         { PCI_VDEVICE(INTEL, 0x2824), board_ahci }, /* ICH8 */
 240         { PCI_VDEVICE(INTEL, 0x2829), board_ahci }, /* ICH8M */
 241         { PCI_VDEVICE(INTEL, 0x282a), board_ahci }, /* ICH8M */
 242         { PCI_VDEVICE(INTEL, 0x2922), board_ahci }, /* ICH9 */
 243         { PCI_VDEVICE(INTEL, 0x2923), board_ahci }, /* ICH9 */
 244         { PCI_VDEVICE(INTEL, 0x2924), board_ahci }, /* ICH9 */
 245         { PCI_VDEVICE(INTEL, 0x2925), board_ahci }, /* ICH9 */
 246         { PCI_VDEVICE(INTEL, 0x2927), board_ahci }, /* ICH9 */
 247         { PCI_VDEVICE(INTEL, 0x2929), board_ahci }, /* ICH9M */
 248         { PCI_VDEVICE(INTEL, 0x292a), board_ahci }, /* ICH9M */
 249         { PCI_VDEVICE(INTEL, 0x292b), board_ahci }, /* ICH9M */
 250         { PCI_VDEVICE(INTEL, 0x292c), board_ahci }, /* ICH9M */
 251         { PCI_VDEVICE(INTEL, 0x292f), board_ahci }, /* ICH9M */
 252         { PCI_VDEVICE(INTEL, 0x294d), board_ahci }, /* ICH9 */
 253         { PCI_VDEVICE(INTEL, 0x294e), board_ahci }, /* ICH9M */
 254         { PCI_VDEVICE(INTEL, 0x502a), board_ahci }, /* Tolapai */
 255         { PCI_VDEVICE(INTEL, 0x502b), board_ahci }, /* Tolapai */
 256         { PCI_VDEVICE(INTEL, 0x3a05), board_ahci }, /* ICH10 */
 257         { PCI_VDEVICE(INTEL, 0x3a22), board_ahci }, /* ICH10 */
 258         { PCI_VDEVICE(INTEL, 0x3a25), board_ahci }, /* ICH10 */
 259         { PCI_VDEVICE(INTEL, 0x3b22), board_ahci }, /* PCH AHCI */
 260         { PCI_VDEVICE(INTEL, 0x3b23), board_ahci }, /* PCH AHCI */
 261         { PCI_VDEVICE(INTEL, 0x3b24), board_ahci }, /* PCH RAID */
 262         { PCI_VDEVICE(INTEL, 0x3b25), board_ahci }, /* PCH RAID */
 263         { PCI_VDEVICE(INTEL, 0x3b29), board_ahci }, /* PCH AHCI */
 264         { PCI_VDEVICE(INTEL, 0x3b2b), board_ahci }, /* PCH RAID */
 265         { PCI_VDEVICE(INTEL, 0x3b2c), board_ahci }, /* PCH RAID */
 266         { PCI_VDEVICE(INTEL, 0x3b2f), board_ahci }, /* PCH AHCI */
 267         { PCI_VDEVICE(INTEL, 0x19b0), board_ahci }, /* DNV AHCI */
 268         { PCI_VDEVICE(INTEL, 0x19b1), board_ahci }, /* DNV AHCI */
 269         { PCI_VDEVICE(INTEL, 0x19b2), board_ahci }, /* DNV AHCI */
 270         { PCI_VDEVICE(INTEL, 0x19b3), board_ahci }, /* DNV AHCI */
 271         { PCI_VDEVICE(INTEL, 0x19b4), board_ahci }, /* DNV AHCI */
 272         { PCI_VDEVICE(INTEL, 0x19b5), board_ahci }, /* DNV AHCI */
 273         { PCI_VDEVICE(INTEL, 0x19b6), board_ahci }, /* DNV AHCI */
 274         { PCI_VDEVICE(INTEL, 0x19b7), board_ahci }, /* DNV AHCI */
 275         { PCI_VDEVICE(INTEL, 0x19bE), board_ahci }, /* DNV AHCI */
 276         { PCI_VDEVICE(INTEL, 0x19bF), board_ahci }, /* DNV AHCI */
 277         { PCI_VDEVICE(INTEL, 0x19c0), board_ahci }, /* DNV AHCI */
 278         { PCI_VDEVICE(INTEL, 0x19c1), board_ahci }, /* DNV AHCI */
 279         { PCI_VDEVICE(INTEL, 0x19c2), board_ahci }, /* DNV AHCI */
 280         { PCI_VDEVICE(INTEL, 0x19c3), board_ahci }, /* DNV AHCI */
 281         { PCI_VDEVICE(INTEL, 0x19c4), board_ahci }, /* DNV AHCI */
 282         { PCI_VDEVICE(INTEL, 0x19c5), board_ahci }, /* DNV AHCI */
 283         { PCI_VDEVICE(INTEL, 0x19c6), board_ahci }, /* DNV AHCI */
 284         { PCI_VDEVICE(INTEL, 0x19c7), board_ahci }, /* DNV AHCI */
 285         { PCI_VDEVICE(INTEL, 0x19cE), board_ahci }, /* DNV AHCI */
 286         { PCI_VDEVICE(INTEL, 0x19cF), board_ahci }, /* DNV AHCI */
 287         { PCI_VDEVICE(INTEL, 0x1c02), board_ahci }, /* CPT AHCI */
 288         { PCI_VDEVICE(INTEL, 0x1c03), board_ahci }, /* CPT AHCI */
 289         { PCI_VDEVICE(INTEL, 0x1c04), board_ahci }, /* CPT RAID */
 290         { PCI_VDEVICE(INTEL, 0x1c05), board_ahci }, /* CPT RAID */
 291         { PCI_VDEVICE(INTEL, 0x1c06), board_ahci }, /* CPT RAID */
 292         { PCI_VDEVICE(INTEL, 0x1c07), board_ahci }, /* CPT RAID */
 293         { PCI_VDEVICE(INTEL, 0x1d02), board_ahci }, /* PBG AHCI */
 294         { PCI_VDEVICE(INTEL, 0x1d04), board_ahci }, /* PBG RAID */
 295         { PCI_VDEVICE(INTEL, 0x1d06), board_ahci }, /* PBG RAID */
 296         { PCI_VDEVICE(INTEL, 0x2826), board_ahci }, /* PBG RAID */
 297         { PCI_VDEVICE(INTEL, 0x2323), board_ahci }, /* DH89xxCC AHCI */
 298         { PCI_VDEVICE(INTEL, 0x1e02), board_ahci }, /* Panther Point AHCI */
 299         { PCI_VDEVICE(INTEL, 0x1e03), board_ahci }, /* Panther Point AHCI */
 300         { PCI_VDEVICE(INTEL, 0x1e04), board_ahci }, /* Panther Point RAID */
 301         { PCI_VDEVICE(INTEL, 0x1e05), board_ahci }, /* Panther Point RAID */
 302         { PCI_VDEVICE(INTEL, 0x1e06), board_ahci }, /* Panther Point RAID */
 303         { PCI_VDEVICE(INTEL, 0x1e07), board_ahci }, /* Panther Point RAID */
 304         { PCI_VDEVICE(INTEL, 0x1e0e), board_ahci }, /* Panther Point RAID */
 305         { PCI_VDEVICE(INTEL, 0x8c02), board_ahci }, /* Lynx Point AHCI */
 306         { PCI_VDEVICE(INTEL, 0x8c03), board_ahci }, /* Lynx Point AHCI */
 307         { PCI_VDEVICE(INTEL, 0x8c04), board_ahci }, /* Lynx Point RAID */
 308         { PCI_VDEVICE(INTEL, 0x8c05), board_ahci }, /* Lynx Point RAID */
 309         { PCI_VDEVICE(INTEL, 0x8c06), board_ahci }, /* Lynx Point RAID */
 310         { PCI_VDEVICE(INTEL, 0x8c07), board_ahci }, /* Lynx Point RAID */
 311         { PCI_VDEVICE(INTEL, 0x8c0e), board_ahci }, /* Lynx Point RAID */
 312         { PCI_VDEVICE(INTEL, 0x8c0f), board_ahci }, /* Lynx Point RAID */
 313         { PCI_VDEVICE(INTEL, 0x9c02), board_ahci }, /* Lynx Point-LP AHCI */
 314         { PCI_VDEVICE(INTEL, 0x9c03), board_ahci }, /* Lynx Point-LP AHCI */
 315         { PCI_VDEVICE(INTEL, 0x9c04), board_ahci }, /* Lynx Point-LP RAID */
 316         { PCI_VDEVICE(INTEL, 0x9c05), board_ahci }, /* Lynx Point-LP RAID */
 317         { PCI_VDEVICE(INTEL, 0x9c06), board_ahci }, /* Lynx Point-LP RAID */
 318         { PCI_VDEVICE(INTEL, 0x9c07), board_ahci }, /* Lynx Point-LP RAID */
 319         { PCI_VDEVICE(INTEL, 0x9c0e), board_ahci }, /* Lynx Point-LP RAID */
 320         { PCI_VDEVICE(INTEL, 0x9c0f), board_ahci }, /* Lynx Point-LP RAID */
 321         { PCI_VDEVICE(INTEL, 0x1f22), board_ahci }, /* Avoton AHCI */
 322         { PCI_VDEVICE(INTEL, 0x1f23), board_ahci }, /* Avoton AHCI */
 323         { PCI_VDEVICE(INTEL, 0x1f24), board_ahci }, /* Avoton RAID */
 324         { PCI_VDEVICE(INTEL, 0x1f25), board_ahci }, /* Avoton RAID */
 325         { PCI_VDEVICE(INTEL, 0x1f26), board_ahci }, /* Avoton RAID */
 326         { PCI_VDEVICE(INTEL, 0x1f27), board_ahci }, /* Avoton RAID */
 327         { PCI_VDEVICE(INTEL, 0x1f2e), board_ahci }, /* Avoton RAID */
 328         { PCI_VDEVICE(INTEL, 0x1f2f), board_ahci }, /* Avoton RAID */
 329         { PCI_VDEVICE(INTEL, 0x1f32), board_ahci_avn }, /* Avoton AHCI */
 330         { PCI_VDEVICE(INTEL, 0x1f33), board_ahci_avn }, /* Avoton AHCI */
 331         { PCI_VDEVICE(INTEL, 0x1f34), board_ahci_avn }, /* Avoton RAID */
 332         { PCI_VDEVICE(INTEL, 0x1f35), board_ahci_avn }, /* Avoton RAID */
 333         { PCI_VDEVICE(INTEL, 0x1f36), board_ahci_avn }, /* Avoton RAID */
 334         { PCI_VDEVICE(INTEL, 0x1f37), board_ahci_avn }, /* Avoton RAID */
 335         { PCI_VDEVICE(INTEL, 0x1f3e), board_ahci_avn }, /* Avoton RAID */
 336         { PCI_VDEVICE(INTEL, 0x1f3f), board_ahci_avn }, /* Avoton RAID */
 337         { PCI_VDEVICE(INTEL, 0x2823), board_ahci }, /* Wellsburg RAID */
 338         { PCI_VDEVICE(INTEL, 0x2827), board_ahci }, /* Wellsburg RAID */
 339         { PCI_VDEVICE(INTEL, 0x8d02), board_ahci }, /* Wellsburg AHCI */
 340         { PCI_VDEVICE(INTEL, 0x8d04), board_ahci }, /* Wellsburg RAID */
 341         { PCI_VDEVICE(INTEL, 0x8d06), board_ahci }, /* Wellsburg RAID */
 342         { PCI_VDEVICE(INTEL, 0x8d0e), board_ahci }, /* Wellsburg RAID */
 343         { PCI_VDEVICE(INTEL, 0x8d62), board_ahci }, /* Wellsburg AHCI */
 344         { PCI_VDEVICE(INTEL, 0x8d64), board_ahci }, /* Wellsburg RAID */
 345         { PCI_VDEVICE(INTEL, 0x8d66), board_ahci }, /* Wellsburg RAID */
 346         { PCI_VDEVICE(INTEL, 0x8d6e), board_ahci }, /* Wellsburg RAID */
 347         { PCI_VDEVICE(INTEL, 0x23a3), board_ahci }, /* Coleto Creek AHCI */
 348         { PCI_VDEVICE(INTEL, 0x9c83), board_ahci }, /* Wildcat Point-LP AHCI */
 349         { PCI_VDEVICE(INTEL, 0x9c85), board_ahci }, /* Wildcat Point-LP RAID */
 350         { PCI_VDEVICE(INTEL, 0x9c87), board_ahci }, /* Wildcat Point-LP RAID */
 351         { PCI_VDEVICE(INTEL, 0x9c8f), board_ahci }, /* Wildcat Point-LP RAID */
 352         { PCI_VDEVICE(INTEL, 0x8c82), board_ahci }, /* 9 Series AHCI */
 353         { PCI_VDEVICE(INTEL, 0x8c83), board_ahci }, /* 9 Series AHCI */
 354         { PCI_VDEVICE(INTEL, 0x8c84), board_ahci }, /* 9 Series RAID */
 355         { PCI_VDEVICE(INTEL, 0x8c85), board_ahci }, /* 9 Series RAID */
 356         { PCI_VDEVICE(INTEL, 0x8c86), board_ahci }, /* 9 Series RAID */
 357         { PCI_VDEVICE(INTEL, 0x8c87), board_ahci }, /* 9 Series RAID */
 358         { PCI_VDEVICE(INTEL, 0x8c8e), board_ahci }, /* 9 Series RAID */
 359         { PCI_VDEVICE(INTEL, 0x8c8f), board_ahci }, /* 9 Series RAID */
 360         { PCI_VDEVICE(INTEL, 0x9d03), board_ahci }, /* Sunrise Point-LP AHCI */
 361         { PCI_VDEVICE(INTEL, 0x9d05), board_ahci }, /* Sunrise Point-LP RAID */
 362         { PCI_VDEVICE(INTEL, 0x9d07), board_ahci }, /* Sunrise Point-LP RAID */
 363         { PCI_VDEVICE(INTEL, 0xa102), board_ahci }, /* Sunrise Point-H AHCI */
 364         { PCI_VDEVICE(INTEL, 0xa103), board_ahci }, /* Sunrise Point-H AHCI */
 365         { PCI_VDEVICE(INTEL, 0xa105), board_ahci }, /* Sunrise Point-H RAID */
 366         { PCI_VDEVICE(INTEL, 0xa106), board_ahci }, /* Sunrise Point-H RAID */
 367         { PCI_VDEVICE(INTEL, 0xa107), board_ahci }, /* Sunrise Point-H RAID */
 368         { PCI_VDEVICE(INTEL, 0xa10f), board_ahci }, /* Sunrise Point-H RAID */
 369         { PCI_VDEVICE(INTEL, 0x2822), board_ahci }, /* Lewisburg RAID*/
 370         { PCI_VDEVICE(INTEL, 0x2826), board_ahci }, /* Lewisburg RAID*/
 371         { PCI_VDEVICE(INTEL, 0xa182), board_ahci }, /* Lewisburg AHCI*/
 372         { PCI_VDEVICE(INTEL, 0xa184), board_ahci }, /* Lewisburg RAID*/
 373         { PCI_VDEVICE(INTEL, 0xa186), board_ahci }, /* Lewisburg RAID*/
 374         { PCI_VDEVICE(INTEL, 0xa18e), board_ahci }, /* Lewisburg RAID*/
 375         { PCI_VDEVICE(INTEL, 0xa202), board_ahci }, /* Lewisburg AHCI*/
 376         { PCI_VDEVICE(INTEL, 0xa204), board_ahci }, /* Lewisburg RAID*/
 377         { PCI_VDEVICE(INTEL, 0xa206), board_ahci }, /* Lewisburg RAID*/
 378         { PCI_VDEVICE(INTEL, 0xa20e), board_ahci }, /* Lewisburg RAID*/
 379
 380         /* JMicron 360/1/3/5/6, match class to avoid IDE function */
 381         { PCI_VENDOR_ID_JMICRON, PCI_ANY_ID, PCI_ANY_ID, PCI_ANY_ID,
 382           PCI_CLASS_STORAGE_SATA_AHCI, 0xffffff, board_ahci_ign_iferr },
 383         /* JMicron 362B and 362C have an AHCI function with IDE class code */
 384         { PCI_VDEVICE(JMICRON, 0x2362), board_ahci_ign_iferr },
 385         { PCI_VDEVICE(JMICRON, 0x236f), board_ahci_ign_iferr },
 386         /* May need to update quirk_jmicron_async_suspend() for additions */
 387
 388         /* ATI */
 389         { PCI_VDEVICE(ATI, 0x4380), board_ahci_sb600 }, /* ATI SB600 */
 390         { PCI_VDEVICE(ATI, 0x4390), board_ahci_sb700 }, /* ATI SB700/800 */
 391         { PCI_VDEVICE(ATI, 0x4391), board_ahci_sb700 }, /* ATI SB700/800 */
 392         { PCI_VDEVICE(ATI, 0x4392), board_ahci_sb700 }, /* ATI SB700/800 */
 393         { PCI_VDEVICE(ATI, 0x4393), board_ahci_sb700 }, /* ATI SB700/800 */
 394         { PCI_VDEVICE(ATI, 0x4394), board_ahci_sb700 }, /* ATI SB700/800 */
 395         { PCI_VDEVICE(ATI, 0x4395), board_ahci_sb700 }, /* ATI SB700/800 */
 396
 397         /* AMD */
 398         { PCI_VDEVICE(AMD, 0x7800), board_ahci }, /* AMD Hudson-2 */
 399         { PCI_VDEVICE(AMD, 0x7900), board_ahci }, /* AMD CZ */
 400         /* AMD is using RAID class only for ahci controllers */
 401         { PCI_VENDOR_ID_AMD, PCI_ANY_ID, PCI_ANY_ID, PCI_ANY_ID,
 402           PCI_CLASS_STORAGE_RAID << 8, 0xffffff, board_ahci },
 403
 404         /* VIA */
 405         { PCI_VDEVICE(VIA, 0x3349), board_ahci_vt8251 }, /* VIA VT8251 */
 406         { PCI_VDEVICE(VIA, 0x6287), board_ahci_vt8251 }, /* VIA VT8251 */
 407
 408         /* NVIDIA */
 409         { PCI_VDEVICE(NVIDIA, 0x044c), board_ahci_mcp65 },      /* MCP65 */
 410         { PCI_VDEVICE(NVIDIA, 0x044d), board_ahci_mcp65 },      /* MCP65 */
 411         { PCI_VDEVICE(NVIDIA, 0x044e), board_ahci_mcp65 },      /* MCP65 */
 412         { PCI_VDEVICE(NVIDIA, 0x044f), board_ahci_mcp65 },      /* MCP65 */
 413         { PCI_VDEVICE(NVIDIA, 0x045c), board_ahci_mcp65 },      /* MCP65 */
 414         { PCI_VDEVICE(NVIDIA, 0x045d), board_ahci_mcp65 },      /* MCP65 */
 415         { PCI_VDEVICE(NVIDIA, 0x045e), board_ahci_mcp65 },      /* MCP65 */
 416         { PCI_VDEVICE(NVIDIA, 0x045f), board_ahci_mcp65 },      /* MCP65 */
 417         { PCI_VDEVICE(NVIDIA, 0x0550), board_ahci_mcp67 },      /* MCP67 */
 418         { PCI_VDEVICE(NVIDIA, 0x0551), board_ahci_mcp67 },      /* MCP67 */
 419         { PCI_VDEVICE(NVIDIA, 0x0552), board_ahci_mcp67 },      /* MCP67 */
 420         { PCI_VDEVICE(NVIDIA, 0x0553), board_ahci_mcp67 },      /* MCP67 */
 421         { PCI_VDEVICE(NVIDIA, 0x0554), board_ahci_mcp67 },      /* MCP67 */
 422         { PCI_VDEVICE(NVIDIA, 0x0555), board_ahci_mcp67 },      /* MCP67 */
 423         { PCI_VDEVICE(NVIDIA, 0x0556), board_ahci_mcp67 },      /* MCP67 */
 424         { PCI_VDEVICE(NVIDIA, 0x0557), board_ahci_mcp67 },      /* MCP67 */
 425         { PCI_VDEVICE(NVIDIA, 0x0558), board_ahci_mcp67 },      /* MCP67 */
 426         { PCI_VDEVICE(NVIDIA, 0x0559), board_ahci_mcp67 },      /* MCP67 */
 427         { PCI_VDEVICE(NVIDIA, 0x055a), board_ahci_mcp67 },      /* MCP67 */
 428         { PCI_VDEVICE(NVIDIA, 0x055b), board_ahci_mcp67 },      /* MCP67 */
 429         { PCI_VDEVICE(NVIDIA, 0x0580), board_ahci_mcp_linux },  /* Linux ID */
 430         { PCI_VDEVICE(NVIDIA, 0x0581), board_ahci_mcp_linux },  /* Linux ID */
 431         { PCI_VDEVICE(NVIDIA, 0x0582), board_ahci_mcp_linux },  /* Linux ID */
 432         { PCI_VDEVICE(NVIDIA, 0x0583), board_ahci_mcp_linux },  /* Linux ID */
 433         { PCI_VDEVICE(NVIDIA, 0x0584), board_ahci_mcp_linux },  /* Linux ID */
 434         { PCI_VDEVICE(NVIDIA, 0x0585), board_ahci_mcp_linux },  /* Linux ID */
 435         { PCI_VDEVICE(NVIDIA, 0x0586), board_ahci_mcp_linux },  /* Linux ID */
 436         { PCI_VDEVICE(NVIDIA, 0x0587), board_ahci_mcp_linux },  /* Linux ID */
 437         { PCI_VDEVICE(NVIDIA, 0x0588), board_ahci_mcp_linux },  /* Linux ID */
 438         { PCI_VDEVICE(NVIDIA, 0x0589), board_ahci_mcp_linux },  /* Linux ID */
 439         { PCI_VDEVICE(NVIDIA, 0x058a), board_ahci_mcp_linux },  /* Linux ID */
 440         { PCI_VDEVICE(NVIDIA, 0x058b), board_ahci_mcp_linux },  /* Linux ID */
 441         { PCI_VDEVICE(NVIDIA, 0x058c), board_ahci_mcp_linux },  /* Linux ID */
 442         { PCI_VDEVICE(NVIDIA, 0x058d), board_ahci_mcp_linux },  /* Linux ID */
 443         { PCI_VDEVICE(NVIDIA, 0x058e), board_ahci_mcp_linux },  /* Linux ID */
 444         { PCI_VDEVICE(NVIDIA, 0x058f), board_ahci_mcp_linux },  /* Linux ID */
 445         { PCI_VDEVICE(NVIDIA, 0x07f0), board_ahci_mcp73 },      /* MCP73 */
 446         { PCI_VDEVICE(NVIDIA, 0x07f1), board_ahci_mcp73 },      /* MCP73 */
 447         { PCI_VDEVICE(NVIDIA, 0x07f2), board_ahci_mcp73 },      /* MCP73 */
 448         { PCI_VDEVICE(NVIDIA, 0x07f3), board_ahci_mcp73 },      /* MCP73 */
 449         { PCI_VDEVICE(NVIDIA, 0x07f4), board_ahci_mcp73 },      /* MCP73 */
 450         { PCI_VDEVICE(NVIDIA, 0x07f5), board_ahci_mcp73 },      /* MCP73 */
 451         { PCI_VDEVICE(NVIDIA, 0x07f6), board_ahci_mcp73 },      /* MCP73 */
 452         { PCI_VDEVICE(NVIDIA, 0x07f7), board_ahci_mcp73 },      /* MCP73 */
 453         { PCI_VDEVICE(NVIDIA, 0x07f8), board_ahci_mcp73 },      /* MCP73 */
 454         { PCI_VDEVICE(NVIDIA, 0x07f9), board_ahci_mcp73 },      /* MCP73 */
 455         { PCI_VDEVICE(NVIDIA, 0x07fa), board_ahci_mcp73 },      /* MCP73 */
 456         { PCI_VDEVICE(NVIDIA, 0x07fb), board_ahci_mcp73 },      /* MCP73 */
 457         { PCI_VDEVICE(NVIDIA, 0x0ad0), board_ahci_mcp77 },      /* MCP77 */
 458         { PCI_VDEVICE(NVIDIA, 0x0ad1), board_ahci_mcp77 },      /* MCP77 */
 459         { PCI_VDEVICE(NVIDIA, 0x0ad2), board_ahci_mcp77 },      /* MCP77 */
 460         { PCI_VDEVICE(NVIDIA, 0x0ad3), board_ahci_mcp77 },      /* MCP77 */
 461         { PCI_VDEVICE(NVIDIA, 0x0ad4), board_ahci_mcp77 },      /* MCP77 */
 462         { PCI_VDEVICE(NVIDIA, 0x0ad5), board_ahci_mcp77 },      /* MCP77 */
 463         { PCI_VDEVICE(NVIDIA, 0x0ad6), board_ahci_mcp77 },      /* MCP77 */
 464         { PCI_VDEVICE(NVIDIA, 0x0ad7), board_ahci_mcp77 },      /* MCP77 */
 465         { PCI_VDEVICE(NVIDIA, 0x0ad8), board_ahci_mcp77 },      /* MCP77 */
 466         { PCI_VDEVICE(NVIDIA, 0x0ad9), board_ahci_mcp77 },      /* MCP77 */
 467         { PCI_VDEVICE(NVIDIA, 0x0ada), board_ahci_mcp77 },      /* MCP77 */
 468         { PCI_VDEVICE(NVIDIA, 0x0adb), board_ahci_mcp77 },      /* MCP77 */
 469         { PCI_VDEVICE(NVIDIA, 0x0ab4), board_ahci_mcp79 },      /* MCP79 */
 470         { PCI_VDEVICE(NVIDIA, 0x0ab5), board_ahci_mcp79 },      /* MCP79 */
 471         { PCI_VDEVICE(NVIDIA, 0x0ab6), board_ahci_mcp79 },      /* MCP79 */
 472         { PCI_VDEVICE(NVIDIA, 0x0ab7), board_ahci_mcp79 },      /* MCP79 */
 473         { PCI_VDEVICE(NVIDIA, 0x0ab8), board_ahci_mcp79 },      /* MCP79 */
 474         { PCI_VDEVICE(NVIDIA, 0x0ab9), board_ahci_mcp79 },      /* MCP79 */
 475         { PCI_VDEVICE(NVIDIA, 0x0aba), board_ahci_mcp79 },      /* MCP79 */
 476         { PCI_VDEVICE(NVIDIA, 0x0abb), board_ahci_mcp79 },      /* MCP79 */
 477         { PCI_VDEVICE(NVIDIA, 0x0abc), board_ahci_mcp79 },      /* MCP79 */
 478         { PCI_VDEVICE(NVIDIA, 0x0abd), board_ahci_mcp79 },      /* MCP79 */
 479         { PCI_VDEVICE(NVIDIA, 0x0abe), board_ahci_mcp79 },      /* MCP79 */
 480         { PCI_VDEVICE(NVIDIA, 0x0abf), board_ahci_mcp79 },      /* MCP79 */
 481         { PCI_VDEVICE(NVIDIA, 0x0d84), board_ahci_mcp89 },      /* MCP89 */
 482         { PCI_VDEVICE(NVIDIA, 0x0d85), board_ahci_mcp89 },      /* MCP89 */
 483         { PCI_VDEVICE(NVIDIA, 0x0d86), board_ahci_mcp89 },      /* MCP89 */
 484         { PCI_VDEVICE(NVIDIA, 0x0d87), board_ahci_mcp89 },      /* MCP89 */
 485         { PCI_VDEVICE(NVIDIA, 0x0d88), board_ahci_mcp89 },      /* MCP89 */
 486         { PCI_VDEVICE(NVIDIA, 0x0d89), board_ahci_mcp89 },      /* MCP89 */
 487         { PCI_VDEVICE(NVIDIA, 0x0d8a), board_ahci_mcp89 },      /* MCP89 */
 488         { PCI_VDEVICE(NVIDIA, 0x0d8b), board_ahci_mcp89 },      /* MCP89 */
 489         { PCI_VDEVICE(NVIDIA, 0x0d8c), board_ahci_mcp89 },      /* MCP89 */
 490         { PCI_VDEVICE(NVIDIA, 0x0d8d), board_ahci_mcp89 },      /* MCP89 */
 491         { PCI_VDEVICE(NVIDIA, 0x0d8e), board_ahci_mcp89 },      /* MCP89 */
 492         { PCI_VDEVICE(NVIDIA, 0x0d8f), board_ahci_mcp89 },      /* MCP89 */
 493
 494         /* SiS */
 495         { PCI_VDEVICE(SI, 0x1184), board_ahci },                /* SiS 966 */
 496         { PCI_VDEVICE(SI, 0x1185), board_ahci },                /* SiS 968 */
 497         { PCI_VDEVICE(SI, 0x0186), board_ahci },                /* SiS 968 */
 498
 499         /* ST Microelectronics */
 500         { PCI_VDEVICE(STMICRO, 0xCC06), board_ahci },           /* ST ConneXt */
 501
 502         /* Marvell */
 503         { PCI_VDEVICE(MARVELL, 0x6145), board_ahci_mv },        /* 6145 */
 504         { PCI_VDEVICE(MARVELL, 0x6121), board_ahci_mv },        /* 6121 */
 505         { PCI_DEVICE(PCI_VENDOR_ID_MARVELL_EXT, 0x9123),
 506           .class = PCI_CLASS_STORAGE_SATA_AHCI,
 507           .class_mask = 0xffffff,
 508           .driver_data = board_ahci_yes_fbs },                  /* 88se9128 */
 509         { PCI_DEVICE(PCI_VENDOR_ID_MARVELL_EXT, 0x9125),
 510           .driver_data = board_ahci_yes_fbs },                  /* 88se9125 */
 511         { PCI_DEVICE_SUB(PCI_VENDOR_ID_MARVELL_EXT, 0x9178,
 512                          PCI_VENDOR_ID_MARVELL_EXT, 0x9170),
 513           .driver_data = board_ahci_yes_fbs },                  /* 88se9170 */
 514         { PCI_DEVICE(PCI_VENDOR_ID_MARVELL_EXT, 0x917a),
 515           .driver_data = board_ahci_yes_fbs },                  /* 88se9172 */
 516         { PCI_DEVICE(PCI_VENDOR_ID_MARVELL_EXT, 0x9172),
 517           .driver_data = board_ahci_yes_fbs },                  /* 88se9182 */
 518         { PCI_DEVICE(PCI_VENDOR_ID_MARVELL_EXT, 0x9182),
 519           .driver_data = board_ahci_yes_fbs },                  /* 88se9172 */
 520         { PCI_DEVICE(PCI_VENDOR_ID_MARVELL_EXT, 0x9192),
 521           .driver_data = board_ahci_yes_fbs },                  /* 88se9172 on some Gigabyte */
 522         { PCI_DEVICE(PCI_VENDOR_ID_MARVELL_EXT, 0x91a0),
 523           .driver_data = board_ahci_yes_fbs },
 524         { PCI_DEVICE(PCI_VENDOR_ID_MARVELL_EXT, 0x91a2),        /* 88se91a2 */
 525           .driver_data = board_ahci_yes_fbs },
 526         { PCI_DEVICE(PCI_VENDOR_ID_MARVELL_EXT, 0x91a3),
 527           .driver_data = board_ahci_yes_fbs },
 528         { PCI_DEVICE(PCI_VENDOR_ID_MARVELL_EXT, 0x9230),
 529           .driver_data = board_ahci_yes_fbs },
 530         { PCI_DEVICE(PCI_VENDOR_ID_TTI, 0x0642),
 531           .driver_data = board_ahci_yes_fbs },
 532
 533         /* Promise */
 534         { PCI_VDEVICE(PROMISE, 0x3f20), board_ahci },   /* PDC42819 */
 535         { PCI_VDEVICE(PROMISE, 0x3781), board_ahci },   /* FastTrak TX8660 ahci-mode */
 536
 537         /* Asmedia */
 538         { PCI_VDEVICE(ASMEDIA, 0x0601), board_ahci },   /* ASM1060 */
 539         { PCI_VDEVICE(ASMEDIA, 0x0602), board_ahci },   /* ASM1060 */
 540         { PCI_VDEVICE(ASMEDIA, 0x0611), board_ahci },   /* ASM1061 */
 541         { PCI_VDEVICE(ASMEDIA, 0x0612), board_ahci },   /* ASM1062 */
 542
 543         /*
 544          * Samsung SSDs found on some macbooks.  NCQ times out if MSI is
 545          * enabled.  https://bugzilla.kernel.org/show_bug.cgi?id=60731
 546          */
 547         { PCI_VDEVICE(SAMSUNG, 0x1600), board_ahci_nomsi },
 548         { PCI_VDEVICE(SAMSUNG, 0xa800), board_ahci_nomsi },
 549
 550         /* Enmotus */
 551         { PCI_DEVICE(0x1c44, 0x8000), board_ahci },
 552
 553         /* Generic, PCI class code for AHCI */
 554         { PCI_ANY_ID, PCI_ANY_ID, PCI_ANY_ID, PCI_ANY_ID,
 555           PCI_CLASS_STORAGE_SATA_AHCI, 0xffffff, board_ahci },
 556
 557         { }     /* terminate list */
 558 };
 559
 560
 561 static struct pci_driver ahci_pci_driver = {
 562         .name                   = DRV_NAME,
 563         .id_table               = ahci_pci_tbl,
 564         .probe                  = ahci_init_one,
 565         .remove                 = ata_pci_remove_one,
 566 #ifdef CONFIG_PM
 567         .suspend                = ahci_pci_device_suspend,
 568         .resume                 = ahci_pci_device_resume,
 569 #endif
 570 };
 571
 572 #if defined(CONFIG_PATA_MARVELL) || defined(CONFIG_PATA_MARVELL_MODULE)
 573 static int marvell_enable;
 574 #else
 575 static int marvell_enable = 1;
 576 #endif
 577 module_param(marvell_enable, int, 0644);
 578 MODULE_PARM_DESC(marvell_enable, "Marvell SATA via AHCI (1 = enabled)");
 579
 580
 581 static void ahci_pci_save_initial_config(struct pci_dev *pdev,
 582                                          struct ahci_host_priv *hpriv)
 583 {
 584         if (pdev->vendor == PCI_VENDOR_ID_JMICRON && pdev->device == 0x2361) {
 585                 dev_info(&pdev->dev, "JMB361 has only one port\n");
 586                 hpriv->force_port_map = 1;
 587         }
 588
 589         /*
 590          * Temporary Marvell 6145 hack: PATA port presence
 591          * is asserted through the standard AHCI port
 592          * presence register, as bit 4 (counting from 0)
 593          */
 594         if (hpriv->flags & AHCI_HFLAG_MV_PATA) {
 595                 if (pdev->device == 0x6121)
 596                         hpriv->mask_port_map = 0x3;
 597                 else
 598                         hpriv->mask_port_map = 0xf;
 599                 dev_info(&pdev->dev,
 600                           "Disabling your PATA port. Use the boot option 'ahci.marvell_enable=0' to avoid this.\n");
 601         }
 602
 603         ahci_save_initial_config(&pdev->dev, hpriv);
 604 }
 605
 606 static int ahci_pci_reset_controller(struct ata_host *host)
 607 {
 608         struct pci_dev *pdev = to_pci_dev(host->dev);
 609
 610         ahci_reset_controller(host);
 611
 612         if (pdev->vendor == PCI_VENDOR_ID_INTEL) {
 613                 struct ahci_host_priv *hpriv = host->private_data;
 614                 u16 tmp16;
 615
 616                 /* configure PCS */
 617                 pci_read_config_word(pdev, 0x92, &tmp16);
 618                 if ((tmp16 & hpriv->port_map) != hpriv->port_map) {
 619                         tmp16 |= hpriv->port_map;
 620                         pci_write_config_word(pdev, 0x92, tmp16);
 621                 }
 622         }
 623
 624         return 0;
 625 }
 626
 627 static void ahci_pci_init_controller(struct ata_host *host)
 628 {
 629         struct ahci_host_priv *hpriv = host->private_data;
 630         struct pci_dev *pdev = to_pci_dev(host->dev);
 631         void __iomem *port_mmio;
 632         u32 tmp;
 633         int mv;
 634
 635         if (hpriv->flags & AHCI_HFLAG_MV_PATA) {
 636                 if (pdev->device == 0x6121)
 637                         mv = 2;
 638                 else
 639                         mv = 4;
 640                 port_mmio = __ahci_port_base(host, mv);
 641
 642                 writel(0, port_mmio + PORT_IRQ_MASK);
 643
 644                 /* clear port IRQ */
 645                 tmp = readl(port_mmio + PORT_IRQ_STAT);
 646                 VPRINTK("PORT_IRQ_STAT 0x%x\n", tmp);
 647                 if (tmp)
 648                         writel(tmp, port_mmio + PORT_IRQ_STAT);
 649         }
 650
 651         ahci_init_controller(host);
 652 }
 653
 654 static int ahci_vt8251_hardreset(struct ata_link *link, unsigned int *class,
 655                                  unsigned long deadline)
 656 {
 657         struct ata_port *ap = link->ap;
 658         struct ahci_host_priv *hpriv = ap->host->private_data;
 659         bool online;
 660         int rc;
 661
 662         DPRINTK("ENTER\n");
 663
 664         ahci_stop_engine(ap);
 665
 666         rc = sata_link_hardreset(link, sata_ehc_deb_timing(&link->eh_context),
 667                                  deadline, &online, NULL);
 668
 669         hpriv->start_engine(ap);
 670
 671         DPRINTK("EXIT, rc=%d, class=%u\n", rc, *class);
 672
 673         /* vt8251 doesn't clear BSY on signature FIS reception,
 674          * request follow-up softreset.
 675          */
 676         return online ? -EAGAIN : rc;
 677 }
 678
 679 static int ahci_p5wdh_hardreset(struct ata_link *link, unsigned int *class,
 680                                 unsigned long deadline)
 681 {
 682         struct ata_port *ap = link->ap;
 683         struct ahci_port_priv *pp = ap->private_data;
 684         struct ahci_host_priv *hpriv = ap->host->private_data;
 685         u8 *d2h_fis = pp->rx_fis + RX_FIS_D2H_REG;
 686         struct ata_taskfile tf;
 687         bool online;
 688         int rc;
 689
 690         ahci_stop_engine(ap);
 691
 692         /* clear D2H reception area to properly wait for D2H FIS */
 693         ata_tf_init(link->device, &tf);
 694         tf.command = ATA_BUSY;
 695         ata_tf_to_fis(&tf, 0, 0, d2h_fis);
 696
 697         rc = sata_link_hardreset(link, sata_ehc_deb_timing(&link->eh_context),
 698                                  deadline, &online, NULL);
 699
 700         hpriv->start_engine(ap);
 701
 702         /* The pseudo configuration device on SIMG4726 attached to
 703          * ASUS P5W-DH Deluxe doesn't send signature FIS after
 704          * hardreset if no device is attached to the first downstream
 705          * port && the pseudo device locks up on SRST w/ PMP==0.  To
 706          * work around this, wait for !BSY only briefly.  If BSY isn't
 707          * cleared, perform CLO and proceed to IDENTIFY (achieved by
 708          * ATA_LFLAG_NO_SRST and ATA_LFLAG_ASSUME_ATA).
 709          *
 710          * Wait for two seconds.  Devices attached to downstream port
 711          * which can't process the following IDENTIFY after this will
 712          * have to be reset again.  For most cases, this should
 713          * suffice while making probing snappish enough.
 714          */
 715         if (online) {
 716                 rc = ata_wait_after_reset(link, jiffies + 2 * HZ,
 717                                           ahci_check_ready);
 718                 if (rc)
 719                         ahci_kick_engine(ap);
 720         }
 721         return rc;
 722 }
 723
 724 /*
 725  * ahci_avn_hardreset - attempt more aggressive recovery of Avoton ports.
 726  *
 727  * It has been observed with some SSDs that the timing of events in the
 728  * link synchronization phase can leave the port in a state that can not
 729  * be recovered by a SATA-hard-reset alone.  The failing signature is
 730  * SStatus.DET stuck at 1 ("Device presence detected but Phy
 731  * communication not established").  It was found that unloading and
 732  * reloading the driver when this problem occurs allows the drive
 733  * connection to be recovered (DET advanced to 0x3).  The critical
 734  * component of reloading the driver is that the port state machines are
 735  * reset by bouncing "port enable" in the AHCI PCS configuration
 736  * register.  So, reproduce that effect by bouncing a port whenever we
 737  * see DET==1 after a reset.
 738  */
 739 static int ahci_avn_hardreset(struct ata_link *link, unsigned int *class,
 740                               unsigned long deadline)
 741 {
 742         const unsigned long *timing = sata_ehc_deb_timing(&link->eh_context);
 743         struct ata_port *ap = link->ap;
 744         struct ahci_port_priv *pp = ap->private_data;
 745         struct ahci_host_priv *hpriv = ap->host->private_data;
 746         u8 *d2h_fis = pp->rx_fis + RX_FIS_D2H_REG;
 747         unsigned long tmo = deadline - jiffies;
 748         struct ata_taskfile tf;
 749         bool online;
 750         int rc, i;
 751
 752         DPRINTK("ENTER\n");
 753
 754         ahci_stop_engine(ap);
 755
 756         for (i = 0; i < 2; i++) {
 757                 u16 val;
 758                 u32 sstatus;
 759                 int port = ap->port_no;
 760                 struct ata_host *host = ap->host;
 761                 struct pci_dev *pdev = to_pci_dev(host->dev);
 762
 763                 /* clear D2H reception area to properly wait for D2H FIS */
 764                 ata_tf_init(link->device, &tf);
 765                 tf.command = ATA_BUSY;
 766                 ata_tf_to_fis(&tf, 0, 0, d2h_fis);
 767
 768                 rc = sata_link_hardreset(link, timing, deadline, &online,
 769                                 ahci_check_ready);
 770
 771                 if (sata_scr_read(link, SCR_STATUS, &sstatus) != 0 ||
 772                                 (sstatus & 0xf) != 1)
 773                         break;
 774
 775                 ata_link_printk(link, KERN_INFO, "avn bounce port%d\n",
 776                                 port);
 777
 778                 pci_read_config_word(pdev, 0x92, &val);
 779                 val &= ~(1 << port);
 780                 pci_write_config_word(pdev, 0x92, val);
 781                 ata_msleep(ap, 1000);
 782                 val |= 1 << port;
 783                 pci_write_config_word(pdev, 0x92, val);
 784                 deadline += tmo;
 785         }
 786
 787         hpriv->start_engine(ap);
 788
 789         if (online)
 790                 *class = ahci_dev_classify(ap);
 791
 792         DPRINTK("EXIT, rc=%d, class=%u\n", rc, *class);
 793         return rc;
 794 }
 795
 796
 797 #ifdef CONFIG_PM
 798 static int ahci_pci_device_suspend(struct pci_dev *pdev, pm_message_t mesg)
 799 {
 800         struct ata_host *host = pci_get_drvdata(pdev);
 801         struct ahci_host_priv *hpriv = host->private_data;
 802         void __iomem *mmio = hpriv->mmio;
 803         u32 ctl;
 804
 805         if (mesg.event & PM_EVENT_SUSPEND &&
 806             hpriv->flags & AHCI_HFLAG_NO_SUSPEND) {
 807                 dev_err(&pdev->dev,
 808                         "BIOS update required for suspend/resume\n");
 809                 return -EIO;
 810         }
 811
 812         if (mesg.event & PM_EVENT_SLEEP) {
 813                 /* AHCI spec rev1.1 section 8.3.3:
 814                  * Software must disable interrupts prior to requesting a
 815                  * transition of the HBA to D3 state.
 816                  */
 817                 ctl = readl(mmio + HOST_CTL);
 818                 ctl &= ~HOST_IRQ_EN;
 819                 writel(ctl, mmio + HOST_CTL);
 820                 readl(mmio + HOST_CTL); /* flush */
 821         }
 822
 823         return ata_pci_device_suspend(pdev, mesg);
 824 }
 825
 826 static int ahci_pci_device_resume(struct pci_dev *pdev)
 827 {
 828         struct ata_host *host = pci_get_drvdata(pdev);
 829         int rc;
 830
 831         rc = ata_pci_device_do_resume(pdev);
 832         if (rc)
 833                 return rc;
 834
 835         /* Apple BIOS helpfully mangles the registers on resume */
 836         if (is_mcp89_apple(pdev))
 837                 ahci_mcp89_apple_enable(pdev);
 838
 839         if (pdev->dev.power.power_state.event == PM_EVENT_SUSPEND) {
 840                 rc = ahci_pci_reset_controller(host);
 841                 if (rc)
 842                         return rc;
 843
 844                 ahci_pci_init_controller(host);
 845         }
 846
 847         ata_host_resume(host);
 848
 849         return 0;
 850 }
 851 #endif
 852
 853 static int ahci_configure_dma_masks(struct pci_dev *pdev, int using_dac)
 854 {
 855         int rc;
 856
 857         /*
 858          * If the device fixup already set the dma_mask to some non-standard
 859          * value, don't extend it here. This happens on STA2X11, for example.
 860          */
 861         if (pdev->dma_mask && pdev->dma_mask < DMA_BIT_MASK(32))
 862                 return 0;
 863
 864         if (using_dac &&
 865             !dma_set_mask(&pdev->dev, DMA_BIT_MASK(64))) {
 866                 rc = dma_set_coherent_mask(&pdev->dev, DMA_BIT_MASK(64));
 867                 if (rc) {
 868                         rc = dma_set_coherent_mask(&pdev->dev, DMA_BIT_MASK(32));
 869                         if (rc) {
 870                                 dev_err(&pdev->dev,
 871                                         "64-bit DMA enable failed\n");
 872                                 return rc;
 873                         }
 874                 }
 875         } else {
 876                 rc = dma_set_mask(&pdev->dev, DMA_BIT_MASK(32));
 877                 if (rc) {
 878                         dev_err(&pdev->dev, "32-bit DMA enable failed\n");
 879                         return rc;
 880                 }
 881                 rc = dma_set_coherent_mask(&pdev->dev, DMA_BIT_MASK(32));
 882                 if (rc) {
 883                         dev_err(&pdev->dev,
 884                                 "32-bit consistent DMA enable failed\n");
 885                         return rc;
 886                 }
 887         }
 888         return 0;
 889 }
 890
 891 static void ahci_pci_print_info(struct ata_host *host)
 892 {
 893         struct pci_dev *pdev = to_pci_dev(host->dev);
 894         u16 cc;
 895         const char *scc_s;
 896
 897         pci_read_config_word(pdev, 0x0a, &cc);
 898         if (cc == PCI_CLASS_STORAGE_IDE)
 899                 scc_s = "IDE";
 900         else if (cc == PCI_CLASS_STORAGE_SATA)
 901                 scc_s = "SATA";
 902         else if (cc == PCI_CLASS_STORAGE_RAID)
 903                 scc_s = "RAID";
 904         else
 905                 scc_s = "unknown";
 906
 907         ahci_print_info(host, scc_s);
 908 }
 909
 910 /* On ASUS P5W DH Deluxe, the second port of PCI device 00:1f.2 is
 911  * hardwired to on-board SIMG 4726.  The chipset is ICH8 and doesn't
 912  * support PMP and the 4726 either directly exports the device
 913  * attached to the first downstream port or acts as a hardware storage
 914  * controller and emulate a single ATA device (can be RAID 0/1 or some
 915  * other configuration).
 916  *
 917  * When there's no device attached to the first downstream port of the
 918  * 4726, "Config Disk" appears, which is a pseudo ATA device to
 919  * configure the 4726.  However, ATA emulation of the device is very
 920  * lame.  It doesn't send signature D2H Reg FIS after the initial
 921  * hardreset, pukes on SRST w/ PMP==0 and has bunch of other issues.
 922  *
 923  * The following function works around the problem by always using
 924  * hardreset on the port and not depending on receiving signature FIS
 925  * afterward.  If signature FIS isn't received soon, ATA class is
 926  * assumed without follow-up softreset.
 927  */
 928 static void ahci_p5wdh_workaround(struct ata_host *host)
 929 {
 930         static const struct dmi_system_id sysids[] = {
 931                 {
 932                         .ident = "P5W DH Deluxe",
 933                         .matches = {
 934                                 DMI_MATCH(DMI_SYS_VENDOR,
 935                                           "ASUSTEK COMPUTER INC"),
 936                                 DMI_MATCH(DMI_PRODUCT_NAME, "P5W DH Deluxe"),
 937                         },
 938                 },
 939                 { }
 940         };
 941         struct pci_dev *pdev = to_pci_dev(host->dev);
 942
 943         if (pdev->bus->number == 0 && pdev->devfn == PCI_DEVFN(0x1f, 2) &&
 944             dmi_check_system(sysids)) {
 945                 struct ata_port *ap = host->ports[1];
 946
 947                 dev_info(&pdev->dev,
 948                          "enabling ASUS P5W DH Deluxe on-board SIMG4726 workaround\n");
 949
 950                 ap->ops = &ahci_p5wdh_ops;
 951                 ap->link.flags |= ATA_LFLAG_NO_SRST | ATA_LFLAG_ASSUME_ATA;
 952         }
 953 }
 954
 955 /*
 956  * Macbook7,1 firmware forcibly disables MCP89 AHCI and changes PCI ID when
 957  * booting in BIOS compatibility mode.  We restore the registers but not ID.
 958  */
 959 static void ahci_mcp89_apple_enable(struct pci_dev *pdev)
 960 {
 961         u32 val;
 962
 963         printk(KERN_INFO "ahci: enabling MCP89 AHCI mode\n");
 964
 965         pci_read_config_dword(pdev, 0xf8, &val);
 966         val |= 1 << 0x1b;
 967         /* the following changes the device ID, but appears not to affect function */
 968         /* val = (val & ~0xf0000000) | 0x80000000; */
 969         pci_write_config_dword(pdev, 0xf8, val);
 970
 971         pci_read_config_dword(pdev, 0x54c, &val);
 972         val |= 1 << 0xc;
 973         pci_write_config_dword(pdev, 0x54c, val);
 974
 975         pci_read_config_dword(pdev, 0x4a4, &val);
 976         val &= 0xff;
 977         val |= 0x01060100;
 978         pci_write_config_dword(pdev, 0x4a4, val);
 979
 980         pci_read_config_dword(pdev, 0x54c, &val);
 981         val &= ~(1 << 0xc);
 982         pci_write_config_dword(pdev, 0x54c, val);
 983
 984         pci_read_config_dword(pdev, 0xf8, &val);
 985         val &= ~(1 << 0x1b);
 986         pci_write_config_dword(pdev, 0xf8, val);
 987 }
 988
 989 static bool is_mcp89_apple(struct pci_dev *pdev)
 990 {
 991         return pdev->vendor == PCI_VENDOR_ID_NVIDIA &&
 992                 pdev->device == PCI_DEVICE_ID_NVIDIA_NFORCE_MCP89_SATA &&
 993                 pdev->subsystem_vendor == PCI_VENDOR_ID_APPLE &&
 994                 pdev->subsystem_device == 0xcb89;
 995 }
 996
 997 /* only some SB600 ahci controllers can do 64bit DMA */
 998 static bool ahci_sb600_enable_64bit(struct pci_dev *pdev)
 999 {
1000         static const struct dmi_system_id sysids[] = {
1001                 /*
1002                  * The oldest version known to be broken is 0901 and
1003                  * working is 1501 which was released on 2007-10-26.
1004                  * Enable 64bit DMA on 1501 and anything newer.
1005                  *
1006                  * Please read bko#9412 for more info.
1007                  */
1008                 {
1009                         .ident = "ASUS M2A-VM",
1010                         .matches = {
1011                                 DMI_MATCH(DMI_BOARD_VENDOR,
1012                                           "ASUSTeK Computer INC."),
1013                                 DMI_MATCH(DMI_BOARD_NAME, "M2A-VM"),
1014                         },
1015                         .driver_data = "20071026",      /* yyyymmdd */
1016                 },
1017                 /*
1018                  * All BIOS versions for the MSI K9A2 Platinum (MS-7376)
1019                  * support 64bit DMA.
1020                  *
1021                  * BIOS versions earlier than 1.5 had the Manufacturer DMI
1022                  * fields as "MICRO-STAR INTERANTIONAL CO.,LTD".
1023                  * This spelling mistake was fixed in BIOS version 1.5, so
1024                  * 1.5 and later have the Manufacturer as
1025                  * "MICRO-STAR INTERNATIONAL CO.,LTD".
1026                  * So try to match on DMI_BOARD_VENDOR of "MICRO-STAR INTER".
1027                  *
1028                  * BIOS versions earlier than 1.9 had a Board Product Name
1029                  * DMI field of "MS-7376". This was changed to be
1030                  * "K9A2 Platinum (MS-7376)" in version 1.9, but we can still
1031                  * match on DMI_BOARD_NAME of "MS-7376".
1032                  */
1033                 {
1034                         .ident = "MSI K9A2 Platinum",
1035                         .matches = {
1036                                 DMI_MATCH(DMI_BOARD_VENDOR,
1037                                           "MICRO-STAR INTER"),
1038                                 DMI_MATCH(DMI_BOARD_NAME, "MS-7376"),
1039                         },
1040                 },
1041                 /*
1042                  * All BIOS versions for the MSI K9AGM2 (MS-7327) support
1043                  * 64bit DMA.
1044                  *
1045                  * This board also had the typo mentioned above in the
1046                  * Manufacturer DMI field (fixed in BIOS version 1.5), so
1047                  * match on DMI_BOARD_VENDOR of "MICRO-STAR INTER" again.
1048                  */
1049                 {
1050                         .ident = "MSI K9AGM2",
1051                         .matches = {
1052                                 DMI_MATCH(DMI_BOARD_VENDOR,
1053                                           "MICRO-STAR INTER"),
1054                                 DMI_MATCH(DMI_BOARD_NAME, "MS-7327"),
1055                         },
1056                 },
1057                 /*
1058                  * All BIOS versions for the Asus M3A support 64bit DMA.
1059                  * (all release versions from 0301 to 1206 were tested)
1060                  */
1061                 {
1062                         .ident = "ASUS M3A",
1063                         .matches = {
1064                                 DMI_MATCH(DMI_BOARD_VENDOR,
1065                                           "ASUSTeK Computer INC."),
1066                                 DMI_MATCH(DMI_BOARD_NAME, "M3A"),
1067                         },
1068                 },
1069                 { }
1070         };
1071         const struct dmi_system_id *match;
1072         int year, month, date;
1073         char buf[9];
1074
1075         match = dmi_first_match(sysids);
1076         if (pdev->bus->number != 0 || pdev->devfn != PCI_DEVFN(0x12, 0) ||
1077             !match)
1078                 return false;
1079
1080         if (!match->driver_data)
1081                 goto enable_64bit;
1082
1083         dmi_get_date(DMI_BIOS_DATE, &year, &month, &date);
1084         snprintf(buf, sizeof(buf), "%04d%02d%02d", year, month, date);
1085
1086         if (strcmp(buf, match->driver_data) >= 0)
1087                 goto enable_64bit;
1088         else {
1089                 dev_warn(&pdev->dev,
1090                          "%s: BIOS too old, forcing 32bit DMA, update BIOS\n",
1091                          match->ident);
1092                 return false;
1093         }
1094
1095 enable_64bit:
1096         dev_warn(&pdev->dev, "%s: enabling 64bit DMA\n", match->ident);
1097         return true;
1098 }
1099
1100 static bool ahci_broken_system_poweroff(struct pci_dev *pdev)
1101 {
1102         static const struct dmi_system_id broken_systems[] = {
1103                 {
1104                         .ident = "HP Compaq nx6310",
1105                         .matches = {
1106                                 DMI_MATCH(DMI_SYS_VENDOR, "Hewlett-Packard"),
1107                                 DMI_MATCH(DMI_PRODUCT_NAME, "HP Compaq nx6310"),
1108                         },
1109                         /* PCI slot number of the controller */
1110                         .driver_data = (void *)0x1FUL,
1111                 },
1112                 {
1113                         .ident = "HP Compaq 6720s",
1114                         .matches = {
1115                                 DMI_MATCH(DMI_SYS_VENDOR, "Hewlett-Packard"),
1116                                 DMI_MATCH(DMI_PRODUCT_NAME, "HP Compaq 6720s"),
1117                         },
1118                         /* PCI slot number of the controller */
1119                         .driver_data = (void *)0x1FUL,
1120                 },
1121
1122                 { }     /* terminate list */
1123         };
1124         const struct dmi_system_id *dmi = dmi_first_match(broken_systems);
1125
1126         if (dmi) {
1127                 unsigned long slot = (unsigned long)dmi->driver_data;
1128                 /* apply the quirk only to on-board controllers */
1129                 return slot == PCI_SLOT(pdev->devfn);
1130         }
1131
1132         return false;
1133 }
1134
1135 static bool ahci_broken_suspend(struct pci_dev *pdev)
1136 {
1137         static const struct dmi_system_id sysids[] = {
1138                 /*
1139                  * On HP dv[4-6] and HDX18 with earlier BIOSen, link
1140                  * to the harddisk doesn't become online after
1141                  * resuming from STR.  Warn and fail suspend.
1142                  *
1143                  * http://bugzilla.kernel.org/show_bug.cgi?id=12276
1144                  *
1145                  * Use dates instead of versions to match as HP is
1146                  * apparently recycling both product and version
1147                  * strings.
1148                  *
1149                  * http://bugzilla.kernel.org/show_bug.cgi?id=15462
1150                  */
1151                 {
1152                         .ident = "dv4",
1153                         .matches = {
1154                                 DMI_MATCH(DMI_SYS_VENDOR, "Hewlett-Packard"),
1155                                 DMI_MATCH(DMI_PRODUCT_NAME,
1156                                           "HP Pavilion dv4 Notebook PC"),
1157                         },
1158                         .driver_data = "20090105",      /* F.30 */
1159                 },
1160                 {
1161                         .ident = "dv5",
1162                         .matches = {
1163                                 DMI_MATCH(DMI_SYS_VENDOR, "Hewlett-Packard"),
1164                                 DMI_MATCH(DMI_PRODUCT_NAME,
1165                                           "HP Pavilion dv5 Notebook PC"),
1166                         },
1167                         .driver_data = "20090506",      /* F.16 */
1168                 },
1169                 {
1170                         .ident = "dv6",
1171                         .matches = {
1172                                 DMI_MATCH(DMI_SYS_VENDOR, "Hewlett-Packard"),
1173                                 DMI_MATCH(DMI_PRODUCT_NAME,
1174                                           "HP Pavilion dv6 Notebook PC"),
1175                         },
1176                         .driver_data = "20090423",      /* F.21 */
1177                 },
1178                 {
1179                         .ident = "HDX18",
1180                         .matches = {
1181                                 DMI_MATCH(DMI_SYS_VENDOR, "Hewlett-Packard"),
1182                                 DMI_MATCH(DMI_PRODUCT_NAME,
1183                                           "HP HDX18 Notebook PC"),
1184                         },
1185                         .driver_data = "20090430",      /* F.23 */
1186                 },
1187                 /*
1188                  * Acer eMachines G725 has the same problem.  BIOS
1189                  * V1.03 is known to be broken.  V3.04 is known to
1190                  * work.  Between, there are V1.06, V2.06 and V3.03
1191                  * that we don't have much idea about.  For now,
1192                  * blacklist anything older than V3.04.
1193                  *
1194                  * http://bugzilla.kernel.org/show_bug.cgi?id=15104
1195                  */
1196                 {
1197                         .ident = "G725",
1198                         .matches = {
1199                                 DMI_MATCH(DMI_SYS_VENDOR, "eMachines"),
1200                                 DMI_MATCH(DMI_PRODUCT_NAME, "eMachines G725"),
1201                         },
1202                         .driver_data = "20091216",      /* V3.04 */
1203                 },
1204                 { }     /* terminate list */
1205         };
1206         const struct dmi_system_id *dmi = dmi_first_match(sysids);
1207         int year, month, date;
1208         char buf[9];
1209
1210         if (!dmi || pdev->bus->number || pdev->devfn != PCI_DEVFN(0x1f, 2))
1211                 return false;
1212
1213         dmi_get_date(DMI_BIOS_DATE, &year, &month, &date);
1214         snprintf(buf, sizeof(buf), "%04d%02d%02d", year, month, date);
1215
1216         return strcmp(buf, dmi->driver_data) < 0;
1217 }
1218
1219 static bool ahci_broken_online(struct pci_dev *pdev)
1220 {
1221 #define ENCODE_BUSDEVFN(bus, slot, func)                        \
1222         (void *)(unsigned long)(((bus) << 8) | PCI_DEVFN((slot), (func)))
1223         static const struct dmi_system_id sysids[] = {
1224                 /*
1225                  * There are several gigabyte boards which use
1226                  * SIMG5723s configured as hardware RAID.  Certain
1227                  * 5723 firmware revisions shipped there keep the link
1228                  * online but fail to answer properly to SRST or
1229                  * IDENTIFY when no device is attached downstream
1230                  * causing libata to retry quite a few times leading
1231                  * to excessive detection delay.
1232                  *
1233                  * As these firmwares respond to the second reset try
1234                  * with invalid device signature, considering unknown
1235                  * sig as offline works around the problem acceptably.
1236                  */
1237                 {
1238                         .ident = "EP45-DQ6",
1239                         .matches = {
1240                                 DMI_MATCH(DMI_BOARD_VENDOR,
1241                                           "Gigabyte Technology Co., Ltd."),
1242                                 DMI_MATCH(DMI_BOARD_NAME, "EP45-DQ6"),
1243                         },
1244                         .driver_data = ENCODE_BUSDEVFN(0x0a, 0x00, 0),
1245                 },
1246                 {
1247                         .ident = "EP45-DS5",
1248                         .matches = {
1249                                 DMI_MATCH(DMI_BOARD_VENDOR,
1250                                           "Gigabyte Technology Co., Ltd."),
1251                                 DMI_MATCH(DMI_BOARD_NAME, "EP45-DS5"),
1252                         },
1253                         .driver_data = ENCODE_BUSDEVFN(0x03, 0x00, 0),
1254                 },
1255                 { }     /* terminate list */
1256         };
1257 #undef ENCODE_BUSDEVFN
1258         const struct dmi_system_id *dmi = dmi_first_match(sysids);
1259         unsigned int val;
1260
1261         if (!dmi)
1262                 return false;
1263
1264         val = (unsigned long)dmi->driver_data;
1265
1266         return pdev->bus->number == (val >> 8) && pdev->devfn == (val & 0xff);
1267 }
1268
1269 static bool ahci_broken_devslp(struct pci_dev *pdev)
1270 {
1271         /* device with broken DEVSLP but still showing SDS capability */
1272         static const struct pci_device_id ids[] = {
1273                 { PCI_VDEVICE(INTEL, 0x0f23)}, /* Valleyview SoC */
1274                 {}
1275         };
1276
1277         return pci_match_id(ids, pdev);
1278 }
1279
1280 #ifdef CONFIG_ATA_ACPI
1281 static void ahci_gtf_filter_workaround(struct ata_host *host)
1282 {
1283         static const struct dmi_system_id sysids[] = {
1284                 /*
1285                  * Aspire 3810T issues a bunch of SATA enable commands
1286                  * via _GTF including an invalid one and one which is
1287                  * rejected by the device.  Among the successful ones
1288                  * is FPDMA non-zero offset enable which when enabled
1289                  * only on the drive side leads to NCQ command
1290                  * failures.  Filter it out.
1291                  */
1292                 {
1293                         .ident = "Aspire 3810T",
1294                         .matches = {
1295                                 DMI_MATCH(DMI_SYS_VENDOR, "Acer"),
1296                                 DMI_MATCH(DMI_PRODUCT_NAME, "Aspire 3810T"),
1297                         },
1298                         .driver_data = (void *)ATA_ACPI_FILTER_FPDMA_OFFSET,
1299                 },
1300                 { }
1301         };
1302         const struct dmi_system_id *dmi = dmi_first_match(sysids);
1303         unsigned int filter;
1304         int i;
1305
1306         if (!dmi)
1307                 return;
1308
1309         filter = (unsigned long)dmi->driver_data;
1310         dev_info(host->dev, "applying extra ACPI _GTF filter 0x%x for %s\n",
1311                  filter, dmi->ident);
1312
1313         for (i = 0; i < host->n_ports; i++) {
1314                 struct ata_port *ap = host->ports[i];
1315                 struct ata_link *link;
1316                 struct ata_device *dev;
1317
1318                 ata_for_each_link(link, ap, EDGE)
1319                         ata_for_each_dev(dev, link, ALL)
1320                                 dev->gtf_filter |= filter;
1321         }
1322 }
1323 #else
1324 static inline void ahci_gtf_filter_workaround(struct ata_host *host)
1325 {}
1326 #endif
1327
1328 /*
1329  * ahci_init_msix() only implements single MSI-X support, not multiple
1330  * MSI-X per-port interrupts. This is needed for host controllers that only
1331  * have MSI-X support implemented, but no MSI or intx.
1332  */
1333 static int ahci_init_msix(struct pci_dev *pdev, unsigned int n_ports,
1334                           struct ahci_host_priv *hpriv)
1335 {
1336         int rc, nvec;
1337         struct msix_entry entry = {};
1338
1339         /* Do not init MSI-X if MSI is disabled for the device */
1340         if (hpriv->flags & AHCI_HFLAG_NO_MSI)
1341                 return -ENODEV;
1342
1343         nvec = pci_msix_vec_count(pdev);
1344         if (nvec < 0)
1345                 return nvec;
1346
1347         if (!nvec) {
1348                 rc = -ENODEV;
1349                 goto fail;
1350         }
1351
1352         /*
1353          * There can be more than one vector (e.g. for error detection or
1354          * hdd hotplug). Only the first vector (entry.entry = 0) is used.
1355          */
1356         rc = pci_enable_msix_exact(pdev, &entry, 1);
1357         if (rc < 0)
1358                 goto fail;
1359
1360         hpriv->irq = entry.vector;
1361
1362         return 1;
1363 fail:
1364         dev_err(&pdev->dev,
1365                 "failed to enable MSI-X with error %d, # of vectors: %d\n",
1366                 rc, nvec);
1367
1368         return rc;
1369 }
1370
1371 static int ahci_init_msi(struct pci_dev *pdev, unsigned int n_ports,
1372                         struct ahci_host_priv *hpriv)
1373 {
1374         int rc, nvec;
1375
1376         if (hpriv->flags & AHCI_HFLAG_NO_MSI)
1377                 return -ENODEV;
1378
1379         nvec = pci_msi_vec_count(pdev);
1380         if (nvec < 0)
1381                 return nvec;
1382
1383         /*
1384          * If number of MSIs is less than number of ports then Sharing Last
1385          * Message mode could be enforced. In this case assume that advantage
1386          * of multipe MSIs is negated and use single MSI mode instead.
1387          */
1388         if (nvec < n_ports)
1389                 goto single_msi;
1390
1391         rc = pci_enable_msi_exact(pdev, nvec);
1392         if (rc == -ENOSPC)
1393                 goto single_msi;
1394         if (rc < 0)
1395                 return rc;
1396
1397         /* fallback to single MSI mode if the controller enforced MRSM mode */
1398         if (readl(hpriv->mmio + HOST_CTL) & HOST_MRSM) {
1399                 pci_disable_msi(pdev);
1400                 printk(KERN_INFO "ahci: MRSM is on, fallback to single MSI\n");
1401                 goto single_msi;
1402         }
1403
1404         if (nvec > 1)
1405                 hpriv->flags |= AHCI_HFLAG_MULTI_MSI;
1406
1407         goto out;
1408
1409 single_msi:
1410         nvec = 1;
1411
1412         rc = pci_enable_msi(pdev);
1413         if (rc < 0)
1414                 return rc;
1415 out:
1416         hpriv->irq = pdev->irq;
1417
1418         return nvec;
1419 }
1420
1421 static int ahci_init_interrupts(struct pci_dev *pdev, unsigned int n_ports,
1422                                 struct ahci_host_priv *hpriv)
1423 {
1424         int nvec;
1425
1426         nvec = ahci_init_msi(pdev, n_ports, hpriv);
1427         if (nvec >= 0)
1428                 return nvec;
1429
1430         /*
1431          * Currently, MSI-X support only implements single IRQ mode and
1432          * exists for controllers which can't do other types of IRQ. Only
1433          * set it up if MSI fails.
1434          */
1435         nvec = ahci_init_msix(pdev, n_ports, hpriv);
1436         if (nvec >= 0)
1437                 return nvec;
1438
1439         /* lagacy intx interrupts */
1440         pci_intx(pdev, 1);
1441         hpriv->irq = pdev->irq;
1442
1443         return 0;
1444 }
1445
1446 static int ahci_init_one(struct pci_dev *pdev, const struct pci_device_id *ent)
1447 {
1448         unsigned int board_id = ent->driver_data;
1449         struct ata_port_info pi = ahci_port_info[board_id];
1450         const struct ata_port_info *ppi[] = { &pi, NULL };
1451         struct device *dev = &pdev->dev;
1452         struct ahci_host_priv *hpriv;
1453         struct ata_host *host;
1454         int n_ports, i, rc;
1455         int ahci_pci_bar = AHCI_PCI_BAR_STANDARD;
1456
1457         VPRINTK("ENTER\n");
1458
1459         WARN_ON((int)ATA_MAX_QUEUE > AHCI_MAX_CMDS);
1460
1461         ata_print_version_once(&pdev->dev, DRV_VERSION);
1462
1463         /* The AHCI driver can only drive the SATA ports, the PATA driver
1464            can drive them all so if both drivers are selected make sure
1465            AHCI stays out of the way */
1466         if (pdev->vendor == PCI_VENDOR_ID_MARVELL && !marvell_enable)
1467                 return -ENODEV;
1468
1469         /* Apple BIOS on MCP89 prevents us using AHCI */
1470         if (is_mcp89_apple(pdev))
1471                 ahci_mcp89_apple_enable(pdev);
1472
1473         /* Promise's PDC42819 is a SAS/SATA controller that has an AHCI mode.
1474          * At the moment, we can only use the AHCI mode. Let the users know
1475          * that for SAS drives they're out of luck.
1476          */
1477         if (pdev->vendor == PCI_VENDOR_ID_PROMISE)
1478                 dev_info(&pdev->dev,
1479                          "PDC42819 can only drive SATA devices with this driver\n");
1480
1481         /* Some devices use non-standard BARs */
1482         if (pdev->vendor == PCI_VENDOR_ID_STMICRO && pdev->device == 0xCC06)
1483                 ahci_pci_bar = AHCI_PCI_BAR_STA2X11;
1484         else if (pdev->vendor == 0x1c44 && pdev->device == 0x8000)
1485                 ahci_pci_bar = AHCI_PCI_BAR_ENMOTUS;
1486         else if (pdev->vendor == 0x177d && pdev->device == 0xa01c)
1487                 ahci_pci_bar = AHCI_PCI_BAR_CAVIUM;
1488
1489         /* acquire resources */
1490         rc = pcim_enable_device(pdev);
1491         if (rc)
1492                 return rc;
1493
1494         if (pdev->vendor == PCI_VENDOR_ID_INTEL &&
1495             (pdev->device == 0x2652 || pdev->device == 0x2653)) {
1496                 u8 map;
1497
1498                 /* ICH6s share the same PCI ID for both piix and ahci
1499                  * modes.  Enabling ahci mode while MAP indicates
1500                  * combined mode is a bad idea.  Yield to ata_piix.
1501                  */
1502                 pci_read_config_byte(pdev, ICH_MAP, &map);
1503                 if (map & 0x3) {
1504                         dev_info(&pdev->dev,
1505                                  "controller is in combined mode, can't enable AHCI mode\n");
1506                         return -ENODEV;
1507                 }
1508         }
1509
1510         /* AHCI controllers often implement SFF compatible interface.
1511          * Grab all PCI BARs just in case.
1512          */
1513         rc = pcim_iomap_regions_request_all(pdev, 1 << ahci_pci_bar, DRV_NAME);
1514         if (rc == -EBUSY)
1515                 pcim_pin_device(pdev);
1516         if (rc)
1517                 return rc;
1518
1519         hpriv = devm_kzalloc(dev, sizeof(*hpriv), GFP_KERNEL);
1520         if (!hpriv)
1521                 return -ENOMEM;
1522         hpriv->flags |= (unsigned long)pi.private_data;
1523
1524         /* MCP65 revision A1 and A2 can't do MSI */
1525         if (board_id == board_ahci_mcp65 &&
1526             (pdev->revision == 0xa1 || pdev->revision == 0xa2))
1527                 hpriv->flags |= AHCI_HFLAG_NO_MSI;
1528
1529         /* SB800 does NOT need the workaround to ignore SERR_INTERNAL */
1530         if (board_id == board_ahci_sb700 && pdev->revision >= 0x40)
1531                 hpriv->flags &= ~AHCI_HFLAG_IGN_SERR_INTERNAL;
1532
1533         /* only some SB600s can do 64bit DMA */
1534         if (ahci_sb600_enable_64bit(pdev))
1535                 hpriv->flags &= ~AHCI_HFLAG_32BIT_ONLY;
1536
1537         hpriv->mmio = pcim_iomap_table(pdev)[ahci_pci_bar];
1538
1539         /* must set flag prior to save config in order to take effect */
1540         if (ahci_broken_devslp(pdev))
1541                 hpriv->flags |= AHCI_HFLAG_NO_DEVSLP;
1542
1543         /* save initial config */
1544         ahci_pci_save_initial_config(pdev, hpriv);
1545
1546         /* prepare host */
1547         if (hpriv->cap & HOST_CAP_NCQ) {
1548                 pi.flags |= ATA_FLAG_NCQ;
1549                 /*
1550                  * Auto-activate optimization is supposed to be
1551                  * supported on all AHCI controllers indicating NCQ
1552                  * capability, but it seems to be broken on some
1553                  * chipsets including NVIDIAs.
1554                  */
1555                 if (!(hpriv->flags & AHCI_HFLAG_NO_FPDMA_AA))
1556                         pi.flags |= ATA_FLAG_FPDMA_AA;
1557
1558                 /*
1559                  * All AHCI controllers should be forward-compatible
1560                  * with the new auxiliary field. This code should be
1561                  * conditionalized if any buggy AHCI controllers are
1562                  * encountered.
1563                  */
1564                 pi.flags |= ATA_FLAG_FPDMA_AUX;
1565         }
1566
1567         if (hpriv->cap & HOST_CAP_PMP)
1568                 pi.flags |= ATA_FLAG_PMP;
1569
1570         ahci_set_em_messages(hpriv, &pi);
1571
1572         if (ahci_broken_system_poweroff(pdev)) {
1573                 pi.flags |= ATA_FLAG_NO_POWEROFF_SPINDOWN;
1574                 dev_info(&pdev->dev,
1575                         "quirky BIOS, skipping spindown on poweroff\n");
1576         }
1577
1578         if (ahci_broken_suspend(pdev)) {
1579                 hpriv->flags |= AHCI_HFLAG_NO_SUSPEND;
1580                 dev_warn(&pdev->dev,
1581                          "BIOS update required for suspend/resume\n");
1582         }
1583
1584         if (ahci_broken_online(pdev)) {
1585                 hpriv->flags |= AHCI_HFLAG_SRST_TOUT_IS_OFFLINE;
1586                 dev_info(&pdev->dev,
1587                          "online status unreliable, applying workaround\n");
1588         }
1589
1590         /* CAP.NP sometimes indicate the index of the last enabled
1591          * port, at other times, that of the last possible port, so
1592          * determining the maximum port number requires looking at
1593          * both CAP.NP and port_map.
1594          */
1595         n_ports = max(ahci_nr_ports(hpriv->cap), fls(hpriv->port_map));
1596
1597         host = ata_host_alloc_pinfo(&pdev->dev, ppi, n_ports);
1598         if (!host)
1599                 return -ENOMEM;
1600         host->private_data = hpriv;
1601
1602         ahci_init_interrupts(pdev, n_ports, hpriv);
1603
1604         if (!(hpriv->cap & HOST_CAP_SSS) || ahci_ignore_sss)
1605                 host->flags |= ATA_HOST_PARALLEL_SCAN;
1606         else
1607                 dev_info(&pdev->dev, "SSS flag set, parallel bus scan disabled\n");
1608
1609         if (pi.flags & ATA_FLAG_EM)
1610                 ahci_reset_em(host);
1611
1612         for (i = 0; i < host->n_ports; i++) {
1613                 struct ata_port *ap = host->ports[i];
1614
1615                 ata_port_pbar_desc(ap, ahci_pci_bar, -1, "abar");
1616                 ata_port_pbar_desc(ap, ahci_pci_bar,
1617                                    0x100 + ap->port_no * 0x80, "port");
1618
1619                 /* set enclosure management message type */
1620                 if (ap->flags & ATA_FLAG_EM)
1621                         ap->em_message_type = hpriv->em_msg_type;
1622
1623
1624                 /* disabled/not-implemented port */
1625                 if (!(hpriv->port_map & (1 << i)))
1626                         ap->ops = &ata_dummy_port_ops;
1627         }
1628
1629         /* apply workaround for ASUS P5W DH Deluxe mainboard */
1630         ahci_p5wdh_workaround(host);
1631
1632         /* apply gtf filter quirk */
1633         ahci_gtf_filter_workaround(host);
1634
1635         /* initialize adapter */
1636         rc = ahci_configure_dma_masks(pdev, hpriv->cap & HOST_CAP_64);
1637         if (rc)
1638                 return rc;
1639
1640         rc = ahci_pci_reset_controller(host);
1641         if (rc)
1642                 return rc;
1643
1644         ahci_pci_init_controller(host);
1645         ahci_pci_print_info(host);
1646
1647         pci_set_master(pdev);
1648
1649         return ahci_host_activate(host, &ahci_sht);
1650 }
1651
1652 module_pci_driver(ahci_pci_driver);
1653
1654 MODULE_AUTHOR("Jeff Garzik");
1655 MODULE_DESCRIPTION("AHCI SATA low-level driver");
1656 MODULE_LICENSE("GPL");
1657 MODULE_DEVICE_TABLE(pci, ahci_pci_tbl);
1658 MODULE_VERSION(DRV_VERSION);