drivers/gpu/drm/drm_drv.c

   1 /*
   2  * Created: Fri Jan 19 10:48:35 2001 by faith@acm.org
   3  *
   4  * Copyright 2001 VA Linux Systems, Inc., Sunnyvale, California.
   5  * All Rights Reserved.
   6  *
   7  * Author Rickard E. (Rik) Faith <faith@valinux.com>
   8  *
   9  * Permission is hereby granted, free of charge, to any person obtaining a
  10  * copy of this software and associated documentation files (the "Software"),
  11  * to deal in the Software without restriction, including without limitation
  12  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
  13  * and/or sell copies of the Software, and to permit persons to whom the
  14  * Software is furnished to do so, subject to the following conditions:
  15  *
  16  * The above copyright notice and this permission notice (including the next
  17  * paragraph) shall be included in all copies or substantial portions of the
  18  * Software.
  19  *
  20  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  21  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  22  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL
  23  * PRECISION INSIGHT AND/OR ITS SUPPLIERS BE LIABLE FOR ANY CLAIM, DAMAGES OR
  24  * OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE,
  25  * ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
  26  * DEALINGS IN THE SOFTWARE.
  27  */
  28
  29 #include <linux/debugfs.h>
  30 #include <linux/fs.h>
  31 #include <linux/module.h>
  32 #include <linux/moduleparam.h>
  33 #include <linux/mount.h>
  34 #include <linux/slab.h>
  35 #include <drm/drmP.h>
  36 #include <drm/drm_core.h>
  37 #include "drm_legacy.h"
  38 #include "drm_internal.h"
  39
  40 unsigned int drm_debug = 0;     /* bitmask of DRM_UT_x */
  41 EXPORT_SYMBOL(drm_debug);
  42
  43 MODULE_AUTHOR(CORE_AUTHOR);
  44 MODULE_DESCRIPTION(CORE_DESC);
  45 MODULE_LICENSE("GPL and additional rights");
  46 MODULE_PARM_DESC(debug, "Enable debug output");
  47 MODULE_PARM_DESC(vblankoffdelay, "Delay until vblank irq auto-disable [msecs] (0: never disable, <0: disable immediately)");
  48 MODULE_PARM_DESC(timestamp_precision_usec, "Max. error on timestamps [usecs]");
  49 MODULE_PARM_DESC(timestamp_monotonic, "Use monotonic timestamps");
  50
  51 module_param_named(debug, drm_debug, int, 0600);
  52
  53 static DEFINE_SPINLOCK(drm_minor_lock);
  54 static struct idr drm_minors_idr;
  55
  56 static struct dentry *drm_debugfs_root;
  57
  58 #define DRM_PRINTK_FMT "[" DRM_NAME ":%s]%s %pV"
  59
  60 void drm_dev_printk(const struct device *dev, const char *level,
  61                     unsigned int category, const char *function_name,
  62                     const char *prefix, const char *format, ...)
  63 {
  64         struct va_format vaf;
  65         va_list args;
  66
  67         if (category != DRM_UT_NONE && !(drm_debug & category))
  68                 return;
  69
  70         va_start(args, format);
  71         vaf.fmt = format;
  72         vaf.va = &args;
  73
  74         dev_printk(level, dev, DRM_PRINTK_FMT, function_name, prefix,
  75                    &vaf);
  76
  77         va_end(args);
  78 }
  79 EXPORT_SYMBOL(drm_dev_printk);
  80
  81 void drm_printk(const char *level, unsigned int category,
  82                 const char *function_name, const char *prefix,
  83                 const char *format, ...)
  84 {
  85         struct va_format vaf;
  86         va_list args;
  87
  88         if (category != DRM_UT_NONE && !(drm_debug & category))
  89                 return;
  90
  91         va_start(args, format);
  92         vaf.fmt = format;
  93         vaf.va = &args;
  94
  95         printk("%s" DRM_PRINTK_FMT, level, function_name, prefix, &vaf);
  96
  97         va_end(args);
  98 }
  99 EXPORT_SYMBOL(drm_printk);
 100
 101 struct drm_master *drm_master_create(struct drm_minor *minor)
 102 {
 103         struct drm_master *master;
 104
 105         master = kzalloc(sizeof(*master), GFP_KERNEL);
 106         if (!master)
 107                 return NULL;
 108
 109         kref_init(&master->refcount);
 110         spin_lock_init(&master->lock.spinlock);
 111         init_waitqueue_head(&master->lock.lock_queue);
 112         idr_init(&master->magic_map);
 113         master->minor = minor;
 114
 115         return master;
 116 }
 117
 118 struct drm_master *drm_master_get(struct drm_master *master)
 119 {
 120         kref_get(&master->refcount);
 121         return master;
 122 }
 123 EXPORT_SYMBOL(drm_master_get);
 124
 125 static void drm_master_destroy(struct kref *kref)
 126 {
 127         struct drm_master *master = container_of(kref, struct drm_master, refcount);
 128         struct drm_device *dev = master->minor->dev;
 129         struct drm_map_list *r_list, *list_temp;
 130
 131         mutex_lock(&dev->struct_mutex);
 132         if (dev->driver->master_destroy)
 133                 dev->driver->master_destroy(dev, master);
 134
 135         list_for_each_entry_safe(r_list, list_temp, &dev->maplist, head) {
 136                 if (r_list->master == master) {
 137                         drm_legacy_rmmap_locked(dev, r_list->map);
 138                         r_list = NULL;
 139                 }
 140         }
 141         mutex_unlock(&dev->struct_mutex);
 142
 143         idr_destroy(&master->magic_map);
 144         kfree(master->unique);
 145         kfree(master);
 146 }
 147
 148 void drm_master_put(struct drm_master **master)
 149 {
 150         kref_put(&(*master)->refcount, drm_master_destroy);
 151         *master = NULL;
 152 }
 153 EXPORT_SYMBOL(drm_master_put);
 154
 155 int drm_setmaster_ioctl(struct drm_device *dev, void *data,
 156                         struct drm_file *file_priv)
 157 {
 158         int ret = 0;
 159
 160         mutex_lock(&dev->master_mutex);
 161         if (file_priv->is_master)
 162                 goto out_unlock;
 163
 164         if (file_priv->minor->master) {
 165                 ret = -EINVAL;
 166                 goto out_unlock;
 167         }
 168
 169         if (!file_priv->master) {
 170                 ret = -EINVAL;
 171                 goto out_unlock;
 172         }
 173
 174         if (!file_priv->allowed_master) {
 175                 ret = drm_new_set_master(dev, file_priv);
 176                 goto out_unlock;
 177         }
 178
 179         file_priv->minor->master = drm_master_get(file_priv->master);
 180         file_priv->is_master = 1;
 181         if (dev->driver->master_set) {
 182                 ret = dev->driver->master_set(dev, file_priv, false);
 183                 if (unlikely(ret != 0)) {
 184                         file_priv->is_master = 0;
 185                         drm_master_put(&file_priv->minor->master);
 186                 }
 187         }
 188
 189 out_unlock:
 190         mutex_unlock(&dev->master_mutex);
 191         return ret;
 192 }
 193
 194 int drm_dropmaster_ioctl(struct drm_device *dev, void *data,
 195                          struct drm_file *file_priv)
 196 {
 197         int ret = -EINVAL;
 198
 199         mutex_lock(&dev->master_mutex);
 200         if (!file_priv->is_master)
 201                 goto out_unlock;
 202
 203         if (!file_priv->minor->master)
 204                 goto out_unlock;
 205
 206         ret = 0;
 207         if (dev->driver->master_drop)
 208                 dev->driver->master_drop(dev, file_priv, false);
 209         drm_master_put(&file_priv->minor->master);
 210         file_priv->is_master = 0;
 211
 212 out_unlock:
 213         mutex_unlock(&dev->master_mutex);
 214         return ret;
 215 }
 216
 217 /*
 218  * DRM Minors
 219  * A DRM device can provide several char-dev interfaces on the DRM-Major. Each
 220  * of them is represented by a drm_minor object. Depending on the capabilities
 221  * of the device-driver, different interfaces are registered.
 222  *
 223  * Minors can be accessed via dev->$minor_name. This pointer is either
 224  * NULL or a valid drm_minor pointer and stays valid as long as the device is
 225  * valid. This means, DRM minors have the same life-time as the underlying
 226  * device. However, this doesn't mean that the minor is active. Minors are
 227  * registered and unregistered dynamically according to device-state.
 228  */
 229
 230 static struct drm_minor **drm_minor_get_slot(struct drm_device *dev,
 231                                              unsigned int type)
 232 {
 233         switch (type) {
 234         case DRM_MINOR_LEGACY:
 235                 return &dev->primary;
 236         case DRM_MINOR_RENDER:
 237                 return &dev->render;
 238         case DRM_MINOR_CONTROL:
 239                 return &dev->control;
 240         default:
 241                 return NULL;
 242         }
 243 }
 244
 245 static int drm_minor_alloc(struct drm_device *dev, unsigned int type)
 246 {
 247         struct drm_minor *minor;
 248         unsigned long flags;
 249         int r;
 250
 251         minor = kzalloc(sizeof(*minor), GFP_KERNEL);
 252         if (!minor)
 253                 return -ENOMEM;
 254
 255         minor->type = type;
 256         minor->dev = dev;
 257
 258         idr_preload(GFP_KERNEL);
 259         spin_lock_irqsave(&drm_minor_lock, flags);
 260         r = idr_alloc(&drm_minors_idr,
 261                       NULL,
 262                       64 * type,
 263                       64 * (type + 1),
 264                       GFP_NOWAIT);
 265         spin_unlock_irqrestore(&drm_minor_lock, flags);
 266         idr_preload_end();
 267
 268         if (r < 0)
 269                 goto err_free;
 270
 271         minor->index = r;
 272
 273         minor->kdev = drm_sysfs_minor_alloc(minor);
 274         if (IS_ERR(minor->kdev)) {
 275                 r = PTR_ERR(minor->kdev);
 276                 goto err_index;
 277         }
 278
 279         *drm_minor_get_slot(dev, type) = minor;
 280         return 0;
 281
 282 err_index:
 283         spin_lock_irqsave(&drm_minor_lock, flags);
 284         idr_remove(&drm_minors_idr, minor->index);
 285         spin_unlock_irqrestore(&drm_minor_lock, flags);
 286 err_free:
 287         kfree(minor);
 288         return r;
 289 }
 290
 291 static void drm_minor_free(struct drm_device *dev, unsigned int type)
 292 {
 293         struct drm_minor **slot, *minor;
 294         unsigned long flags;
 295
 296         slot = drm_minor_get_slot(dev, type);
 297         minor = *slot;
 298         if (!minor)
 299                 return;
 300
 301         put_device(minor->kdev);
 302
 303         spin_lock_irqsave(&drm_minor_lock, flags);
 304         idr_remove(&drm_minors_idr, minor->index);
 305         spin_unlock_irqrestore(&drm_minor_lock, flags);
 306
 307         kfree(minor);
 308         *slot = NULL;
 309 }
 310
 311 static int drm_minor_register(struct drm_device *dev, unsigned int type)
 312 {
 313         struct drm_minor *minor;
 314         unsigned long flags;
 315         int ret;
 316
 317         DRM_DEBUG("\n");
 318
 319         minor = *drm_minor_get_slot(dev, type);
 320         if (!minor)
 321                 return 0;
 322
 323         ret = drm_debugfs_init(minor, minor->index, drm_debugfs_root);
 324         if (ret) {
 325                 DRM_ERROR("DRM: Failed to initialize /sys/kernel/debug/dri.\n");
 326                 return ret;
 327         }
 328
 329         ret = device_add(minor->kdev);
 330         if (ret)
 331                 goto err_debugfs;
 332
 333         /* replace NULL with @minor so lookups will succeed from now on */
 334         spin_lock_irqsave(&drm_minor_lock, flags);
 335         idr_replace(&drm_minors_idr, minor, minor->index);
 336         spin_unlock_irqrestore(&drm_minor_lock, flags);
 337
 338         DRM_DEBUG("new minor registered %d\n", minor->index);
 339         return 0;
 340
 341 err_debugfs:
 342         drm_debugfs_cleanup(minor);
 343         return ret;
 344 }
 345
 346 static void drm_minor_unregister(struct drm_device *dev, unsigned int type)
 347 {
 348         struct drm_minor *minor;
 349         unsigned long flags;
 350
 351         minor = *drm_minor_get_slot(dev, type);
 352         if (!minor || !device_is_registered(minor->kdev))
 353                 return;
 354
 355         /* replace @minor with NULL so lookups will fail from now on */
 356         spin_lock_irqsave(&drm_minor_lock, flags);
 357         idr_replace(&drm_minors_idr, NULL, minor->index);
 358         spin_unlock_irqrestore(&drm_minor_lock, flags);
 359
 360         device_del(minor->kdev);
 361         dev_set_drvdata(minor->kdev, NULL); /* safety belt */
 362         drm_debugfs_cleanup(minor);
 363 }
 364
 365 /**
 366  * drm_minor_acquire - Acquire a DRM minor
 367  * @minor_id: Minor ID of the DRM-minor
 368  *
 369  * Looks up the given minor-ID and returns the respective DRM-minor object. The
 370  * refence-count of the underlying device is increased so you must release this
 371  * object with drm_minor_release().
 372  *
 373  * As long as you hold this minor, it is guaranteed that the object and the
 374  * minor->dev pointer will stay valid! However, the device may get unplugged and
 375  * unregistered while you hold the minor.
 376  *
 377  * Returns:
 378  * Pointer to minor-object with increased device-refcount, or PTR_ERR on
 379  * failure.
 380  */
 381 struct drm_minor *drm_minor_acquire(unsigned int minor_id)
 382 {
 383         struct drm_minor *minor;
 384         unsigned long flags;
 385
 386         spin_lock_irqsave(&drm_minor_lock, flags);
 387         minor = idr_find(&drm_minors_idr, minor_id);
 388         if (minor)
 389                 drm_dev_ref(minor->dev);
 390         spin_unlock_irqrestore(&drm_minor_lock, flags);
 391
 392         if (!minor) {
 393                 return ERR_PTR(-ENODEV);
 394         } else if (drm_device_is_unplugged(minor->dev)) {
 395                 drm_dev_unref(minor->dev);
 396                 return ERR_PTR(-ENODEV);
 397         }
 398
 399         return minor;
 400 }
 401
 402 /**
 403  * drm_minor_release - Release DRM minor
 404  * @minor: Pointer to DRM minor object
 405  *
 406  * Release a minor that was previously acquired via drm_minor_acquire().
 407  */
 408 void drm_minor_release(struct drm_minor *minor)
 409 {
 410         drm_dev_unref(minor->dev);
 411 }
 412
 413 /**
 414  * DOC: driver instance overview
 415  *
 416  * A device instance for a drm driver is represented by struct &drm_device. This
 417  * is allocated with drm_dev_alloc(), usually from bus-specific ->probe()
 418  * callbacks implemented by the driver. The driver then needs to initialize all
 419  * the various subsystems for the drm device like memory management, vblank
 420  * handling, modesetting support and intial output configuration plus obviously
 421  * initialize all the corresponding hardware bits. An important part of this is
 422  * also calling drm_dev_set_unique() to set the userspace-visible unique name of
 423  * this device instance. Finally when everything is up and running and ready for
 424  * userspace the device instance can be published using drm_dev_register().
 425  *
 426  * There is also deprecated support for initalizing device instances using
 427  * bus-specific helpers and the ->load() callback. But due to
 428  * backwards-compatibility needs the device instance have to be published too
 429  * early, which requires unpretty global locking to make safe and is therefore
 430  * only support for existing drivers not yet converted to the new scheme.
 431  *
 432  * When cleaning up a device instance everything needs to be done in reverse:
 433  * First unpublish the device instance with drm_dev_unregister(). Then clean up
 434  * any other resources allocated at device initialization and drop the driver's
 435  * reference to &drm_device using drm_dev_unref().
 436  *
 437  * Note that the lifetime rules for &drm_device instance has still a lot of
 438  * historical baggage. Hence use the reference counting provided by
 439  * drm_dev_ref() and drm_dev_unref() only carefully.
 440  *
 441  * Also note that embedding of &drm_device is currently not (yet) supported (but
 442  * it would be easy to add). Drivers can store driver-private data in the
 443  * dev_priv field of &drm_device.
 444  */
 445
 446 /**
 447  * drm_put_dev - Unregister and release a DRM device
 448  * @dev: DRM device
 449  *
 450  * Called at module unload time or when a PCI device is unplugged.
 451  *
 452  * Cleans up all DRM device, calling drm_lastclose().
 453  *
 454  * Note: Use of this function is deprecated. It will eventually go away
 455  * completely.  Please use drm_dev_unregister() and drm_dev_unref() explicitly
 456  * instead to make sure that the device isn't userspace accessible any more
 457  * while teardown is in progress, ensuring that userspace can't access an
 458  * inconsistent state.
 459  */
 460 void drm_put_dev(struct drm_device *dev)
 461 {
 462         DRM_DEBUG("\n");
 463
 464         if (!dev) {
 465                 DRM_ERROR("cleanup called no dev\n");
 466                 return;
 467         }
 468
 469         drm_dev_unregister(dev);
 470         drm_dev_unref(dev);
 471 }
 472 EXPORT_SYMBOL(drm_put_dev);
 473
 474 void drm_unplug_dev(struct drm_device *dev)
 475 {
 476         /* for a USB device */
 477         drm_minor_unregister(dev, DRM_MINOR_LEGACY);
 478         drm_minor_unregister(dev, DRM_MINOR_RENDER);
 479         drm_minor_unregister(dev, DRM_MINOR_CONTROL);
 480
 481         mutex_lock(&drm_global_mutex);
 482
 483         drm_device_set_unplugged(dev);
 484
 485         if (dev->open_count == 0) {
 486                 drm_put_dev(dev);
 487         }
 488         mutex_unlock(&drm_global_mutex);
 489 }
 490 EXPORT_SYMBOL(drm_unplug_dev);
 491
 492 /*
 493  * DRM internal mount
 494  * We want to be able to allocate our own "struct address_space" to control
 495  * memory-mappings in VRAM (or stolen RAM, ...). However, core MM does not allow
 496  * stand-alone address_space objects, so we need an underlying inode. As there
 497  * is no way to allocate an independent inode easily, we need a fake internal
 498  * VFS mount-point.
 499  *
 500  * The drm_fs_inode_new() function allocates a new inode, drm_fs_inode_free()
 501  * frees it again. You are allowed to use iget() and iput() to get references to
 502  * the inode. But each drm_fs_inode_new() call must be paired with exactly one
 503  * drm_fs_inode_free() call (which does not have to be the last iput()).
 504  * We use drm_fs_inode_*() to manage our internal VFS mount-point and share it
 505  * between multiple inode-users. You could, technically, call
 506  * iget() + drm_fs_inode_free() directly after alloc and sometime later do an
 507  * iput(), but this way you'd end up with a new vfsmount for each inode.
 508  */
 509
 510 static int drm_fs_cnt;
 511 static struct vfsmount *drm_fs_mnt;
 512
 513 static const struct dentry_operations drm_fs_dops = {
 514         .d_dname        = simple_dname,
 515 };
 516
 517 static const struct super_operations drm_fs_sops = {
 518         .statfs         = simple_statfs,
 519 };
 520
 521 static struct dentry *drm_fs_mount(struct file_system_type *fs_type, int flags,
 522                                    const char *dev_name, void *data)
 523 {
 524         return mount_pseudo(fs_type,
 525                             "drm:",
 526                             &drm_fs_sops,
 527                             &drm_fs_dops,
 528                             0x010203ff);
 529 }
 530
 531 static struct file_system_type drm_fs_type = {
 532         .name           = "drm",
 533         .owner          = THIS_MODULE,
 534         .mount          = drm_fs_mount,
 535         .kill_sb        = kill_anon_super,
 536 };
 537
 538 static struct inode *drm_fs_inode_new(void)
 539 {
 540         struct inode *inode;
 541         int r;
 542
 543         r = simple_pin_fs(&drm_fs_type, &drm_fs_mnt, &drm_fs_cnt);
 544         if (r < 0) {
 545                 DRM_ERROR("Cannot mount pseudo fs: %d\n", r);
 546                 return ERR_PTR(r);
 547         }
 548
 549         inode = alloc_anon_inode(drm_fs_mnt->mnt_sb);
 550         if (IS_ERR(inode))
 551                 simple_release_fs(&drm_fs_mnt, &drm_fs_cnt);
 552
 553         return inode;
 554 }
 555
 556 static void drm_fs_inode_free(struct inode *inode)
 557 {
 558         if (inode) {
 559                 iput(inode);
 560                 simple_release_fs(&drm_fs_mnt, &drm_fs_cnt);
 561         }
 562 }
 563
 564 /**
 565  * drm_dev_alloc - Allocate new DRM device
 566  * @driver: DRM driver to allocate device for
 567  * @parent: Parent device object
 568  *
 569  * Allocate and initialize a new DRM device. No device registration is done.
 570  * Call drm_dev_register() to advertice the device to user space and register it
 571  * with other core subsystems. This should be done last in the device
 572  * initialization sequence to make sure userspace can't access an inconsistent
 573  * state.
 574  *
 575  * The initial ref-count of the object is 1. Use drm_dev_ref() and
 576  * drm_dev_unref() to take and drop further ref-counts.
 577  *
 578  * Note that for purely virtual devices @parent can be NULL.
 579  *
 580  * RETURNS:
 581  * Pointer to new DRM device, or NULL if out of memory.
 582  */
 583 struct drm_device *drm_dev_alloc(struct drm_driver *driver,
 584                                  struct device *parent)
 585 {
 586         struct drm_device *dev;
 587         int ret;
 588
 589         dev = kzalloc(sizeof(*dev), GFP_KERNEL);
 590         if (!dev)
 591                 return NULL;
 592
 593         kref_init(&dev->ref);
 594         dev->dev = parent;
 595         dev->driver = driver;
 596
 597         INIT_LIST_HEAD(&dev->filelist);
 598         INIT_LIST_HEAD(&dev->ctxlist);
 599         INIT_LIST_HEAD(&dev->vmalist);
 600         INIT_LIST_HEAD(&dev->maplist);
 601         INIT_LIST_HEAD(&dev->vblank_event_list);
 602
 603         spin_lock_init(&dev->buf_lock);
 604         spin_lock_init(&dev->event_lock);
 605         mutex_init(&dev->struct_mutex);
 606         mutex_init(&dev->ctxlist_mutex);
 607         mutex_init(&dev->master_mutex);
 608
 609         dev->anon_inode = drm_fs_inode_new();
 610         if (IS_ERR(dev->anon_inode)) {
 611                 ret = PTR_ERR(dev->anon_inode);
 612                 DRM_ERROR("Cannot allocate anonymous inode: %d\n", ret);
 613                 goto err_free;
 614         }
 615
 616         if (drm_core_check_feature(dev, DRIVER_MODESET)) {
 617                 ret = drm_minor_alloc(dev, DRM_MINOR_CONTROL);
 618                 if (ret)
 619                         goto err_minors;
 620
 621                 WARN_ON(driver->suspend || driver->resume);
 622         }
 623
 624         if (drm_core_check_feature(dev, DRIVER_RENDER)) {
 625                 ret = drm_minor_alloc(dev, DRM_MINOR_RENDER);
 626                 if (ret)
 627                         goto err_minors;
 628         }
 629
 630         ret = drm_minor_alloc(dev, DRM_MINOR_LEGACY);
 631         if (ret)
 632                 goto err_minors;
 633
 634         if (drm_ht_create(&dev->map_hash, 12))
 635                 goto err_minors;
 636
 637         drm_legacy_ctxbitmap_init(dev);
 638
 639         if (drm_core_check_feature(dev, DRIVER_GEM)) {
 640                 ret = drm_gem_init(dev);
 641                 if (ret) {
 642                         DRM_ERROR("Cannot initialize graphics execution manager (GEM)\n");
 643                         goto err_ctxbitmap;
 644                 }
 645         }
 646
 647         return dev;
 648
 649 err_ctxbitmap:
 650         drm_legacy_ctxbitmap_cleanup(dev);
 651         drm_ht_remove(&dev->map_hash);
 652 err_minors:
 653         drm_minor_free(dev, DRM_MINOR_LEGACY);
 654         drm_minor_free(dev, DRM_MINOR_RENDER);
 655         drm_minor_free(dev, DRM_MINOR_CONTROL);
 656         drm_fs_inode_free(dev->anon_inode);
 657 err_free:
 658         mutex_destroy(&dev->master_mutex);
 659         kfree(dev);
 660         return NULL;
 661 }
 662 EXPORT_SYMBOL(drm_dev_alloc);
 663
 664 static void drm_dev_release(struct kref *ref)
 665 {
 666         struct drm_device *dev = container_of(ref, struct drm_device, ref);
 667
 668         if (drm_core_check_feature(dev, DRIVER_GEM))
 669                 drm_gem_destroy(dev);
 670
 671         drm_legacy_ctxbitmap_cleanup(dev);
 672         drm_ht_remove(&dev->map_hash);
 673         drm_fs_inode_free(dev->anon_inode);
 674
 675         drm_minor_free(dev, DRM_MINOR_LEGACY);
 676         drm_minor_free(dev, DRM_MINOR_RENDER);
 677         drm_minor_free(dev, DRM_MINOR_CONTROL);
 678
 679         mutex_destroy(&dev->master_mutex);
 680         kfree(dev->unique);
 681         kfree(dev);
 682 }
 683
 684 /**
 685  * drm_dev_ref - Take reference of a DRM device
 686  * @dev: device to take reference of or NULL
 687  *
 688  * This increases the ref-count of @dev by one. You *must* already own a
 689  * reference when calling this. Use drm_dev_unref() to drop this reference
 690  * again.
 691  *
 692  * This function never fails. However, this function does not provide *any*
 693  * guarantee whether the device is alive or running. It only provides a
 694  * reference to the object and the memory associated with it.
 695  */
 696 void drm_dev_ref(struct drm_device *dev)
 697 {
 698         if (dev)
 699                 kref_get(&dev->ref);
 700 }
 701 EXPORT_SYMBOL(drm_dev_ref);
 702
 703 /**
 704  * drm_dev_unref - Drop reference of a DRM device
 705  * @dev: device to drop reference of or NULL
 706  *
 707  * This decreases the ref-count of @dev by one. The device is destroyed if the
 708  * ref-count drops to zero.
 709  */
 710 void drm_dev_unref(struct drm_device *dev)
 711 {
 712         if (dev)
 713                 kref_put(&dev->ref, drm_dev_release);
 714 }
 715 EXPORT_SYMBOL(drm_dev_unref);
 716
 717 /**
 718  * drm_dev_register - Register DRM device
 719  * @dev: Device to register
 720  * @flags: Flags passed to the driver's .load() function
 721  *
 722  * Register the DRM device @dev with the system, advertise device to user-space
 723  * and start normal device operation. @dev must be allocated via drm_dev_alloc()
 724  * previously.
 725  *
 726  * Never call this twice on any device!
 727  *
 728  * NOTE: To ensure backward compatibility with existing drivers method this
 729  * function calls the ->load() method after registering the device nodes,
 730  * creating race conditions. Usage of the ->load() methods is therefore
 731  * deprecated, drivers must perform all initialization before calling
 732  * drm_dev_register().
 733  *
 734  * RETURNS:
 735  * 0 on success, negative error code on failure.
 736  */
 737 int drm_dev_register(struct drm_device *dev, unsigned long flags)
 738 {
 739         int ret;
 740
 741         mutex_lock(&drm_global_mutex);
 742
 743         ret = drm_minor_register(dev, DRM_MINOR_CONTROL);
 744         if (ret)
 745                 goto err_minors;
 746
 747         ret = drm_minor_register(dev, DRM_MINOR_RENDER);
 748         if (ret)
 749                 goto err_minors;
 750
 751         ret = drm_minor_register(dev, DRM_MINOR_LEGACY);
 752         if (ret)
 753                 goto err_minors;
 754
 755         if (dev->driver->load) {
 756                 ret = dev->driver->load(dev, flags);
 757                 if (ret)
 758                         goto err_minors;
 759         }
 760
 761         ret = 0;
 762         goto out_unlock;
 763
 764 err_minors:
 765         drm_minor_unregister(dev, DRM_MINOR_LEGACY);
 766         drm_minor_unregister(dev, DRM_MINOR_RENDER);
 767         drm_minor_unregister(dev, DRM_MINOR_CONTROL);
 768 out_unlock:
 769         mutex_unlock(&drm_global_mutex);
 770         return ret;
 771 }
 772 EXPORT_SYMBOL(drm_dev_register);
 773
 774 /**
 775  * drm_dev_unregister - Unregister DRM device
 776  * @dev: Device to unregister
 777  *
 778  * Unregister the DRM device from the system. This does the reverse of
 779  * drm_dev_register() but does not deallocate the device. The caller must call
 780  * drm_dev_unref() to drop their final reference.
 781  *
 782  * This should be called first in the device teardown code to make sure
 783  * userspace can't access the device instance any more.
 784  */
 785 void drm_dev_unregister(struct drm_device *dev)
 786 {
 787         struct drm_map_list *r_list, *list_temp;
 788
 789         drm_lastclose(dev);
 790
 791         if (dev->driver->unload)
 792                 dev->driver->unload(dev);
 793
 794         if (dev->agp)
 795                 drm_pci_agp_destroy(dev);
 796
 797         drm_vblank_cleanup(dev);
 798
 799         list_for_each_entry_safe(r_list, list_temp, &dev->maplist, head)
 800                 drm_legacy_rmmap(dev, r_list->map);
 801
 802         drm_minor_unregister(dev, DRM_MINOR_LEGACY);
 803         drm_minor_unregister(dev, DRM_MINOR_RENDER);
 804         drm_minor_unregister(dev, DRM_MINOR_CONTROL);
 805 }
 806 EXPORT_SYMBOL(drm_dev_unregister);
 807
 808 /**
 809  * drm_dev_set_unique - Set the unique name of a DRM device
 810  * @dev: device of which to set the unique name
 811  * @fmt: format string for unique name
 812  *
 813  * Sets the unique name of a DRM device using the specified format string and
 814  * a variable list of arguments. Drivers can use this at driver probe time if
 815  * the unique name of the devices they drive is static.
 816  *
 817  * Return: 0 on success or a negative error code on failure.
 818  */
 819 int drm_dev_set_unique(struct drm_device *dev, const char *fmt, ...)
 820 {
 821         va_list ap;
 822
 823         kfree(dev->unique);
 824
 825         va_start(ap, fmt);
 826         dev->unique = kvasprintf(GFP_KERNEL, fmt, ap);
 827         va_end(ap);
 828
 829         return dev->unique ? 0 : -ENOMEM;
 830 }
 831 EXPORT_SYMBOL(drm_dev_set_unique);
 832
 833 /*
 834  * DRM Core
 835  * The DRM core module initializes all global DRM objects and makes them
 836  * available to drivers. Once setup, drivers can probe their respective
 837  * devices.
 838  * Currently, core management includes:
 839  *  - The "DRM-Global" key/value database
 840  *  - Global ID management for connectors
 841  *  - DRM major number allocation
 842  *  - DRM minor management
 843  *  - DRM sysfs class
 844  *  - DRM debugfs root
 845  *
 846  * Furthermore, the DRM core provides dynamic char-dev lookups. For each
 847  * interface registered on a DRM device, you can request minor numbers from DRM
 848  * core. DRM core takes care of major-number management and char-dev
 849  * registration. A stub ->open() callback forwards any open() requests to the
 850  * registered minor.
 851  */
 852
 853 static int drm_stub_open(struct inode *inode, struct file *filp)
 854 {
 855         const struct file_operations *new_fops;
 856         struct drm_minor *minor;
 857         int err;
 858
 859         DRM_DEBUG("\n");
 860
 861         mutex_lock(&drm_global_mutex);
 862         minor = drm_minor_acquire(iminor(inode));
 863         if (IS_ERR(minor)) {
 864                 err = PTR_ERR(minor);
 865                 goto out_unlock;
 866         }
 867
 868         new_fops = fops_get(minor->dev->driver->fops);
 869         if (!new_fops) {
 870                 err = -ENODEV;
 871                 goto out_release;
 872         }
 873
 874         replace_fops(filp, new_fops);
 875         if (filp->f_op->open)
 876                 err = filp->f_op->open(inode, filp);
 877         else
 878                 err = 0;
 879
 880 out_release:
 881         drm_minor_release(minor);
 882 out_unlock:
 883         mutex_unlock(&drm_global_mutex);
 884         return err;
 885 }
 886
 887 static const struct file_operations drm_stub_fops = {
 888         .owner = THIS_MODULE,
 889         .open = drm_stub_open,
 890         .llseek = noop_llseek,
 891 };
 892
 893 static int __init drm_core_init(void)
 894 {
 895         int ret = -ENOMEM;
 896
 897         drm_global_init();
 898         drm_connector_ida_init();
 899         idr_init(&drm_minors_idr);
 900
 901         if (register_chrdev(DRM_MAJOR, "drm", &drm_stub_fops))
 902                 goto err_p1;
 903
 904         ret = drm_sysfs_init();
 905         if (ret < 0) {
 906                 printk(KERN_ERR "DRM: Error creating drm class.\n");
 907                 goto err_p2;
 908         }
 909
 910         drm_debugfs_root = debugfs_create_dir("dri", NULL);
 911         if (!drm_debugfs_root) {
 912                 DRM_ERROR("Cannot create /sys/kernel/debug/dri\n");
 913                 ret = -1;
 914                 goto err_p3;
 915         }
 916
 917         DRM_INFO("Initialized %s %d.%d.%d %s\n",
 918                  CORE_NAME, CORE_MAJOR, CORE_MINOR, CORE_PATCHLEVEL, CORE_DATE);
 919         return 0;
 920 err_p3:
 921         drm_sysfs_destroy();
 922 err_p2:
 923         unregister_chrdev(DRM_MAJOR, "drm");
 924
 925         idr_destroy(&drm_minors_idr);
 926 err_p1:
 927         return ret;
 928 }
 929
 930 static void __exit drm_core_exit(void)
 931 {
 932         debugfs_remove(drm_debugfs_root);
 933         drm_sysfs_destroy();
 934
 935         unregister_chrdev(DRM_MAJOR, "drm");
 936
 937         drm_connector_ida_destroy();
 938         idr_destroy(&drm_minors_idr);
 939 }
 940
 941 module_init(drm_core_init);
 942 module_exit(drm_core_exit);