include/linux/jump_label.h

   1 #ifndef _LINUX_JUMP_LABEL_H
   2 #define _LINUX_JUMP_LABEL_H
   3
   4 #include <linux/types.h>
   5 #include <linux/compiler.h>
   6
   7 #if defined(CC_HAVE_ASM_GOTO) && defined(CONFIG_JUMP_LABEL)
   8
   9 struct jump_label_key {
  10         atomic_t enabled;
  11         struct jump_entry *entries;
  12 #ifdef CONFIG_MODULES
  13         struct jump_label_mod *next;
  14 #endif
  15 };
  16
  17 # include <asm/jump_label.h>
  18 # define HAVE_JUMP_LABEL
  19 #endif
  20
  21 enum jump_label_type {
  22         JUMP_LABEL_DISABLE = 0,
  23         JUMP_LABEL_ENABLE,
  24 };
  25
  26 struct module;
  27
  28 #ifdef HAVE_JUMP_LABEL
  29
  30 #ifdef CONFIG_MODULES
  31 #define JUMP_LABEL_INIT {ATOMIC_INIT(0), NULL, NULL}
  32 #else
  33 #define JUMP_LABEL_INIT {ATOMIC_INIT(0), NULL}
  34 #endif
  35
  36 static __always_inline bool static_branch(struct jump_label_key *key)
  37 {
  38         return arch_static_branch(key);
  39 }
  40
  41 extern struct jump_entry __start___jump_table[];
  42 extern struct jump_entry __stop___jump_table[];
  43
  44 extern void jump_label_lock(void);
  45 extern void jump_label_unlock(void);
  46 extern void arch_jump_label_transform(struct jump_entry *entry,
  47                                       enum jump_label_type type);
  48 extern int jump_label_text_reserved(void *start, void *end);
  49 extern void jump_label_inc(struct jump_label_key *key);
  50 extern void jump_label_dec(struct jump_label_key *key);
  51 extern bool jump_label_enabled(struct jump_label_key *key);
  52 extern void jump_label_apply_nops(struct module *mod);
  53
  54 #else
  55
  56 #include <linux/atomic.h>
  57
  58 #define JUMP_LABEL_INIT {ATOMIC_INIT(0)}
  59
  60 struct jump_label_key {
  61         atomic_t enabled;
  62 };
  63
  64 static __always_inline bool static_branch(struct jump_label_key *key)
  65 {
  66         if (unlikely(atomic_read(&key->enabled)))
  67                 return true;
  68         return false;
  69 }
  70
  71 static inline void jump_label_inc(struct jump_label_key *key)
  72 {
  73         atomic_inc(&key->enabled);
  74 }
  75
  76 static inline void jump_label_dec(struct jump_label_key *key)
  77 {
  78         atomic_dec(&key->enabled);
  79 }
  80
  81 static inline int jump_label_text_reserved(void *start, void *end)
  82 {
  83         return 0;
  84 }
  85
  86 static inline void jump_label_lock(void) {}
  87 static inline void jump_label_unlock(void) {}
  88
  89 static inline bool jump_label_enabled(struct jump_label_key *key)
  90 {
  91         return !!atomic_read(&key->enabled);
  92 }
  93
  94 static inline int jump_label_apply_nops(struct module *mod)
  95 {
  96         return 0;
  97 }
  98
  99 #endif
 100
 101 #endif