history.cc

   1 #include <inttypes.h>
   2 #include "history.h"
   3 #include "action.h"
   4 #include "funcnode.h"
   5 #include "funcinst.h"
   6 #include "common.h"
   7 #include "concretepredicate.h"
   8
   9 #include "model.h"
  10 #include "execution.h"
  11 #include "newfuzzer.h"
  12
  13 /** @brief Constructor */
  14 ModelHistory::ModelHistory() :
  15         func_counter(1),        /* function id starts with 1 */
  16         func_map(),
  17         func_map_rev(),
  18         func_nodes()
  19 {
  20         /* The following are snapshot data structures */
  21         write_history = new HashTable<void *, value_set_t *, uintptr_t, 4>();
  22         loc_func_nodes_map = new HashTable<void *, SnapList<FuncNode *> *, uintptr_t, 0>();
  23         loc_wr_func_nodes_map = new HashTable<void *, SnapList<FuncNode *> *, uintptr_t, 0>();
  24         loc_waiting_writes_map = new HashTable<void *, SnapVector<ConcretePredicate *> *, uintptr_t, 0>();
  25         thrd_waiting_write = new SnapVector<ConcretePredicate *>();
  26         func_inst_act_maps = new HashTable<uint32_t, SnapVector<inst_act_map_t *> *, int, 0>();
  27 }
  28
  29 void ModelHistory::enter_function(const uint32_t func_id, thread_id_t tid)
  30 {
  31         //model_print("thread %d entering func %d\n", tid, func_id);
  32         ModelExecution * execution = model->get_execution();
  33         uint id = id_to_int(tid);
  34         SnapVector<func_id_list_t> * thrd_func_list = execution->get_thrd_func_list();
  35         SnapVector< SnapList<action_list_t *> *> *
  36                 thrd_func_act_lists = execution->get_thrd_func_act_lists();
  37         SnapVector<uint32_t> * thrd_last_entered_func = execution->get_thrd_last_entered_func();
  38
  39         if ( thrd_func_list->size() <= id ) {
  40                 uint oldsize = thrd_func_list->size();
  41                 thrd_func_list->resize( id + 1 );
  42                 thrd_func_act_lists->resize( id + 1 );
  43
  44                 for (uint i = oldsize; i < id + 1; i++) {
  45                         // push 0 as a dummy function id to a void seg fault
  46                         new (&(*thrd_func_list)[i]) func_id_list_t();
  47                         (*thrd_func_list)[i].push_back(0);
  48
  49                         (*thrd_func_act_lists)[i] = new SnapList<action_list_t *>();
  50                         thrd_last_entered_func->push_back(0);
  51                 }
  52         }
  53
  54         SnapList<action_list_t *> * func_act_lists = (*thrd_func_act_lists)[id];
  55         func_act_lists->push_back( new action_list_t() );
  56
  57         uint32_t last_entered_func_id = (*thrd_last_entered_func)[id];
  58         (*thrd_last_entered_func)[id] = func_id;
  59         (*thrd_func_list)[id].push_back(func_id);
  60
  61         if ( func_nodes.size() <= func_id )
  62                 resize_func_nodes( func_id + 1 );
  63
  64         FuncNode * func_node = func_nodes[func_id];
  65         func_node->init_predicate_tree_position(tid);
  66         func_node->init_inst_act_map(tid);
  67
  68         /* Add edges between FuncNodes */
  69         if (last_entered_func_id != 0) {
  70                 FuncNode * last_func_node = func_nodes[last_entered_func_id];
  71                 last_func_node->add_out_edge(func_node);
  72         }
  73 }
  74
  75 /* @param func_id a non-zero value */
  76 void ModelHistory::exit_function(const uint32_t func_id, thread_id_t tid)
  77 {
  78         ModelExecution * execution = model->get_execution();
  79         uint32_t id = id_to_int(tid);
  80         SnapVector<func_id_list_t> * thrd_func_list = execution->get_thrd_func_list();
  81         SnapVector< SnapList<action_list_t *> *> *
  82                 thrd_func_act_lists = execution->get_thrd_func_act_lists();
  83
  84         SnapList<action_list_t *> * func_act_lists = (*thrd_func_act_lists)[id];
  85         uint32_t last_func_id = (*thrd_func_list)[id].back();
  86
  87         if (last_func_id == func_id) {
  88                 FuncNode * func_node = func_nodes[func_id];
  89                 func_node->set_predicate_tree_position(tid, NULL);
  90                 func_node->reset_inst_act_map(tid);
  91
  92                 action_list_t * curr_act_list = func_act_lists->back();
  93
  94                 /* defer the processing of curr_act_list until the function has exits a few times
  95                  * (currently twice) so that more information can be gathered to infer nullity predicates.
  96                  */
  97                 func_node->incr_exit_count();
  98                 if (func_node->get_exit_count() >= 2) {
  99                         SnapList<action_list_t *> * action_list_buffer = func_node->get_action_list_buffer();
 100                         while (action_list_buffer->size() > 0) {
 101                                 action_list_t * act_list = action_list_buffer->back();
 102                                 action_list_buffer->pop_back();
 103                                 func_node->update_tree(act_list);
 104                         }
 105
 106                         func_node->update_tree(curr_act_list);
 107                 } else
 108                         func_node->get_action_list_buffer()->push_front(curr_act_list);
 109
 110                 (*thrd_func_list)[id].pop_back();
 111                 func_act_lists->pop_back();
 112         } else {
 113                 model_print("trying to exit with a wrong function id\n");
 114                 model_print("--- last_func: %d, func_id: %d\n", last_func_id, func_id);
 115         }
 116         //model_print("thread %d exiting func %d\n", tid, func_id);
 117 }
 118
 119 void ModelHistory::resize_func_nodes(uint32_t new_size)
 120 {
 121         uint32_t old_size = func_nodes.size();
 122
 123         if ( old_size < new_size )
 124                 func_nodes.resize(new_size);
 125
 126         for (uint32_t id = old_size; id < new_size; id++) {
 127                 const char * func_name = func_map_rev[id];
 128                 FuncNode * func_node = new FuncNode(this);
 129                 func_node->set_func_id(id);
 130                 func_node->set_func_name(func_name);
 131                 func_nodes[id] = func_node;
 132         }
 133 }
 134
 135 void ModelHistory::process_action(ModelAction *act, thread_id_t tid)
 136 {
 137         ModelExecution * execution = model->get_execution();
 138         /* Return if thread i has not entered any function or has exited
 139            from all functions */
 140         SnapVector<func_id_list_t> * thrd_func_list = execution->get_thrd_func_list();
 141         SnapVector< SnapList<action_list_t *> *> *
 142                 thrd_func_act_lists = execution->get_thrd_func_act_lists();
 143
 144         uint32_t id = id_to_int(tid);
 145         if ( thrd_func_list->size() <= id )
 146                 return;
 147
 148         /* Get the function id that thread i is currently in */
 149         uint32_t func_id = (*thrd_func_list)[id].back();
 150         SnapList<action_list_t *> * func_act_lists = (*thrd_func_act_lists)[id];
 151
 152         if (act->is_write()) {
 153                 void * location = act->get_location();
 154                 uint64_t value = act->get_write_value();
 155                 update_write_history(location, value);
 156
 157                 /* Update FuncNodes that may read from this location */
 158                 SnapList<FuncNode *> * func_nodes = loc_func_nodes_map->get(location);
 159                 if (func_nodes != NULL) {
 160                         sllnode<FuncNode *> * it = func_nodes->begin();
 161                         for (; it != NULL; it = it->getNext()) {
 162                                 FuncNode * func_node = it->getVal();
 163                                 func_node->add_to_val_loc_map(value, location);
 164                         }
 165                 }
 166
 167                 check_waiting_write(act);
 168         }
 169
 170         /* The following does not care about actions without a position */
 171         if (func_id == 0 || act->get_position() == NULL)
 172                 return;
 173
 174         action_list_t * curr_act_list = func_act_lists->back();
 175         ASSERT(curr_act_list != NULL);
 176
 177         if (skip_action(act, curr_act_list))
 178                 return;
 179
 180         FuncNode * func_node = func_nodes[func_id];
 181
 182         /* Add to curr_inst_list */
 183         curr_act_list->push_back(act);
 184         func_node->add_inst(act);
 185
 186         if (act->is_read()) {
 187                 func_node->update_inst_act_map(tid, act);
 188
 189                 // Update predicate tree position
 190                 Fuzzer * fuzzer = execution->getFuzzer();
 191                 Predicate * selected_branch = fuzzer->get_selected_child_branch(tid);
 192                 func_node->set_predicate_tree_position(tid, selected_branch);
 193         }
 194 }
 195
 196 /* Return the FuncNode given its func_id  */
 197 FuncNode * ModelHistory::get_func_node(uint32_t func_id)
 198 {
 199         if (func_id == 0)
 200                 return NULL;
 201
 202         // This node has not been added to func_nodes
 203         if (func_nodes.size() <= func_id)
 204                 return NULL;
 205
 206         return func_nodes[func_id];
 207 }
 208
 209 /* Return the current FuncNode when given a thread id */
 210 FuncNode * ModelHistory::get_curr_func_node(thread_id_t tid)
 211 {
 212         int thread_id = id_to_int(tid);
 213         SnapVector<func_id_list_t> * thrd_func_list =  model->get_execution()->get_thrd_func_list();
 214         uint32_t func_id = (*thrd_func_list)[thread_id].back();
 215
 216         if (func_id != 0) {
 217                 return func_nodes[func_id];
 218         }
 219
 220         return NULL;
 221 }
 222
 223 void ModelHistory::update_write_history(void * location, uint64_t write_val)
 224 {
 225         value_set_t * write_set = write_history->get(location);
 226
 227         if (write_set == NULL) {
 228                 write_set = new value_set_t();
 229                 write_history->put(location, write_set);
 230         }
 231
 232         write_set->add(write_val);
 233 }
 234
 235 void ModelHistory::update_loc_func_nodes_map(void * location, FuncNode * node)
 236 {
 237         SnapList<FuncNode *> * func_node_list = loc_func_nodes_map->get(location);
 238         if (func_node_list == NULL) {
 239                 func_node_list = new SnapList<FuncNode *>();
 240                 loc_func_nodes_map->put(location, func_node_list);
 241         }
 242
 243         func_node_list->push_back(node);
 244 }
 245
 246 void ModelHistory::update_loc_wr_func_nodes_map(void * location, FuncNode * node)
 247 {
 248         SnapList<FuncNode *> * func_node_list = loc_wr_func_nodes_map->get(location);
 249         if (func_node_list == NULL) {
 250                 func_node_list = new SnapList<FuncNode *>();
 251                 loc_func_nodes_map->put(location, func_node_list);
 252         }
 253
 254         func_node_list->push_back(node);
 255 }
 256
 257 /* When a thread is paused by Fuzzer, keep track of the condition it is waiting for */
 258 void ModelHistory::add_waiting_write(ConcretePredicate * concrete)
 259 {
 260         void * location = concrete->get_location();
 261         SnapVector<ConcretePredicate *> * waiting_conditions = loc_waiting_writes_map->get(location);
 262         if (waiting_conditions == NULL) {
 263                 waiting_conditions = new SnapVector<ConcretePredicate *>();
 264                 loc_waiting_writes_map->put(location, waiting_conditions);
 265         }
 266
 267         /* waiting_conditions should not have duplications */
 268         waiting_conditions->push_back(concrete);
 269
 270         int thread_id = id_to_int(concrete->get_tid());
 271         if (thrd_waiting_write->size() <= (uint) thread_id) {
 272                 thrd_waiting_write->resize(thread_id + 1);
 273         }
 274
 275         (*thrd_waiting_write)[thread_id] = concrete;
 276 }
 277
 278 void ModelHistory::remove_waiting_write(thread_id_t tid)
 279 {
 280         ConcretePredicate * concrete = (*thrd_waiting_write)[ id_to_int(tid) ];
 281         void * location = concrete->get_location();
 282         SnapVector<ConcretePredicate *> * concrete_preds = loc_waiting_writes_map->get(location);
 283
 284         for (uint i = 0; i < concrete_preds->size(); i++) {
 285                 ConcretePredicate * current = (*concrete_preds)[i];
 286                 if (concrete == current) {
 287                         (*concrete_preds)[i] = concrete_preds->back();
 288                         concrete_preds->pop_back();
 289                         break;
 290                 }
 291         }
 292
 293         int thread_id = id_to_int( concrete->get_tid() );
 294         (*thrd_waiting_write)[thread_id] = NULL;
 295         delete concrete;
 296 }
 297
 298 /* Check if any other thread is waiting for this write action. If so, "notify" them */
 299 void ModelHistory::check_waiting_write(ModelAction * write_act)
 300 {
 301         void * location = write_act->get_location();
 302         uint64_t value = write_act->get_write_value();
 303         SnapVector<ConcretePredicate *> * concrete_preds = loc_waiting_writes_map->get(location);
 304         SnapVector<ConcretePredicate *> to_remove = SnapVector<ConcretePredicate *>();
 305         if (concrete_preds == NULL)
 306                 return;
 307
 308         uint index = 0;
 309         while (index < concrete_preds->size()) {
 310                 ConcretePredicate * concrete_pred = (*concrete_preds)[index];
 311                 SnapVector<struct concrete_pred_expr> * concrete_exprs = concrete_pred->getExpressions();
 312                 bool satisfy_predicate = true;
 313                 /* Check if the written value satisfies every predicate expression */
 314                 for (uint i = 0; i < concrete_exprs->size(); i++) {
 315                         struct concrete_pred_expr concrete = (*concrete_exprs)[i];
 316                         bool equality;
 317                         switch (concrete.token) {
 318                                 case EQUALITY:
 319                                         equality = (value == concrete.value);
 320                                         break;
 321                                 case NULLITY:
 322                                         equality = ((void*)value == NULL);
 323                                         break;
 324                                 default:
 325                                         model_print("unknown predicate token");
 326                                         break;
 327                         }
 328
 329                         if (equality != concrete.equality) {
 330                                 satisfy_predicate = false;
 331                                 break;
 332                         }
 333                 }
 334
 335                 if (satisfy_predicate) {
 336                         to_remove.push_back(concrete_pred);
 337                 }
 338
 339                 index++;
 340         }
 341
 342         for (uint i = 0; i < to_remove.size(); i++) {
 343                 ConcretePredicate * concrete_pred = to_remove[i];
 344
 345                 /* Wake up threads */
 346                 thread_id_t tid = concrete_pred->get_tid();
 347                 Thread * thread = model->get_thread(tid);
 348
 349                 model_print("** thread %d is woken up\n", thread->get_id());
 350                 model->get_execution()->getFuzzer()->notify_paused_thread(thread);
 351         }
 352 }
 353
 354 SnapVector<inst_act_map_t *> * ModelHistory::getThrdInstActMap(uint32_t func_id)
 355 {
 356         ASSERT(func_id != 0);
 357
 358         SnapVector<inst_act_map_t *> * maps = func_inst_act_maps->get(func_id);
 359         if (maps == NULL) {
 360                 maps = new SnapVector<inst_act_map_t *>();
 361                 func_inst_act_maps->put(func_id, maps);
 362         }
 363
 364         return maps;
 365 }
 366
 367 bool ModelHistory::skip_action(ModelAction * act, SnapList<ModelAction *> * curr_act_list)
 368 {
 369         bool second_part_of_rmw = act->is_rmwc() || act->is_rmw();
 370         modelclock_t curr_seq_number = act->get_seq_number();
 371
 372         /* Skip actions that are second part of a read modify write */
 373         if (second_part_of_rmw)
 374                 return true;
 375
 376         /* Skip actions with the same sequence number */
 377         if (curr_act_list->size() != 0) {
 378                 ModelAction * last_act = curr_act_list->back();
 379                 if (last_act->get_seq_number() == curr_seq_number)
 380                         return true;
 381         }
 382
 383         /* Skip actions that are paused by fuzzer (sequence number is 0) */
 384         if (curr_seq_number == 0)
 385                 return true;
 386
 387         return false;
 388 }
 389
 390 /* Reallocate some snapshotted memories when new executions start */
 391 void ModelHistory::set_new_exec_flag()
 392 {
 393         for (uint i = 1; i < func_nodes.size(); i++) {
 394                 FuncNode * func_node = func_nodes[i];
 395                 func_node->set_new_exec_flag();
 396         }
 397 }
 398
 399 void ModelHistory::dump_func_node_graph()
 400 {
 401         model_print("digraph func_node_graph {\n");
 402         for (uint i = 1; i < func_nodes.size(); i++) {
 403                 FuncNode * node = func_nodes[i];
 404                 ModelList<FuncNode *> * out_edges = node->get_out_edges();
 405
 406                 model_print("\"%p\" [label=\"%s\"]\n", node, node->get_func_name());
 407                 mllnode<FuncNode *> * it;
 408                 for (it = out_edges->begin(); it != NULL; it = it->getNext()) {
 409                         FuncNode * other = it->getVal();
 410                         model_print("\"%p\" -> \"%p\"\n", node, other);
 411                 }
 412         }
 413         model_print("}\n");
 414 }
 415
 416 void ModelHistory::print_func_node()
 417 {
 418         /* function id starts with 1 */
 419         for (uint32_t i = 1; i < func_nodes.size(); i++) {
 420                 FuncNode * func_node = func_nodes[i];
 421
 422                 func_inst_list_mt * entry_insts = func_node->get_entry_insts();
 423                 model_print("function %s has entry actions\n", func_node->get_func_name());
 424
 425                 mllnode<FuncInst*>* it;
 426                 for (it = entry_insts->begin();it != NULL;it=it->getNext()) {
 427                         FuncInst *inst = it->getVal();
 428                         model_print("type: %d, at: %s\n", inst->get_type(), inst->get_position());
 429                 }
 430         }
 431 }