cds/intrusive/split_list_rcu.h

   1 //$$CDS-header$$
   2
   3 #ifndef CDSLIB_INTRUSIVE_SPLIT_LIST_RCU_H
   4 #define CDSLIB_INTRUSIVE_SPLIT_LIST_RCU_H
   5
   6 #include <limits>
   7
   8 #include <cds/intrusive/details/split_list_base.h>
   9 #include <cds/details/binary_functor_wrapper.h>
  10
  11 namespace cds { namespace intrusive {
  12
  13     /// Split-ordered list RCU specialization
  14     /** @ingroup cds_intrusive_map
  15         \anchor cds_intrusive_SplitListSet_rcu
  16
  17         Hash table implementation based on split-ordered list algorithm discovered by Ori Shalev and Nir Shavit, see
  18         - [2003] Ori Shalev, Nir Shavit "Split-Ordered Lists - Lock-free Resizable Hash Tables"
  19         - [2008] Nir Shavit "The Art of Multiprocessor Programming"
  20
  21         The split-ordered list is a lock-free implementation of an extensible unbounded hash table. It uses original
  22         recursive split-ordering algorithm discovered by Ori Shalev and Nir Shavit that allows to split buckets
  23         without moving an item on resizing, see \ref cds_SplitList_algo_desc "short algo description".
  24
  25         <b>Implementation</b>
  26
  27         Template parameters are:
  28         - \p RCU - one of \ref cds_urcu_gc "RCU type"
  29         - \p OrderedList - ordered list implementation used as bucket for hash set, for example, MichaelList, LazyList.
  30             The intrusive ordered list implementation specifies the type \p T stored in the hash-set,
  31             the comparing functor for the type \p T and other features specific for the ordered list.
  32         - \p Traits - set traits, default isd \p split_list::traits.
  33             Instead of defining \p Traits struct you may use option-based syntax with \p split_list::make_traits metafunction.
  34
  35         @note About reqired features of hash functor see \ref cds_SplitList_hash_functor "SplitList general description".
  36
  37         \par How to use
  38         Before including <tt><cds/intrusive/split_list_rcu.h></tt> you should include appropriate RCU header file,
  39         see \ref cds_urcu_gc "RCU type" for list of existing RCU class and corresponding header files.
  40         For example, for \ref cds_urcu_general_buffered_gc "general-purpose buffered RCU" and
  41         MichaelList-based split-list you should include:
  42         \code
  43         #include <cds/urcu/general_buffered.h>
  44         #include <cds/intrusive/michael_list_rcu.h>
  45         #include <cds/intrusive/split_list_rcu.h>
  46
  47         // Declare Michael's list for type Foo and default traits:
  48         typedef cds::intrusive::MichaelList< cds::urcu::gc< cds::urcu::general_buffered<> >, Foo > rcu_michael_list;
  49
  50         // Declare split-list based on rcu_michael_list
  51         typedef cds::intrusive::SplitListSet< cds::urcu::gc< cds::urcu::general_buffered<> >, rcu_michael_list > rcu_split_list;
  52         \endcode
  53
  54     */
  55     template <
  56         class RCU,
  57         class OrderedList,
  58 #   ifdef CDS_DOXYGEN_INVOKED
  59         class Traits = split_list::traits
  60 #   else
  61         class Traits
  62 #   endif
  63     >
  64     class SplitListSet< cds::urcu::gc< RCU >, OrderedList, Traits >
  65     {
  66     public:
  67         typedef cds::urcu::gc< RCU > gc;   ///< RCU garbage collector
  68         typedef Traits           traits;   ///< Traits template parameters
  69
  70         /// Hash functor for \ref value_type and all its derivatives that you use
  71         typedef typename cds::opt::v::hash_selector< typename traits::hash >::type   hash;
  72
  73         //@cond
  74         typedef cds::intrusive::split_list::implementation_tag implementation_tag;
  75         //@endcond
  76
  77     protected:
  78         //@cond
  79         typedef split_list::details::rebind_list_traits<OrderedList, traits> wrapped_ordered_list;
  80         //@endcond
  81
  82     public:
  83 #   ifdef CDS_DOXYGEN_INVOKED
  84         typedef OrderedList         ordered_list;   ///< type of ordered list used as base for split-list
  85 #   else
  86         typedef typename wrapped_ordered_list::result    ordered_list;
  87 #   endif
  88         typedef typename ordered_list::value_type     value_type;     ///< type of value stored in the split-list
  89         typedef typename ordered_list::key_comparator key_comparator; ///< key compare functor
  90         typedef typename ordered_list::disposer       disposer;       ///< Node disposer functor
  91         typedef typename ordered_list::rcu_lock       rcu_lock;       ///< RCU scoped lock
  92         typedef typename ordered_list::exempt_ptr     exempt_ptr;     ///< pointer to extracted node
  93         /// Group of \p extract_xxx functions require external locking if underlying ordered list requires that
  94         static CDS_CONSTEXPR const bool c_bExtractLockExternal = ordered_list::c_bExtractLockExternal;
  95
  96         typedef typename traits::item_counter item_counter; ///< Item counter type
  97         typedef typename traits::back_off     back_off;     ///< back-off strategy for spinning
  98         typedef typename traits::memory_model memory_model; ///< Memory ordering. See cds::opt::memory_model option
  99         typedef typename traits::stat         stat;         ///< Internal statistics
 100
 101     protected:
 102         typedef typename ordered_list::node_type    list_node_type;  ///< Node type as declared in ordered list
 103         typedef split_list::node<list_node_type>    node_type;       ///< split-list node type
 104         typedef node_type                           dummy_node_type; ///< dummy node type
 105
 106         /// Split-list node traits
 107         /**
 108             This traits is intended for converting between underlying ordered list node type \ref list_node_type
 109             and split-list node type \ref node_type
 110         */
 111         typedef split_list::node_traits<typename ordered_list::node_traits>  node_traits;
 112
 113         //@cond
 114         /// Bucket table implementation
 115         typedef typename split_list::details::bucket_table_selector<
 116             traits::dynamic_bucket_table
 117             , gc
 118             , dummy_node_type
 119             , opt::allocator< typename traits::allocator >
 120             , opt::memory_model< memory_model >
 121         >::type bucket_table;
 122
 123         //@endcond
 124
 125     protected:
 126         //@cond
 127         /// Ordered list wrapper to access protected members of OrderedList
 128         class ordered_list_wrapper: public ordered_list
 129         {
 130             typedef ordered_list base_class;
 131             typedef typename base_class::auxiliary_head       bucket_head_type;
 132
 133         public:
 134             bool insert_at( dummy_node_type * pHead, value_type& val )
 135             {
 136                 assert( pHead != nullptr );
 137                 bucket_head_type h(pHead);
 138                 return base_class::insert_at( h, val );
 139             }
 140
 141             template <typename Func>
 142             bool insert_at( dummy_node_type * pHead, value_type& val, Func f )
 143             {
 144                 assert( pHead != nullptr );
 145                 bucket_head_type h(pHead);
 146                 return base_class::insert_at( h, val, f );
 147             }
 148
 149             template <typename Func>
 150             std::pair<bool, bool> ensure_at( dummy_node_type * pHead, value_type& val, Func func )
 151             {
 152                 assert( pHead != nullptr );
 153                 bucket_head_type h(pHead);
 154                 return base_class::ensure_at( h, val, func );
 155             }
 156
 157             bool unlink_at( dummy_node_type * pHead, value_type& val )
 158             {
 159                 assert( pHead != nullptr );
 160                 bucket_head_type h(pHead);
 161                 return base_class::unlink_at( h, val );
 162             }
 163
 164             template <typename Q, typename Compare, typename Func>
 165             bool erase_at( dummy_node_type * pHead, split_list::details::search_value_type<Q> const& val, Compare cmp, Func f )
 166             {
 167                 assert( pHead != nullptr );
 168                 bucket_head_type h(pHead);
 169                 return base_class::erase_at( h, val, cmp, f );
 170             }
 171
 172             template <typename Q, typename Compare>
 173             bool erase_at( dummy_node_type * pHead, split_list::details::search_value_type<Q> const& val, Compare cmp )
 174             {
 175                 assert( pHead != nullptr );
 176                 bucket_head_type h(pHead);
 177                 return base_class::erase_at( h, val, cmp );
 178             }
 179
 180             template <typename Q, typename Compare>
 181             value_type * extract_at( dummy_node_type * pHead, split_list::details::search_value_type<Q>& val, Compare cmp )
 182             {
 183                 assert( pHead != nullptr );
 184                 bucket_head_type h(pHead);
 185                 return base_class::extract_at( h, val, cmp );
 186             }
 187
 188             template <typename Q, typename Compare, typename Func>
 189             bool find_at( dummy_node_type * pHead, split_list::details::search_value_type<Q>& val, Compare cmp, Func f ) const
 190             {
 191                 assert( pHead != nullptr );
 192                 bucket_head_type h(pHead);
 193                 return base_class::find_at( h, val, cmp, f );
 194             }
 195
 196             template <typename Q, typename Compare>
 197             bool find_at( dummy_node_type * pHead, split_list::details::search_value_type<Q> const & val, Compare cmp ) const
 198             {
 199                 assert( pHead != nullptr );
 200                 bucket_head_type h(pHead);
 201                 return base_class::find_at( h, val, cmp );
 202             }
 203
 204             template <typename Q, typename Compare>
 205             value_type * get_at( dummy_node_type * pHead, split_list::details::search_value_type<Q>& val, Compare cmp ) const
 206             {
 207                 assert( pHead != nullptr );
 208                 bucket_head_type h(pHead);
 209                 return base_class::get_at( h, val, cmp );
 210             }
 211
 212             bool insert_aux_node( dummy_node_type * pNode )
 213             {
 214                 return base_class::insert_aux_node( pNode );
 215             }
 216             bool insert_aux_node( dummy_node_type * pHead, dummy_node_type * pNode )
 217             {
 218                 bucket_head_type h(pHead);
 219                 return base_class::insert_aux_node( h, pNode );
 220             }
 221         };
 222
 223         template <typename Less>
 224         struct less_wrapper: public cds::opt::details::make_comparator_from_less<Less>
 225         {
 226             typedef cds::opt::details::make_comparator_from_less<Less> base_wrapper;
 227
 228             template <typename Q1, typename Q2>
 229             int operator()( split_list::details::search_value_type<Q1> const& v1, Q2 const& v2 ) const
 230             {
 231                 return base_wrapper::operator()( v1.val, v2 );
 232             }
 233
 234             template <typename Q1, typename Q2>
 235             int operator()( Q1 const& v1, split_list::details::search_value_type<Q2> const& v2 ) const
 236             {
 237                 return base_wrapper::operator()( v1, v2.val );
 238             }
 239         };
 240         //@endcond
 241
 242     protected:
 243         ordered_list_wrapper    m_List;             ///< Ordered list containing split-list items
 244         bucket_table            m_Buckets;          ///< bucket table
 245         atomics::atomic<size_t> m_nBucketCountLog2; ///< log2( current bucket count )
 246         atomics::atomic<size_t> m_nMaxItemCount;    ///< number of items container can hold, before we have to resize
 247         item_counter            m_ItemCounter;      ///< Item counter
 248         hash                    m_HashFunctor;      ///< Hash functor
 249         stat                    m_Stat;             ///< Internal stattistics accumulator
 250
 251     protected:
 252         //@cond
 253         typedef cds::details::Allocator< dummy_node_type, typename traits::allocator >   dummy_node_allocator;
 254
 255         dummy_node_type * alloc_dummy_node( size_t nHash )
 256         {
 257             m_Stat.onHeadNodeAllocated();
 258             return dummy_node_allocator().New( nHash );
 259         }
 260         void free_dummy_node( dummy_node_type * p )
 261         {
 262             dummy_node_allocator().Delete( p );
 263             m_Stat.onHeadNodeFreed();
 264         }
 265
 266         /// Calculates hash value of \p key
 267         template <typename Q>
 268         size_t hash_value( Q const& key ) const
 269         {
 270             return m_HashFunctor( key );
 271         }
 272
 273         size_t bucket_no( size_t nHash ) const
 274         {
 275             return nHash & ( (1 << m_nBucketCountLog2.load(memory_model::memory_order_relaxed)) - 1 );
 276         }
 277
 278         static size_t parent_bucket( size_t nBucket )
 279         {
 280             assert( nBucket > 0 );
 281             return nBucket & ~( 1 << bitop::MSBnz( nBucket ) );
 282         }
 283
 284         dummy_node_type * init_bucket( size_t nBucket )
 285         {
 286             assert( nBucket > 0 );
 287             size_t nParent = parent_bucket( nBucket );
 288
 289             dummy_node_type * pParentBucket = m_Buckets.bucket( nParent );
 290             if ( pParentBucket == nullptr ) {
 291                 pParentBucket = init_bucket( nParent );
 292                 m_Stat.onRecursiveInitBucket();
 293             }
 294
 295             assert( pParentBucket != nullptr );
 296
 297             // Allocate a dummy node for new bucket
 298             {
 299                 dummy_node_type * pBucket = alloc_dummy_node( split_list::dummy_hash( nBucket ) );
 300                 if ( m_List.insert_aux_node( pParentBucket, pBucket ) ) {
 301                     m_Buckets.bucket( nBucket, pBucket );
 302                     m_Stat.onNewBucket();
 303                     return pBucket;
 304                 }
 305                 free_dummy_node( pBucket );
 306             }
 307
 308             // Another thread set the bucket. Wait while it done
 309
 310             // In this point, we must wait while nBucket is empty.
 311             // The compiler can decide that waiting loop can be "optimized" (stripped)
 312             // To prevent this situation, we use waiting on volatile bucket_head_ptr pointer.
 313             //
 314             m_Stat.onBucketInitContenton();
 315             back_off bkoff;
 316             while ( true ) {
 317                 dummy_node_type volatile * p = m_Buckets.bucket( nBucket );
 318                 if ( p != nullptr )
 319                     return const_cast<dummy_node_type *>( p );
 320                 bkoff();
 321                 m_Stat.onBusyWaitBucketInit();
 322             }
 323         }
 324
 325         dummy_node_type * get_bucket( size_t nHash )
 326         {
 327             size_t nBucket = bucket_no( nHash );
 328
 329             dummy_node_type * pHead = m_Buckets.bucket( nBucket );
 330             if ( pHead == nullptr )
 331                 pHead = init_bucket( nBucket );
 332
 333             assert( pHead->is_dummy() );
 334
 335             return pHead;
 336         }
 337
 338         void init()
 339         {
 340             // GC and OrderedList::gc must be the same
 341             static_assert( std::is_same<gc, typename ordered_list::gc>::value, "GC and OrderedList::gc must be the same");
 342
 343             // atomicity::empty_item_counter is not allowed as a item counter
 344             static_assert( !std::is_same<item_counter, cds::atomicity::empty_item_counter>::value,
 345                            "cds::atomicity::empty_item_counter is not allowed as a item counter");
 346
 347             // Initialize bucket 0
 348             dummy_node_type * pNode = alloc_dummy_node( 0 /*split_list::dummy_hash(0)*/ );
 349
 350             // insert_aux_node cannot return false for empty list
 351             CDS_VERIFY( m_List.insert_aux_node( pNode ));
 352
 353             m_Buckets.bucket( 0, pNode );
 354         }
 355
 356         static size_t max_item_count( size_t nBucketCount, size_t nLoadFactor )
 357         {
 358             return nBucketCount * nLoadFactor;
 359         }
 360
 361         void inc_item_count()
 362         {
 363             size_t nMaxCount = m_nMaxItemCount.load(memory_model::memory_order_relaxed);
 364             if ( ++m_ItemCounter <= nMaxCount )
 365                 return;
 366
 367             size_t sz = m_nBucketCountLog2.load(memory_model::memory_order_relaxed);
 368             const size_t nBucketCount = static_cast<size_t>(1) << sz;
 369             if ( nBucketCount < m_Buckets.capacity() ) {
 370                 // we may grow the bucket table
 371                 const size_t nLoadFactor = m_Buckets.load_factor();
 372                 if ( nMaxCount < max_item_count( nBucketCount, nLoadFactor ))
 373                     return; // someone already have updated m_nBucketCountLog2, so stop here
 374
 375                 m_nMaxItemCount.compare_exchange_strong( nMaxCount, max_item_count( nBucketCount << 1, nLoadFactor ),
 376                                                          memory_model::memory_order_relaxed, atomics::memory_order_relaxed );
 377                 m_nBucketCountLog2.compare_exchange_strong( sz, sz + 1, memory_model::memory_order_relaxed, atomics::memory_order_relaxed );
 378             }
 379             else
 380                 m_nMaxItemCount.store( std::numeric_limits<size_t>::max(), memory_model::memory_order_relaxed );
 381         }
 382
 383         template <typename Q, typename Compare, typename Func>
 384         bool find_( Q& val, Compare cmp, Func f )
 385         {
 386             size_t nHash = hash_value( val );
 387             split_list::details::search_value_type<Q>  sv( val, split_list::regular_hash( nHash ));
 388             dummy_node_type * pHead = get_bucket( nHash );
 389             assert( pHead != nullptr );
 390
 391             return m_Stat.onFind( m_List.find_at( pHead, sv, cmp,
 392                 [&f](value_type& item, split_list::details::search_value_type<Q>& val){ f(item, val.val ); }));
 393         }
 394
 395         template <typename Q, typename Compare>
 396         bool find_value( Q const& val, Compare cmp )
 397         {
 398             size_t nHash = hash_value( val );
 399             split_list::details::search_value_type<Q const>  sv( val, split_list::regular_hash( nHash ));
 400             dummy_node_type * pHead = get_bucket( nHash );
 401             assert( pHead != nullptr );
 402
 403             return m_Stat.onFind( m_List.find_at( pHead, sv, cmp ));
 404         }
 405
 406         template <typename Q, typename Compare>
 407         value_type * get_( Q const& val, Compare cmp )
 408         {
 409             size_t nHash = hash_value( val );
 410             split_list::details::search_value_type<Q const>  sv( val, split_list::regular_hash( nHash ));
 411             dummy_node_type * pHead = get_bucket( nHash );
 412             assert( pHead != nullptr );
 413
 414             value_type * p = m_List.get_at( pHead, sv, cmp );
 415             m_Stat.onFind( p != nullptr );
 416             return p;
 417         }
 418
 419         template <typename Q, typename Compare>
 420         value_type * extract_( Q const& val, Compare cmp )
 421         {
 422             size_t nHash = hash_value( val );
 423             split_list::details::search_value_type<Q const>  sv( val, split_list::regular_hash( nHash ));
 424             dummy_node_type * pHead = get_bucket( nHash );
 425             assert( pHead != nullptr );
 426
 427             value_type * pNode = m_List.extract_at( pHead, sv, cmp );
 428             if ( pNode ) {
 429                 --m_ItemCounter;
 430                 m_Stat.onExtractSuccess();
 431             }
 432             else
 433                 m_Stat.onExtractFailed();
 434             return pNode;
 435         }
 436
 437         template <typename Q, typename Less>
 438         value_type * extract_with_( Q const& val, Less pred )
 439         {
 440             CDS_UNUSED( pred );
 441             return extract_( val, typename wrapped_ordered_list::template make_compare_from_less<Less>());
 442         }
 443
 444         template <typename Q, typename Compare>
 445         bool erase_( const Q& val, Compare cmp )
 446         {
 447             size_t nHash = hash_value( val );
 448             split_list::details::search_value_type<Q const>  sv( val, split_list::regular_hash( nHash ));
 449             dummy_node_type * pHead = get_bucket( nHash );
 450             assert( pHead != nullptr );
 451
 452             if ( m_List.erase_at( pHead, sv, cmp ) ) {
 453                 --m_ItemCounter;
 454                 m_Stat.onEraseSuccess();
 455                 return true;
 456             }
 457             m_Stat.onEraseFailed();
 458             return false;
 459         }
 460
 461         template <typename Q, typename Compare, typename Func>
 462         bool erase_( Q const& val, Compare cmp, Func f )
 463         {
 464             size_t nHash = hash_value( val );
 465             split_list::details::search_value_type<Q const>  sv( val, split_list::regular_hash( nHash ));
 466             dummy_node_type * pHead = get_bucket( nHash );
 467             assert( pHead != nullptr );
 468
 469             if ( m_List.erase_at( pHead, sv, cmp, f )) {
 470                 --m_ItemCounter;
 471                 m_Stat.onEraseSuccess();
 472                 return true;
 473             }
 474             m_Stat.onEraseFailed();
 475             return false;
 476         }
 477
 478         //@endcond
 479
 480     public:
 481         /// Initialize split-ordered list of default capacity
 482         /**
 483             The default capacity is defined in bucket table constructor.
 484             See split_list::expandable_bucket_table, split_list::static_ducket_table
 485             which selects by split_list::dynamic_bucket_table option.
 486         */
 487         SplitListSet()
 488             : m_nBucketCountLog2(1)
 489             , m_nMaxItemCount( max_item_count(2, m_Buckets.load_factor()) )
 490         {
 491             init();
 492         }
 493
 494         /// Initialize split-ordered list
 495         SplitListSet(
 496             size_t nItemCount           ///< estimate average of item count
 497             , size_t nLoadFactor = 1    ///< load factor - average item count per bucket. Small integer up to 8, default is 1.
 498             )
 499             : m_Buckets( nItemCount, nLoadFactor )
 500             , m_nBucketCountLog2(1)
 501             , m_nMaxItemCount( max_item_count(2, m_Buckets.load_factor()) )
 502         {
 503             init();
 504         }
 505
 506     public:
 507         /// Inserts new node
 508         /**
 509             The function inserts \p val in the set if it does not contain
 510             an item with key equal to \p val.
 511
 512             The function makes RCU lock internally.
 513
 514             Returns \p true if \p val is placed into the set, \p false otherwise.
 515         */
 516         bool insert( value_type& val )
 517         {
 518             size_t nHash = hash_value( val );
 519             dummy_node_type * pHead = get_bucket( nHash );
 520             assert( pHead != nullptr );
 521
 522             node_traits::to_node_ptr( val )->m_nHash = split_list::regular_hash( nHash );
 523
 524             if ( m_List.insert_at( pHead, val )) {
 525                 inc_item_count();
 526                 m_Stat.onInsertSuccess();
 527                 return true;
 528             }
 529             m_Stat.onInsertFailed();
 530             return false;
 531         }
 532
 533         /// Inserts new node
 534         /**
 535             This function is intended for derived non-intrusive containers.
 536
 537             The function allows to split creating of new item into two part:
 538             - create item with key only
 539             - insert new item into the set
 540             - if inserting is success, calls  \p f functor to initialize value-field of \p val.
 541
 542             The functor signature is:
 543             \code
 544                 void func( value_type& val );
 545             \endcode
 546             where \p val is the item inserted.
 547
 548             The function makes RCU lock internally.
 549
 550             @warning For \ref cds_intrusive_MichaelList_rcu "MichaelList" as the bucket see \ref cds_intrusive_item_creating "insert item troubleshooting".
 551             \ref cds_intrusive_LazyList_rcu "LazyList" provides exclusive access to inserted item and does not require any node-level
 552             synchronization.
 553             */
 554         template <typename Func>
 555         bool insert( value_type& val, Func f )
 556         {
 557             size_t nHash = hash_value( val );
 558             dummy_node_type * pHead = get_bucket( nHash );
 559             assert( pHead != nullptr );
 560
 561             node_traits::to_node_ptr( val )->m_nHash = split_list::regular_hash( nHash );
 562
 563             if ( m_List.insert_at( pHead, val, f )) {
 564                 inc_item_count();
 565                 m_Stat.onInsertSuccess();
 566                 return true;
 567             }
 568             m_Stat.onInsertFailed();
 569             return false;
 570         }
 571
 572         /// Ensures that the \p val exists in the set
 573         /**
 574             The operation performs inserting or changing data with lock-free manner.
 575
 576             If the item \p val is not found in the set, then \p val is inserted into the set.
 577             Otherwise, the functor \p func is called with item found.
 578             The functor signature is:
 579             \code
 580                 void func( bool bNew, value_type& item, value_type& val );
 581             \endcode
 582             with arguments:
 583             - \p bNew - \p true if the item has been inserted, \p false otherwise
 584             - \p item - item of the set
 585             - \p val - argument \p val passed into the \p ensure function
 586             If new item has been inserted (i.e. \p bNew is \p true) then \p item and \p val arguments
 587             refers to the same thing.
 588
 589             The function makes RCU lock internally.
 590
 591             Returns std::pair<bool, bool> where \p first is \p true if operation is successfull,
 592             \p second is \p true if new item has been added or \p false if the item with \p key
 593             already is in the set.
 594
 595             @warning For \ref cds_intrusive_MichaelList_rcu "MichaelList" as the bucket see \ref cds_intrusive_item_creating "insert item troubleshooting".
 596             \ref cds_intrusive_LazyList_rcu "LazyList" provides exclusive access to inserted item and does not require any node-level
 597             synchronization.
 598             */
 599         template <typename Func>
 600         std::pair<bool, bool> ensure( value_type& val, Func func )
 601         {
 602             size_t nHash = hash_value( val );
 603             dummy_node_type * pHead = get_bucket( nHash );
 604             assert( pHead != nullptr );
 605
 606             node_traits::to_node_ptr( val )->m_nHash = split_list::regular_hash( nHash );
 607
 608             std::pair<bool, bool> bRet = m_List.ensure_at( pHead, val, func );
 609             if ( bRet.first && bRet.second ) {
 610                 inc_item_count();
 611                 m_Stat.onEnsureNew();
 612             }
 613             else
 614                 m_Stat.onEnsureExist();
 615             return bRet;
 616         }
 617
 618         /// Unlinks the item \p val from the set
 619         /**
 620             The function searches the item \p val in the set and unlinks it from the set
 621             if it is found and is equal to \p val.
 622
 623             Difference between \ref erase and \p unlink functions: \p erase finds <i>a key</i>
 624             and deletes the item found. \p unlink finds an item by key and deletes it
 625             only if \p val is an item of that set, i.e. the pointer to item found
 626             is equal to <tt> &val </tt>.
 627
 628             RCU \p synchronize method can be called, therefore, RCU should not be locked.
 629
 630             The function returns \p true if success and \p false otherwise.
 631         */
 632         bool unlink( value_type& val )
 633         {
 634             size_t nHash = hash_value( val );
 635             dummy_node_type * pHead = get_bucket( nHash );
 636             assert( pHead != nullptr );
 637
 638             if ( m_List.unlink_at( pHead, val ) ) {
 639                 --m_ItemCounter;
 640                 m_Stat.onEraseSuccess();
 641                 return true;
 642             }
 643             m_Stat.onEraseFailed();
 644             return false;
 645         }
 646
 647         /// Deletes the item from the set
 648         /** \anchor cds_intrusive_SplitListSet_rcu_erase
 649             The function searches an item with key equal to \p key in the set,
 650             unlinks it from the set, and returns \p true.
 651             If the item with key equal to \p key is not found the function return \p false.
 652
 653             Difference between \ref erase and \p unlink functions: \p erase finds <i>a key</i>
 654             and deletes the item found. \p unlink finds an item by key and deletes it
 655             only if \p key is an item of that set, i.e. the pointer to item found
 656             is equal to <tt> &key </tt>.
 657
 658             RCU \p synchronize method can be called, therefore, RCU should not be locked.
 659
 660             Note the hash functor should accept a parameter of type \p Q that can be not the same as \p value_type.
 661         */
 662         template <typename Q>
 663         bool erase( Q const& key )
 664         {
 665             return erase_( key, key_comparator() );
 666         }
 667
 668         /// Deletes the item from the set using \p pred for searching
 669         /**
 670             The function is an analog of \ref cds_intrusive_SplitListSet_rcu_erase "erase(Q const&)"
 671             but \p cmp is used for key compare.
 672             \p Less has the interface like \p std::less.
 673             \p pred must imply the same element order as the comparator used for building the set.
 674         */
 675         template <typename Q, typename Less>
 676         bool erase_with( Q const& key, Less pred )
 677         {
 678             CDS_UNUSED( pred );
 679             return erase_( key, typename wrapped_ordered_list::template make_compare_from_less<Less>() );
 680         }
 681
 682         /// Deletes the item from the set
 683         /** \anchor cds_intrusive_SplitListSet_rcu_erase_func
 684             The function searches an item with key equal to \p key in the set,
 685             call \p f functor with item found, unlinks it from the set, and returns \p true.
 686             The \ref disposer specified by \p OrderedList class template parameter is called
 687             by garbage collector \p GC asynchronously.
 688
 689             The \p Func interface is
 690             \code
 691             struct functor {
 692                 void operator()( value_type const& item );
 693             };
 694             \endcode
 695
 696             If the item with key equal to \p key is not found the function return \p false.
 697
 698             RCU \p synchronize method can be called, therefore, RCU should not be locked.
 699
 700             Note the hash functor should accept a parameter of type \p Q that can be not the same as \p value_type.
 701         */
 702         template <typename Q, typename Func>
 703         bool erase( Q const& key, Func f )
 704         {
 705             return erase_( key, key_comparator(), f );
 706         }
 707
 708         /// Deletes the item from the set using \p pred for searching
 709         /**
 710             The function is an analog of \ref cds_intrusive_SplitListSet_rcu_erase_func "erase(Q const&, Func)"
 711             but \p cmp is used for key compare.
 712             \p Less has the interface like \p std::less.
 713             \p pred must imply the same element order as the comparator used for building the set.
 714         */
 715         template <typename Q, typename Less, typename Func>
 716         bool erase_with( Q const& key, Less pred, Func f )
 717         {
 718             CDS_UNUSED( pred );
 719             return erase_( key, typename wrapped_ordered_list::template make_compare_from_less<Less>(), f );
 720         }
 721
 722         /// Extracts an item from the set
 723         /** \anchor cds_intrusive_SplitListSet_rcu_extract
 724             The function searches an item with key equal to \p key in the set,
 725             unlinks it, and returns \ref cds::urcu::exempt_ptr "exempt_ptr" pointer to the item found.
 726             If the item with the key equal to \p key is not found the function returns an empty \p exempt_ptr.
 727
 728             @note The function does NOT call RCU read-side lock or synchronization,
 729             and does NOT dispose the item found. It just excludes the item from the set
 730             and returns a pointer to item found.
 731             You should lock RCU before calling of the function, and you should synchronize RCU
 732             outside the RCU lock before reusing returned pointer.
 733
 734             \code
 735             typedef cds::urcu::gc< general_buffered<> > rcu;
 736             typedef cds::intrusive::MichaelList< rcu, Foo > rcu_michael_list;
 737             typedef cds::intrusive::SplitListSet< rcu, rcu_michael_list, foo_traits > rcu_splitlist_set;
 738
 739             rcu_splitlist_set theSet;
 740             // ...
 741
 742             rcu_splitlist_set::exempt_ptr p;
 743             {
 744                 // first, we should lock RCU
 745                 rcu_splitlist_set::rcu_lock lock;
 746
 747                 // Now, you can apply extract function
 748                 // Note that you must not delete the item found inside the RCU lock
 749                 p = theList.extract( 10 );
 750                 if ( p ) {
 751                     // do something with p
 752                     ...
 753                 }
 754             }
 755
 756             // We may safely release p here
 757             // release() passes the pointer to RCU reclamation cycle:
 758             // it invokes RCU retire_ptr function with the disposer you provided for rcu_michael_list.
 759             p.release();
 760             \endcode
 761         */
 762         template <typename Q>
 763         exempt_ptr extract( Q const& key )
 764         {
 765             return exempt_ptr(extract_( key, key_comparator() ));
 766         }
 767
 768         /// Extracts an item from the set using \p pred for searching
 769         /**
 770             The function is an analog of \p extract(Q const&) but \p pred is used for key compare.
 771             \p Less functor has the interface like \p std::less.
 772             \p pred must imply the same element order as the comparator used for building the set.
 773         */
 774         template <typename Q, typename Less>
 775         exempt_ptr extract_with( Q const& key, Less pred )
 776         {
 777             return exempt_ptr( extract_with_( key, pred ));
 778         }
 779
 780         /// Finds the key \p key
 781         /** \anchor cds_intrusive_SplitListSet_rcu_find_func
 782             The function searches the item with key equal to \p key and calls the functor \p f for item found.
 783             The interface of \p Func functor is:
 784             \code
 785             struct functor {
 786                 void operator()( value_type& item, Q& key );
 787             };
 788             \endcode
 789             where \p item is the item found, \p key is the <tt>find</tt> function argument.
 790
 791             The functor can change non-key fields of \p item. Note that the functor is only guarantee
 792             that \p item cannot be disposed during functor is executing.
 793             The functor does not serialize simultaneous access to the set \p item. If such access is
 794             possible you must provide your own synchronization schema on item level to exclude unsafe item modifications.
 795
 796             The \p key argument is non-const since it can be used as \p f functor destination i.e., the functor
 797             can modify both arguments.
 798
 799             Note the hash functor specified for class \p Traits template parameter
 800             should accept a parameter of type \p Q that can be not the same as \p value_type.
 801
 802             The function applies RCU lock internally.
 803
 804             The function returns \p true if \p key is found, \p false otherwise.
 805         */
 806         template <typename Q, typename Func>
 807         bool find( Q& key, Func f )
 808         {
 809             return find_( key, key_comparator(), f );
 810         }
 811         //@cond
 812         template <typename Q, typename Func>
 813         bool find( Q const& key, Func f )
 814         {
 815             return find_( key, key_comparator(), f );
 816         }
 817         //@endcond
 818
 819         /// Finds the key \p key with \p pred predicate for comparing
 820         /**
 821             The function is an analog of \ref cds_intrusive_SplitListSet_rcu_find_func "find(Q&, Func)"
 822             but \p cmp is used for key compare.
 823             \p Less has the interface like \p std::less.
 824             \p cmp must imply the same element order as the comparator used for building the set.
 825         */
 826         template <typename Q, typename Less, typename Func>
 827         bool find_with( Q& key, Less pred, Func f )
 828         {
 829             CDS_UNUSED( pred );
 830             return find_( key, typename wrapped_ordered_list::template make_compare_from_less<Less>(), f );
 831         }
 832         //@cond
 833         template <typename Q, typename Less, typename Func>
 834         bool find_with( Q const& key, Less pred, Func f )
 835         {
 836             CDS_UNUSED( pred );
 837             return find_( key, typename wrapped_ordered_list::template make_compare_from_less<Less>(), f );
 838         }
 839         //@endcond
 840
 841         /// Finds the key \p key
 842         /** \anchor cds_intrusive_SplitListSet_rcu_find_val
 843             The function searches the item with key equal to \p key
 844             and returns \p true if \p key found or \p false otherwise.
 845         */
 846         template <typename Q>
 847         bool find( Q const& key )
 848         {
 849             return find_value( key, key_comparator() );
 850         }
 851
 852         /// Finds the key \p key with \p pred predicate for comparing
 853         /**
 854             The function is an analog of \ref cds_intrusive_SplitListSet_rcu_find_val "find(Q const&)"
 855             but \p cmp is used for key compare.
 856             \p Less has the interface like \p std::less.
 857             \p pred must imply the same element order as the comparator used for building the set.
 858         */
 859         template <typename Q, typename Less>
 860         bool find_with( Q const& key, Less pred )
 861         {
 862             CDS_UNUSED( pred );
 863             return find_value( key, typename wrapped_ordered_list::template make_compare_from_less<Less>() );
 864         }
 865
 866         /// Finds the key \p key and return the item found
 867         /** \anchor cds_intrusive_SplitListSet_rcu_get
 868             The function searches the item with key equal to \p key and returns the pointer to item found.
 869             If \p key is not found it returns \p nullptr.
 870
 871             Note the compare functor should accept a parameter of type \p Q that can be not the same as \p value_type.
 872
 873             RCU should be locked before call of this function.
 874             Returned item is valid only while RCU is locked:
 875             \code
 876             cds::intrusive::SplitListSet< your_template_parameters > theSet;
 877             // ...
 878             {
 879                 // Lock RCU
 880                 hash_set::rcu_lock lock;
 881
 882                 foo * pVal = theSet.get( 5 );
 883                 if ( pVal ) {
 884                     // Deal with pVal
 885                     //...
 886                 }
 887                 // Unlock RCU by rcu_lock destructor
 888                 // pVal can be retired by disposer at any time after RCU has been unlocked
 889             }
 890             \endcode
 891         */
 892         template <typename Q>
 893         value_type * get( Q const& key )
 894         {
 895             return get_( key, key_comparator() );
 896         }
 897
 898         /// Finds the key \p key and return the item found
 899         /**
 900             The function is an analog of \ref cds_intrusive_SplitListSet_rcu_get "get(Q const&)"
 901             but \p pred is used for comparing the keys.
 902
 903             \p Less functor has the semantics like \p std::less but should take arguments of type \ref value_type and \p Q
 904             in any order.
 905             \p pred must imply the same element order as the comparator used for building the set.
 906         */
 907         template <typename Q, typename Less>
 908         value_type * get_with( Q const& key, Less pred )
 909         {
 910             CDS_UNUSED( pred );
 911             return get_( key, typename wrapped_ordered_list::template make_compare_from_less<Less>());
 912         }
 913
 914
 915         /// Returns item count in the set
 916         size_t size() const
 917         {
 918             return m_ItemCounter;
 919         }
 920
 921         /// Checks if the set is empty
 922         /**
 923             Emptiness is checked by item counting: if item count is zero then the set is empty.
 924             Thus, the correct item counting feature is an important part of split-list set implementation.
 925         */
 926         bool empty() const
 927         {
 928             return size() == 0;
 929         }
 930
 931         /// Clears the set (not atomic)
 932         void clear()
 933         {
 934             iterator it = begin();
 935             while ( it != end() ) {
 936                 iterator i(it);
 937                 ++i;
 938                 unlink( *it );
 939                 it = i;
 940             }
 941         }
 942
 943         /// Returns internal statistics
 944         stat const& statistics() const
 945         {
 946             return m_Stat;
 947         }
 948
 949     protected:
 950         //@cond
 951         template <bool IsConst>
 952         class iterator_type
 953             :public split_list::details::iterator_type<node_traits, ordered_list, IsConst>
 954         {
 955             typedef split_list::details::iterator_type<node_traits, ordered_list, IsConst> iterator_base_class;
 956             typedef typename iterator_base_class::list_iterator list_iterator;
 957         public:
 958             iterator_type()
 959                 : iterator_base_class()
 960             {}
 961
 962             iterator_type( iterator_type const& src )
 963                 : iterator_base_class( src )
 964             {}
 965
 966             // This ctor should be protected...
 967             iterator_type( list_iterator itCur, list_iterator itEnd )
 968                 : iterator_base_class( itCur, itEnd )
 969             {}
 970         };
 971         //@endcond
 972     public:
 973         /// Forward iterator
 974         /**
 975             The forward iterator for a split-list has some features:
 976             - it has no post-increment operator
 977             - it depends on iterator of underlying \p OrderedList
 978             - The iterator cannot be moved across thread boundary since it may contain GC's guard that is thread-private GC data.
 979             - Iterator ensures thread-safety even if you delete the item that iterator points to. However, in case of concurrent
 980               deleting operations it is no guarantee that you iterate all item in the split-list.
 981
 982             Therefore, the use of iterators in concurrent environment is not good idea. Use the iterator on the concurrent container
 983             for debug purpose only.
 984         */
 985         typedef iterator_type<false>    iterator;
 986         /// Const forward iterator
 987         /**
 988             For iterator's features and requirements see \ref iterator
 989         */
 990         typedef iterator_type<true>     const_iterator;
 991
 992         /// Returns a forward iterator addressing the first element in a split-list
 993         /**
 994             For empty list \code begin() == end() \endcode
 995         */
 996         iterator begin()
 997         {
 998             return iterator( m_List.begin(), m_List.end() );
 999         }
1000
1001         /// Returns an iterator that addresses the location succeeding the last element in a split-list
1002         /**
1003             Do not use the value returned by <tt>end</tt> function to access any item.
1004
1005             The returned value can be used only to control reaching the end of the split-list.
1006             For empty list \code begin() == end() \endcode
1007         */
1008         iterator end()
1009         {
1010             return iterator( m_List.end(), m_List.end() );
1011         }
1012
1013         /// Returns a forward const iterator addressing the first element in a split-list
1014         const_iterator begin() const
1015         {
1016             return cbegin();
1017         }
1018         /// Returns a forward const iterator addressing the first element in a split-list
1019         const_iterator cbegin() const
1020         {
1021             return const_iterator( m_List.cbegin(), m_List.cend() );
1022         }
1023
1024         /// Returns an const iterator that addresses the location succeeding the last element in a split-list
1025         const_iterator end() const
1026         {
1027             return cend();
1028         }
1029         /// Returns an const iterator that addresses the location succeeding the last element in a split-list
1030         const_iterator cend() const
1031         {
1032             return const_iterator( m_List.cend(), m_List.cend() );
1033         }
1034
1035     };
1036
1037 }}  // namespace cds::intrusive
1038
1039 #endif // #ifndef CDSLIB_INTRUSIVE_SPLIT_LIST_RCU_H