Fixed MichaelList assertion
[libcds.git] / cds / intrusive / impl / michael_list.h
index cbb402f5015aebb2b7991a5bdc5ca558ba6e100f..079996d4af20b0677756d7d25a9fb2637a62f2c5 100644 (file)
@@ -1,4 +1,32 @@
-//$$CDS-header$$
+/*
+    This file is a part of libcds - Concurrent Data Structures library
+
+    (C) Copyright Maxim Khizhinsky (libcds.dev@gmail.com) 2006-2016
+
+    Source code repo: http://github.com/khizmax/libcds/
+    Download: http://sourceforge.net/projects/libcds/files/
+    
+    Redistribution and use in source and binary forms, with or without
+    modification, are permitted provided that the following conditions are met:
+
+    * Redistributions of source code must retain the above copyright notice, this
+      list of conditions and the following disclaimer.
+
+    * Redistributions in binary form must reproduce the above copyright notice,
+      this list of conditions and the following disclaimer in the documentation
+      and/or other materials provided with the distribution.
+
+    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
+    AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
+    IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
+    DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE
+    FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
+    DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
+    SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
+    CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
+    OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
+    OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.     
+*/
 
 #ifndef CDSLIB_INTRUSIVE_IMPL_MICHAEL_LIST_H
 #define CDSLIB_INTRUSIVE_IMPL_MICHAEL_LIST_H
@@ -183,6 +211,8 @@ namespace cds { namespace intrusive {
 
         typedef typename gc::template guarded_ptr< value_type > guarded_ptr; ///< Guarded pointer
 
+        static CDS_CONSTEXPR const size_t c_nHazardPtrCount = 4; ///< Count of hazard pointer required for the algorithm
+
         //@cond
         // Rebind traits (split-list support)
         template <typename... Options>
@@ -223,7 +253,7 @@ namespace cds { namespace intrusive {
         struct clean_disposer {
             void operator()( value_type * p )
             {
-                michael_list::node_cleaner<gc, node_type, memory_model>()( node_traits::to_node_ptr( p ) );
+                michael_list::node_cleaner<gc, node_type, memory_model>()( node_traits::to_node_ptr( p ));
                 disposer()( p );
             }
         };
@@ -234,7 +264,7 @@ namespace cds { namespace intrusive {
         static void retire_node( node_type * pNode )
         {
             assert( pNode != nullptr );
-            gc::template retire<clean_disposer>( node_traits::to_value_ptr( *pNode ) );
+            gc::template retire<clean_disposer>( node_traits::to_value_ptr( *pNode ));
         }
 
         static bool link_node( node_type * pNode, position& pos )
@@ -244,7 +274,11 @@ namespace cds { namespace intrusive {
 
             marked_node_ptr cur(pos.pCur);
             pNode->m_pNext.store( cur, memory_model::memory_order_release );
-            return pos.pPrev->compare_exchange_strong( cur, marked_node_ptr(pNode), memory_model::memory_order_release, atomics::memory_order_relaxed );
+            if ( pos.pPrev->compare_exchange_strong( cur, marked_node_ptr(pNode), memory_model::memory_order_release, atomics::memory_order_relaxed ))
+                return true;
+
+            pNode->m_pNext.store( marked_node_ptr(), memory_model::memory_order_relaxed );
+            return false;
         }
 
         static bool unlink_node( position& pos )
@@ -286,12 +320,11 @@ namespace cds { namespace intrusive {
                     marked_node_ptr pNext;
                     do {
                         pNext = pCur->m_pNext.load(memory_model::memory_order_relaxed);
-                        g.assign( node_traits::to_value_ptr( pNext.ptr() ));
-                    } while ( pNext != pCur->m_pNext.load(memory_model::memory_order_acquire) );
+                        g.assign( node_traits::to_value_ptr( pNext.ptr()));
+                    } while ( pNext != pCur->m_pNext.load(memory_model::memory_order_acquire));
 
-                    if ( pNext.ptr() ) {
-                        m_pNode = m_Guard.assign( g.template get<value_type>() );
-                    }
+                    if ( pNext.ptr())
+                        m_pNode = m_Guard.assign( g.template get<value_type>());
                     else {
                         m_pNode = nullptr;
                         m_Guard.clear();
@@ -303,14 +336,14 @@ namespace cds { namespace intrusive {
             {
                 for (;;) {
                     marked_node_ptr p = pNode.load(memory_model::memory_order_relaxed);
-                    if ( p.ptr() ) {
-                        m_pNode = m_Guard.assign( node_traits::to_value_ptr( p.ptr() ) );
+                    if ( p.ptr()) {
+                        m_pNode = m_Guard.assign( node_traits::to_value_ptr( p.ptr()));
                     }
                     else {
                         m_pNode = nullptr;
                         m_Guard.clear();
                     }
-                    if ( p == pNode.load(memory_model::memory_order_acquire) )
+                    if ( p == pNode.load(memory_model::memory_order_acquire))
                         break;
                 }
             }
@@ -379,6 +412,8 @@ namespace cds { namespace intrusive {
         //@endcond
 
     public:
+    ///@name Forward iterators (only for debugging purpose)
+    //@{
         /// Forward iterator
         /**
             The forward iterator for Michael's list has some features:
@@ -388,10 +423,10 @@ namespace cds { namespace intrusive {
               may be thrown if the limit of guard count per thread is exceeded.
             - The iterator cannot be moved across thread boundary since it contains thread-private GC's guard.
             - Iterator ensures thread-safety even if you delete the item the iterator points to. However, in case of concurrent
-              deleting operations there is no guarantee that you iterate all item in the list.
+              deleting operations there is no guarantee that you iterate all item in the list. 
+              Moreover, a crash is possible when you try to iterate the next element that has been deleted by concurrent thread.
 
-            Therefore, the use of iterators in concurrent environment is not good idea. Use the iterator on the concurrent container
-            for debug purpose only.
+            @warning Use this iterator on the concurrent container for debugging purpose only.
 
             The iterator interface:
             \code
@@ -473,6 +508,7 @@ namespace cds { namespace intrusive {
         {
             return const_iterator();
         }
+    //@}
 
     public:
         /// Default constructor initializes empty list
@@ -525,11 +561,12 @@ namespace cds { namespace intrusive {
             return insert_at( m_pHead, val, f );
         }
 
-        /// Ensures that the \p val exists in the list
+        /// Updates the node
         /**
             The operation performs inserting or changing data with lock-free manner.
 
-            If the item \p val is not found in the list, then \p val is inserted.
+            If the item \p val is not found in the list, then \p val is inserted
+            iff \p bInsert is \p true.
             Otherwise, the functor \p func is called with item found.
             The functor signature is:
             \code
@@ -538,7 +575,7 @@ namespace cds { namespace intrusive {
             with arguments:
             - \p bNew - \p true if the item has been inserted, \p false otherwise
             - \p item - item of the list
-            - \p val - argument \p val passed into the \p ensure function
+            - \p val - argument \p val passed into the \p update() function
             If new item has been inserted (i.e. \p bNew is \p true) then \p item and \p val arguments
             refers to the same thing.
 
@@ -552,10 +589,19 @@ namespace cds { namespace intrusive {
             @warning See \ref cds_intrusive_item_creating "insert item troubleshooting"
         */
         template <typename Func>
+        std::pair<bool, bool> update( value_type& val, Func func, bool bInsert = true )
+        {
+            return update_at( m_pHead, val, func, bInsert );
+        }
+
+        //@cond
+        template <typename Func>
+        CDS_DEPRECATED("ensure() is deprecated, use update()")
         std::pair<bool, bool> ensure( value_type& val, Func func )
         {
-            return ensure_at( m_pHead, val, func );
+            return update( val, func, true );
         }
+        //@endcond
 
         /// Unlinks the item \p val from the list
         /**
@@ -567,6 +613,8 @@ namespace cds { namespace intrusive {
             only if \p val is an item of the list, i.e. the pointer to item found
             is equal to <tt> &val </tt>.
 
+            \p disposer specified in \p Traits is called for deleted item.
+
             The function returns \p true if success and \p false otherwise.
         */
         bool unlink( value_type& val )
@@ -579,11 +627,13 @@ namespace cds { namespace intrusive {
             The function searches an item with key equal to \p key in the list,
             unlinks it from the list, and returns \p true.
             If \p key is not found the function return \p false.
+
+            \p disposer specified in \p Traits is called for deleted item.
         */
         template <typename Q>
         bool erase( Q const& key )
         {
-            return erase_at( m_pHead, key, key_comparator() );
+            return erase_at( m_pHead, key, key_comparator());
         }
 
         /// Deletes the item from the list using \p pred predicate for searching
@@ -592,6 +642,8 @@ namespace cds { namespace intrusive {
             but \p pred is used for key comparing.
             \p Less functor has the interface like \p std::less.
             \p pred must imply the same element order as the comparator used for building the list.
+
+            \p disposer specified in \p Traits is called for deleted item.
         */
         template <typename Q, typename Less>
         bool erase_with( Q const& key, Less pred )
@@ -611,6 +663,8 @@ namespace cds { namespace intrusive {
             };
             \endcode
             If \p key is not found the function return \p false, \p func is not called.
+
+            \p disposer specified in \p Traits is called for deleted item.
         */
         template <typename Q, typename Func>
         bool erase( Q const& key, Func func )
@@ -624,6 +678,8 @@ namespace cds { namespace intrusive {
             but \p pred is used for key comparing.
             \p Less functor has the interface like \p std::less.
             \p pred must imply the same element order as the comparator used for building the list.
+
+            \p disposer specified in \p Traits is called for deleted item.
         */
         template <typename Q, typename Less, typename Func>
         bool erase_with( Q const& key, Less pred, Func f )
@@ -663,7 +719,7 @@ namespace cds { namespace intrusive {
         guarded_ptr extract( Q const& key )
         {
             guarded_ptr gp;
-            extract_at( m_pHead, gp.guard(), key, key_comparator() );
+            extract_at( m_pHead, gp.guard(), key, key_comparator());
             return gp;
         }
 
@@ -681,7 +737,7 @@ namespace cds { namespace intrusive {
         {
             CDS_UNUSED( pred );
             guarded_ptr gp;
-            extract_at( m_pHead, gp.guard(), key, cds::opt::details::make_comparator_from_less<Less>() );
+            extract_at( m_pHead, gp.guard(), key, cds::opt::details::make_comparator_from_less<Less>());
             return gp;
         }
 
@@ -741,30 +797,45 @@ namespace cds { namespace intrusive {
         }
         //@endcond
 
-        /// Finds the \p key
-        /** \anchor cds_intrusive_MichaelList_hp_find_val
+        /// Checks whether the list contains \p key
+        /**
             The function searches the item with key equal to \p key
-            and returns \p true if it is found, and \p false otherwise
+            and returns \p true if it is found, and \p false otherwise.
         */
         template <typename Q>
+        bool contains( Q const& key )
+        {
+            return find_at( m_pHead, key, key_comparator());
+        }
+        //@cond
+        template <typename Q>
+        CDS_DEPRECATED("deprecated, use contains()")
         bool find( Q const& key )
         {
-            return find_at( m_pHead, key, key_comparator() );
+            return contains( key );
         }
+        //@endcond
 
-        /// Finds the key \p val using \p pred predicate for searching
+        /// Checks whether the list contains \p key using \p pred predicate for searching
         /**
-            The function is an analog of \ref cds_intrusive_MichaelList_hp_find_val "find(Q const&)"
-            but \p pred is used for key comparing.
+            The function is an analog of <tt>contains( key )</tt> but \p pred is used for key comparing.
             \p Less functor has the interface like \p std::less.
-            \p pred must imply the same element order as the comparator used for building the list.
+            \p Less must imply the same element order as the comparator used for building the list.
         */
         template <typename Q, typename Less>
-        bool find_with( Q const& key, Less pred )
+        bool contains( Q const& key, Less pred )
         {
             CDS_UNUSED( pred );
-            return find_at( m_pHead, key, cds::opt::details::make_comparator_from_less<Less>() );
+            return find_at( m_pHead, key, cds::opt::details::make_comparator_from_less<Less>());
         }
+        //@cond
+        template <typename Q, typename Less>
+        CDS_DEPRECATED("deprecated, use contains()")
+        bool find_with( Q const& key, Less pred )
+        {
+            return contains( key, pred );
+        }
+        //@endcond
 
         /// Finds the \p key and return the item found
         /** \anchor cds_intrusive_MichaelList_hp_get
@@ -799,7 +870,7 @@ namespace cds { namespace intrusive {
         guarded_ptr get( Q const& key )
         {
             guarded_ptr gp;
-            get_at( m_pHead, gp.guard(), key, key_comparator() );
+            get_at( m_pHead, gp.guard(), key, key_comparator());
             return gp;
         }
 
@@ -817,7 +888,7 @@ namespace cds { namespace intrusive {
         {
             CDS_UNUSED( pred );
             guarded_ptr gp;
-            get_at( m_pHead, gp.guard(), key, cds::opt::details::make_comparator_from_less<Less>() );
+            get_at( m_pHead, gp.guard(), key, cds::opt::details::make_comparator_from_less<Less>());
             return gp;
         }
 
@@ -831,12 +902,12 @@ namespace cds { namespace intrusive {
             marked_node_ptr head;
             while ( true ) {
                 head = m_pHead.load(memory_model::memory_order_relaxed);
-                if ( head.ptr() )
-                    guard.assign( node_traits::to_value_ptr( *head.ptr() ));
+                if ( head.ptr())
+                    guard.assign( node_traits::to_value_ptr( *head.ptr()));
                 if ( m_pHead.load(memory_model::memory_order_acquire) == head ) {
                     if ( head.ptr() == nullptr )
                         break;
-                    value_type& val = *node_traits::to_value_ptr( *head.ptr() );
+                    value_type& val = *node_traits::to_value_ptr( *head.ptr());
                     unlink( val );
                 }
             }
@@ -877,20 +948,19 @@ namespace cds { namespace intrusive {
             // Hack: convert node_type to value_type.
             // In principle, auxiliary node can be non-reducible to value_type
             // We assume that comparator can correctly distinguish aux and regular node.
-            return insert_at( refHead, *node_traits::to_value_ptr( pNode ) );
+            return insert_at( refHead, *node_traits::to_value_ptr( pNode ));
         }
 
         bool insert_at( atomic_node_ptr& refHead, value_type& val )
         {
             node_type * pNode = node_traits::to_node_ptr( val );
-            link_checker::is_empty( pNode );
             position pos;
 
             while ( true ) {
-                if ( search( refHead, val, pos, key_comparator() ) )
+                if ( search( refHead, val, pos, key_comparator()))
                     return false;
 
-                if ( link_node( pNode, pos ) ) {
+                if ( link_node( pNode, pos )) {
                     ++m_ItemCounter;
                     return true;
                 }
@@ -904,16 +974,15 @@ namespace cds { namespace intrusive {
         bool insert_at( atomic_node_ptr& refHead, value_type& val, Func f )
         {
             node_type * pNode = node_traits::to_node_ptr( val );
-            link_checker::is_empty( pNode );
             position pos;
 
             while ( true ) {
-                if ( search( refHead, val, pos, key_comparator() ) )
+                if ( search( refHead, val, pos, key_comparator()))
                     return false;
 
                 typename gc::Guard guard;
                 guard.assign( &val );
-                if ( link_node( pNode, pos ) ) {
+                if ( link_node( pNode, pos )) {
                     f( val );
                     ++m_ItemCounter;
                     return true;
@@ -925,26 +994,29 @@ namespace cds { namespace intrusive {
         }
 
         template <typename Func>
-        std::pair<bool, bool> ensure_at( atomic_node_ptr& refHead, value_type& val, Func func )
+        std::pair<bool, bool> update_at( atomic_node_ptr& refHead, value_type& val, Func func, bool bInsert )
         {
             position pos;
 
             node_type * pNode = node_traits::to_node_ptr( val );
             while ( true ) {
-                if ( search( refHead, val, pos, key_comparator() ) ) {
-                    if ( pos.pCur->m_pNext.load(memory_model::memory_order_acquire).bits() ) {
+                if ( search( refHead, val, pos, key_comparator())) {
+                    if ( pos.pCur->m_pNext.load(memory_model::memory_order_acquire).bits()) {
                         back_off()();
-                        continue        ;   // the node found is marked as deleted
+                        continue;       // the node found is marked as deleted
                     }
-                    assert( key_comparator()( val, *node_traits::to_value_ptr( *pos.pCur ) ) == 0 );
+                    assert( key_comparator()( val, *node_traits::to_value_ptr( *pos.pCur )) == 0 );
 
                     func( false, *node_traits::to_value_ptr( *pos.pCur ) , val );
                     return std::make_pair( true, false );
                 }
                 else {
+                    if ( !bInsert )
+                        return std::make_pair( false, false );
+
                     typename gc::Guard guard;
                     guard.assign( &val );
-                    if ( link_node( pNode, pos ) ) {
+                    if ( link_node( pNode, pos )) {
                         ++m_ItemCounter;
                         func( true, val, val );
                         return std::make_pair( true, true );
@@ -960,9 +1032,9 @@ namespace cds { namespace intrusive {
             position pos;
 
             back_off bkoff;
-            while ( search( refHead, val, pos, key_comparator() ) ) {
+            while ( search( refHead, val, pos, key_comparator())) {
                 if ( node_traits::to_value_ptr( *pos.pCur ) == &val ) {
-                    if ( unlink_node( pos ) ) {
+                    if ( unlink_node( pos )) {
                         --m_ItemCounter;
                         return true;
                     }
@@ -980,8 +1052,8 @@ namespace cds { namespace intrusive {
         {
             back_off bkoff;
             while ( search( refHead, val, pos, cmp )) {
-                if ( unlink_node( pos ) ) {
-                    f( *node_traits::to_value_ptr( *pos.pCur ) );
+                if ( unlink_node( pos )) {
+                    f( *node_traits::to_value_ptr( *pos.pCur ));
                     --m_ItemCounter;
                     return true;
                 }
@@ -1011,8 +1083,8 @@ namespace cds { namespace intrusive {
             position pos;
             back_off bkoff;
             while ( search( refHead, val, pos, cmp )) {
-                if ( unlink_node( pos ) ) {
-                    dest.set( pos.guards.template get<value_type>( position::guard_current_item ) );
+                if ( unlink_node( pos )) {
+                    dest.set( pos.guards.template get<value_type>( position::guard_current_item ));
                     --m_ItemCounter;
                     return true;
                 }
@@ -1070,9 +1142,9 @@ namespace cds { namespace intrusive {
             pNext = nullptr;
 
             pCur = pos.guards.protect( position::guard_current_item, *pPrev,
-                   [](marked_node_ptr p) -> value_type * 
+                   [](marked_node_ptr p) -> value_type *
                     {
-                        return node_traits::to_value_ptr( p.ptr() );
+                        return node_traits::to_value_ptr( p.ptr());
                     });
 
             while ( true ) {
@@ -1083,12 +1155,12 @@ namespace cds { namespace intrusive {
                     return false;
                 }
 
-                pNext = pos.guards.protect( position::guard_next_item, pCur->m_pNext, 
-                        [](marked_node_ptr p ) -> value_type * 
+                pNext = pos.guards.protect( position::guard_next_item, pCur->m_pNext,
+                        [](marked_node_ptr p ) -> value_type *
                         {
-                            return node_traits::to_value_ptr( p.ptr() );
+                            return node_traits::to_value_ptr( p.ptr());
                         });
-                if ( pPrev->load(memory_model::memory_order_acquire).all() != pCur.ptr() ) {
+                if ( pPrev->load(memory_model::memory_order_acquire).all() != pCur.ptr()) {
                     bkoff();
                     goto try_again;
                 }
@@ -1097,8 +1169,8 @@ namespace cds { namespace intrusive {
                 if ( pNext.bits() == 1 ) {
                     // pCur marked i.e. logically deleted. Help the erase/unlink function to unlink pCur node
                     marked_node_ptr cur( pCur.ptr());
-                    if ( pPrev->compare_exchange_strong( cur, marked_node_ptr( pNext.ptr() ), memory_model::memory_order_acquire, atomics::memory_order_relaxed )) {
-                        retire_node( pCur.ptr() );
+                    if ( pPrev->compare_exchange_strong( cur, marked_node_ptr( pNext.ptr()), memory_model::memory_order_acquire, atomics::memory_order_relaxed )) {
+                        retire_node( pCur.ptr());
                     }
                     else {
                         bkoff();
@@ -1107,7 +1179,7 @@ namespace cds { namespace intrusive {
                 }
                 else {
                     assert( pCur.ptr() != nullptr );
-                    int nCmp = cmp( *node_traits::to_value_ptr( pCur.ptr() ), val );
+                    int nCmp = cmp( *node_traits::to_value_ptr( pCur.ptr()), val );
                     if ( nCmp >= 0 ) {
                         pos.pPrev = pPrev;
                         pos.pCur = pCur.ptr();