Fixed missing acquire read in Flat-Combining algorithm (found by TSan)
[libcds.git] / cds / container / fcpriority_queue.h
index f2e18f34f9d52674d9692693b47b807ecd05ff18..97983ff2e7bdaca33ab4028609510b18db37eeae 100644 (file)
@@ -1,7 +1,35 @@
-//$$CDS-header$$
+/*
+    This file is a part of libcds - Concurrent Data Structures library
 
-#ifndef __CDS_CONTAINER_FCPRIORITY_QUEUE_H
-#define __CDS_CONTAINER_FCPRIORITY_QUEUE_H
+    (C) Copyright Maxim Khizhinsky (libcds.dev@gmail.com) 2006-2017
+
+    Source code repo: http://github.com/khizmax/libcds/
+    Download: http://sourceforge.net/projects/libcds/files/
+
+    Redistribution and use in source and binary forms, with or without
+    modification, are permitted provided that the following conditions are met:
+
+    * Redistributions of source code must retain the above copyright notice, this
+      list of conditions and the following disclaimer.
+
+    * Redistributions in binary form must reproduce the above copyright notice,
+      this list of conditions and the following disclaimer in the documentation
+      and/or other materials provided with the distribution.
+
+    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
+    AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
+    IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
+    DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE
+    FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
+    DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
+    SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
+    CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
+    OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
+    OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
+*/
+
+#ifndef CDSLIB_CONTAINER_FCPRIORITY_QUEUE_H
+#define CDSLIB_CONTAINER_FCPRIORITY_QUEUE_H
 
 #include <cds/algo/flat_combining.h>
 #include <cds/algo/elimination_opt.h>
@@ -43,32 +71,26 @@ namespace cds { namespace container {
             //@endcond
         };
 
-        /// FCPriorityQueue type traits
-        struct type_traits: public cds::algo::flat_combining::type_traits
+        /// FCPriorityQueue traits
+        struct traits: public cds::algo::flat_combining::traits
         {
             typedef empty_stat      stat;   ///< Internal statistics
         };
 
         /// Metafunction converting option list to traits
         /**
-            This is a wrapper for <tt> cds::opt::make_options< type_traits, Options...> </tt>
             \p Options are:
-            - \p opt::lock_type - mutex type, default is \p cds::lock::Spin
-            - \p opt::back_off - back-off strategy, defalt is \p cds::backoff::Default
-            - \p opt::allocator - allocator type, default is \ref CDS_DEFAULT_ALLOCATOR
-            - \p opt::stat - internal statistics, possible type: \ref stat, \ref empty_stat (the default)
-            - \p opt::memory_model - C++ memory ordering model.
-                List of all available memory ordering see opt::memory_model.
-                Default is cds::opt::v:relaxed_ordering
+            - any \p cds::algo::flat_combining::make_traits options
+            - \p opt::stat - internal statistics, possible type: \p fcpqueue::stat, \p fcpqueue::empty_stat (the default)
         */
-        template <CDS_DECL_OPTIONS7>
+        template <typename... Options>
         struct make_traits {
 #   ifdef CDS_DOXYGEN_INVOKED
             typedef implementation_defined type ;   ///< Metafunction result
 #   else
             typedef typename cds::opt::make_options<
-                typename cds::opt::find_type_traits< type_traits, CDS_OPTIONS7 >::type
-                ,CDS_OPTIONS7
+                typename cds::opt::find_type_traits< traits, Options... >::type
+                ,Options...
             >::type   type;
 #   endif
         };
@@ -86,12 +108,12 @@ namespace cds { namespace container {
         Template parameters:
         - \p T - a value type stored in the queue
         - \p PriorityQueue - sequential priority queue implementation, default is \p std::priority_queue<T>
-        - \p Traits - type traits of flat combining, default is \p fcpqueue::type_traits.
-            \p fcpqueue::make_traits metafunction can be used to construct specialized \p %type_traits
+        - \p Traits - type traits of flat combining, default is \p fcpqueue::traits.
+            \p fcpqueue::make_traits metafunction can be used to construct specialized \p %fcpqueue::traits
     */
     template <typename T,
         class PriorityQueue = std::priority_queue<T>,
-        typename Traits = fcpqueue::type_traits
+        typename Traits = fcpqueue::traits
     >
     class FCPriorityQueue
 #ifndef CDS_DOXYGEN_INVOKED
@@ -101,9 +123,9 @@ namespace cds { namespace container {
     public:
         typedef T               value_type;          ///< Value type
         typedef PriorityQueue   priority_queue_type; ///< Sequential priority queue class
-        typedef Traits          type_traits;         ///< Priority queue type traits
+        typedef Traits          traits;              ///< Priority queue type traits
 
-        typedef typename type_traits::stat  stat;    ///< Internal statistics type
+        typedef typename traits::stat  stat;    ///< Internal statistics type
 
     protected:
         //@cond
@@ -127,12 +149,12 @@ namespace cds { namespace container {
         //@endcond
 
         /// Flat combining kernel
-        typedef cds::algo::flat_combining::kernel< fc_record, type_traits > fc_kernel;
+        typedef cds::algo::flat_combining::kernel< fc_record, traits > fc_kernel;
 
     protected:
         //@cond
-        fc_kernel               m_FlatCombining;
-        priority_queue_type     m_PQueue;
+        mutable fc_kernel   m_FlatCombining;
+        priority_queue_type m_PQueue;
         //@endcond
 
     public:
@@ -156,12 +178,12 @@ namespace cds { namespace container {
             value_type const& val ///< Value to be copied to inserted element
         )
         {
-            fc_record * pRec = m_FlatCombining.acquire_record();
+            auto pRec = m_FlatCombining.acquire_record();
             pRec->pValPush = &val;
 
             m_FlatCombining.combine( op_push, pRec, *this );
 
-            assert( pRec->is_done() );
+            assert( pRec->is_done());
             m_FlatCombining.release_record( pRec );
             m_FlatCombining.internal_statistics().onPush();
             return true;
@@ -175,12 +197,12 @@ namespace cds { namespace container {
             value_type&& val ///< Value to be moved to inserted element
         )
         {
-            fc_record * pRec = m_FlatCombining.acquire_record();
+            auto pRec = m_FlatCombining.acquire_record();
             pRec->pValPush = &val;
 
             m_FlatCombining.combine( op_push_move, pRec, *this );
 
-            assert( pRec->is_done() );
+            assert( pRec->is_done());
             m_FlatCombining.release_record( pRec );
             m_FlatCombining.internal_statistics().onPushMove();
             return true;
@@ -195,12 +217,12 @@ namespace cds { namespace container {
             value_type& val ///< Target to be received the copy of top element
         )
         {
-            fc_record * pRec = m_FlatCombining.acquire_record();
+            auto pRec = m_FlatCombining.acquire_record();
             pRec->pValPop = &val;
 
             m_FlatCombining.combine( op_pop, pRec, *this );
 
-            assert( pRec->is_done() );
+            assert( pRec->is_done());
             m_FlatCombining.release_record( pRec );
             m_FlatCombining.internal_statistics().onPop( pRec->bEmpty );
             return !pRec->bEmpty;
@@ -209,11 +231,11 @@ namespace cds { namespace container {
         /// Clears the priority queue
         void clear()
         {
-            fc_record * pRec = m_FlatCombining.acquire_record();
+            auto pRec = m_FlatCombining.acquire_record();
 
            m_FlatCombining.combine( op_clear, pRec, *this );
 
-            assert( pRec->is_done() );
+            assert( pRec->is_done());
             m_FlatCombining.release_record( pRec );
         }
 
@@ -232,10 +254,12 @@ namespace cds { namespace container {
         /**
             If the combining is in process the function waits while combining done.
         */
-        bool empty() const
+        bool empty()
         {
-            m_FlatCombining.wait_while_combining();
-            return m_PQueue.empty();
+            bool bRet = false;
+            auto const& pq = m_PQueue;
+            m_FlatCombining.invoke_exclusive( [&pq, &bRet]() { bRet = pq.empty(); } );
+            return bRet;
         }
 
         /// Internal statistics
@@ -255,35 +279,40 @@ namespace cds { namespace container {
         {
             assert( pRec );
 
-            switch ( pRec->op() ) {
+            // this function is called under FC mutex, so switch TSan off
+            //CDS_TSAN_ANNOTATE_IGNORE_RW_BEGIN;
+
+            switch ( pRec->op()) {
             case op_push:
                 assert( pRec->pValPush );
-                m_PQueue.push( *(pRec->pValPush) );
+                m_PQueue.push( *(pRec->pValPush));
                 break;
             case op_push_move:
                 assert( pRec->pValPush );
-                m_PQueue.push( std::move( *(pRec->pValPush )) );
+                m_PQueue.push( std::move( *(pRec->pValPush )));
                 break;
             case op_pop:
                 assert( pRec->pValPop );
                 pRec->bEmpty = m_PQueue.empty();
                 if ( !pRec->bEmpty ) {
-                    *(pRec->pValPop) = m_PQueue.top();
+                    *(pRec->pValPop) = std::move( m_PQueue.top());
                     m_PQueue.pop();
                 }
                 break;
             case op_clear:
-                while ( !m_PQueue.empty() )
+                while ( !m_PQueue.empty())
                     m_PQueue.pop();
                 break;
             default:
                 assert(false);
                 break;
             }
+
+            //CDS_TSAN_ANNOTATE_IGNORE_RW_END;
         }
         //@endcond
     };
 
 }} // namespace cds::container
 
-#endif // #ifndef __CDS_CONTAINER_FCPRIORITY_QUEUE_H
+#endif // #ifndef CDSLIB_CONTAINER_FCPRIORITY_QUEUE_H