Added wait strategies to flat combining technique
[libcds.git] / cds / intrusive / fcqueue.h
index 87a1436dd1561d45be130407f3ac051f14296961..412bf57f37efac2d67dda8dbcf54e84d3135e50e 100644 (file)
@@ -1,7 +1,35 @@
-//$$CDS-header$$
-
-#ifndef __CDS_INTRUSIVE_FCQUEUE_H
-#define __CDS_INTRUSIVE_FCQUEUE_H
+/*
+    This file is a part of libcds - Concurrent Data Structures library
+
+    (C) Copyright Maxim Khizhinsky (libcds.dev@gmail.com) 2006-2016
+
+    Source code repo: http://github.com/khizmax/libcds/
+    Download: http://sourceforge.net/projects/libcds/files/
+    
+    Redistribution and use in source and binary forms, with or without
+    modification, are permitted provided that the following conditions are met:
+
+    * Redistributions of source code must retain the above copyright notice, this
+      list of conditions and the following disclaimer.
+
+    * Redistributions in binary form must reproduce the above copyright notice,
+      this list of conditions and the following disclaimer in the documentation
+      and/or other materials provided with the distribution.
+
+    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
+    AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
+    IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
+    DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE
+    FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
+    DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
+    SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
+    CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
+    OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
+    OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.     
+*/
+
+#ifndef CDSLIB_INTRUSIVE_FCQUEUE_H
+#define CDSLIB_INTRUSIVE_FCQUEUE_H
 
 #include <cds/algo/flat_combining.h>
 #include <cds/algo/elimination_opt.h>
 
 namespace cds { namespace intrusive {
 
-    /// FCQueue related definitions
+    /// \p FCQueue related definitions
     namespace fcqueue {
 
-        /// FCQueue internal statistics
+        /// \p FCQueue internal statistics
         template <typename Counter = cds::atomicity::event_counter >
         struct stat: public cds::algo::flat_combining::stat<Counter>
         {
@@ -42,38 +70,32 @@ namespace cds { namespace intrusive {
             //@endcond
         };
 
-        /// FCQueue type traits
-        struct type_traits: public cds::algo::flat_combining::type_traits
+        /// \p FCQueue type traits
+        struct traits: public cds::algo::flat_combining::traits
         {
             typedef cds::intrusive::opt::v::empty_disposer  disposer ; ///< Disposer to erase removed elements. Used only in \p FCQueue::clear() function
             typedef empty_stat      stat;   ///< Internal statistics
-            static CDS_CONSTEXPR_CONST bool enable_elimination = false; ///< Enable \ref cds_elimination_description "elimination"
+            static CDS_CONSTEXPR const bool enable_elimination = false; ///< Enable \ref cds_elimination_description "elimination"
         };
 
         /// Metafunction converting option list to traits
         /**
-            This is a wrapper for <tt> cds::opt::make_options< type_traits, Options...> </tt>
             \p Options are:
-            - \p opt::lock_type - mutex type, default is \p cds::lock::Spin
-            - \p opt::back_off - back-off strategy, defalt is \p cds::backoff::Default
-            - \p opt::disposer - the functor used for dispose removed items. Default is opt::intrusive::v::empty_disposer.
+            - any \p cds::algo::flat_combining::make_traits options
+            - \p opt::disposer - the functor used to dispose removed items. Default is \p opt::intrusive::v::empty_disposer.
                 This option is used only in \p FCQueue::clear() function.
-            - \p opt::allocator - allocator type, default is \ref CDS_DEFAULT_ALLOCATOR
-            - \p opt::stat - internal statistics, possible type: \ref stat, \ref empty_stat (the default)
-            - \p opt::memory_model - C++ memory ordering model.
-                List of all available memory ordering see opt::memory_model.
-                Default if cds::opt::v:relaxed_ordering
+            - \p opt::stat - internal statistics, possible type: \p fcqueue::stat, \p fcqueue::empty_stat (the default)
             - \p opt::enable_elimination - enable/disable operation \ref cds_elimination_description "elimination"
-                By default, the elimination is disabled.
+                By default, the elimination is disabled (\p false)
         */
-        template <CDS_DECL_OPTIONS8>
+        template <typename... Options>
         struct make_traits {
 #   ifdef CDS_DOXYGEN_INVOKED
             typedef implementation_defined type ;   ///< Metafunction result
 #   else
             typedef typename cds::opt::make_options<
-                typename cds::opt::find_type_traits< type_traits, CDS_OPTIONS8 >::type
-                ,CDS_OPTIONS8
+                typename cds::opt::find_type_traits< traits, Options... >::type
+                ,Options...
             >::type   type;
 #   endif
         };
@@ -90,12 +112,12 @@ namespace cds { namespace intrusive {
         - \p T - a value type stored in the queue
         - \p Container - sequential intrusive container with \p push_back and \p pop_front functions.
             Default is \p boost::intrusive::list
-        - \p Traits - type traits of flat combining, default is \p fcqueue::type_traits.
-            \p fcqueue::make_traits metafunction can be used to construct specialized \p %type_traits
+        - \p Traits - type traits of flat combining, default is \p fcqueue::traits.
+            \p fcqueue::make_traits metafunction can be used to construct \p %fcqueue::traits specialization
     */
     template <typename T
         ,class Container = boost::intrusive::list<T>
-        ,typename Traits = fcqueue::type_traits
+        ,typename Traits = fcqueue::traits
     >
     class FCQueue
 #ifndef CDS_DOXYGEN_INVOKED
@@ -105,11 +127,11 @@ namespace cds { namespace intrusive {
     public:
         typedef T           value_type;     ///< Value type
         typedef Container   container_type; ///< Sequential container type
-        typedef Traits      type_traits;    ///< Queue type traits
+        typedef Traits      traits;         ///< Queue traits
 
-        typedef typename type_traits::disposer  disposer;   ///< The disposer functor. The disposer is used only in \ref clear() function
-        typedef typename type_traits::stat  stat;   ///< Internal statistics type
-        static CDS_CONSTEXPR_CONST bool c_bEliminationEnabled = type_traits::enable_elimination; ///< \p true if elimination is enabled
+        typedef typename traits::disposer   disposer;   ///< The disposer functor. The disposer is used only in \ref clear() function
+        typedef typename traits::stat       stat;   ///< Internal statistics type
+        static CDS_CONSTEXPR const bool c_bEliminationEnabled = traits::enable_elimination; ///< \p true if elimination is enabled
 
     protected:
         //@cond
@@ -130,12 +152,12 @@ namespace cds { namespace intrusive {
         //@endcond
 
         /// Flat combining kernel
-        typedef cds::algo::flat_combining::kernel< fc_record, type_traits > fc_kernel;
+        typedef cds::algo::flat_combining::kernel< fc_record, traits > fc_kernel;
 
     protected:
         //@cond
-        fc_kernel       m_FlatCombining;
-        container_type  m_Queue;
+        mutable fc_kernel m_FlatCombining;
+        container_type    m_Queue;
         //@endcond
 
     public:
@@ -157,7 +179,7 @@ namespace cds { namespace intrusive {
         */
         bool enqueue( value_type& val )
         {
-            fc_record * pRec = m_FlatCombining.acquire_record();
+            auto pRec = m_FlatCombining.acquire_record();
             pRec->pVal = &val;
 
             if ( c_bEliminationEnabled )
@@ -183,7 +205,7 @@ namespace cds { namespace intrusive {
         */
         value_type * dequeue()
         {
-            fc_record * pRec = m_FlatCombining.acquire_record();
+            auto pRec = m_FlatCombining.acquire_record();
             pRec->pVal = nullptr;
 
             if ( c_bEliminationEnabled )
@@ -211,7 +233,7 @@ namespace cds { namespace intrusive {
         */
         void clear( bool bDispose = false )
         {
-            fc_record * pRec = m_FlatCombining.acquire_record();
+            auto pRec = m_FlatCombining.acquire_record();
 
             if ( c_bEliminationEnabled )
                 m_FlatCombining.batch_combine( bDispose ? op_clear_and_dispose : op_clear, pRec, *this );
@@ -239,8 +261,10 @@ namespace cds { namespace intrusive {
         */
         bool empty() const
         {
-            m_FlatCombining.wait_while_combining();
-            return m_Queue.empty();
+            bool bRet = false;
+            auto const& queue = m_Queue;
+            m_FlatCombining.invoke_exclusive([&queue, &bRet]() { bRet = queue.empty(); });
+            return bRet;
         }
 
         /// Internal statistics
@@ -261,6 +285,10 @@ namespace cds { namespace intrusive {
         {
             assert( pRec );
 
+            // this function is called under FC mutex, so switch TSan off
+            // All TSan warnings are false positive
+            CDS_TSAN_ANNOTATE_IGNORE_RW_BEGIN;
+
             switch ( pRec->op() ) {
             case op_enq:
                 assert( pRec->pVal );
@@ -283,11 +311,16 @@ namespace cds { namespace intrusive {
                 assert(false);
                 break;
             }
+            CDS_TSAN_ANNOTATE_IGNORE_RW_END;
         }
 
         /// Batch-processing flat combining
         void fc_process( typename fc_kernel::iterator itBegin, typename fc_kernel::iterator itEnd )
         {
+            // this function is called under FC mutex, so switch TSan off
+            // All TSan warnings are false positive
+            CDS_TSAN_ANNOTATE_IGNORE_RW_BEGIN;
+
             typedef typename fc_kernel::iterator fc_iterator;
             for ( fc_iterator it = itBegin, itPrev = itEnd; it != itEnd; ++it ) {
                 switch ( it->op() ) {
@@ -302,6 +335,7 @@ namespace cds { namespace intrusive {
                     break;
                 }
             }
+            CDS_TSAN_ANNOTATE_IGNORE_RW_END;
         }
         //@endcond
 
@@ -342,4 +376,4 @@ namespace cds { namespace intrusive {
 
 }} // namespace cds::intrusive
 
-#endif // #ifndef __CDS_INTRUSIVE_FCQUEUE_H
+#endif // #ifndef CDSLIB_INTRUSIVE_FCQUEUE_H