Merge branch 'master' into dev
[libcds.git] / cds / container / fcqueue.h
index ff6635be0724e8523221fb9ae1a4e2d63f110b66..5c5d76478087413fd848233c25690b942a718444 100644 (file)
@@ -1,4 +1,32 @@
-//$$CDS-header$$
+/*
+    This file is a part of libcds - Concurrent Data Structures library
+
+    (C) Copyright Maxim Khizhinsky (libcds.dev@gmail.com) 2006-2017
+
+    Source code repo: http://github.com/khizmax/libcds/
+    Download: http://sourceforge.net/projects/libcds/files/
+
+    Redistribution and use in source and binary forms, with or without
+    modification, are permitted provided that the following conditions are met:
+
+    * Redistributions of source code must retain the above copyright notice, this
+      list of conditions and the following disclaimer.
+
+    * Redistributions in binary form must reproduce the above copyright notice,
+      this list of conditions and the following disclaimer in the documentation
+      and/or other materials provided with the distribution.
+
+    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
+    AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
+    IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
+    DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE
+    FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
+    DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
+    SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
+    CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
+    OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
+    OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
+*/
 
 #ifndef CDSLIB_CONTAINER_FCQUEUE_H
 #define CDSLIB_CONTAINER_FCQUEUE_H
@@ -56,13 +84,8 @@ namespace cds { namespace container {
         /// Metafunction converting option list to traits
         /**
             \p Options are:
-            - \p opt::lock_type - mutex type, default is \p cds::sync::spin
-            - \p opt::back_off - back-off strategy, defalt is \p cds::backoff::delay_of<2>
-            - \p opt::allocator - allocator type, default is \ref CDS_DEFAULT_ALLOCATOR
+            - any \p cds::algo::flat_combining::make_traits options
             - \p opt::stat - internal statistics, possible type: \p fcqueue::stat, \p fcqueue::empty_stat (the default)
-            - \p opt::memory_model - C++ memory ordering model.
-                List of all available memory ordering see \p opt::memory_model.
-                Default is \p cds::opt::v:relaxed_ordering
             - \p opt::enable_elimination - enable/disable operation \ref cds_elimination_description "elimination"
                 By default, the elimination is disabled. For queue, the elimination is possible if the queue
                 is empty.
@@ -119,8 +142,7 @@ namespace cds { namespace container {
             op_enq = cds::algo::flat_combining::req_Operation, ///< Enqueue
             op_enq_move,    ///< Enqueue (move semantics)
             op_deq,         ///< Dequeue
-            op_clear,       ///< Clear
-            op_empty        ///< Empty
+            op_clear        ///< Clear
         };
 
         /// Flat combining publication list record
@@ -139,8 +161,8 @@ namespace cds { namespace container {
 
     protected:
         //@cond
-        fc_kernel   m_FlatCombining;
-        queue_type  m_Queue;
+        mutable fc_kernel m_FlatCombining;
+        queue_type        m_Queue;
         //@endcond
 
     public:
@@ -164,7 +186,7 @@ namespace cds { namespace container {
         */
         bool enqueue( value_type const& val )
         {
-            fc_record * pRec = m_FlatCombining.acquire_record();
+            auto pRec = m_FlatCombining.acquire_record();
             pRec->pValEnq = &val;
 
             if ( c_bEliminationEnabled )
@@ -172,7 +194,7 @@ namespace cds { namespace container {
             else
                 m_FlatCombining.combine( op_enq, pRec, *this );
 
-            assert( pRec->is_done() );
+            assert( pRec->is_done());
             m_FlatCombining.release_record( pRec );
             m_FlatCombining.internal_statistics().onEnqueue();
             return true;
@@ -190,7 +212,7 @@ namespace cds { namespace container {
         */
         bool enqueue( value_type&& val )
         {
-            fc_record * pRec = m_FlatCombining.acquire_record();
+            auto pRec = m_FlatCombining.acquire_record();
             pRec->pValEnq = &val;
 
             if ( c_bEliminationEnabled )
@@ -198,7 +220,7 @@ namespace cds { namespace container {
             else
                 m_FlatCombining.combine( op_enq_move, pRec, *this );
 
-            assert( pRec->is_done() );
+            assert( pRec->is_done());
             m_FlatCombining.release_record( pRec );
 
             m_FlatCombining.internal_statistics().onEnqMove();
@@ -217,7 +239,7 @@ namespace cds { namespace container {
         */
         bool dequeue( value_type& val )
         {
-            fc_record * pRec = m_FlatCombining.acquire_record();
+            auto pRec = m_FlatCombining.acquire_record();
             pRec->pValDeq = &val;
 
             if ( c_bEliminationEnabled )
@@ -225,7 +247,7 @@ namespace cds { namespace container {
             else
                 m_FlatCombining.combine( op_deq, pRec, *this );
 
-            assert( pRec->is_done() );
+            assert( pRec->is_done());
             m_FlatCombining.release_record( pRec );
 
             m_FlatCombining.internal_statistics().onDequeue( pRec->bEmpty );
@@ -241,14 +263,14 @@ namespace cds { namespace container {
         /// Clears the queue
         void clear()
         {
-            fc_record * pRec = m_FlatCombining.acquire_record();
+            auto pRec = m_FlatCombining.acquire_record();
 
             if ( c_bEliminationEnabled )
                 m_FlatCombining.batch_combine( op_clear, pRec, *this );
             else
                 m_FlatCombining.combine( op_clear, pRec, *this );
 
-            assert( pRec->is_done() );
+            assert( pRec->is_done());
             m_FlatCombining.release_record( pRec );
         }
 
@@ -267,18 +289,12 @@ namespace cds { namespace container {
         /**
             If the combining is in process the function waits while combining done.
         */
-        bool empty()
+        bool empty() const
         {
-            fc_record * pRec = m_FlatCombining.acquire_record();
-
-            if ( c_bEliminationEnabled )
-                m_FlatCombining.batch_combine( op_empty, pRec, *this );
-            else
-                m_FlatCombining.combine( op_empty, pRec, *this );
-
-            assert( pRec->is_done() );
-            m_FlatCombining.release_record( pRec );
-            return pRec->bEmpty;
+            bool bRet = false;
+            auto const& queue = m_Queue;
+            m_FlatCombining.invoke_exclusive( [&queue, &bRet]() { bRet = queue.empty(); } );
+            return bRet;
         }
 
         /// Internal statistics
@@ -299,38 +315,31 @@ namespace cds { namespace container {
         {
             assert( pRec );
 
-            // this function is called under FC mutex, so switch TSan off
-            CDS_TSAN_ANNOTATE_IGNORE_RW_BEGIN;
-
-            switch ( pRec->op() ) {
+            switch ( pRec->op()) {
             case op_enq:
                 assert( pRec->pValEnq );
-                m_Queue.push( *(pRec->pValEnq ) );
+                m_Queue.push( *(pRec->pValEnq ));
                 break;
             case op_enq_move:
                 assert( pRec->pValEnq );
-                m_Queue.push( std::move( *(pRec->pValEnq )) );
+                m_Queue.push( std::move( *(pRec->pValEnq )));
                 break;
             case op_deq:
                 assert( pRec->pValDeq );
                 pRec->bEmpty = m_Queue.empty();
                 if ( !pRec->bEmpty ) {
-                    *(pRec->pValDeq) = m_Queue.front();
+                    *(pRec->pValDeq) = std::move( m_Queue.front());
                     m_Queue.pop();
                 }
                 break;
             case op_clear:
-                while ( !m_Queue.empty() )
+                while ( !m_Queue.empty())
                     m_Queue.pop();
                 break;
-            case op_empty:
-                pRec->bEmpty = m_Queue.empty();
-                break;
             default:
                 assert(false);
                 break;
             }
-            CDS_TSAN_ANNOTATE_IGNORE_RW_END;
         }
 
         /// Batch-processing flat combining
@@ -338,15 +347,12 @@ namespace cds { namespace container {
         {
             typedef typename fc_kernel::iterator fc_iterator;
 
-            // this function is called under FC mutex, so switch TSan off
-            CDS_TSAN_ANNOTATE_IGNORE_RW_BEGIN;
-
             for ( fc_iterator it = itBegin, itPrev = itEnd; it != itEnd; ++it ) {
-                switch ( it->op() {
+                switch ( it->op( atomics::memory_order_acquire )) {
                 case op_enq:
                 case op_enq_move:
                 case op_deq:
-                    if ( m_Queue.empty() ) {
+                    if ( m_Queue.empty()) {
                         if ( itPrev != itEnd && collide( *itPrev, *it ))
                             itPrev = itEnd;
                         else
@@ -355,7 +361,6 @@ namespace cds { namespace container {
                     break;
                 }
             }
-            CDS_TSAN_ANNOTATE_IGNORE_RW_END;
         }
         //@endcond
 
@@ -363,7 +368,7 @@ namespace cds { namespace container {
         //@cond
         bool collide( fc_record& rec1, fc_record& rec2 )
         {
-            switch ( rec1.op() ) {
+            switch ( rec1.op()) {
                 case op_enq:
                     if ( rec2.op() == op_deq ) {
                         assert(rec1.pValEnq);
@@ -383,7 +388,7 @@ namespace cds { namespace container {
                     }
                     break;
                 case op_deq:
-                    switch ( rec2.op() ) {
+                    switch ( rec2.op()) {
                     case op_enq:
                     case op_enq_move:
                         return collide( rec2, rec1 );