認識生產者和消費者模式

生產者和消費者是多線程中很常見的一個問題。產生數據的模塊兒，我們稱之為生產者，而處理數據的模塊，就稱為消費者。但是單單只有生產者和消費者顯然還是不夠的，一般來說，我們還有一個緩沖區，抽象出來的流程如下圖所示。

將這個過程以實際例子來說明：

假如我們是一個生產辣條的廠家，我們生產出來的辣條肯定是一箱一箱地放在倉庫里面，然后賣出去給消費者。【不再考慮經銷商環節】

1.我們把一箱一箱的辣條生產好。——>>>相當于生產者制造數據

2.我們把辣條放到倉庫中。——>>>相當于將數據放到緩沖區

3.我們把辣條給取出來。——>>>相當于把數據從緩沖區取出

4.我們把取出的辣條賣給消費者吃掉。——>>>相當于從緩沖區出來的數據經過了處理

應用于爬蟲

生產者：不斷產生待爬取的url。【比如需要下載圖片，此時就需要不斷獲取圖片的url】

緩沖區：將獲取到的url進行儲存。

消費者：對生產者獲取到的url從緩沖區拿出來，然后發起請求。【相當于對下載url】

對于通用爬蟲(單線程)來說，我們拿到一個圖片的url，然后就進行下載，效率太低。

對于異步爬蟲(多線程)來說，我們可以同時從緩沖區取出多個圖片的url，然后一次多張下載。

Queue隊列線程安全

當采用多線程的生產者和消費者模式時，生產者生產出來的數據【對應于爬蟲爬取到的圖片url】,將其儲存于緩沖區，【緩沖區即全局變量】，此時必然面臨一個問題，就是數據不同步【數據錯亂】等問題，后續再執行操作就存在一定問題了。

再舉個例子：

比如有一個列表為A=[0]，此時去修改里面的值，修改實際上分為兩步：第一步是選取到那個元素，第二步才是賦值修改。如果說是多線程來執行這個操作，就有可能會發生一些意想不到的錯誤。比如第一個線程要賦值為1，第二個線程要賦值為2。按照我們正常的理解，最終結果應該是2，但是對于多線程來說，它的結果也有可能是1.

考慮這一種情況，當線程1選定了A[0]，此時切換到了線程2，然后線程2選定了A[0]，并且執行了下一步賦值的操作，這樣就先將A這個列表賦值為2了，接著再次切換到了線程1，此時線程1完成賦值（因為在前面已經選定），此時最終結果變為1。所以多線程總是會面臨各種數據不安全的問題。

解決方案：

1.加鎖機制(已經講過)

2.Queue隊列線程安全。

---

什么是Queue隊列線程安全？

類似列表，但又不是列表。

在Python中提供了同步的、線程安全的隊列類，這些隊列都實現了鎖原語，能夠在多線程中直接使用。可以使用隊列來實現線程間的同步，即保證數據不會亂掉。

? ? ? ? ?

總結

以上是生活随笔為你收集整理的认识生产者和消费者模式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。