在上個(gè)月，當(dāng)我們?cè)噲D使用Python2.6.x多處理包在幾個(gè)不同的(linux)計(jì)算機(jī)之間共享隊(duì)列時(shí)，我們遇到了一個(gè)持久的問(wèn)題。我也直接向Jesse Noller提出了這個(gè)問(wèn)題，因?yàn)槲覀冞€沒(méi)有找到任何解釋StackOverflow、Python文檔、源代碼或其他在線問(wèn)題的東西。

我們的工程師團(tuán)隊(duì)還沒(méi)有解決這個(gè)問(wèn)題，我們已經(jīng)向python用戶(hù)組中的很多人提出了這個(gè)問(wèn)題，但沒(méi)有效果。我希望有人能給我一些啟示，因?yàn)槲矣X(jué)得我們做了一些不正確的事情，但離問(wèn)題太近了，看不出它是什么。

癥狀如下：Traceback (most recent call last):

File "/var/django_root/dev/com/brightscope/data/processes/daemons/deferredupdates/servers/queue_server.py", line 65, in get_from_queue

return queue, queue.get(block=False)

File "", line 2, in get

File "/usr/local/lib/python2.6/multiprocessing/managers.py", line 725, in _callmethod

conn.send((self._id, methodname, args, kwds))

IOError: [Errno 32] Broken pipe

(我展示了代碼在共享隊(duì)列對(duì)象上調(diào)用queue.get()的位置，該對(duì)象由擴(kuò)展SyncManger的管理器托管)。

這個(gè)問(wèn)題的特殊之處在于，如果我們?cè)谝慌_(tái)機(jī)器上連接到這個(gè)共享隊(duì)列(我們稱(chēng)之為machine A)，即使是從許多并發(fā)進(jìn)程，我們似乎也不會(huì)遇到問(wèn)題。只有當(dāng)我們從其他機(jī)器(我們稱(chēng)之為machines B and C)連接到隊(duì)列(同樣，使用擴(kuò)展了多處理同步管理器并且當(dāng)前沒(méi)有添加任何附加功能的類(lèi))并在隊(duì)列內(nèi)外運(yùn)行大量項(xiàng)目時(shí)，我們才會(huì)遇到問(wèn)題。

這就好像python的多處理包處理本地連接(即使它們?nèi)匀皇褂孟嗤膍anager.connect()連接方法)的方式與machine A相同，但是當(dāng)至少?gòu)膍achines B or C中的一個(gè)同時(shí)進(jìn)行遠(yuǎn)程連接時(shí)，我們會(huì)得到斷管錯(cuò)誤。

在我的團(tuán)隊(duì)所做的所有閱讀中，我們認(rèn)為問(wèn)題與鎖定有關(guān)。我們認(rèn)為也許不應(yīng)該使用Queue.Queue，而應(yīng)該使用multiprocessing.Queue，但是我們進(jìn)行了切換，問(wèn)題仍然存在(我們還注意到SyncManager自己的共享隊(duì)列是Queue.Queue的一個(gè)實(shí)例)。

我們正在討論如何調(diào)試這個(gè)問(wèn)題，因?yàn)樗茈y重現(xiàn)，但確實(shí)相當(dāng)頻繁(如果我們插入和.get()隊(duì)列中的許多項(xiàng)，每天會(huì)發(fā)生很多次)。

我們創(chuàng)建的方法get_from_queue嘗試用隨機(jī)睡眠間隔從隊(duì)列中重試獲取該項(xiàng)約10次，但似乎如果失敗一次，它將失敗10次(這使我相信，到管理器的.register()和.connect()可能沒(méi)有提供到服務(wù)器的另一個(gè)套接字連接，但我無(wú)法確認(rèn)這可以通過(guò)閱讀文檔或查看Python內(nèi)部源代碼來(lái)實(shí)現(xiàn))。

有誰(shuí)能提供一些我們可能看到的地方，或者我們?nèi)绾胃檶?shí)際發(fā)生的事情？

如果管道損壞，我們?nèi)绾问褂胢ultiprocessing.BaseManager或multiprocessing.SyncManager啟動(dòng)新連接？

我們?cè)鯓硬拍軓囊婚_(kāi)始就防止管道破裂呢？

總結(jié)

以上是生活随笔為你收集整理的python manager与basemanager_使用Python多处理管理器（BaseManager/SyncManager）与远程计算机共享队列时出现管道中断...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。