問題描述

我在進行多線程編程時使用如下方代碼，當輸入一般print()等簡單函數時均正常，

但是一旦為調用我自己的函數時運行就會出現 : raise ValueError(“Pool not running”) ValueError: Pool not running

問題出現的環境背景及自己嘗試過哪些方法

我是在做爬蟲，想用多進程增加效率 多進程的Func里放的是取頁面ID的函數

我在網上查找時有說是pool.close(),pool.join()縮進的原因，但是我試過好像還是沒解決。

而且已知我的main函數有兩個for循環，當我的縮進為最外層循環時，程序不是被join()阻塞等待運行完成,而是會繼續生成進程運行程序，生成數會超過我的Pool=5的最大限制。

對多進程編程還是初學，希望能夠有遇見過的指點一下。謝謝！

相關代碼

// 請把代碼文本粘貼到下方(請勿用圖片代替代碼)

def getPageId(jobname,joburl):

print('程序啟動')

db = pymysql.connect(host='localhost', port=3306, user='root', passwd='', db='test', charset='utf8')

cursor = db.cursor()

url = 'https://www.lagou.com/jobs/positionAjax.json?'

PageId = []

proxeys = RdProxeys()

n = 0

print(jobname)

# for i in range(len(jobname)):

for j in range(1, 31): # 每頁固定頁數：30

datas['pn'] = j

# datas['kd'] = jobname[i]

datas['kd'] = jobname

# 設置防盜鏈

# headers1['Referer'] = parse.quote(joburl[i])

headers1['Referer'] = parse.quote(joburl)

print(datas)

rdtime = random.randint(3, 10)

print('sleep ' + str(rdtime) + ' sec')

time.sleep(rdtime)

print(proxeys)

req = requests.post(url, headers=headers1, data=datas, proxies=proxeys)

# print(type(req.json()['success']))

if req.json()['success'] is bool('true'):

# print(req.text)

n = n + 1

content = req.json()['content']['hrInfoMap']

# print(content)

for key in content.keys():

# print(key)

PageId.append(key)

else:

print(req.json())

if n < 5:

DelProxeys(proxeys['http'])

proxeys = RdProxeys()

n = 0

time.sleep(10)

cntsql = 'select count(proxeys_body) from proxeys'

cursor.execute(cntsql)

(cnt,) = cursor.fetchone()

while int(str(cnt)) < 20:

time.sleep(300)

cursor.execute(cntsql)

(cnt,) = cursor.fetchone()

else:

proxeys = RdProxeys()

n = 0

time.sleep(10)

print('-----------------Error, The Pn is ' + str(j) + '----------------------')

with open('E:\\vscode_work\\CareerPython\\Lagou\' + 'PageId_log' + '.txt', 'a') as f:

f.write(str(j)+','+jobname[i]+','+joburl[i]+'\n')

pass

# print(PageId)

with open('E:\\vscode_work\\CareerPython\\Lagou\' + 'PageId' + '.txt', 'a') as f:

f.write(str(PageId))

print('當前共記錄數據' + str(len(PageId)))

def main():

pool = Pool(processes=5) ? # set the processes max number 3

for i in range(0, len(data()[0])):

for j in range(0,len(data()[0][i]))

pool.apply_async(getPageId, (data()[0][i][j], data()[1][i][j]))

pool.close()

pool.join()

if name == “__main__”:

main()

你期待的結果是什么？實際看到的錯誤信息又是什么？

我將數據分組為5個一組輸入 getpageid方法，期待能夠實現5個進程并行運行程序，一組數據完了以后for循環驅動下一組數據輸入繼續運行。

結果總是發起5個進程后就出現raise ValueError(“Pool not running”) ValueError: Pool not running

總結

以上是生活随笔為你收集整理的python raise valueerror_请教：Python多进程编程时出现raise ValueError(Pool not running) 为什么?。...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。