【QA】pytorch中的worker如何工作的
目錄
- Question
- Answer
- 參考資料
博客地址：https://www.cnblogs.com/hesse-summer/，歡迎轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)說(shuō)明出處。
Question
一直很迷，
在給Dataloader設(shè)置worker數(shù)量（num_worker）時(shí)，到底設(shè)置多少合適？這個(gè)worker到底怎么工作的？
如果將num_worker設(shè)為0（也是默認(rèn)值），就沒(méi)有worker了嗎？
worker的使用場(chǎng)景：
from torch.utils.data import DataLoadertrain_loader = DataLoader(dataset=train_data, batch_size=train_bs, shuffle=True, num_worker=4)valid_loader = DataLoader(dataset=valid_data, batch_size=valid_bs, num_worker=4)Answer
每每輪到dataloader加載數(shù)據(jù)時(shí)：
for epoch in range(start_epoch, end_epoch):for i, data in enumerate(trainloader):dataloader一次性創(chuàng)建num_worker個(gè)worker，（也可以說(shuō)dataloader一次性創(chuàng)建num_worker個(gè)工作進(jìn)程，worker也是普通的工作進(jìn)程），
并用batch_sampler將指定batch分配給指定worker，worker將它負(fù)責(zé)的batch加載進(jìn)RAM。
然后，dataloader從RAM中找本輪迭代要用的batch，如果找到了，就使用。如果沒(méi)找到，就要num_worker個(gè)worker繼續(xù)加載batch到內(nèi)存，直到dataloader在RAM中找到目標(biāo)batch。一般情況下都是能找到的，因?yàn)閎atch_sampler指定batch時(shí)當(dāng)然優(yōu)先指定本輪要用的batch。
num_worker設(shè)置得大，好處是尋batch速度快，因?yàn)橄乱惠喌腷atch很可能在上一輪/上上一輪...迭代時(shí)已經(jīng)加載好了。壞處是內(nèi)存開(kāi)銷大，也加重了CPU負(fù)擔(dān)（worker加載數(shù)據(jù)到RAM的進(jìn)程是CPU復(fù)制的嘛）。num_workers的經(jīng)驗(yàn)設(shè)置值是自己電腦/服務(wù)器的CPU核心數(shù)，如果CPU很強(qiáng)、RAM也很充足，就可以設(shè)置得更大些。
如果num_worker設(shè)為0，意味著每一輪迭代時(shí)，dataloader不再有自主加載數(shù)據(jù)到RAM這一步驟（因?yàn)闆](méi)有worker了），而是在RAM中找batch，找不到時(shí)再加載相應(yīng)的batch。缺點(diǎn)當(dāng)然是速度更慢。
參考資料
轉(zhuǎn)載于:https://www.cnblogs.com/hesse-summer/p/11343870.html
總結(jié)
以上是生活随笔為你收集整理的【QA】pytorch中的worker如何工作的的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： java正则过滤特殊字符
- 下一篇： 【转】data和attr的用法与区别