经常出现database is locked是怎么回事?rate/burst设置为1/1还是会有这个
生活随笔
收集整理的這篇文章主要介紹了
经常出现database is locked是怎么回事?rate/burst设置为1/1还是会有这个
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
是
應(yīng)該是多線程導(dǎo)致的問題,算是個(gè) bug 吧。
你是用正則或者xpath把所有列表頁的url取出來爬的么,應(yīng)該不會(huì)漏掉吧,你可以從數(shù)據(jù)庫里去查是不是爬過某個(gè)列表url
如果你沒有指定優(yōu)先級,不保證順序。但是如果連接已經(jīng)提交了,那么是不會(huì)漏掉的。
應(yīng)該是多線程導(dǎo)致的問題,算是個(gè) bug 吧。
你是用正則或者xpath把所有列表頁的url取出來爬的么,應(yīng)該不會(huì)漏掉吧,你可以從數(shù)據(jù)庫里去查是不是爬過某個(gè)列表url
如果你沒有指定優(yōu)先級,不保證順序。但是如果連接已經(jīng)提交了,那么是不會(huì)漏掉的。
總結(jié)
以上是生活随笔為你收集整理的经常出现database is locked是怎么回事?rate/burst设置为1/1还是会有这个的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 战队每月神宠逍遥
- 下一篇: 卯字开头的成语有哪些啊?