日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問(wèn) 生活随笔!

生活随笔

當(dāng)前位置: 首頁(yè) > 编程语言 > python >内容正文

python

python抓虫_Python 七步捉虫法

發(fā)布時(shí)間:2024/1/23 python 36 豆豆
生活随笔 收集整理的這篇文章主要介紹了 python抓虫_Python 七步捉虫法 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

了解一些技巧助你減少代碼查錯(cuò)時(shí)間。

在周五的下午三點(diǎn)鐘(為什么是這個(gè)時(shí)間?因?yàn)槭虑榭倳?huì)在周五下午三點(diǎn)鐘發(fā)生),你收到一條通知,客戶發(fā)現(xiàn)你的軟件出現(xiàn)一個(gè)錯(cuò)誤。在有了初步的懷疑后,你聯(lián)系運(yùn)維,查看你的軟件日志以了解發(fā)生了什么,因?yàn)槟阌浀檬盏竭^(guò)日志已經(jīng)搬家了的通知。

結(jié)果這些日志被轉(zhuǎn)移到了你獲取不到的地方,但它們正在導(dǎo)入到一個(gè)網(wǎng)頁(yè)應(yīng)用中——所以到時(shí)候你可以用這個(gè)漂亮的應(yīng)用來(lái)檢索日志,但是,這個(gè)應(yīng)用現(xiàn)在還沒(méi)完成。這個(gè)應(yīng)用預(yù)計(jì)會(huì)在幾天內(nèi)完成。我知道,你覺(jué)得這完全不切實(shí)際。然而并不是,日志或者日志消息似乎經(jīng)常在錯(cuò)誤的時(shí)間消失不見(jiàn)。在我們開(kāi)始查錯(cuò)前,一個(gè)忠告:經(jīng)常檢查你的日志以確保它們還在你認(rèn)為它們應(yīng)該在的地方,并記錄你認(rèn)為它們應(yīng)該記的東西。當(dāng)你不注意的時(shí)候,這些東西往往會(huì)發(fā)生令人驚訝的變化。

好的,你找到了日志或者嘗試了呼叫運(yùn)維人員,而客戶確實(shí)發(fā)現(xiàn)了一個(gè)錯(cuò)誤。甚至你可能認(rèn)為你已經(jīng)知道錯(cuò)誤在哪兒。

你立即打開(kāi)你認(rèn)為可能有問(wèn)題的文件并開(kāi)始查錯(cuò)。

1、先不要碰你的代碼

閱讀代碼,你甚至可能會(huì)想到該閱讀哪些部分。但是在開(kāi)始搞亂你的代碼前,請(qǐng)重現(xiàn)導(dǎo)致錯(cuò)誤的調(diào)用并把它變成一個(gè)測(cè)試。這將是一個(gè)集成測(cè)試,因?yàn)槟憧赡苓€有其他疑問(wèn),目前你還不能準(zhǔn)確地知道問(wèn)題在哪兒。

確保這個(gè)測(cè)試結(jié)果是失敗的。這很重要,因?yàn)橛袝r(shí)你的測(cè)試不能重現(xiàn)失敗的調(diào)用,尤其是你使用了可以混淆測(cè)試的 web 或者其他框架。很多東西可能被存儲(chǔ)在變量中,但遺憾的是,只通過(guò)觀察測(cè)試,你在測(cè)試?yán)镎{(diào)用的東西并不總是明顯可見(jiàn)的。當(dāng)我嘗試著重現(xiàn)這個(gè)失敗的調(diào)用時(shí),我并不是說(shuō)我要?jiǎng)?chuàng)建一個(gè)可以通過(guò)的測(cè)試,但是,好吧,我確實(shí)是創(chuàng)建了一個(gè)測(cè)試,但我不認(rèn)為這特別不尋常。從自己的錯(cuò)誤中吸取教訓(xùn)。

2、編寫(xiě)錯(cuò)誤的測(cè)試

現(xiàn)在,你有了一個(gè)失敗的測(cè)試,或者可能是一個(gè)帶有錯(cuò)誤的測(cè)試,那么是時(shí)候解決問(wèn)題了。但是在你開(kāi)干之前,讓我們先檢查下調(diào)用棧,因?yàn)檫@樣可以更輕松地解決問(wèn)題。

調(diào)用棧包括你已經(jīng)啟動(dòng)但尚未完成地所有任務(wù)。因此,比如你正在烤蛋糕并準(zhǔn)備往面糊里加面粉,那你的調(diào)用棧將是:做蛋糕

打面糊

加面粉

你已經(jīng)開(kāi)始做蛋糕,開(kāi)始打面糊,而你現(xiàn)在正在加面粉。往鍋底抹油不在這個(gè)列表中,因?yàn)槟阋呀?jīng)完成了,而做糖霜不在這個(gè)列表上因?yàn)槟氵€沒(méi)開(kāi)始做。

如果你對(duì)調(diào)用棧不清楚,我強(qiáng)烈建議你使用 Python Tutor,它能幫你在執(zhí)行代碼時(shí)觀察調(diào)用棧。

現(xiàn)在,如果你的 Python 程序出現(xiàn)了錯(cuò)誤, Python 解釋器會(huì)幫你打印出當(dāng)前調(diào)用棧。這意味著無(wú)論那一時(shí)刻程序在做什么,很明顯錯(cuò)誤發(fā)生在調(diào)用棧的底部。

3、始終先檢查調(diào)用棧底部

在棧底你不僅能看到發(fā)生了哪個(gè)錯(cuò)誤,而且通常可以在調(diào)用棧的最后一行發(fā)現(xiàn)問(wèn)題。如果棧底對(duì)你沒(méi)有幫助,而你的代碼還沒(méi)有經(jīng)過(guò)代碼分析,那么使用代碼分析是非常有用的。我推薦 pylint 或者 flake8。通常情況下,它會(huì)指出我一直忽略的錯(cuò)誤的地方。

如果錯(cuò)誤看起來(lái)很迷惑,你下一步行動(dòng)可能是用 Google 搜索它。如果你搜索的內(nèi)容不包含你的代碼的相關(guān)信息,如變量名、文件等,那你將獲得更好的搜索結(jié)果。如果你使用的是 Python 3(你應(yīng)該使用它),那么搜索內(nèi)容包含 Python 3 是有幫助的,否則 Python 2 的解決方案往往會(huì)占據(jù)大多數(shù)。

很久以前,開(kāi)發(fā)者需要在沒(méi)有搜索引擎的幫助下解決問(wèn)題。那是一段黑暗時(shí)光。充分利用你可以使用的所有工具。

不幸的是,有時(shí)候問(wèn)題發(fā)生在更早階段,但只有在調(diào)用棧底部執(zhí)行的地方才顯現(xiàn)出來(lái)。就像當(dāng)?shù)案鉀](méi)有膨脹時(shí),忘記加發(fā)酵粉的事才被發(fā)現(xiàn)。

那就該檢查整個(gè)調(diào)用棧。問(wèn)題更可能在你的代碼而不是 Python 標(biāo)準(zhǔn)庫(kù)或者第三方包,所以先檢查調(diào)用棧內(nèi)你的代碼。另外,在你的代碼中放置斷點(diǎn)通常會(huì)更容易檢查代碼。在調(diào)用棧的代碼中放置斷點(diǎn),然后看看周?chē)欠袢缒泐A(yù)期。

“但是,瑪麗,”我聽(tīng)到你說(shuō),“如果我有一個(gè)調(diào)用棧,那這些都是有幫助的,但我只有一個(gè)失敗的測(cè)試。我該從哪里開(kāi)始?”

pdb,一個(gè) Python 調(diào)試器。

找到你代碼里會(huì)被這個(gè)調(diào)用命中的地方。你應(yīng)該能夠找到至少一個(gè)這樣的地方。在那里打上一個(gè) pdb 的斷點(diǎn)。

一句題外話

為什么不使用 print 語(yǔ)句呢?我曾經(jīng)依賴(lài)于 print 語(yǔ)句。有時(shí)候,它們?nèi)匀缓芊奖恪5?dāng)我開(kāi)始處理復(fù)雜的代碼庫(kù),尤其是有網(wǎng)絡(luò)調(diào)用的代碼庫(kù),print 語(yǔ)句就變得太慢了。我最終在各種地方都加上了 print 語(yǔ)句,但我沒(méi)法追蹤它們的位置和原因,而且變得更復(fù)雜了。但是主要使用 pdb 還有一個(gè)更重要的原因。假設(shè)你添加一條 print 語(yǔ)句去發(fā)現(xiàn)錯(cuò)誤問(wèn)題,而且 print 語(yǔ)句必須早于錯(cuò)誤出現(xiàn)的地方。但是,看看你放 print 語(yǔ)句的函數(shù),你不知道你的代碼是怎么執(zhí)行到那個(gè)位置的。查看代碼是尋找調(diào)用路徑的好方法,但看你以前寫(xiě)的代碼是恐怖的。是的,我會(huì)用 grep 處理我的代碼庫(kù)以尋找調(diào)用函數(shù)的地方,但這會(huì)變得乏味,而且搜索一個(gè)通用函數(shù)時(shí)并不能縮小搜索范圍。pdb 就變得非常有用。

你遵循我的建議,打上 pdb 斷點(diǎn)并運(yùn)行你的測(cè)試。然而測(cè)試再次失敗,但是沒(méi)有任何一個(gè)斷點(diǎn)被命中。留著你的斷點(diǎn),并運(yùn)行測(cè)試套件中一個(gè)同這個(gè)失敗的測(cè)試非常相似的測(cè)試。如果你有個(gè)不錯(cuò)的測(cè)試套件,你應(yīng)該能夠找到一個(gè)這樣的測(cè)試。它會(huì)命中了你認(rèn)為你的失敗測(cè)試應(yīng)該命中的代碼。運(yùn)行這個(gè)測(cè)試,然后當(dāng)它運(yùn)行到你的斷點(diǎn),按下 w 并檢查調(diào)用棧。如果你不知道如何查看因?yàn)槠渌{(diào)用而變得混亂的調(diào)用棧,那么在調(diào)用棧的中間找到屬于你的代碼,并在堆棧中該代碼的上一行放置一個(gè)斷點(diǎn)。再試一次新的測(cè)試。如果仍然沒(méi)命中斷點(diǎn),那么繼續(xù),向上追蹤調(diào)用棧并找出你的調(diào)用在哪里脫軌了。如果你一直沒(méi)有命中斷點(diǎn),最后到了追蹤的頂部,那么恭喜你,你發(fā)現(xiàn)了問(wèn)題:你的應(yīng)用程序名稱(chēng)拼寫(xiě)錯(cuò)了。沒(méi)有經(jīng)驗(yàn),小白,一點(diǎn)都沒(méi)有經(jīng)驗(yàn)。

4、修改代碼

如果你仍覺(jué)得迷惑,在你稍微改變了一些的地方嘗試新的測(cè)試。你能讓新的測(cè)試跑起來(lái)么?有什么是不同的呢?有什么是相同的呢?嘗試改變一下別的東西。當(dāng)你有了你的測(cè)試,以及可能也還有其它的測(cè)試,那就可以開(kāi)始安全地修改代碼了,確定是否可以縮小問(wèn)題范圍。記得從一個(gè)新提交開(kāi)始解決問(wèn)題,以便于可以輕松地撤銷(xiāo)無(wú)效地更改。(這就是版本控制,如果你沒(méi)有使用過(guò)版本控制,這將會(huì)改變你的生活。好吧,可能它只是讓編碼更容易。查閱“版本控制可視指南”,以了解更多。)

5、休息一下

盡管如此,當(dāng)它不再感覺(jué)起來(lái)像一個(gè)有趣的挑戰(zhàn)或者游戲而開(kāi)始變得令人沮喪時(shí),你最好的舉措是脫離這個(gè)問(wèn)題。休息一下。我強(qiáng)烈建議你去散步并嘗試考慮別的事情。

6、把一切寫(xiě)下來(lái)

當(dāng)你回來(lái)了,如果你沒(méi)有突然受到啟發(fā),那就把你關(guān)于這個(gè)問(wèn)題所知的每一個(gè)點(diǎn)信息寫(xiě)下來(lái)。這應(yīng)該包括:真正造成問(wèn)題的調(diào)用

真正發(fā)生了什么,包括任何錯(cuò)誤信息或者相關(guān)的日志信息

你真正期望發(fā)生什么

到目前為止,為了找出問(wèn)題,你做了什么工作;以及解決問(wèn)題中你發(fā)現(xiàn)的任何線索。

有時(shí)這里有很多信息,但相信我,從零碎中挖掘信息是很煩人。所以盡量簡(jiǎn)潔,但是要完整。

7、尋求幫助

我經(jīng)常發(fā)現(xiàn)寫(xiě)下所有信息能夠啟迪我想到還沒(méi)嘗試過(guò)的東西。當(dāng)然,有時(shí)候我在點(diǎn)擊求助郵件(或表單)的提交按鈕后立刻意識(shí)到問(wèn)題是是什么。無(wú)論如何,當(dāng)你在寫(xiě)下所有東西仍一無(wú)所獲時(shí),那就試試向他人發(fā)郵件求助。首先是你的同事或者其他參與你的項(xiàng)目的人,然后是該項(xiàng)目的郵件列表。不要害怕向人求助。大多數(shù)人都是友善和樂(lè)于助人的,我發(fā)現(xiàn)在 Python 社區(qū)里尤其如此。

Maria McKinley 已在 PyCascades 2019 演講 代碼查錯(cuò),2 月 23-24,于西雅圖。

本文由 LCTT 原創(chuàng)編譯,Linux中國(guó) 榮譽(yù)推出

總結(jié)

以上是生活随笔為你收集整理的python抓虫_Python 七步捉虫法的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。

主站蜘蛛池模板: 美丽的姑娘在线观看 | 爱插网 | 涩涩屋污| 国产精品久久久久久久久久久久久久久久久 | 日本老妇高潮乱hd | 亚欧洲精品视频 | 韩国一级淫一片免费放 | 国内久久久 | 人妻久久一区二区 | 人人妻人人爽欧美成人一区 | 欧美激情一区在线 | 精品人妻无码中文字幕18禁 | 国产极品网站 | av有码在线 | 日产mv免费观看 | www.伊人网| 国产精品一二三区视频 | 午夜视频在线观看一区二区 | 97精品在线| 欧美午夜激情视频 | 热久久中文字幕 | 久久久久久久久久久久久国产 | 丁香激情五月 | 亚洲毛片在线播放 | 国产另类视频 | 欧美变态视频 | 同性色老头性xxxx老头 | 日韩视频在线观看一区二区三区 | 在线观看成人小视频 | 88xx成人永久免费观看 | 香蕉久久久久 | 95精品视频 | 女人张开腿让男人插 | 中文字幕在线免费观看 | 在线视频观看 | 综合色在线 | 综合99| 视频在线观看视频 | 三级视频国产 | 在线免费观看一区二区三区 | 爱爱视频网址 | 日本欧美中文字幕 | 久久这里只有精品99 | 亚洲一级色 | 美女视频一区 | 日韩精品在线观看一区 | 神马久久午夜 | 日本xxxx裸体xxxx出水 | 黄色的视频网站 | 国产成人短视频 | 林雅儿欧洲留学恋爱日记在线 | 国产美女福利在线 | 中文在线一区 | 午夜性福利视频 | 国产成人一区二区三区影院在线 | 中文字幕在线播出 | 亚洲欧美日韩视频一区 | 天天干干干干干 | 色多多在线观看 | 成人在线视频免费播放 | 夜夜狠狠擅视频 | 中文字幕天堂av | 波多野结衣视频在线 | 国产精美视频 | 91视频观看 | 一区亚洲 | 福利资源在线观看 | 夜夜草导航 | 干操网| 九九热视频在线观看 | 99热这里是精品 | 国产精品熟女一区二区不卡 | 国产在线视频福利 | 91中文字幕在线视频 | 久久免费手机视频 | 97精品一区二区三区 | 日韩一区二区在线观看 | 久草中文在线视频 | 男女福利视频 | 日韩久久一区二区三区 | 日韩av无码一区二区三区 | 中出在线观看 | 亚洲爱爱av | 天堂网2020| 最好看的2019年中文在线观看 | 亚洲精品乱码久久久久 | 亚洲va在线 | 日本黄色xxxxx | 一区二区三区不卡视频在线观看 | av网站有哪些| 国产不卡毛片 | 日本在线www | 人人插人人干 | 超碰97在线播放 | 91一区二区国产 | 精品久久精品久久 | 欧美性xxxxx极品少妇 | 久久精品福利 | 性欧美一区二区 |