推荐给开发人员的实用命令行工具
作為一名Web開發(fā)者，當(dāng)程序出現(xiàn)問題時日子總不是那么好過。問題可能無處不在，可能是你發(fā)送的請求出了錯，可能是回復(fù)出了錯，可能是你使用的某個第三方庫出了問題，又或者是一個外部API調(diào)用失敗了。優(yōu)秀的工具對于定位問題出在何處有著無可估量的價值，而且能在一開始就幫助我們阻止問題的出現(xiàn)，總的來說能使我們的工作更有效率。命令行工具尤其有用，因為它們非常易于做自動化和腳本處理，能夠以各種不同的方式進(jìn)行組合和重用。本文介紹了6個非常強大且靈活的工具，熟練使用這些工具能使你的生活變得更輕松一些。
Curl
Curl是一個網(wǎng)絡(luò)傳輸工具，同wget非常相似。主要的區(qū)別在于wget默認(rèn)是保存到文件，而curl將輸出定向到命令行上。這使得curl能非常方便的查看站點的內(nèi)容。比如，我們可以從ifconfig.me站點得到我們本機(jī)的IP地址：
Curl的-i（查看header）和-I（只顯示header）選項使得調(diào)試HTTP響應(yīng)以及查看服務(wù)器究竟發(fā)送給你了什么變得非常有用：
-L選項也很有用，能讓curl自動跟蹤重定向。Curl支持HTTP基本認(rèn)證，cookies，手動設(shè)定headers以及更多有用的功能。
Ngrep
如果要分析網(wǎng)絡(luò)數(shù)據(jù)包，我們有Wireshark，它有著上千種設(shè)定、過濾器以及配置選項。它還有一個命令行版本Tshark。如果只是針對簡單的任務(wù)，我覺得Wireshark就太重量級了，所以除非我需要更強大的功能，一般情況下就用ngrep來處理了。Ngrep可以讓你像類似grep處理文件的方式來處理網(wǎng)絡(luò)封包。
針對Web流量，你幾乎總是想要加上-W byline選項，這會保留換行符，而-q選項可以抑制某些非匹配數(shù)據(jù)包而產(chǎn)生的輸出。下面是一個抓取所有包含有GET或POST請求數(shù)據(jù)包的例子：
你也可以傳入附加的報文過濾選項，比如限制匹配的報文只針對某個特定的主機(jī)，IP或端口。這里我們把所有流經(jīng)Google的流量做一個過濾，只針對80端口且報文中包含“search”。
Netcat
Netcat或者叫nc，這是一個自稱是網(wǎng)絡(luò)中的瑞士軍刀般的工具。它很簡單但也非常強大和靈活，允許你創(chuàng)建任意的網(wǎng)絡(luò)連接。這里我們來看看如何把它作為一個端口掃描器：
除了能夠創(chuàng)建任意的連接，Netcat還能夠監(jiān)聽傳入的連接。這里我們利用nc的這個功能再配合tar來快速有效的在服務(wù)器之間拷貝文件。在服務(wù)器端，運行：
在客戶端運行：
我們可以使用Netcat把任何應(yīng)用通過網(wǎng)絡(luò)暴露出來，這里我們通過8080端口將shell暴露出來：
現(xiàn)在我們可以通過任意一臺客戶機(jī)來訪問服務(wù)器了：Linode
盡管后面這兩個例子有些投機(jī)取巧的成分（現(xiàn)實中你應(yīng)該使用類似rsync這樣的工具來拷貝文件，用SSH來遠(yuǎn)程登錄服務(wù)器），它們還是展示出了Netcat的強大和靈活，通過結(jié)合netcat和其它的應(yīng)用你可以實現(xiàn)很多不同的事情。
Sshuttle
Sshuttle允許你通過任意一臺可SSH訪問的服務(wù)器來為你的流量建立安全的隧道。搭建和使用都非常簡單，不需要你在服務(wù)器上安裝任何軟件或者修改任何本地代理設(shè)定。當(dāng)你在非安全的公共WiFi或其他不受信任的網(wǎng)絡(luò)中時，通過SSH讓流量走安全隧道，這樣就可避免類似Firesheep或dsniff這樣的工具的侵?jǐn)_。所有的網(wǎng)絡(luò)通訊，包括DNS請求都會發(fā)送到你的SSH服務(wù)器：
如果你提供了—daemon參數(shù)，sshuttle會以守護(hù)進(jìn)程的形式在后臺運行。結(jié)合一些其他的選項，你可以使用別名形式來簡單快速的啟動和停止安全隧道：
你也可以使用sshuttle來解決一些基于IP的地理定位篩選的問題，如今有很多服務(wù)都在使用這種應(yīng)用比如BBC的iPlayer就需要你在英國，還有Turntable，需要你在美國。要繞過這種限制，你需要訪問到位于該國的某個服務(wù)器。Amazon在許多國家都有免費的E2C微實例，或者你也可以找一個便宜的vps，幾乎世界上任何國家都有。
在這個例子中，我們不需要讓所有的流量都走隧道，我們只需要針對目標(biāo)服務(wù)的流量就行了。
不幸的是sshuttle只接受IP地址作為參數(shù)，不支持主機(jī)名，所以我們還得先用dig來解析出主機(jī)名。
Siege
Siege是一個HTTP基準(zhǔn)測試工具。除了負(fù)載測試功能外，它還有一個很方便的-g選項，這非常類似于curl的-iL，只是這里Siege也會輸出請求header。這里是針對Google的一個例子（為了簡潔我拿掉了一些header）
Siege真正在行的是服務(wù)器的負(fù)載測試。就像ab（一款A(yù)pache HTTP服務(wù)基準(zhǔn)測試工具）一樣，你可以向站點發(fā)送并發(fā)請求，并查看它如何處理流量。用下面的命令，我們會在30秒內(nèi)向Google發(fā)起20個并發(fā)連接，最后會得到一個漂亮的測試報告。
Siege最有用的一個特性是它可以把一個記錄URL的文件作為輸入，然后“點擊”這些URL，而不是只處理一個單獨的頁面。這對于負(fù)載測試來說很有用，因為你可以對站點重現(xiàn)真實的流量并觀察站點如何處理，而不必一遍又一遍重復(fù)點擊同一個URL。下面是你用Siege來重現(xiàn)Apache對另一臺服務(wù)器的日志記錄，以做負(fù)載測試的例子：
Mitmproxy
Mitmproxy是一個支持SSL的HTTP中間人代理工具，它允許你檢查HTTP和HTTPS流量并支持直接改寫請求。這個應(yīng)用曾經(jīng)在一些有關(guān)iOS應(yīng)用的隱私丑聞中都出現(xiàn)過，包括Path的地址簿上傳丑聞。它的直接改寫請求的能力也被用來針對iOS平臺，其應(yīng)用包括在GameCenter中偽造一個虛假的高分?jǐn)?shù)值。
Mitmproxy可不只是用來查看移動應(yīng)用發(fā)送了些什么內(nèi)容或者是偽造幾個高分?jǐn)?shù)值那么簡單。它同樣可以為Web開發(fā)者解決很多問題。比如，之前我們需要不停點擊F5鍵或者清除緩存才能保證看到最新的內(nèi)容，現(xiàn)在你可以運行：
這樣將自動去掉緩存控制相關(guān)的header，并確保你總是獲取到刷新后的內(nèi)容。不幸的是，這并不會像sshuttle那樣自動為你設(shè)定轉(zhuǎn)發(fā)功能，所以啟動mitmproxy之后你還需要修改全局或者特定于瀏覽器的代理設(shè)置。
mitmproxy另一個非常給力的功能是記錄并重現(xiàn)HTTP的交互過程。官方文檔給出了一個關(guān)于無線網(wǎng)絡(luò)登錄的例子。同樣的技術(shù)也能夠用來作為基本的Web測試框架。比如，為了確認(rèn)你的用戶注冊流程是否正常工作，你可以開啟記錄會話：
然后跑一遍用戶注冊流程，目前為止應(yīng)該能如預(yù)期般的工作。用Ctrl+C來停止記錄。在任意時刻我們都能重現(xiàn)剛剛記錄到的交互過程，并檢查200狀態(tài)碼：
如果注冊流程中的任意一點出了問題，我們將看到FAIL消息而不是OK。你可以創(chuàng)建一整套這類測試套件，并經(jīng)常執(zhí)行這類測試以確保當(dāng)站點突然出現(xiàn)故障時你會得到提示。
來自：伯樂在線
總結(jié)
以上是生活随笔為你收集整理的推荐给开发人员的实用命令行工具的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Android—内存泄漏、GC及Leak
- 下一篇： 并行计算的强大