摘要：谷歌服務(wù)器經(jīng)歷了短暫的宕機(jī)事件，持續(xù)大概27分鐘，對(duì)部分地區(qū)的互聯(lián)網(wǎng)用戶(hù)造成了影響。此次事件的原因深究起來(lái)需要進(jìn)入互聯(lián)網(wǎng)絡(luò)那深邃的、黑暗的角落。

譯者注：本文中提到CloudFlare是一家總部位于美國(guó)舊金山的內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)服務(wù)公司，由Project Honey Pot項(xiàng)目的三位前開(kāi)發(fā)人員成立于2009年。2011年10月被華爾街日?qǐng)?bào)評(píng)為最具創(chuàng)新精神的網(wǎng)絡(luò)科技公司。

今天，谷歌服務(wù)器經(jīng)歷了短暫的宕機(jī)事件，持續(xù)大概27分鐘，對(duì)部分地區(qū)的互聯(lián)網(wǎng)用戶(hù)造成了影響。此次事件的原因深究起來(lái)需要進(jìn)入互聯(lián)網(wǎng)絡(luò)那深邃的、黑暗的角落。我是CloudFlare公司的一名網(wǎng)絡(luò)工程師，在幫助谷歌從此次宕機(jī)中恢復(fù)回來(lái)提供了一臂之力。下面就是事情發(fā)生的過(guò)程。

大約在太平洋標(biāo)準(zhǔn)時(shí)間2012年11月5號(hào)下午6：24分/時(shí)間標(biāo)準(zhǔn)時(shí)間2012年11月6號(hào)凌晨2：24分，CloudFlare的員工發(fā)現(xiàn)谷歌的服務(wù)中斷了。我們使用谷歌的電子郵件等服務(wù)，所以，當(dāng)它的服務(wù)不正常時(shí)，辦公室的人會(huì)很快發(fā)現(xiàn)。我在網(wǎng)絡(luò)技術(shù)小組工作，因此我立刻接上網(wǎng)絡(luò)查看是什么情況——是局部區(qū)域問(wèn)題還是全球問(wèn)題。

問(wèn)題排查

我很快就意識(shí)到，所有谷歌的服務(wù)我們都不能連接上——甚至包括連接 8.8.8.8，谷歌的公共DNS服務(wù)器——于是，我從追查DNS開(kāi)始。

dig?+trace?google.com?

下面是我在探測(cè)Google.com的域名服務(wù)器時(shí)得到的回復(fù)：

google.com. 172800 IN NS ns2.google.com.

google.com. 172800 IN NS ns1.google.com.

google.com. 172800 IN NS ns3.google.com.

google.com. 172800 IN NS ns4.google.com.

;; Received 164 bytes from 192.12.94.30#53(e.gtld-servers.net) in 152 ms

;; connection timed out; no servers could be reached

無(wú)法探測(cè)到任何服務(wù)器的結(jié)果證明確實(shí)有什么地方出了問(wèn)題。尤其是，這意味著從我們的辦公室將連接不到任何的谷歌DNS服務(wù)器。

我開(kāi)始網(wǎng)絡(luò)層查找問(wèn)題，看看是否是在這個(gè)通信層出了問(wèn)題。

PING 216.239.32.10 (216.239.32.10): 56 data bytes

Request timeout for icmp_seq 0

92 bytes from 1-1-15.edge2-eqx-sin.moratelindo.co.id (202.43.176.217): Time to live exceeded

這里出現(xiàn)了奇怪的信息。通常，我們不應(yīng)該在谷歌的路由信息中看到一個(gè)印度尼西亞的網(wǎng)絡(luò)服務(wù)提供商(Moratel)的名字。我立即進(jìn)入一個(gè)CloudFlare的路由器中查看發(fā)生了什么事。與此同時(shí)，Twitter上世界其它地方的報(bào)告顯示了我們并不是唯一遇到問(wèn)題的地方。

互聯(lián)網(wǎng)路由

為了理解是出了什么問(wèn)題，你需要知道一些互聯(lián)網(wǎng)是如何工作的基礎(chǔ)知識(shí)。整個(gè)互聯(lián)網(wǎng)是由很多的網(wǎng)絡(luò)組成，這些網(wǎng)絡(luò)被稱(chēng)為是“自治系統(tǒng)(AS)”。每個(gè)網(wǎng)絡(luò)都有一個(gè)唯一的數(shù)字來(lái)標(biāo)志自己，被稱(chēng)為AS號(hào)。CloudFlare的AS號(hào)是13335，谷歌的AS號(hào)是15169。各個(gè)網(wǎng)絡(luò)通過(guò)一種叫做邊緣網(wǎng)關(guān)協(xié)議(BGP)的技術(shù)互相連接。邊緣網(wǎng)關(guān)協(xié)議被稱(chēng)為是互聯(lián)網(wǎng)的粘合劑——由它來(lái)聲明哪個(gè)IP地址屬于哪個(gè)網(wǎng)絡(luò)，由它來(lái)建立從某個(gè)自治網(wǎng)絡(luò)到另外一個(gè)自治網(wǎng)絡(luò)的路由。一個(gè)互聯(lián)網(wǎng)“路由”跟這個(gè)詞的表意完全一樣：由一個(gè)自治網(wǎng)絡(luò)里的IP地址到另外一個(gè)自治網(wǎng)絡(luò)里的另一個(gè)IP地址的路徑。

邊緣網(wǎng)關(guān)協(xié)議是基于一個(gè)相互信任的體制。各個(gè)網(wǎng)絡(luò)基于信任的原則告訴其它網(wǎng)絡(luò)哪個(gè)IP地址屬于哪個(gè)網(wǎng)絡(luò)。當(dāng)你發(fā)送一個(gè)數(shù)據(jù)包，或發(fā)送一個(gè)穿越網(wǎng)絡(luò)的請(qǐng)求，你的網(wǎng)絡(luò)服務(wù)提供商會(huì)聯(lián)系它的上游提供商或?qū)Φ忍峁┥?#xff0c;詢(xún)問(wèn)它們從你的網(wǎng)絡(luò)服務(wù)提供商到網(wǎng)絡(luò)目的地，哪條路線最近。

不幸的是，如果當(dāng)一個(gè)網(wǎng)絡(luò)發(fā)出聲明說(shuō)某個(gè)IP地址或某個(gè)網(wǎng)絡(luò)在它的內(nèi)部，而事實(shí)不是這樣，如果它的上游網(wǎng)絡(luò)或?qū)Φ染W(wǎng)絡(luò)信任了它，那么，這個(gè)數(shù)據(jù)包最終將會(huì)迷路丟失。這里發(fā)生的就是這個(gè)問(wèn)題。

我查看了邊緣網(wǎng)關(guān)協(xié)議傳遞的谷歌IP的路由地址，路由指向了Moratel (23947)，一個(gè)印度尼西亞的網(wǎng)絡(luò)服務(wù)提供商。我們的辦公室在加利福尼亞，離谷歌的數(shù)據(jù)中心并不遠(yuǎn)，數(shù)據(jù)包絕不應(yīng)該經(jīng)過(guò)印度尼西亞。很有可能是，Moratel聲明了一個(gè)錯(cuò)誤的網(wǎng)絡(luò)路由。

當(dāng)時(shí)我看到的邊緣網(wǎng)關(guān)協(xié)議發(fā)來(lái)的路由是：

p>tom@edge01.sfo01> show route 216.239.34.10

inet.0: 422168 destinations, 422168 routes (422154 active, 0 holddown, 14 hidden)

+ = Active Route, - = Last Active, * = Both

216.239.34.0/24 *[BGP/170] 00:15:47, MED 18, localpref 100

AS path: 4436 3491 23947 15169 I

> to 69.22.153.1 via ge-1/0/9.0

我查看了其它路由，比如谷歌的公共DNS，它同樣被劫持到了相同的(不正確的)路徑：

inet.0: 422196 destinations, 422196 routes (422182 active, 0 holddown, 14 hidden)

+ = Active Route, - = Last Active, * = Both

8.8.8.0/24 *[BGP/170] 00:27:02, MED 18, localpref 100

AS path: 4436 3491 23947 15169 I

> to 69.22.153.1 via ge-1/0/9.0

tom@edge01.sfo01> show route 8.8.8.8

路由泄漏

像這樣的問(wèn)題在行業(yè)內(nèi)被認(rèn)為是起源于“路由泄漏”，不是正常的，而是“泄漏”出來(lái)的路由。這種事情并不是沒(méi)有先例。谷歌之前曾遭受過(guò)類(lèi)似的宕機(jī)事件，當(dāng)時(shí)推測(cè)是巴基斯坦為了禁止YouTube上的一個(gè)視頻，巴基斯坦國(guó)家ISP刪除了YouTube網(wǎng)站的路由信息。不幸的是，他們的這種做法被傳遞到了外部，巴基斯坦電信公司的上游提供商——電訊盈科(PCCW)信任了巴基斯坦電信公司的做法，把這種路由方式傳遞到了整個(gè)互聯(lián)網(wǎng)。這個(gè)事件導(dǎo)致了YouTube網(wǎng)站大約2個(gè)小時(shí)不能訪問(wèn)。

今天發(fā)生的事情屬于類(lèi)似情況。在Moratel公司的某個(gè)人很可能是“胖手指”，輸錯(cuò)了互聯(lián)網(wǎng)路由。而電訊盈科，Moratel公司的上游提供商，信任了Moratel公司傳遞給他們的路由。很快，這錯(cuò)誤的路由就傳到了整個(gè)互聯(lián)網(wǎng)。在邊緣網(wǎng)關(guān)協(xié)議這種信任模式中，與其說(shuō)這是惡意的行為，不如說(shuō)這是誤操作或失誤。

修復(fù)

解決方案就是讓Moratel公司停止聲明錯(cuò)誤的路由。作為一個(gè)網(wǎng)絡(luò)工程師，尤其是像CloudFlare這樣的大網(wǎng)絡(luò)公司里工作的工程師，很大一部分工作就是和其它世界各地的網(wǎng)絡(luò)工程師保持聯(lián)絡(luò)。當(dāng)探明問(wèn)題后，我聯(lián)系到了Moratel公司的一位同事，告訴他發(fā)生了什么事。他大概在太平洋標(biāo)準(zhǔn)時(shí)間下午6：50分/世界標(biāo)準(zhǔn)時(shí)間凌晨2：50分修復(fù)了這個(gè)問(wèn)題。3分鐘后，路由恢復(fù)了正常，谷歌的服務(wù)重新可以工作了。

從網(wǎng)絡(luò)傳輸圖上觀察，我估計(jì)全球整個(gè)互聯(lián)網(wǎng)用戶(hù)的3-5%收到了此次宕機(jī)事故的影響。重災(zāi)區(qū)是香港，因?yàn)槟鞘请娪嵱频目偛俊Ｈ绻闼幍牡貐^(qū)在當(dāng)時(shí)無(wú)法訪問(wèn)谷歌的服務(wù)，你現(xiàn)在應(yīng)該知道是什么原因了。

構(gòu)建更好的互聯(lián)網(wǎng)

我說(shuō)這些就是想讓大家知道我們的互聯(lián)網(wǎng)上如何在一個(gè)相互信任的機(jī)制下建立起來(lái)的。今天的事故說(shuō)明，即使你是一個(gè)像谷歌這樣的大公司，外部你無(wú)法掌控的因素也會(huì)影響到你的用戶(hù)，讓他們無(wú)法訪問(wèn)你，所以，一個(gè)網(wǎng)絡(luò)技術(shù)小組是非常必要的，由他們來(lái)監(jiān)控路由，管理你與世界的聯(lián)系。CloudFlare公司每天的工作就是確保客戶(hù)得到最佳的路由。我們照看互聯(lián)網(wǎng)上的所有網(wǎng)站，確保他們的以最快傳輸速度提供服務(wù)。今天的事情只是我們工作內(nèi)容的一個(gè)小片段。

譯文出自：外刊IT評(píng)論

英文出自：Cloudflare

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的从谷歌宕机事件认识互联网工作原理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。