?什么是zeek
Zeek是一個(gè)被動的開源網(wǎng)絡(luò)流量分析器。許多運(yùn)營商將Zeek用作網(wǎng)絡(luò)安全監(jiān)視器（NSM），以支持對可疑或惡意活動的調(diào)查。Zeek還支持安全領(lǐng)域以外的各種流量分析任務(wù)，包括性能評估和故障排除。

新用戶從Zeek獲得的第一個(gè)好處是描述網(wǎng)絡(luò)活動的大量日志。這些日志不僅包括網(wǎng)絡(luò)上看到的每個(gè)連接的全面記錄，還包括應(yīng)用程序?qū)佑涗?。這些包括所有HTTP會話及其請求的URI，密鑰標(biāo)頭，MIME類型和服務(wù)器響應(yīng)，帶回復(fù)的DNS請求，SSL證書，SMTP會話的關(guān)鍵內(nèi)容，以及更多。默認(rèn)情況下，Zeek將所有這些信息寫入結(jié)構(gòu)良好的制表符分隔或JSON日志文件中，這些文件適合使用外部軟件進(jìn)行后處理。用戶還可以選擇讓外部數(shù)據(jù)庫或SIEM產(chǎn)品使用，存儲，處理和顯示數(shù)據(jù)以進(jìn)行查詢。

除了日志外，Zeek還具有用于一系列分析和檢測任務(wù)的內(nèi)置功能，包括：

從HTTP會話中提取文件
通過與外部注冊表進(jìn)行接口來檢測惡意軟件
報(bào)告網(wǎng)絡(luò)上可見的易受攻擊的軟件版本
識別流行的網(wǎng)絡(luò)應(yīng)用程序
檢測SSH暴力破解
驗(yàn)證SSL證書鏈
…
除了“開箱即用”提供如此強(qiáng)大的功能外，Zeek還是一個(gè)完全可定制且可擴(kuò)展的流量分析平臺。Zeek為用戶提供了一種特定于域的圖靈完備的腳本語言，用于表達(dá)任意分析任務(wù)。將Zeek語言視為“特定于域的Python”（或Perl）：就像Python一樣，該系統(tǒng)具有大量的預(yù)建功能（“標(biāo)準(zhǔn)庫”），但用戶也可以使用Zeek通過編寫自定義代碼以新穎的方式。實(shí)際上，Zeek的所有默認(rèn)分析（包括日志記錄）都是通過腳本完成的。沒有將具體的分析硬編碼到系統(tǒng)的核心中。

Zeek在商品硬件上運(yùn)行，因此提供了昂貴的專有解決方案的低成本替代方案。Zeek在許多方面都超過了其他網(wǎng)絡(luò)監(jiān)視工具的功能，這些功能通常仍然局限于一小組硬編碼的分析任務(wù)。Zeek不是經(jīng)典的基于簽名的入侵檢測系統(tǒng)（IDS）；盡管Zeek的腳本語言也支持這種標(biāo)準(zhǔn)功能，但它促進(jìn)了范圍廣泛的非常不同的方法來查找惡意活動。這些包括語義濫用檢測，異常檢測和行為分析。

各種各樣的站點(diǎn)都部署了Zeek來保護(hù)其基礎(chǔ)設(shè)施，包括許多大學(xué)，研究實(shí)驗(yàn)室，超級計(jì)算中心，開放科學(xué)社區(qū)，大型公司和政府機(jī)構(gòu)。Zeek專門針對高速，大容量網(wǎng)絡(luò)監(jiān)控，現(xiàn)在越來越多的站點(diǎn)正在使用該系統(tǒng)來監(jiān)控其10GE網(wǎng)絡(luò)，其中一些站點(diǎn)已經(jīng)轉(zhuǎn)移到100GE鏈路。

Zeek通過支持可擴(kuò)展的負(fù)載平衡來適應(yīng)高性能設(shè)置。大型站點(diǎn)通常運(yùn)行“ Zeek群集”，其中高速前端負(fù)載平衡器在適當(dāng)數(shù)量的后端PC上分配流量，所有這些PC在其各自的流量切片上運(yùn)行專用的Zeek實(shí)例。中央管理器系統(tǒng)協(xié)調(diào)該過程，在后端同步狀態(tài)，并為操作員提供中央管理界面，用于配置和訪問匯總的日志。Zeek的集成管理框架ZeekControl開箱即用地支持此類群集設(shè)置。

Zeek的群集功能支持單系統(tǒng)和多系統(tǒng)設(shè)置。這是Zeek的可擴(kuò)展性優(yōu)勢的一部分。例如，管理員可以在一個(gè)系統(tǒng)內(nèi)盡可能長時(shí)間地?cái)U(kuò)展Zeek，然后在必要時(shí)透明地添加更多系統(tǒng)。

簡而言之，Zeek經(jīng)過優(yōu)化，可以解釋網(wǎng)絡(luò)流量并根據(jù)該流量生成日志。它并未針對字節(jié)匹配進(jìn)行優(yōu)化，嘗試使用Suricata之類的入侵檢測系統(tǒng)將為尋求簽名檢測方法的用戶提供更好的服務(wù)。Zeek也不是Wireshark的協(xié)議分析器，它試圖在幀級別描述網(wǎng)絡(luò)流量的每個(gè)元素，也不是一種以數(shù)據(jù)包捕獲（PCAP）形式存儲流量的系統(tǒng)。相反，Zeek位于代表小型但高保真度網(wǎng)絡(luò)日志的“happy medium”（happy medium:避免任何極端情況的好選擇或條件）上，從而使人們對網(wǎng)絡(luò)流量和使用情況有了更好的了解。

0x01b 為什么選擇zeek
Zeek為希望更好地了解其基礎(chǔ)結(jié)構(gòu)使用方式的安全和網(wǎng)絡(luò)團(tuán)隊(duì)提供了許多優(yōu)勢。

安全團(tuán)隊(duì)在嘗試檢測和響應(yīng)可疑和惡意活動時(shí)通常依賴于四種數(shù)據(jù)源。這些包括第三方來源，例如執(zhí)法機(jī)構(gòu)，同行，商業(yè)或非營利組織的威脅情報(bào)組織；網(wǎng)絡(luò)數(shù)據(jù); 基礎(chǔ)架構(gòu)和應(yīng)用程序數(shù)據(jù)，包括來自云環(huán)境的日志；和端點(diǎn)數(shù)據(jù)。Zeek主要是一個(gè)用于收集和分析第二種數(shù)據(jù)形式（網(wǎng)絡(luò)數(shù)據(jù)）的平臺。但是，所有這四個(gè)要素都是任何安全團(tuán)隊(duì)計(jì)劃的重要組成部分。

查看來自網(wǎng)絡(luò)的數(shù)據(jù)時(shí)，分析人員可以使用四種類型的數(shù)據(jù)。根據(jù)網(wǎng)絡(luò)安全監(jiān)視范式的定義，這四種數(shù)據(jù)類型是完整內(nèi)容，事務(wù)數(shù)據(jù)，提取的內(nèi)容和警報(bào)數(shù)據(jù)。使用這些數(shù)據(jù)類型，可以分別記錄流量，匯總流量，提取流量（或更準(zhǔn)確地說，提取文件形式的內(nèi)容）并判斷流量。

收集和分析四種類型的網(wǎng)絡(luò)安全監(jiān)視數(shù)據(jù)至關(guān)重要。問題成為確定實(shí)現(xiàn)此目標(biāo)的最佳方法之一。值得慶幸的是，作為NSM平臺的Zeek可以收集至少兩種（以某種方式三種）這些數(shù)據(jù)形式，即交易數(shù)據(jù)，提取的內(nèi)容和警報(bào)數(shù)據(jù)。

Zeek以其交易數(shù)據(jù)而聞名。默認(rèn)情況下，當(dāng)運(yùn)行并被告知監(jiān)視網(wǎng)絡(luò)接口時(shí)，Zeek將生成一組緊湊，高保真，帶有豐富注釋的事務(wù)日志集。這些日志以不受評判的政策中立方式描述了在線上看到的協(xié)議和活動。該文檔將花費(fèi)大量時(shí)間描述最常見的Zeek日志文件，以便讀者熟悉該格式并將其應(yīng)用于其環(huán)境。

由于Zeek具有文件提取功能，它還可以輕松地從網(wǎng)絡(luò)流量中分割文件。然后，分析師可以將這些文件發(fā)送到執(zhí)行沙箱或其他文件檢查工具，以進(jìn)行其他調(diào)查。Zeek具有執(zhí)行傳統(tǒng)的以字節(jié)為中心的入侵檢測的功能，但該工作最適合于開源Snort或Suricata引擎之類的程序包。Zeek還具有其他功能，可以通過其通知機(jī)制以警報(bào)的形式提供判斷。

Zeek并未針對從完整內(nèi)容數(shù)據(jù)收集的角度將流量寫入磁盤進(jìn)行優(yōu)化，并且最好由滿足該要求的軟件來完成該任務(wù)。

除了Zeek可以本地收集和生成的網(wǎng)絡(luò)數(shù)據(jù)形式之外，Zeek還具有 用于一系列分析和檢測任務(wù)的內(nèi)置功能，以及其作為完全可定制和可擴(kuò)展的流量分析平臺的地位。Zeek還具有吸引力，因?yàn)樗軌蛟谏唐酚布线\(yùn)行，從而使所有類型的用戶至少能夠以低成本方式試用Zeek。

0x01c 架構(gòu)

在很高的層次上，Zeek在體系結(jié)構(gòu)上分為兩個(gè)主要組件。它的事件引擎（或核心）將傳入的數(shù)據(jù)包流減少為一系列更高級別的事件。這些事件以與策略無關(guān)的方式反映了網(wǎng)絡(luò)活動，即，它們描述了已看到的內(nèi)容，而不是原因或意義是否重大。

例如，線路上的每個(gè)HTTP請求都變成一個(gè)相應(yīng)的 http_request事件，該事件帶有所涉及的IP地址和端口，所請求的URI以及所使用的HTTP版本。但是，該事件未傳達(dá)任何進(jìn)一步的解釋，例如該URI是否對應(yīng)于已知的惡意軟件站點(diǎn)。

事件引擎組件包括多個(gè)子組件，特別是包括以下內(nèi)容的包處理管道：輸入源，包分析，會話分析和文件分析。輸入源從網(wǎng)絡(luò)接口攝取傳入的網(wǎng)絡(luò)流量。數(shù)據(jù)包分析處理較低級別的協(xié)議，從鏈路層一直開始。會話分析處理應(yīng)用程序?qū)訁f(xié)議，例如HTTP，FTP等。文件分析剖析了通過會話傳輸?shù)奈募膬?nèi)容。事件引擎提供了一個(gè)插件架構(gòu)，可以從Zeek核心代碼庫的外部添加其中的任何一個(gè)，從而可以根據(jù)需要擴(kuò)展Zeek的功能。

與事件相關(guān)的語義是由Zeek的第二個(gè)主要組件腳本解釋器派生的，該腳本解釋器執(zhí)行一組用Zeek的自定義腳本語言編寫的事件處理程序。這些腳本可以表示站點(diǎn)的安全策略，例如，當(dāng)監(jiān)視器檢測到不同類型的活動時(shí)要采取的操作。

更一般而言，腳本可以從輸入流量中得出任何所需的屬性和統(tǒng)計(jì)信息。實(shí)際上，Zeek的所有默認(rèn)輸出都來自發(fā)行版中包含的腳本。Zeek的語言帶有廣泛的特定于域的類型和支持功能。至關(guān)重要的是，Zeek的語言允許腳本隨時(shí)間保持狀態(tài)，從而使腳本能夠跟蹤并關(guān)聯(lián)跨連接和主機(jī)邊界觀察到的內(nèi)容的演變。Zeek腳本可以生成實(shí)時(shí)警報(bào)，還可以根據(jù)需要執(zhí)行任意外部程序。人們可能會使用此功能來觸發(fā)對攻擊的主動響應(yīng)。

0x02 用Zeek監(jiān)控
檢測和響應(yīng)工作流程
如前幾節(jié)所述，Zeek進(jìn)行了“開箱即用”的優(yōu)化，以提供四種類型的網(wǎng)絡(luò)安全監(jiān)視數(shù)據(jù)中的兩種。Zeek無需任何主要配置，就可以以日志的形式提供交易數(shù)據(jù)和提取的內(nèi)容數(shù)據(jù)，這些日志匯總了遍歷網(wǎng)絡(luò)的協(xié)議和文件。Zeek還可以以通知的形式提供一定程度的警報(bào)數(shù)據(jù)，并且分析師可以根據(jù)需要修改Zeek以創(chuàng)建自定義警報(bào)。但是，專用的入侵檢測引擎（例如Suricata或Snort）可能更合適。最后，Zeek不會以pcap格式收集全部內(nèi)容數(shù)據(jù)，盡管其他開源項(xiàng)目確實(shí)提供了該功能。

從廣義上講，事件檢測和響應(yīng)始于收集安全數(shù)據(jù)，然后對其進(jìn)行分析。在分析階段，如果沒有明確的惡意活動警報(bào)，調(diào)查人員可以進(jìn)行兩個(gè)廣泛的調(diào)查類別：“匹配”和“狩獵”。匹配是指查詢和檢查安全數(shù)據(jù)以獲取已知危害指標(biāo)的跡象。狩獵意味著在沒有妥協(xié)跡象的情況下進(jìn)行工作，而是依靠建立一種假設(shè)來假設(shè)對手活動可能如何在安全數(shù)據(jù)中體現(xiàn)出來。匹配是一種可以輕松自動化的活動。狩獵是一項(xiàng)難以自動化的活動，因?yàn)樗蕾囉诰W(wǎng)絡(luò)安全“實(shí)驗(yàn)”的創(chuàng)建來產(chǎn)生結(jié)果，并且往往需要一點(diǎn)人的直覺。

在一般情況下，一些安全團(tuán)隊(duì)認(rèn)為狩獵涉及查詢數(shù)據(jù)以尋找破壞跡象。這實(shí)際上只是一個(gè)搜索功能，即在收集的數(shù)據(jù)中查找“預(yù)期不良”的匹配項(xiàng)。真正的狩獵涉及更多的科學(xué)方法，該方法要求擬定假設(shè)，在樣本和生產(chǎn)數(shù)據(jù)中測試假設(shè)，然后完善流程，直到產(chǎn)生結(jié)果或被證實(shí)。產(chǎn)生結(jié)果的調(diào)查方法Zeek數(shù)據(jù)在匹配或搜尋操作中起作用。分析師可以查詢Zeek事務(wù)日志的存儲以獲取危害指標(biāo)，并在看到IP地址，用戶名或HTTP用戶代理字符串或Zeek的數(shù)百個(gè)元素中的任何單個(gè)或組合匹配時(shí)開始進(jìn)行安全調(diào)查。來自網(wǎng)絡(luò)流量。

除了匹配和搜尋范式之外，分析人員還可以在“事件檢測警報(bào)”工作流中使用Zeek。在這種情況下，IDS將創(chuàng)建警報(bào)，以引起安全團(tuán)隊(duì)成員的注意。由于IDS警報(bào)通常只關(guān)注細(xì)節(jié)，因此分析人員需要佐證數(shù)據(jù)才能確定警報(bào)是否代表正常，可疑或惡意活動。分析師可以將IDS警報(bào)“透視”到Zeek生成的各種日志中。如果IDS警報(bào)提供了Z??eek支持的社區(qū)標(biāo)識（社區(qū)ID），則分析人員可以輕松地將IDS警報(bào)綁定到特定的Zeek日志。根據(jù)Zeek提供的數(shù)據(jù)，分析師可能能夠解決此事件。至少，分析人員可以訪問初始IDS通知之外的數(shù)據(jù)，從而可以加快警報(bào)驗(yàn)證和驗(yàn)證過程。

最后，在任何其他外部刺激因素的提示下，分析人員可以使用Zeek數(shù)據(jù)來改進(jìn)驗(yàn)證過程。例如，分析人員可能注意到系統(tǒng)上正在運(yùn)行一個(gè)奇怪的進(jìn)程，這由其端點(diǎn)檢測和響應(yīng)（EDR）或防病毒代理報(bào)告?；蛘?#xff0c;分析人員可能會收到來自用戶或同伴的報(bào)告，該報(bào)告涉及面向Internet的Web服務(wù)器上的可疑活動。在這兩種情況下，有權(quán)訪問Zeek數(shù)據(jù)的分析師都可以通過查詢存儲其Zeek日志的存儲庫來尋求學(xué)習(xí)有關(guān)系統(tǒng)的所有信息。這種安全設(shè)計(jì)模式具有巨大的好處，因?yàn)樗粫绊懣梢少Y產(chǎn)的最終狀態(tài)。不接觸可能受到威脅的系統(tǒng)有兩個(gè)好處。第一的，入侵者破壞了資產(chǎn)，仍然沒有意識到安全團(tuán)隊(duì)正在對其進(jìn)行調(diào)查。其次，由于分析人員正在使用設(shè)備外存儲的日志，因此資產(chǎn)的取證完整性保持不變。

0x02a 儀器與采集
Zeek旨在監(jiān)視實(shí)時(shí)網(wǎng)絡(luò)流量。盡管Zeek可以處理以PCAP格式保存的數(shù)據(jù)包捕獲，但是大多數(shù)用戶都部署Zeek以獲得對網(wǎng)絡(luò)使用模式的近實(shí)時(shí)洞察。管理員通過告訴Zeek“嗅探”一個(gè)或多個(gè)網(wǎng)絡(luò)接口，并基于在這些網(wǎng)絡(luò)接口上看到的網(wǎng)絡(luò)流量，生成事務(wù)日志，見解和提取的文件內(nèi)容，來運(yùn)行Zeek。

一些用戶可能選擇在用于一般計(jì)算目的的單臺計(jì)算機(jī)上運(yùn)行Zeek，以監(jiān)視進(jìn)出該單臺計(jì)算機(jī)的網(wǎng)絡(luò)流量。該系統(tǒng)可能是用于商務(wù)目的的辦公筆記本電腦，被選擇用于Zeek的實(shí)驗(yàn)。這是熟悉Zeek創(chuàng)建的日志的簡單方法。這種方法類似于出于相同的教育目的在自己的計(jì)算機(jī)上運(yùn)行Tcpdump或Wireshark。

但是，大多數(shù)用戶僅在出于網(wǎng)絡(luò)安全監(jiān)視目的而選擇的計(jì)算機(jī)上運(yùn)行Zeek。安全人員將該計(jì)算機(jī)稱為“傳感器”，他們專門選擇，配置和部署該計(jì)算機(jī)以監(jiān)視網(wǎng)絡(luò)流量。他們在環(huán)境中選擇一個(gè)位置，該位置可以為多臺計(jì)算機(jī)提供可見性，并使用Zeek部署傳感器以對該網(wǎng)段進(jìn)行檢測。

0x02b 儲存和審查
當(dāng)Zeek通過監(jiān)視一個(gè)或多個(gè)實(shí)時(shí)網(wǎng)絡(luò)接口或通過處理捕獲文件中存儲的流量來攝取網(wǎng)絡(luò)流量時(shí)，它會創(chuàng)建各種日志和其他工件。默認(rèn)情況下，Zeek將該數(shù)據(jù)寫入通過其配置文件指定的存儲位置。Zeek具備以多種格式編寫日志并執(zhí)行某些日志管理過程（如壓縮和存檔）的功能。

分析師通過查看Zeek生成的日志來使用Zeek數(shù)據(jù)。審閱方法可以像使用與底層操作系統(tǒng)打包在一起的文本處理工具一樣簡單。根據(jù)日志的格式，用戶可能會應(yīng)用更專業(yè)的處理工具，其中一些可以在Zeek中使用。在許多情況下，Zeek管理員會將日志發(fā)送到專門的存儲并查看應(yīng)用程序。這些通常統(tǒng)稱為安全和信息事件管理（SIEM）平臺。這些日志管理和SIEM平臺中的某些可作為開源產(chǎn)品獲得，而其他則可通過商業(yè)途徑獲得。
?

總結(jié)

以上是生活随笔為你收集整理的zeek系列之：流量分析流量数据采集流量探针利器zeek的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。