横向网络钓鱼
檢測和表征大規模橫向網絡釣魚
文章目錄
- 檢測和表征大規模橫向網絡釣魚
- 摘要
- 1.簡介
- 2.背景
- 2.1相關工作
- 2.2道德與隱私
- 3.數據
- 3.1數據結構
- 3.2 數據集大小
- 3.3 真實情況
- 4.檢測橫向網絡釣魚
- 5.評估
- 5.1 方法論
- 5.2 檢測結果
原文標題：Detecting and Characterizing Lateral Phishing at Scale
原文地址：https://www.usenix.org/conference/usenixsecurity19/presentation/ho
This paper is included in the Proceedings of the 28th USENIX Security Symposium. August 14–16, 2019 ? Santa Clara, CA, USA
摘要
基于92個企業組織的員工發送的1.13億封電子郵件，我們首次對大規模橫向網絡釣魚進行了表征。在橫向網絡釣魚攻擊中，攻擊者利用一個被劫持的企業賬戶給其他用戶發送郵件，用戶對被劫持賬戶的信任以及賬戶本身的信息都對攻擊者有很大的幫助。我們開發了一個分類器，在每一百萬封員工郵件中在誤報數低于四的前提下發現成百上千的橫向釣魚郵件。利用我們檢測到的和用戶上報的攻擊事件，我們量化了橫向網絡釣魚的規模，確定了攻擊者遵循的幾個主題內容和接收目標策略，闡明了攻擊者表現出的兩種復雜行為，并且評估了這些攻擊的成功率。總的來說，這些結果拓展了我們對企業攻擊者的思維模型，并闡明了企業網絡釣魚攻擊的當前狀態。
1.簡介
?十多年來，安全部門探索了無數種防御網絡釣魚攻擊的方法。然而，盡管已經做了許多工作，攻擊者仍經常成功使用網絡釣魚攻擊來入侵政府系統，政治人物和各行各業的公司。由于增長趨勢顯著，這種攻擊已經引起了各國政府的注意，FBI(聯邦調查局)從2013年10月到2018年5月的78617被報告的事件中估計全球在這一時期內因網絡釣魚而遭受的經濟損失高達125億美元，美國國土安全部部長宣稱網絡釣魚是由最復雜的攻擊者發起的最具破壞性的攻擊。
?總的來說，針對主要實體(如谷歌、RSA和民主黨全國委員會)的定向魚叉式網絡釣魚攻擊的高調報道塑造了我們對企業網絡釣魚攻擊的思維模式。在這些新聞事件和許多在學術文獻中被討論的定向魚叉式網絡釣魚攻擊事件中，攻擊來自于由國家級對手精心制作的帶有欺騙性的釣魚賬戶名稱，并且郵件地址也和合法賬戶高度相似的外部賬戶。然而，近年來，來自業界[7,24,36]和學術界[6,18,32,41]的工作都指出了橫向網絡釣魚攻擊的出現和增長:一種新的網絡釣魚形式，目標是各種組織，已經造成的經濟損失高達數十億美元。在橫向網絡釣魚攻擊中，攻擊者利用一個被劫持的企業賬戶給其他新用戶發送釣魚郵件。這種攻擊是特別陰險的，因為攻擊者受益于被信任的劫持帳戶:來自用戶和傳統電子郵件保護系統的信任。
?雖然最近的研究[10,15,18,19,41]提出了一些檢測橫向網絡釣魚的想法，但這些先前的方法要么要求組織擁有復雜的網絡監控基礎設施，要么產生太多的誤報，無法實際使用。此外，之前沒有任何研究能夠大規模，泛化表征這種攻擊。例如，最為先進的相關工作之一是使用一個組織多年的數據集，其中只包含兩個橫向釣魚攻擊[18]。這種情況留下了許多重要的問題沒有回答:我們應該如何看待這類網絡釣魚的規模、復雜性和成功?攻擊者是否遵循一定的策略，這些常見行為是否能夠推動新的或改進防御?攻擊者是如何利用被劫持賬戶內的信息的?這些行為能否說明企業網絡釣魚攻擊的狀態和軌跡呢？
?在學術界和梭魚網絡的聯合工作中，我們邁出了回答這些開放問題和理解大規模橫向網絡釣魚的第一步。這篇論文試圖探索針對這種迅速發展的威脅的實用防御途徑，并為這些網絡釣魚攻擊在現實世界的狀態開發精確的心理模型。
?首先，我們提出了一個新的分類器來檢測基于url的橫向網絡釣魚郵件，并在92個企業組織的1.13億封郵件數據集上評估我們的方法。盡管網絡釣魚郵件之間的動態變動和內容差異被證明具有挑戰性，但我們的方法可以檢測數據集中87.3%的攻擊，同時每100萬名員工發送的郵件產生的誤報少于4個。
?其次，將我們檢測到的攻擊與用戶報告的橫向網絡釣魚攻擊相結合，我們對真實世界組織中的橫向網絡釣魚進行了首次大規模的描述。我們的分析表明，這種攻擊是有效的并且廣泛存在:數十個組織，從員工少于100人到員工超過1000人，在幾個月內都經歷了橫向釣魚攻擊。總的來說，一組隨機抽樣的組織中有14%在7個月內經歷了至少一次橫向網絡釣魚事件。此外，我們估計超過11%的攻擊者成功劫持了至少一名員工。盡管我們的基礎真相來源和探測器面臨著限制，限制了他們發現秘密或狹窄目標攻擊的能力，我們的結果仍然闡明了一個突出的威脅，目前影響許多現實世界的組織。
?考察了橫向釣魚者的行為，我們探索并量化了四種接受者(受害者)選擇策略的受歡迎程度。盡管我們的數據集攻擊者的目標是幾十到數百個收件人，這些收件人通常包括與被劫持帳戶有一定關系的用戶子集(例如，同事或最近的聯系人)。此外，我們為我們的數據集釣魚消息顯示的不同級別的內容定制開發了一個分類。我們的分類表明，雖然有7%的攻擊部署有目標的消息，但大多數攻擊選擇的是一般內容，這些內容是釣魚者可以很容易地在多個組織中重用的。特別地，我們觀察到橫向釣魚者主要依賴于兩種常見的誘餌:共享文件的托詞和關于接收者賬戶問題的虛假警告信息。盡管非目標內容很受歡迎，但近三分之一的數據集攻擊者投入了額外的時間和努力，使他們的攻擊更有說服力和/或逃避檢測;而且，超過80%的攻擊發生在被劫持賬戶的正常工作時間。
?最終，這項工作做出了兩個貢獻，擴展了我們對企業網絡釣魚和潛在防御的理解。首先，我們提出了一種新的檢測器，它在操作最小的數據需求(僅利用歷史電子郵件)的情況下，在更高數量級上比以前的工作性能更好。第二，通過對橫向網絡釣魚的第一次規模描述，我們揭示了這類新興攻擊的規模和成功，并闡明了橫向網絡釣魚者采用的常見策略。我們的分析闡明了一種普遍的企業攻擊事件，其行為并不完全匹配目標國家攻擊或工業間諜的戰術。盡管如此，這些橫向釣魚者仍然在沒有新的防御手段的情況下取得了成功，我們數據集的許多攻擊者確實表現出了一些復雜和集中努力的跡象。
2.背景
?在橫向網絡釣魚攻擊中，攻擊者使用一個被劫持但合法的電子郵件帳戶向他們的受害者發送網絡釣魚郵件。攻擊者的目標和惡意有效載荷的選擇可以采取多種不同形式，從受惡意軟件感染的附件、釣魚URL到虛假支付請求。我們的工作重點是利用嵌入在電子郵件中的惡意URL的橫向網絡釣魚攻擊，這是我們的數據集中發現的最常見的橫向網絡釣魚方式。
?清單1展示了我們研究中橫向釣魚攻擊的匿名示例。在這種攻擊中，釣魚者試圖以新合同為借口，誘使收件人點擊一個鏈接。此外，攻擊者還試圖通過回復詢問郵件真實性的收件人來提高欺騙的可信度;他們還通過刪除其在被劫持用戶郵箱中的痕跡來隱藏自己。
?橫向網絡釣魚是一種危險但尚未充分研究的攻擊，是網絡釣魚和帳戶劫持的交叉點。網絡釣魚攻擊，廣義上講，是指攻擊者從任何賬戶(受到損害或欺騙)偽造欺騙性電子郵件，以誘使受害者采取某些行動。帳戶劫持，也被稱為帳戶接管(ATO)的行話，涉及使用一個被攻破的帳戶，以任何形式的惡意手段(如，包括垃圾郵件)。雖然之前的工作主要是在較小的規模和個人賬戶方面研究這些攻擊，但我們的工作是從企業組織的角度在大范圍研究這兩種攻擊的交集。通過這樣做，我們擴展了對重要的企業威脅、防御這些威脅的途徑以及攻擊者使用的策略的理解。
2.1相關工作
?檢測:大量先前的文獻提出了許多檢測傳統釣魚攻擊的技術[1,3,13,14,44]，以及更復雜的魚叉式釣魚攻擊[8,10,23,41,47]。Hu等人研究了如何使用社交圖來檢測被劫持賬戶[19]發送的惡意郵件。他們的方法檢測被劫持賬戶的誤報率在20 - 40%之間。不幸的是，在實踐中，許多組織每天要處理數萬封員工發送的電子郵件，因此20%的誤報率每天會導致數千封誤報。IdentityMailer，由Stringhini等人提出，[41]通過訓練行為模型來檢測橫向釣魚攻擊，這些行為模型基于時間模式、元數據和每個用戶的風格。如果一封新郵件偏離了員工的行為模式，系統將其標記為攻擊。雖然很有希望，但他們的方法產生的誤報率在1-10%的范圍內，這在實踐中是不可行的，因為有大量的良性電子郵件和較低的釣魚基礎率。此外，他們的系統需要為每位員工培訓一種行為模式，為大規模運營帶來昂貴的技術負擔。
?Ho等人開發了檢測橫向魚叉式釣魚的方法，通過對一組來自歷史用戶登錄數據和企業網絡流量日志[18]的特征應用一種新的異常檢測算法。他們的方法檢測已知和新發現的攻擊，假陽性率為0.004%。然而，缺乏技術專長的組織往往缺乏全面捕獲企業網絡流量的基礎設施，而這正是這種優先方法所需要的。這一技術前提引出了一個問題，我們能否用一個更簡單的數據集——只有企業的歷史郵件——實際檢測到橫向網絡釣魚攻擊?此外，他們的數據集反映了一個在3.5年時間跨度內只經歷了兩次橫向釣魚攻擊的單一企業，這使得他們無法在一般規模上描述橫向釣魚的性質。
表征：雖然之前的研究表明，攻擊者經常使用網絡釣魚來破壞賬戶，并且攻擊者偶爾會從這些被劫持的賬戶中進行(橫向)網絡釣魚，但很少有人深入和大規模地研究橫向網絡釣魚的本質。通過對谷歌數據來源的釣魚郵件、網頁和被盜帳戶樣本的研究，一項先前的帳戶劫持研究發現，攻擊者經常使用這些帳戶向帳戶的聯系人[6]發送釣魚郵件。然而，他們的結論是，自動檢測這種攻擊證明是具有挑戰性的。Onaolapo等人研究了攻擊者如何處理被劫持的賬戶[32]，但他們沒有研究橫向網絡釣魚。除了電子郵件賬戶之外，一項針對受感染Twitter賬戶的研究發現，感染似乎會通過社交網絡橫向傳播。然而，他們的數據集不允許直接觀察橫向攻擊向量本身[42]，也沒有提供深入了解受損企業賬戶的領域(考慮到社交媒體的性質)。
開放問題和挑戰：之前的工作表明帳戶劫持造成了一個重大和廣泛的問題。該文獻還為那些有復雜監控的企業提出了實用的防御措施。然而，盡管有這些進展，幾個關鍵問題仍然沒有解決。沒有全面監控和技術專長的組織是否有一個實用的方法來防御橫向釣魚攻擊?橫向釣魚者采用什么共同策略和技術?橫向網絡釣魚者如何利用他們對合法賬戶的控制來牟利，他們的戰術復雜性是否說明了企業網絡釣魚的現狀?本文通過提出一種新的檢測策略和對橫向釣魚攻擊的大規模描述，向回答這些開放問題邁出了一步。
2.2道德與隱私
?在這項工作中，我們的團隊，包括來自學術界和一家大型安全公司的研究人員，開發了檢測技術，使用了來自92個活躍的Barracuda網絡客戶的歷史郵件和報告事件數據集。這些組織授予Barracuda訪問其Office 365員工郵箱的權限，以研究和開發針對橫向網絡釣魚的防御措施。根據Barracuda的政策，所有獲取的電子郵件都是加密存儲的，客戶可以隨時撤銷對其數據的訪問權限。
?由于數據的敏感性，只有Barracuda授權的員工可以訪問數據(在標準的、嚴格的訪問控制政策下)。任何非Barracuda員工無權訪問個人身份信息或敏感數據。我們的項目也得到了Barracuda的批準，他們得到了客戶的許可，可以對數據進行分析和操作。
?一旦Barracuda在生產中部署了一套橫向網絡釣魚探測器，任何檢測到的攻擊都會實時報告給客戶，以防止經濟損失和危害。
3.數據
?我們的數據集包括來自92個使用英語的組織的員工發送的電子郵件;23個組織來自隨機抽樣的有橫向網絡釣魚報告的企業，69個組織來自所有組織。在這些企業中，有25個組織擁有100個或更少的用戶帳戶，34個組織擁有101 1000個帳戶，33個組織擁有超過1000個帳戶。房地產、技術和教育是我們數據集中最常見的三個行業，分別有15家、13家和13家企業;圖1和圖2顯示了我們數據集組織的經濟部門和規模的分布，分為探索性組織和測試組織(3.2)。
3.1數據結構
?我們數據集中的組織使用Office 365作為他們的電子郵件供應商。在高層，每個電子郵件對象包含:一個唯一的Office 365標識符;電子郵件元數據(SMTP頭信息)，它描述了諸如電子郵件發送的時間戳、收件人、聲稱的發件人和主題等屬性;以及電子郵件的正文，電子郵件消息的內容采用完整的HTML格式。Office 365的文檔描述了每個電子郵件對象[29]的完整模式。此外，對于每個組織，我們都有一組經過驗證的域:組織聲明它擁有的域。
3.2 數據集大小
?我們的數據集包含113083695個惟一的、由員工發送的電子郵件。為了確保我們的檢測技術普遍化(第5.1節)，我們將數據分割為來自52個探索性組織2018年4月6日的電子郵件訓練數據集，以及覆蓋92個組織2018年7月10日的測試數據集。我們的測試數據集包括來自52個探索性組織的電子郵件(但是來自于比我們的訓練數據集更晚的、不相交的時間段)，加上來自另外40個測試組織的數據集。在分析任何數據之前，我們通過一個隨機的樣本選擇了40個測試組織。我們的訓練數據集有25,670,264封郵件，我們的測試數據集有87,413,431封郵件。這兩組組織涵蓋了不同的行業和規模，如圖1和2所示。1 .探索性組織共有89267個發送或接收電子郵件的用戶郵箱，測試組織共有138752個郵箱(基于2018年10月數據)
3.3 真實情況
?我們的橫向網絡釣魚郵件有兩個來源:
(1)報告給Barracuda組織安全管理員的攻擊電子郵件，以及用戶報告的攻擊 電子郵件。
(2)被我們的檢測器標記的郵件(§4)，并在包括之前手工審核并貼上標簽。
?從一個比較高的層次來說,為了確定一個郵件是否是釣魚郵件,我們檢查它的消息內容,Office 365元數據,和網絡消息頭[33]來確定其是否包含網絡釣魚內容,以及電子郵件是否來自一個被劫持帳戶(如果不是外部賬戶,我們不將其視為橫向釣魚)。例如，如果Office 365元數據顯示電子郵件的副本存在于員工的“已發送”文件夾中，或者其頭部顯示電子郵件通過了相應的SPF或DKIM[9]檢查，那么我們認為該電子郵件是橫向網絡釣魚。附錄A.1詳細描述了我們的標簽程序。
標記電子郵件為釣魚或正常郵件：當手動標記電子郵件時，我們首先檢查五個信息:該電子郵件是否是報告的釣魚事件、消息內容、可疑的URL標記以及其域在上下文中是否有意義、電子郵件的收件人和發件人。除了少數事件外，我們可以很容易地從上面的步驟識別釣魚電子郵件。例如:一封關于共享Office 365文檔的電子郵件被發送給數百個不相關的收件人，其文檔鏈接指向一個bit。ly縮短[非微軟]域;或者一個由nonIT員工發送的描述帳戶安全問題的電子郵件，其中帳戶重置URL指向一個不相關的域。更困難的情況下,我們分析了所有的回復和轉發郵件鏈,并標記電子郵件網絡釣魚如果收到多個回復/轉發,表達了報警或可疑,或者最終被劫持的賬戶發送回復說他們沒有發送釣魚郵件。最后，如3.3節所述，我們訪問了一個無副作用的可疑url，來自一個帶有標簽的釣魚郵件樣本;我們訪問的所有url要么指向一個間隙警告頁面(例如，谷歌SafeBrowsing)，要么指向一個欺騙登錄頁面。對于被我們的探測器標記的郵件，但根據檢查所有上述信息，它們似乎是良性的，我們保守地將它們標記為誤報。在許多情況下，假陽性很明顯;例如，我們的探測器標記的可疑URL出現在發件人的簽名中，并鏈接到他們的個人網站的電子郵件。
訓練演習vs.實際的網絡釣魚電子郵件:除了區分假陽性和攻擊，我們檢查以確保我們的橫向網絡釣魚事件代表的是實際的攻擊，而不是訓練演習。首先，根據橫向釣魚郵件標題，我們驗證了所有發送帳戶都是合法的企業帳戶。其次，在前一個月，除了5個賬戶外，所有的攻擊賬戶都發送了一個或多個與網絡釣魚無關的電子郵件。這兩點讓我們確信，網絡釣魚郵件來自現有的合法賬戶，因此代表了實際的攻擊;也就是說，培訓演習不會劫持現有帳戶，因為這可能會造成潛在的聲譽損害(我們之前接觸的企業安全團隊不會這樣做)。此外，我們的數據集中沒有橫向網絡釣魚事件是Barracuda已知的訓練演習，也沒有橫向網絡釣魚url使用的已知安全公司的域名。
?此外，對于這些橫向網絡釣魚郵件中的一小部分URL樣本，Barracuda的員工在包含vm的瀏覽器中訪問了網絡釣魚URL，以便更好地了解攻擊的最終目標。為了盡量減少潛在的危害和副作用，這些員工只訪問沒有唯一標識符(即URL路徑中沒有隨機字符串或用戶/組織信息)的網絡釣魚URL。為了處理位于URL縮短域上的任何釣魚URL，我們使用了Barracuda的一個URL擴展api，他們的生產服務已經應用于電子郵件URL，并且只訪問了擴展為無副作用URL的可疑釣魚鏈接。我們所探索的大多數釣魚url都指向了一個安全瀏覽的插頁網頁，這可能反映了我們對歷史郵件的使用，而不是用戶同時會遇到的內容。然而，最近出現的惡意url不斷導致假冒office365登錄頁面(我們研究機構使用的電子郵件服務提供商)的證書釣魚網站;圖3顯示了一個匿名的釣魚網站示例。
?總的來說，我們的數據集包含1902封橫向網絡釣魚郵件(根據主題、發件人和發送時間而不同)，由來自33個組織的154個被劫持的員工賬戶發送。其中1694封郵件是由用戶報告的，其余郵件僅由我們的探測器發現(§4);我們的檢測器還發現了許多用戶報告的攻擊(§5)。在用戶報告的攻擊中，有40封電子郵件(來自12個被劫持的賬戶)包含虛假的電匯或惡意附件，而其余的1,862封電子郵件使用了惡意URL。
?考慮到這種攻擊向量的流行，我們將檢測策略集中在基于url的網絡釣魚上。這種關注意味著我們的分析和檢測技術不能完全反映橫向網絡釣魚攻擊。盡管有這個缺陷，我們的數據集攻擊跨越了幾十個組織，使我們能夠研究一個流行的企業級網絡釣魚，它本身就構成了一個重要的威脅。
4.檢測橫向網絡釣魚
?采用Ho等人[18]定義的橫向攻擊者威脅模型，我們重點研究了一個被泄露的員工賬戶發送的釣魚郵件，攻擊中嵌入了一個惡意URL作為攻擊(例如，引導用戶進入一個釣魚網頁)。
?我們探索了三種檢測橫向網絡釣魚攻擊的策略，但最終發現其中一種策略幾乎檢測了所有這三種方法識別的攻擊。在較高的級別上，兩種效果較差的策略檢測攻擊，它們檢測的電子郵件包含(1)一個罕見的URL和(2)一條文本可能被用于網絡釣魚(例如，與已知的網絡釣魚攻擊類似的文本)。因為我們的主要檢測策略檢測到了其他策略發現的所有攻擊，但只檢測了兩種，而發現的攻擊次數是其他策略的十倍以上，所以我們在擴展技術報告[17]中推遲了對這兩種不太成功的方法的討論;下面，我們將詳細探討更有效的策略。在我們的評估中，我們將替代方法發現的兩個額外的攻擊作為我們的檢測器的假陰性。
?我們探索了三種檢測橫向網絡釣魚攻擊的策略，但最終發現其中一種策略幾乎檢測了所有這三種方法識別的攻擊。在較高的級別上，兩種效果較差的策略檢測攻擊，它們檢測的電子郵件包含(1)一個罕見的URL和(2)一條文本看起來可能被用于網絡釣魚的信息(例如，與已知的網絡釣魚攻擊類似的文本)。因為我們的主要檢測策略檢測到了其他策略發現的所有攻擊，但只檢測了兩種，而發現的攻擊次數是其他策略的十倍以上，所以我們在擴展技術報告[17]中限制了對這兩種不太成功的方法的討論;下面，我們將詳細探討更有效的策略。在我們的評估中，我們將替代方法發現的兩個額外的攻擊作為我們的檢測器的假陰性。
?概述:我們檢查了我們的訓練數據集(2018年4月6日)中用戶報告的橫向釣魚事件，以確定廣泛的主題和行為，這是我們在檢測器中可以利用的。將發送這些攻擊的劫持賬戶(ATO)進行分組后，我們發現95%的劫持賬戶向25個或更多不同的收件人發送釣魚郵件。這種普遍的行為，以及受引誘攻擊檢測框架[18]啟發的附加特性思想，為我們的檢測策略提供了基礎。在本節的其余部分中，我們將描述檢測器使用的特性、這些特性背后的直覺，以及檢測器用于對電子郵件進行分類的機器學習過程。
?我們的技術既不能提供一個全方位的方法來發現每一次攻擊，也不能保證對抗有動機的敵人試圖逃避檢測的魯棒性。然而，我們在第5節中展示了我們的方法在幾十個真實世界的組織中發現了成百上千封橫向網絡釣魚郵件，同時產生了少量的誤報。
?特征:我們的檢測器提取了三組特征。第一組包含兩個特性，它們針對我們前面觀察到的流行行為:聯系多個收件人。給定一封電子郵件，我們首先提取發送、抄送和密送郵件頭中唯一收件人的數量。此外，我們計算此電子郵件收件人集與前一個月任何員工發送的電子郵件中最近的歷史收件人集的Jaccard相似性。我們將后者(相似性)特征稱為電子郵件的收件人可能性評分。
?接下來的兩組特征借鑒了Ho等人[18]提出的誘騙-攻擊式網絡釣魚框架。該框架假定網絡釣魚電子郵件包含兩個必要的組成部分:一個誘餌，它說服受害者相信網絡釣魚電子郵件并執行一些行動;還有一個漏洞:受害者應該執行的惡意操作。他們的工作發現，使用針對這兩種組件的特性可以顯著提高探測器的性能。
?為了確定新郵件是否包含潛在的網絡釣魚誘餌，我們的檢測器基于郵件文本提取一個單一的、輕量級的布爾特征。具體來說，Barracuda為我們提供了一套大約150個在釣魚攻擊中經常出現的關鍵詞和短語。他們從幾百封真實的網絡釣魚郵件(包括外部網絡釣魚和橫向網絡釣魚)中提取鏈接文本，并選擇這些攻擊中最常見的(規范化的)文本，從而開發了這組網絡釣魚關鍵詞。從主題上講，這些可疑的關鍵詞傳達了一種行動號召，誘使收件人點擊鏈接。對于我們的l誘餌特性，我們提取一個布爾值，該值指示電子郵件是否包含這些釣魚關鍵字
?最后，我們通過提取兩個能夠捕獲電子郵件是否可能包含漏洞的特征來完成檢測器的特征設置。由于我們的工作重點是基于URL的攻擊，這組特征反映了電子郵件是否包含潛在危險的URL。
?首先，對于每封電子郵件，我們提取一個全局URL信譽特性，該特性量化電子郵件包含的最罕見的URL。鑒于電子郵件,我們從電子郵件中提取所有URL年代身體和忽略URL是否屬于兩類:我們排除所有URL的域是上市公司s驗證域列表(3.1),我們也排除所有URL的顯示,超鏈接文本完全匹配的URL鏈接年代潛在的目的地。例如，在清單1的攻擊中，顯示的釣魚超鏈接文本為Click Here，這與超鏈接的目標(釣魚站點)不匹配，所以我們的程序將保留這個URL。相反，清單1中的Alice簽名可能包含到她的個人網站的鏈接，例如www.alice.com;我們的過程將忽略這個URL，因為所顯示的www.alice.com文本與超鏈接的目的地相匹配。
?首先，對于每個電子郵件，我們提取一個全局URL信譽特性，該特性量化電子郵件包含的最罕見的URL。給定電子郵件,我們從電子郵件正文中提取所有URL，忽略URL如果屬于以下兩類:我們排除所有屬于公司驗證域列表的URL,我們也排除所有URL的顯示,超鏈接文本完全匹配的URL鏈接潛在的目的地。例如，在清單1的攻擊中，顯示的釣魚超鏈接文本為Click Here，這與超鏈接的目標(釣魚站點)不匹配，所以我們的程序將保留這個URL。相反，清單1中的Alice簽名可能包含到她的個人網站的鏈接，例如www.alice.com;我們的過程將忽略這個URL，因為所顯示的www.alice.com文本與超鏈接的目的地相匹配。
?后一個過濾條件假設一個釣魚URL將試圖混淆自己，并且不會直接向用戶顯示真正的底層目的地。經過這些過濾步驟，我們提取了一個數值特征
?將每個剩余的URL映射到它的注冊域名，然后查找每個域名在思科排名前100萬網站[20];3對于任何未被列出的域名，我們將其默認排名為1000萬。我們區別對待兩種特殊情況。對于較短域名上的url，我們的檢測器嘗試遞歸地將短鏈接解析到其最終目的地。如果該解析成功，則使用最終URL域名的全局排名;否則，我們將該URL視為來自一個未排名的域名(1000萬)。對于內容托管網站(如谷歌Drive或Sharepoint)上的url，我們沒有很好的方法來確定其可疑性，除非獲取內容并進行分析(這一行動存在一些實際障礙)。因此，我們對待內容托管網站上的所有url，就好像它們位于未排名的域名上一樣。
?在對每個URL域名進行排名后，我們將郵件的全局URL聲譽特征設置為其URL中最差(最高)的域名排名。直覺上，我們預計釣魚者很少會在熱門網站上托管釣魚頁面，因此較高的全球URL聲譽意味著更可疑的電子郵件。原則上，有動機的對手可以規避這一功能;例如，如果一個攻擊者可以入侵該組織的一個認證域，他們就可以從這個被入侵的站點宿主他們的釣魚URL，從而避免準確的排名。然而，我們在用戶報告的橫向網絡釣魚集合中沒有發現這樣的實例。此外，由于本文的目標是開始探索實用的檢測技術，并開發一套大量的橫向網絡釣魚事件供我們分析，這個特征就足以滿足我們的需求。
?除了這個全局信譽度量之外，我們還提取了一個本地度量，該度量表征了相對于組織員工通常發送的URL域而言，URL的罕見性。給定嵌入在電子郵件中的一組URL，我們將每個URL映射到它的完全合格域名(FQDN)，并計算從前一個月開始有多少天，至少有一個員工發送的電子郵件在FQDN上包含了URL。然后，我們在電子郵件的所有url中取最小值;我們把這個最小值稱為本地URL信譽特征。直覺上，可疑的url將具有低的全球聲譽和低的本地聲譽。然而，我們的評估(5.2)發現，這種本地URL信譽特性幾乎沒有增加價值:本地URL信譽值低的URL幾乎總是具有較低的全局URL信譽值，反之亦然。
分類:為了將郵件標記為釣魚郵件，我們訓練了一個具有上述特征的隨機森林分類器[45]。為了訓練我們的分類器，我們將訓練數據集中所有用戶報告的橫向釣魚郵件，并將它們與一組可能是良性的郵件組合在一起。我們通過隨機抽樣未被報告為網絡釣魚的訓練集郵件子集來生成這組良性郵件;我們為每個釣魚電子郵件采樣200個此類良性電子郵件，形成我們的良性電子郵件集進行訓練。遵循標準的機器學習實踐，我們選擇了我們的分類器的超參數和精確的下采樣比(200:1)使用交叉驗證的訓練數據。附錄A.2更詳細地描述了我們的培訓過程。
?一旦我們有一個訓練好的分類器，給定一個新的電子郵件，我們的檢測器提取它的特征，將特征輸入到這個分類器，并輸出分類器的決策。
5.評估
?在本節中，我們評估我們的橫向釣魚檢測器。我們首先描述我們的測試方法，然后展示檢測器對來自90多個組織的數百萬封電子郵件的性能。總的來說，我們的檢測器具有很高的檢出率，產生很少的誤報，并且檢測到許多新的攻擊。
5.1 方法論
建立泛化性:如前面3.2節所述，我們將數據集分為兩個不相連接的部分:一個訓練數據集，由2018年4月至6月期間來自52個探索性組織的電子郵件組成;一個測試數據集，來自92家企業，2018年7月至10月期間;在5.2中，我們證明了如果我們的測試數據集只包含來自40個被保留的測試組織的郵件，那么檢測器的性能保持不變。考慮到這兩個數據集，我們首先訓練我們的分類器，并通過對訓練數據集的交叉驗證調整其超參數(附錄A.2)。接下來，為了計算我們的評估結果，我們在每個月的測試數據集上運行檢測器。為了在生產中模擬分類器，我們遵循了標準的機器學習實踐，并使用連續學習程序每月[38]更新我們的檢測器。也就是說，在每個月末，我們將用戶報告的和檢測發現的前幾個月的網絡釣魚郵件匯總成一組新的網絡釣魚訓練數據;并且，我們將我們的原始隨機抽樣的良性電子郵件集與我們的檢測器前幾個月的誤報聚合起來，形成一個新的良性訓練數據集。然后，我們在這個聚合的訓練數據集上訓練一個新的模型，并使用這個更新的模型對隨后月份的數據進行分類。然而，為了確保我們從訓練數據集獲得的任何調整或知識不會偏倚或過擬合我們的分類器，我們在對測試數據集進行評估時沒有改變任何模型的超參數或特征。
?我們的評估在訓練和測試數據集之間的時間分割，以及從隨機保留組織中引入的新數據到測試數據集，遵循了推薦這種方法的最佳實踐，而不是隨機交叉驗證評估[2,31,34]。完全隨機化的評估(例如，交叉驗證)可能會對來自未來的數據進行培訓，并對過去的測試進行測試，這可能會導致我們高估檢測器的有效性。與此形成鮮明對比的是，我們的方法使用未來一段時間內的新數據來評估我們的檢測器，并引入了40個新組織，而我們的檢測器在培訓期間都沒有看到這些組織;這也反映了探測器在實踐中的工作方式。
警報度量(事件):我們有幾個選擇來建模我們的檢測器警報生成過程(即，我們如何計算不同的攻擊)。例如，我們可以評估我們的檢測器的性能，根據它正確標記了多少唯一的電子郵件。或者，我們可以根據它標記為受威脅的不同員工賬戶的數量來衡量檢測器的性能(建模一個檢測器，它為每個賬戶生成一個警報，并抑制其余的警報)。最后，我們選擇一個在實踐中經常使用的概念，即事件，它對應一個唯一的(主題、發送者電子郵件地址)對。在這個粒度上，我們的檢測器警報生成模型為每個惟一的(主題、發送者)對生成一個警報。這個度量避免偏重的評估數字，過分強調妥協事件，產生許多相同的電子郵件在一個單一的攻擊。例如，如果有兩個事件，一個事件分別向一個收件人生成100封電子郵件，另一個事件向100個收件人生成1封電子郵件，如果我們計算電子郵件級別的攻擊，那么100個電子郵件事件上的檢測器性能將決定結果。
?總的來說，我們的訓練數據集包含40個用戶報告的ground truth來源的橫向釣魚事件，而我們的測試數據集包含61個用戶報告的事件。我們的檢測器發現了另外77個未報告的事件(表1的第2行)。
5.2 檢測結果
?表1總結了檢測器的性能指標。我們用“檢測率”這個術語來指我們的檢測器發現的橫向釣魚事件除以所有
在我們的數據集中已知的攻擊事件(即任何用戶報告的攻擊事件
和我們嘗試的任何檢測技術發現的任何事件)的百分比。為了完整性，我們將12個基于附件的事件包括在我們的假陰性和檢出率中計算，我們的探測器顯然漏掉了，因為我們設計它來捕捉基于url的橫向網絡釣魚。此外,
?我們還包括，假反例，較不成功的探測器識別出的2個訓練事件[17];這兩個選擇策略在測試數據集中沒有發現任何新的攻擊。因此，檢出率反映了最佳努力評估這可能高估了我們的探測器，因為我們有一個不完美的地面真理不能釋了沒有被報告的有針對性的襲擊用戶。精確度等于攻擊警報(事件)的百分比由我們的探測器產生除以警報總數我們生成的檢測器(攻擊加上誤報)。
訓練和調優:在訓練數據集上，我們的檢測器正確識別了70個橫向網絡釣魚事件中的62個(88.6%)，同時產生了總共62個誤報(2570萬名員工發送的電子郵件)。我們的PySpark隨機森林分類器公開了每個特征相對重要性[40]的內置估計，其中每個特征的得分在0.0 1.0到所有得分之和為1.0之間。基于這些特征權重，我們的模型最重視全局URL信譽特征，權重為0.42，郵件收件人數量特征(0.34)。相比之下，我們的模型基本上忽略了我們的本地URL聲譽，給它分配了0.01分，可能是因為大多數全球罕見的域名往往也是本地罕見的。在其余特征中，接收者似然特征的權重為0.17,phishy關鍵字特征的權重為0.06。
測試數據集:我們的檢測器在110個測試事件(87.3%)中正確識別出96個橫向釣魚事件。此外，我們的探測器發現了49起事件，根據我們的地面真相，沒有用戶報告為網絡釣魚。就其成本而言，我們的檢測器在整個測試數據集上生成了312個誤報(誤報率小于0.00035%，假設未被我們的ground truth識別為攻擊的郵件是良性的)。在我們的測試數據集中，92個組織中的82個在整個4個月窗口內累積了10個或更少的誤報，44個組織在此時間段內遇到零誤報。相比之下，只有三個組織在四個月的時間里有超過40個誤報(分別遇到44,66和83個誤報)。如果僅從我們的40個保留檢測機構的數據進行評估，我們的檢測器達到了類似的結果，檢出率為91.0%，精度為23.1%，假陽性率為0.00038%。
總結
- 上一篇： linux rpm找不到命令_linux
- 下一篇： IDEA必用插件 - 变量名中文转英文A