【IT168 評論】十余年來，企業(yè)架構(gòu)經(jīng)過了數(shù)次迭代和變遷，ITPUB是這一切的重要見證者，同樣陪伴了無數(shù)架構(gòu)師的成長。10月17日，第十屆中國系統(tǒng)架構(gòu)師大會以“十年架構(gòu)，成長之路”為主題，云集了國內(nèi)CTO、研發(fā)總監(jiān)、高級系統(tǒng)架構(gòu)師、開發(fā)工程師和IT經(jīng)理等技術(shù)人群，與會規(guī)模超千人。本屆大會特設(shè)四大主線，其中，主線二為基于大數(shù)據(jù)平臺的應(yīng)用實踐，數(shù)位技術(shù)專家傾囊相授，SACC十年磨礪，涅槃起航!

搜狗云平臺資深高級開發(fā)工程師申賢強：YARN基于負載的調(diào)度引擎優(yōu)化

隨著公司業(yè)務(wù)的增長和規(guī)模擴大，內(nèi)部多Hadoop集群的狀況導(dǎo)致整個集群的負載并不均衡，資源需求在增加，但資源的整體利用率卻不高。搜狗在Hadoop平臺調(diào)度引擎優(yōu)化方面做了很多工作，比如集群間基于負載的彈性伸縮調(diào)度模型，以及集群內(nèi)基于node真實負載的調(diào)度模型。調(diào)度引擎優(yōu)化的目的是解決集群間負載不均衡，以及集群內(nèi)node節(jié)點間負載差距大問題，同時降低單一或者多個node資源爭搶對業(yè)務(wù)的影響，均衡集群負載，充分合理利用資源，提升業(yè)務(wù)穩(wěn)定性。

面對預(yù)算不多但需要更多資源，集群高低峰時期的資源利用率差異明顯等問題，搜狗認為彈性伸縮調(diào)度不失為一個可行的解決方案。最初，搜狗在客戶端集成集群負載判斷邏輯，但是，這種狀態(tài)很容易實現(xiàn)“伸”但并不易實現(xiàn)“縮”。通過在Yarn 3.0版本中提出的AMRM Proxy技術(shù)，搜狗很好得解決了第一版本中存在的問題。最終解決了計算隨著存儲的問題，均衡了集群負載，提高了資源利?率且對業(yè)務(wù)透明。

　蘇寧易購IT總部中臺研發(fā)技術(shù)總監(jiān)錢津津：蘇寧智慧零售之電商大數(shù)據(jù)實踐

在眾多的電商購物狂歡節(jié)中，蘇寧一直都是不容忽視的存在，可能很多人對蘇寧的印象還停留在電器層面，但如今的蘇寧已經(jīng)成長為全品類經(jīng)營、全渠道運營、全球化拓展的O2O零售商。隨著蘇寧戰(zhàn)略轉(zhuǎn)型中業(yè)務(wù)形態(tài)越來越復(fù)雜，大數(shù)據(jù)在蘇寧戰(zhàn)略中扮演的角色也越來越重要。

錢津津介紹了蘇寧智慧零售的現(xiàn)狀，結(jié)合對蘇寧新一代數(shù)據(jù)產(chǎn)品諸葛大師的業(yè)務(wù)和系統(tǒng)架構(gòu)剖析, 及在建設(shè)過程中的關(guān)鍵技術(shù)升級和選型，詳細說明如何利用大數(shù)據(jù)技術(shù)解決業(yè)務(wù)的痛點和難點。對于企業(yè)普遍面臨的數(shù)據(jù)海量、分片嚴重、業(yè)務(wù)系統(tǒng)彈性伸縮、時效要求高等問題，諸葛大師在數(shù)據(jù)采集方面應(yīng)用了業(yè)務(wù)系統(tǒng)下發(fā)、埋點日志、Streaming抽取、Q/Bin log同步和爬蟲等核心技術(shù)來解決數(shù)據(jù)丟失、重復(fù)或擁堵等可能的問題。諸葛為了滿足不同的業(yè)務(wù)需求，幾乎集成了主流的各種計算引擎。最終，整個系統(tǒng)實現(xiàn)了數(shù)據(jù)驅(qū)動業(yè)務(wù)，進行數(shù)據(jù)化管理與運營，并給領(lǐng)導(dǎo)者以決策支持。

白帽匯創(chuàng)始人兼CTO龍專：網(wǎng)絡(luò)空間測繪的實現(xiàn)與架構(gòu)

網(wǎng)絡(luò)空間測繪是近幾年興起的網(wǎng)絡(luò)安全技術(shù)，它通過快速的端口掃描、協(xié)議識別等技術(shù)來對全球的資產(chǎn)進行梳理，結(jié)合產(chǎn)品規(guī)則庫對全球資產(chǎn)進行畫像。在安全漏洞突發(fā)的時候，能夠快速進行漏洞專掃，這種新技術(shù)的架構(gòu)到底是什么樣呢?

龍專表示，網(wǎng)絡(luò)空間測繪是一種資產(chǎn)建模技術(shù)，通過識別聯(lián)網(wǎng)的對象，獲取IP、端口、協(xié)議和產(chǎn)品信息，以搜索引擎的方式提供服務(wù)并支持快速、輕量級漏洞專掃。其四大要素包括端口掃描、協(xié)議識別、產(chǎn)品識別和漏洞專掃。歷經(jīng)了多輪技術(shù)迭代和架構(gòu)升級，龍專所在的白帽匯的FQFA最終可在三分鐘內(nèi)完成全網(wǎng)漏洞報告。

　品友互動首席架構(gòu)師王曉鵬：品友大數(shù)據(jù)分析平臺的架構(gòu)和演化

王曉鵬本身是一位技術(shù)界的老兵，他對于大數(shù)據(jù)、數(shù)據(jù)分析以及架構(gòu)設(shè)計均做過很多思考。大數(shù)據(jù)分析主要包括數(shù)據(jù)收集、數(shù)據(jù)清理、數(shù)據(jù)建模、數(shù)據(jù)分析和數(shù)據(jù)可視化等步驟。其中，數(shù)據(jù)分析又分為四大層次：描述性分析、診斷性分析、預(yù)測性分析和處方性分析。

品友對大數(shù)據(jù)分析的應(yīng)用主要體現(xiàn)在投放分析和企業(yè)數(shù)據(jù)管理兩大平臺，廣告投放平臺主要用戶為廣告投放運營，企業(yè)數(shù)據(jù)管理平臺的數(shù)據(jù)來源豐富，主要受眾群體是企業(yè)市場、IT人員和數(shù)據(jù)分析師等。對于數(shù)據(jù)存儲，品友基于多年經(jīng)驗給出了部分建議：鑒于用戶換機周期為1.5年，因此建議廣告行為數(shù)據(jù)存儲1.5年;一方標簽數(shù)據(jù)、分析數(shù)據(jù)、報表數(shù)據(jù)永久存儲;建議分配存儲與研發(fā)部確認。針對品友數(shù)據(jù)分析平臺的研發(fā)經(jīng)驗，王曉鵬認為根據(jù)數(shù)據(jù)量，使用者角色設(shè)計設(shè)計分析平臺很重要;對工具的選擇來說，沒有銀彈;企業(yè)還是需要走工具+自我開發(fā)的道路。

字節(jié)跳動數(shù)據(jù)基礎(chǔ)架構(gòu)工程師李亞坤：Hadoop YARN 在字節(jié)跳動的實踐

字節(jié)跳動公司的今日頭條、抖音短視頻、火山小視頻、西瓜視頻等一系列產(chǎn)品，在最近幾年內(nèi)數(shù)據(jù)量一直呈現(xiàn)出爆炸性增長趨勢，數(shù)據(jù)基礎(chǔ)架構(gòu)部門在離線計算、流式計算等多個方向上遭遇到了一系列前所未有的挑戰(zhàn)。從0到3.6萬+計算結(jié)點的YARN集群管理，以及在調(diào)度優(yōu)化、流式作業(yè)支持等多個方面，字節(jié)跳動都經(jīng)歷了哪些坑呢?

李亞坤表示，Hadoop生態(tài)圈主要分三層：物理層、分布式系統(tǒng)層和用戶層。 其中，在分布式系統(tǒng)層，分布式計算資源由Yarn統(tǒng)一管理并運行了很多計算框架。對于原生Yarn存在的一些穩(wěn)定性、易用性等方面的問題，字節(jié)跳動在資源調(diào)度等多個層面進行了定制化開發(fā)，比如Dominant Resource Fairness 延遲調(diào)度，Fair Scheduler的動態(tài)預(yù)留以及Fair Scheduler的多線程版本等。未來，字節(jié)跳動的主要工作是平衡集群間的資源利用并實現(xiàn)更好得節(jié)點隔離。

在本屆SACC大會的主線二《大數(shù)據(jù)平臺架構(gòu)實踐》上半場，我們了解了不同企業(yè)在數(shù)據(jù)分析、資源調(diào)度和集群配置等方面的實踐優(yōu)化。“十年磨一劍，礪得梅花香”，第十屆中國系統(tǒng)架構(gòu)師大會準備了三天傳統(tǒng)技術(shù)大會演講，兩天深度主題培訓，更多精彩議題歡迎訪問大會專題頁面請戳“了解更多”

總結(jié)

以上是生活随笔為你收集整理的十年磨一剑！SACC带你领略企业大数据平台实践优化！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。