轉(zhuǎn)自：https://www.oschina.net/news/96951/framework-benchmarks-round-16

在?TechEmpower Framework Benchmarks 項(xiàng)目?5 周年之際發(fā)布了新一輪測(cè)試報(bào)告:?Round 16.?這一輪對(duì)于那些稀飯大數(shù)字的人具有相當(dāng)吸引力. 我們這里說的可不僅僅是每秒吞吐量(有些數(shù)字已經(jīng)大過天了), 還有運(yùn)行的測(cè)試數(shù)目(~1830), 測(cè)試的框架組合 (~464), 涉及的編程語(yǔ)言?(26), 還有運(yùn)行一輪所需要的時(shí)間 (67 小時(shí), 或者說 2410 億毫秒). 歡迎各位前來圍觀我們的測(cè)試報(bào)告以及其中漫威式的數(shù)字吧.

最近幾個(gè)月可謂這個(gè)項(xiàng)目最富有激情的階段. 這段時(shí)間我們的社區(qū)貢獻(xiàn)了許多非常棒的測(cè)試實(shí)現(xiàn), 展現(xiàn)了(友善的)性能比拼帶來的趣味. 回頭我們會(huì)繼續(xù)闡述這點(diǎn). 這次將是一個(gè)稍長(zhǎng)一點(diǎn)的 TFB 正式結(jié)果宣布, 因?yàn)橛泻芏鄸|西我們想和大家一起分享, 所以請(qǐng)耐心讀下去吧.

刀客滿天飛…?刀客飛…?刀客行?

在 15 輪結(jié)束之后, 我們大膽挑戰(zhàn)了一個(gè)超級(jí)任務(wù): 將大約 460 個(gè)測(cè)試實(shí)現(xiàn)從自家釀造的沙箱配置遷移到 Docker 容器中. 這個(gè)的確花了我們不少時(shí)間, 不過很值得, 整個(gè)項(xiàng)目因此受益匪淺.

尤為重要的是因?yàn)椴捎昧?Docker, 測(cè)試的可重復(fù)性和測(cè)量的一致性比其以前有明顯提升. 從我們的持續(xù)測(cè)試結(jié)果反饋發(fā)現(xiàn), 每次完整測(cè)試之間的變動(dòng)非常小了.

而我們基本檢測(cè)發(fā)現(xiàn)因?yàn)?Docker 化帶來的性能影響基本上可以忽略不計(jì), 即便有, 也是均勻施加與所有測(cè)試上面.

講真, 我們這個(gè)項(xiàng)目對(duì) Docker 來說是一個(gè)完美匹配, 或者 Docker 對(duì)于我們的項(xiàng)目來講是個(gè)完美匹配. 唯一的遺憾是當(dāng)初我怎么沒有碰到你. 還有就是 Docker 的動(dòng)詞形式是?

刀客滿天飛(Dockerificationization.)

新硬件平臺(tái)

三月份的時(shí)候我們已經(jīng)宣布了本輪將在新的硬件平臺(tái)上運(yùn)行, 我們稱之為"Citrine", 擁有 Dell? R440 服務(wù)器. 每個(gè)都配備了一顆?Xeon Gold 5120?芯, 和一個(gè) 10GB 的 cisco 以太網(wǎng)交換機(jī).

因?yàn)橛布O(shè)備的更換以及 Docker 的引入, 我們沒有生成?R15?和?R16?的變更報(bào)告. 因?yàn)閿?shù)據(jù)太不相同了,基本上沒有可比性.簡(jiǎn)單地說 R16 的成績(jī)比 R15 會(huì)好很多.

在某些測(cè)試中由于吞吐量太龐大了, 我們遇到了"網(wǎng)絡(luò)飽和"問題. 還記得?Round 8?嗎? 那次也是同樣的問題, 但當(dāng)時(shí)我們實(shí)在 1GB 的網(wǎng)絡(luò)上飽和, 這次是 10GB 啊. 我們下次會(huì)搞定這個(gè)問題的.

(感謝?Server Central?為前幾輪測(cè)試提供硬件!)

Plaintext 和 JSON 測(cè)試結(jié)果的聚集現(xiàn)象

在?Round 16?之前的持續(xù)測(cè)試中我們已經(jīng)發(fā)現(xiàn) Plaintext 和 JSON 測(cè)試的結(jié)果聚集到了 10G 網(wǎng)絡(luò)的理論上限. 這意味著一些框架和平臺(tái)在允許 HTTP pipelining 的情況下讓我們的 10G 網(wǎng)絡(luò)被 140 字節(jié)的響應(yīng)塞滿了, 而我們用的還是一些并不昂貴的商用服務(wù)器!

瓶頸現(xiàn)在到了網(wǎng)絡(luò)層, 我們正在計(jì)劃解決這個(gè)問題. 目前的想法是用使用光纖和我們 Cisco 交換機(jī)上的 QSFP28 接口對(duì)我們的網(wǎng)絡(luò)擴(kuò)容.????

希望能在 Round 17 的時(shí)候看到更多關(guān)于這個(gè)計(jì)劃的情況

持續(xù)性能測(cè)試

在 Round 16 之前我們引入了持續(xù)性能測(cè)試, 我們的?持續(xù)性能測(cè)試平臺(tái)?在這幾個(gè)月愈加完善, 和我們的"刀客行" 一起構(gòu)建了一個(gè)近乎完美的系統(tǒng), 每隔 67 小時(shí)就能讓我們看到新一輪測(cè)試結(jié)果.

我們想 mark 的幾點(diǎn):

• 我們并不想搞什么完美的測(cè)試結(jié)果. 這里的完美是指測(cè)試代碼的穩(wěn)定性和實(shí)現(xiàn)細(xì)節(jié), 而我們?cè)诖瞬⒉惶匾怅P(guān)注這些. 我們的關(guān)注點(diǎn)在于參與者是否能持續(xù)提高他們框架的性能以及是否能吸引更多的參與者貢獻(xiàn)新的測(cè)試. 我們也希望展現(xiàn)今天 Web 開發(fā)的多樣性. 關(guān)注所謂完美將讓我們偏離我們的既定方向.

• (現(xiàn)在)一次完整的性能測(cè)試過程需要 67 小時(shí). 這個(gè)時(shí)間會(huì)隨測(cè)試實(shí)現(xiàn)的增刪而浮動(dòng)

• 我們總會(huì)增添更多的測(cè)試實(shí)現(xiàn), 因此總測(cè)試時(shí)間會(huì)相應(yīng)延長(zhǎng). 另一方面,我們正在考慮增加單個(gè)測(cè)試項(xiàng)目的運(yùn)行時(shí)間. 這也將導(dǎo)致總測(cè)試時(shí)間線性增長(zhǎng)

• 我們已經(jīng)注意到社區(qū)在引用持續(xù)性能測(cè)試結(jié)果. 處于我們 (TechEmpower) 自身的需要, 我們還是會(huì)繼續(xù)定期并發(fā)布官方測(cè)試報(bào)告, 如同本次的 Round 16. 我們也可以利用這個(gè)機(jī)會(huì)寫點(diǎn)博客吸引下眼球不是? 我們希望各位看官繼續(xù)關(guān)注我們的官方測(cè)試報(bào)告,踩捧隨意,只要搞得熱鬧就行?

• 總的來說, 持續(xù)測(cè)試結(jié)果是為框架作者和測(cè)試代碼貢獻(xiàn)者提供的. 而官方報(bào)告則是持續(xù)測(cè)試結(jié)果的低頻度采集, 為所有對(duì) Web 框架性能數(shù)據(jù)感興趣的人提供指導(dǎo)性數(shù)據(jù)

關(guān)于社交媒體

我們?yōu)門echEmpower Framework Benchmarks project 創(chuàng)建了一個(gè) twitter 帳號(hào):?@TFBenchmarks. 別忘了艾特我們.

Round 16 期間我們一直使用社交媒體與社區(qū)互動(dòng), 并和一些框架的社區(qū)合作搞了性能優(yōu)化活動(dòng). Rust 的框架以黑馬的姿態(tài)強(qiáng)勢(shì)闖入 C, C++, Go, Java 和 C# 的陣營(yíng), 成為擁有頂級(jí)性能的服務(wù)端選手

談到 C#, 這個(gè)來自牛氣哄哄的微軟的框架在最近幾輪性能比拼中狂閃黑馬光環(huán). 小子, ASP.NET Core 可不是你老爹時(shí)代的 ASP.NET 了.

性能在我心

五年前我們發(fā)起這個(gè)項(xiàng)目的時(shí)候沒有某個(gè)特殊目的. 而是一些交織在一起的動(dòng)機(jī)促使了這個(gè)項(xiàng)目的誕生: 對(duì)蝸速般 Web 應(yīng)用的無(wú)語(yǔ); 一種希望看到跨平臺(tái)性能高端量化數(shù)據(jù)的渴望; 對(duì)性能優(yōu)化結(jié)果預(yù)測(cè)的證實(shí)(或證偽), 或者說揭示性能的奧秘.?而最重要的是我們可能通過此項(xiàng)目來說服人們更多關(guān)注性能而讓所有的 web 應(yīng)用開發(fā)者獲益.

一開始我們對(duì)項(xiàng)目的期望并不是很高, 而持續(xù)不斷的鼓勵(lì)讓我們感受到項(xiàng)目正在直接或間接發(fā)揮出重要的影響, 我們?yōu)榇朔浅Ｕ駣^.

當(dāng)被問及這個(gè)項(xiàng)目的時(shí)候, 我?(Brian)?總是會(huì)說平臺(tái)和框架是性能的提升最好的地方,這樣能惠及所有使用該平臺(tái)或框架的應(yīng)用開發(fā). 當(dāng)你的平臺(tái)/框架的性能天花板提升之后, 應(yīng)用開發(fā)就獲得額外的空間, 這對(duì)他們來講這是一種天賜, 讓他們更加自由的發(fā)揮. 與此同時(shí)他們可以將性能的擔(dān)憂放到后面, 某些情況下甚至永遠(yuǎn)也無(wú)需慮及性能. 而那些工作在低速平臺(tái)的應(yīng)用開發(fā)者則無(wú)此幸運(yùn), 受限與平臺(tái)的性能, 他們常常被迫在應(yīng)用中引入一些架構(gòu)級(jí)武器, 比如消息隊(duì)列, 工作隊(duì)列, 集群等, 為應(yīng)用開發(fā)帶來額外的復(fù)雜度.

當(dāng)看到開發(fā)者升級(jí)到最新的平臺(tái)/框架享受到性能提升的時(shí)候, 我們也同樣開心.?

我希望此項(xiàng)目所有的參與者能一起分享這種歡樂. 對(duì)其他關(guān)注軟件速度的朋友也是一樣

Round 17 我們來了!

最后

Round 16 結(jié)果:

• Run 6bb9ecf9-5be0-4cb4-b52b-16ea1a3b105b?- 云端結(jié)果 - 由 Azure 云提供測(cè)試環(huán)境.

• Run aad43f39-48a2-460c-a363-99cd543a772a?- 來自我們的?Citrine?服務(wù)器結(jié)果.

總結(jié)

以上是生活随笔為你收集整理的(转)Web Framework 的速度与激情 16 正式上映的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。