日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

美团命名服务的挑战与演进

發布時間:2025/3/21 编程问答 39 豆豆
生活随笔 收集整理的這篇文章主要介紹了 美团命名服务的挑战与演进 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

命名服務主要解決微服務拆分后帶來的服務發現、路由隔離等需求,是服務治理的基石。美團命名服務(以下簡稱MNS)作為服務治理體系OCTO的核心模塊,目前承載美團上萬項服務,日均調用達到萬億級別。為了更好地支撐美團各項飛速發展的業務,MNS開始從1.0向2.0演進。

本文將圍繞本次演進的初衷、實現方案以及落地的效果等方面進行展開,同時本文還介紹了命名服務作為一個技術中臺組件,對業務的重要價值以及推動業務升級的一些成果。希望本文對大家能有所幫助或啟發。

|?本文根據美團基礎架構部技術專家舒超在2019 ArchSummit(全球架構師峰會)上的演講內容整理而成。

一、MNS 1.0簡介

圖1 MNS 1.0架構

?

從架構上看,MNS 1.0 主要分為三層:首先是嵌入業務內部的SDK,用作業務自定義調用;然后是駐守在每個機器上的SgAgent,以代理的方式將一些易變的、消耗性能的計算邏輯與業務進程分離開來,從而降低SDK對業務的侵入,減少策略變動對業務的干擾;遠端是集中式的組件,包括健康檢查模塊Scanner,鑒權緩存模塊MNSC,以及基于ZooKeeper(以下簡稱ZK)打造的一致性組件MNS-ZK,作為通知和存儲模塊。在層級之間設立多級緩存,利用“邊緣計算”思想拆分邏輯,簡化數據,盡量將路由分配等工作均攤到端上,從而降低中心組件負載。

更多詳情大家可參考《美團大規模微服務通信框架及治理體系OCTO核心組件開源》一文中的OCTO-NS部分。

在體量方面,MNS 1.0已經接入了美團所有的在線應用,涉及上萬項服務、數十萬個節點,并覆蓋了美團所有的業務線,日均調用達萬億級別,目前我們已將其開源。

總的來講,作為公司級核心服務治理組件,MNS 1.0在架構上帶有明顯的CP屬性,在保持架構簡潔、流程清晰的同時,還支持了業務大量迭代的需求,較好地幫助公司業務實現了服務化、標準化的目標。

二、MNS 1.0遇到的問題和挑戰

圖2 近三年美團業務增長數據

?

但是隨著美團業務的快速增長,公司的服務數、節點數、服務信息量、服務變動頻次等維度都在快速增長,有些服務甚至呈現出跨數量級的增長。在這樣的情況下,命名服務也面臨著一些新的問題和挑戰:

  • 可用性:公司業務持續高速增長,很多都需要進行跨地域的部署。在MNS 1.0 架構下,地域之間的專線如果斷連,會發生一個地域命名服務整體不可用的情況;其次,強一致組件存在單點問題,Leader出現故障,整個集群中斷服務;另外,在多客戶端和大數據傳輸的命名服務場景下,CP系統恢復困難,RTO達到小時級別。MNS 1.0曾經出現過后端集中式組件單機連接超過十萬且活躍鏈接數過半的情況,出現問題之后,現場恢復的負荷可想而知,這些都給命名系統的可用性帶來很大的風險。

  • 擴展性:相對于需要支持的業務數量,MNS 1.0整體平行擴展能力不足。MNS-ZK的單集群規模上限不超過300(實際只能達到250左右,這與ZooKeeper內部的myid等機制有關),否則同步性能會急劇惡化;其次,集群寫入不可擴展,參與寫入節點越多性能越差;另外,服務信息快照在固定的時間片內持續增長,增加IO壓力的同時也延長了遷移的同步時間。而擴展性上的短板,導致MNS 1.0難以應對突發的流量洪峰,易出現“雪崩”。

  • 性能:寫入操作受CP屬性限制,串行性能較低。MNS-ZK整體到7000左右的寫量就已接近上限。其次,在熱點服務場景下,數據分發較慢,這跟數據粒度較粗也有一定關系。而數據粒度粗、量大,也會在組件間傳輸消息時,導致臨時對象頻繁生成,引起GC。另外,MNS 1.0的后端集群負載還存在均衡性問題,一是因為原架構中缺乏集中管控服務,無法進行動態的集群與數據拆分伸縮,二是因為強一致屬性下,集群節點間基于Session的遷移現場較重,很容易因一個節點掛掉而引起連鎖反應。

  • 圖3 命名服務應該是AP系統

    ?

    從可用性、擴展性、性能等三個方面,MNS 1.0暴露出很多的問題,究其根源,原來的命名服務作為一個CP系統,為獲得“數據一致性”而犧牲了部分情況下的可用性。其實,對于命名服務而言,一致性并沒有這么重要,最多是調用方在一定時間內調多了或調漏了服務方而已,這個后果在不可靠網絡的大前提下,即使命名服務沒有出現問題,也可能經常會出現。借助端的自我檢查調整機制,其影響可以說微乎其微。而另一方面,如果是一個機房或一個地域的調用方和服務方沒有問題,但是因為這個區域和命名服務主集群斷開了鏈接,從而導致本域內不能互調,這個就顯得不太合理了。

    所以總結一下,我們認為,命名服務的本質是建立和增強服務本身的連通性,而不是主動去破壞連通性。命名服務本質上應該是一個AP系統。

    其實,業界對命名服務AP/CP模式都有相應實現和應用,很多企業使用CP模式,原因可能有以下幾點:

  • 架構行為簡單:CP系統在出現分區時行為比較簡單,冷凍處理,粗暴但相對不容易出錯。

  • 啟動門檻低:一些成熟的開源一致性組件,比如ZK、etcd都是CP系統,能夠開箱即用,在數據規模可控的情況下,基本能夠滿足企業的需求。

  • 另外,我們了解到,一些公司使用特殊的方式弱化了這個問題,比如將CP系統進一步拆分到更小的域中(比如一個IDC),縮小分區的粒度,而全局有多個CP系統自治。當然,這個可能跟調用方服務方的跨度限制或者說調用配套部署有關系,但也有可能帶來更復雜的問題(比如CP系統之間的數據同步),這里就不做詳細的討論了。

    除去MNS 1.0本身的架構缺陷,我們還需要面臨另一個問題,當初在項目啟動時,云原生尚處于起步階段,而如今,一些基于云原生理念興起的網絡基礎設施,尤其是Service Mesh在美團快速發展,也需要MNS進行改造去適配新的流量通道和管控組件,這也是此次MNS 2.0演進的目標之一。

    綜上,我們以AP化、Mesh化為主要目標,正式開始了從MNS 1.0向MNS 2.0的演進。

    三、MNS 2.0

    1.整體架構

    圖4 MNS 2.0整體架構

    ?

    MNS 2.0的整體架構自上而下主要分為四層:

    1.?業務系統層:這一層與MNS 1.0架構類似,依然是嵌入到業務系統中的SDK或框架,但是不再感知服務列表和路由計算,從而變得更加的輕薄。

    2.?代理接入層:這一層主要變化是加入了Service Mesh的Sidecar和MNS-API。前者將命名服務的部分鏈路接入Mesh;后者為MNS增加了更豐富的HTTP調用,幫助一些沒有使用SDK或框架的業務快速接入到命名服務。整個代理接入層的改造使得MNS對接入業務更加親和。

    3.?控制服務層:新增注冊中心控制服務,這也是MNS 2.0的核心。主要分為以下三個模塊:

    a.?網關管控模塊:提供集中式的鑒權、限流/熔斷、統計等SOA服務化的管控能力,同時避免海量代理組件直連存儲層。

    b.?數據分發模塊:數據的通道,包括注冊數據的上傳、訂閱數據的下發,可進行精細化數據拆分和平行擴展來適配熱點服務。

    c.?變更捕獲模塊:服務注冊發現的審計,包括對第三方系統進行事件通知和回調,支持多元化的服務數據營運需求。

    另外,控制服務層還包括全鏈路SLA監控等新的子模塊,以及健康檢查Scanner這樣的傳統MNS組件。

    4.?數據存儲層:我們進一步豐富了命名服務的存儲和分發介質,提高了數據層的整體性能。主力存儲使用K/V存儲系統(美團Cellar系統)替代MNS-ZK,有效地提高了數據的吞吐能力,支持網絡分區后的數據讀寫以及宕機災備,同時保留ZK做一些輕量級的Notify功能。新增的關系型數據庫和消息隊列(美團Mafka系統),配合控制層的變更捕獲模塊,提供更方便的數據挖掘結構和外部扇出。

    5. 旁路于上面4層的是外部營運設施,主要是業務端的可視化Portal,用戶可以在上面對自身服務進行監控和操作,美團的基礎研發部門也可以在上面進行一些集中式的管控。

    綜上所述,MNS 2.0整體架構在兼容1.0的前提下,重點變化是:新增了控制服務層并對底層存儲介質進行拆解。下面,我們來看一下服務注冊發現功能在MNS 2.0中的實現流程:

    圖5 MNS 2.0中的服務注冊發現流程

    ?

  • 服務注冊:代理接入層透傳業務注冊請求,經過控制服務層的管控模塊(Gateway)一系列SOA和審計流程后,寫入注冊數據到存儲層。

  • 數據感知:控制服務監聽數據變動,服務注冊寫入新信息后,分發模塊(Delivery)更新內存中的緩存,數據流經過捕獲模塊(CDC)將注冊信息關系化后存儲到DB。

  • 服務發現:代理層請求經過控制服務的管控模塊(Gateway)效驗后,從分發模塊(Delivery)的緩存中批量獲取服務端注冊信息。Cache Miss場景時從存儲層讀取數據。

  • 外部交互層:外部系統當下通過代理層接入整個MNS體系,避免直連存儲帶來的各類風險問題。未來,營運平臺可直接使用準實時DB數據,以OLAP方式進行關系化數據的分析。

  • 接下來,我們一起來看下MNS2.0的主要演進成果。

    2. 演進成果

    2.1 流量洪峰&平行擴展

    流量洪峰對于不同領域而言有不同的時段。對于O2O領域比如美團來說,就是每天中午的外賣高峰期,然后每天晚上也會有酒旅入住的高峰等等。當然,基于其它的業務場景,也會有不同的高峰來源。比如通過“借勢營銷”等運營手段,帶來的高峰量可能會遠超預期,進而對服務造成巨大的壓力。

    圖6 流量洪峰

    ?

    MNS 1.0受制于MNS-ZK集群數量上限和強一致性的要求,無法做到快速、平行擴展。MNS 2.0的數據存儲層重心是保證數據安全讀寫和分布式協調,在擴展能力層面不應該對其有太多的要求。MNS 2.0的平行擴展能力主要體現在控制服務層,其具體功能包括以下兩個方面:

    集群分片:控制服務提供全量注冊數據的分片能力,解決命名服務單獨進行大集群部署時不能進行業務線隔離的風險。MNS-Control網關模塊分為Master和Shard等兩類角色,協作提供大集群分片能力。

    • Master:維護服務注冊信息與各個分片集群(Shard)的映射關系,向代理層組件提供該類Meta數據。Master接收各個Shard集群事件,新增、清理Shard中維護的注冊信息。

    • Shard:數據分片自治向代理組件提供服務注冊/發現功能,實現按業務線隔離命名服務,同時按照Master發出的指令,調整維護的注冊信息內容。

    • Services:業務服務通過代理組件接入MNS,代理組件啟動時通過與Master的交互,獲知歸屬的Shard集群信息以及Fallback處理措施。此后Agent只與業務線Shard進行命名數據交互,直到Shard集群不可用,重新執行“自發現”流程。

    • Fallback措施:設置一個提供全量服務信息的默認Shard集群,當業務線Shard異常時。一方面,Agent重啟“自發現”流程,同時將命名請求重定向到默認的Shard集群,直到業務線Shard恢復后,流量再切回。

    圖7 控制服務數據分片示意圖

    ?

    網絡分區可用:MNS 1.0階段,網絡分區對可用性的影響巨大,分區后MNS-ZK直接拒絕服務。新架構將存儲遷移到KV系統后,在網絡專線抖動等極端情況下,各區域依然能正常提供數據讀取功能。同時,我們與公司存儲團隊共建C++ SDK的地域就近讀寫功能。一方面,提高跨域服務注冊發現的性能,另一方面,實現了網絡分區后,各區域內命名服務可讀、可寫的目標,提高了系統的可用性,整個命名服務對網絡的敏感度降低。

    圖8 命名服務的平行擴展

    ?

    目前,控制服務層在平行擴縮容時間和集群原地恢復時間等方面,都達到了分鐘級,集群也沒有節點上限,從而能夠有效應對突發的流量,防止服務出現“雪崩”。

    2.2 推送風暴&性能提升

    另一個典型的場景是推送“風暴”,在服務集中發布、出現網絡抖動等情況下,會導致命名服務出現"一橫一縱"兩種類型的放大效應:橫向是“關注放大”,類似于社交網絡中某大V消息需要分發給眾多的粉絲,服務越核心,放大的效果越明顯。縱向是“級聯放大”,命名服務的上下游會逐級進行拷貝發送,甚至一級上下游會針對一個消息有多次的交互(Notify+Pull)。

    圖9 命名服務領域的消息放大現象

    ?

    “關注放大”和“級聯放大”本身都是無法避免的,這是由系統屬性決定,而我們能做的就是從兩方面去平滑其帶來的影響:

    正面提升核心模塊性能,增強吞吐、降低延遲

  • 結構化聚合注冊信息:控制服務的數據分發模塊,在內存中存儲結構化的服務注冊信息,提供批量數據的讀取能力;降低多次網絡RTT傳輸單個數據以及數據結構轉化帶來的高耗時。

  • 高并發的吞吐能力:控制服務通過無鎖編程處理關鍵路徑的競爭問題,借助應用側協程機制,提供高并發、低延遲的數據分發功能。

  • 與存儲團隊共建,實現KV系統就近區域讀寫,提高命名服務的服務注冊(數據寫入)性能。

  • 另外,包括前面提到的控制服務集群的平行擴展能力,其實也是整體性能提升的一種方式。

    側面疏通,區分冷熱數據,降低推送的數據量,提高效能

    自然界中普遍存在“80/20法則”,命名服務也不例外。服務注冊信息的結構體中元素,80%的改動主要是針對20%的成員,比較典型的就是服務狀態。因此,我們將單個整塊的服務信息結構體,拆分為多個較小的結構體分離存儲;當數據變動發生時,按需分發對應的新結構體,能夠降低推送的數據量,有效減少網絡帶寬的占用,避免代理組件重復計算引起的CPU開銷,數據結構變小后,內存開銷也得到顯著降低。

    那是否需要做到完全的“按需更新”,僅推送數據結構中變動的元素呢?我們認為,完全的“按需更新”需要非常精細的架構設計,并會引入額外的計算存儲開銷。比如,我們需要將變動成員分開存儲以實現細粒度Watcher,或用專門服務識別變動元素然后進行推送。

    同時,還要保證不同成員變動時,每次都要推送成功,否則就會出現不一致等問題。在組件計算邏輯所需的數據發生變化時,也會帶來更多的改動。在命名服務這樣的大型分布式系統中,“復雜”、“易變”就意味著穩定性的下降和風險的上升。所以根據“80/20法則”,我們進行尺度合理的冷熱數據分離,這是在方案有效性和風險性上進行權衡后的結果。

    圖10 冷熱數據分拆推送

    ?

    經過改造,MNS 2.0相比MNS 1.0的吞吐能力提升8倍以上,推送成功率從96%提升到99%+,1K大小服務列表服務發現的平均耗時,從10s降低到1s,TP999從90s下降到10s,整體優化效果非常明顯。

    2.3 融入Service Mesh

    在MNS 2.0中,我們將代理服務SgAgent部分注冊發現功能合并到了Mesh數據面,其流程如下圖所示:

    圖11 命名服務與Service Mesh的融合

    ?

    關于美團服務治理功能與Service Mesh結合的技術細節,這部分的內容,我們今年會單獨做一個專題來進行分享,感興趣的同學可以關注“美團技術團隊”微信公眾號,敬請期待。

    2.4 無損遷移

    除了上面說到的MNS 2.0的這些重點演進成果之外,我們還想談一下整個命名服務的遷移過程。像MNS這樣涉及多個組件、部署在公司幾十萬個機器節點上、支撐數萬業務系統的大規模分布式系統,如何進行平滑的數據遷移而不中斷業務正常服務,甚至不讓業務感知到,是MNS 2.0設計的一個重點。圍繞業務服務無感知、具備快速回滾能力、新/老體系互備數據不丟失等要求,我們設計了如下圖所示的遷移流程:

    圖12 MNS 2.0的無損遷移

    ?

    MNS 2.0整體以服務為粒度進行遷移操作,設置標志位說明服務所處的狀態,由接入代理層組件識別該標志做出相應的處理。標志位包括:

  • 未遷移標志:服務注冊/發現走MNS 1.0的流程,注冊信息存儲到重構前的MNS-ZK中。

  • 遷移中標志:服務注冊并行走MNS 1.0和MNS 2.0流程,數據同時寫入新舊兩個地方,服務發現執行MNS 2.0流程。

  • 已遷移標志:服務注冊/發現全部走MNS 2.0流程,注冊信息僅存儲到MNS 2.0的數據層。該階段無法進行平滑的回滾,是項目長期驗證后最終的遷移狀態。

  • 上述可以總結為:聚焦單個服務,階段性遷移服務發現流量,從而達到類似系統新功能發布時“灰度上線”的能力。當然,這個策略還涉及一些細節在其中,比如,分開存儲在雙寫時需要重點去保證異常情況下的最終一致性等等,鑒于篇幅原因,這里就不詳細展開討論了,而且業界針對這種情況都有一些成熟的做法。

    另外,我們通過優化命名服務發布系統的發版形式,實現自動化的流量灰度策略,降低了人力成本,同時構建了自動化的遷移工具、巡檢工具,高效地進行自動化的數據遷移工作,能夠快速巡檢遷移后的鏈路風險,保障新MNS 2.0的穩定上線。

    2.5 演進總結

    在美團命名服務這樣的大型分布式系統優化過程中,具體到架構和功能設計層面,我們也做了不少的權衡和取舍,前面我們也提到,放棄了增量式的精準變動信息推送方式。在考慮性能的前提下,也沒有使用數據多維度營運能力更好的MySQL作為主要存取介質等等。取舍的核心原則是:改造目標時強調業務收益,落地過程中減少業務感知

    目前,MNS 2.0主要成果如下:

    • 重構了5個已有的核心組件,研發了2個全新的系統,完成公司PaaS層數十個服務的功能的適配改造,目前已成功遷移全公司80%以上的服務,且在遷移過程中無重大事故。

    • RTO從數小時降到分鐘級,RPO為0;全鏈路推送耗時TP999從90s降到了10s,推送成功率從96%提升到99%以上,基本完成了百萬級別服務節點治理能力的建設。

    • 集群數據按照業務線等多維度進行拆分,建立了基于分級染色的SLA指標和定期巡檢機制,同時根據公司實際場景增加了眾多的服務風控審計功能,保障了業務安全。

    • 云原生方面,支持了Service Mesh,注冊發現流程融入了Mesh底層基礎設施。

    四、命名服務對業務的賦能

    命名服務本身作為基礎的技術中臺設施,在堅持“以客戶為中心”,升級自身架構的同時,也從如下幾個方面對美團的多個業務進行賦能。

    4.1 單元化&泳道

    單元化(SET化)是業界比較流行的容災擴展方案,關于美團單元化的詳細內容,可參考OCTO團隊在本次ArchSummit中的另一個專題分享《SET化技術與美團點評實踐解密》。這里主要是從命名服務對單元化支撐的角度去解答這個問題。

    圖13 命名服務對單元化的支持

    ?

    如上圖所示,業務多種來源的外網流量在通過網關進入內網后,會借助命名服務提供的能力(SDK/Agent),并按照業務自定義的核心數據維度和機器屬性,給流量打上單元化標簽,然后路由到標簽匹配的下一跳,從而實現了單元間流量隔離。一個單元內部,從服務節點到各種存儲組件,都依賴于命名服務提供的單元識別和路由能力來完成隔離,所以命名服務在單元化中主要起底層支撐的作用。

    目前單元化在美團的重點業務,比如外賣、配送已經建設的比較完備,通過一定的單元冗余度,能在一個單元出現問題時,切換到另一個可用的鏡像單元,顯著提高了業務整體可用性。

    接下來,我們再來看一下泳道場景。目前泳道在美團這邊主要用于業務做完代碼UT之后的線下集成測試階段,同時結合容器,實現一個即插即用的上下游調用環境去驗證邏輯。命名服務在其中起到的作用與單元化類似,根據泳道發布平臺對機器的配置,自動編排上下游的調用關系。如下圖所示:

    圖14 泳道流量示意圖

    ?

    當下一跳存在泳道節點時,測試流量進入泳道。反之,測試流量回流到主干。每個節點重復上述過程。

    4.2 平滑發布&彈性伸縮

    命名服務另外一個重要場景是服務的平滑發布,我們與發布平臺配合,控制發布流量的自動摘除與恢復,實現服務發布操作的自動化與透明化。具體流程如下圖所示:

    圖15 命名服務支持平滑發布

    ?

    早期的發布流程,存在異常調用的風險,上線過程中存在一段服務實例不可用的“時間窗口”,此時流量再進入可能導致調用失敗,然后會報錯。為保證發布的穩定性,需要操作人員手動進行流量排空,流程上效率低、易出錯,浪費業務團隊的時間。針對這項業務痛點,命名服務向發布系統提供針對服務實例的流量管控能力,實現進程重啟前自動摘除并清空來源請求,升級完畢后,提供自動流量恢復的平滑發布功能。智能地解決發版過程中的異常調用問題,提高公司的服務上線效率,降低了業務團隊的運維成本。

    彈性伸縮是容器一個很大的賣點。但是在伸縮過程中有很多問題需要考慮,比如擴縮容策略,包括調用親和度配置,路由均衡等等。命名服務和容器化合作,提供業務的上下游調用關系、分組設置信息、容器下線流量無損摘除等服務,同時保障伸縮服務注冊及時、高效。如下圖所示:

    圖16 命名服務支持彈性伸縮

    ?

    4.3 服務數據

    MNS服務數據對業務的賦能主要分為兩個部分,一是將自身運行狀態以業務可理解的SLA暴露出來,方便業務評估命名服務健康狀況。對于命名服務來說,SLA指標主要有推送成功率推送耗時兩種(其實,推送耗時也可以看做成功率的一個衡量維度,這里暫時不做太詳細的區分)。

    MNS 1.0精準量化運行狀況的困難在于,一方面MNS的發布/訂閱機制重度依賴ZK,受限于ZK的自身實現和鏈路上眾多不同組件的異構性,及時獲取完整鏈路的推送行為數據很困難。另一方面,由于節點數眾多,全量采集服務發現數據,對公司的監控上報系統以及采集之后的計算也是很大的負擔。

    在MNS 2.0中,我們首先在架構上顯著弱化了ZK的地位,它基本上只作為一致性通知組件。我們自研的MNS-Control可以充分DIY埋點場景,保證了主要推送行為抓取的可控性。其次,我們采用了分級采樣計算,在全面梳理了公司現有的服務節點數比例后,將典型的服務列表數劃分為幾個檔次,比如1000個節點的服務為一檔,100個又為一檔,并創建相應的非業務哨兵服務,然后在不同機房選取適量的采樣機器定期注冊+拉取來評估整體的運行情況。這樣既做到了上報量的精簡,又兼顧了上報數據的有效性。詳細操作流程,如下圖所示:

    圖17 MNS 2.0 SLA采集

    ?

    • 控制層周期性修改采樣服務中的服務數據,觸發服務發現的數據推送流程。

    • 參與指標統計的機器節點,本地代理進程獲取到注冊信息推送后,上報送達時間到運維平臺并由其寫入存儲層。

    • 控制層對數據庫中的數據進行聚合計算,最后上報監控系統展示指標數據。此外,通過與監控團隊合作,解決全量部署的Agent埋點監控問題。

    命名服務存儲的服務信息有很高的業務價值,從中可以知道服務的部署情況、發布頻次以及上下游拓撲信息等等。所以“賦能”的第二個部分在于,借助這些信息,我們可以挖掘出業務服務部署運維上不合理的地方或風險點,不斷推動優化,從來避免一些不必要的損失。目前已經在推動的項目包括:

    • 單進程多端口改造:業務使用這種方式去區分不同的調用端口,從而造成端口資源的浪費,而且調用下游還要感知部署信息,這種機器屬性粒度細節的暴露在云原生時代是不太恰當的。我們協助業務將調用行為改成單端口多接口的形式,在協議內部去區分調用邏輯。

    • 大服務列表的拆分:隨著業務的發展,單個服務的節點數呈爆發式增長,甚至出現了一個服務有接近7W的節點數的情況,對發布、監控、服務治理等底層設施產生很大的壓力。我們通過和業務的溝通,發現大列表產生的原因主要有兩點:1. 單機性能不夠,只能以實例抗;2. 服務內容不夠聚焦。換句話說,因為服務還不夠“微”,所以導致邏輯越來越龐大,有需求的調用方和自身實例相應增加,代碼風險也在增大。因此,我們和業務一起梳理分析架構和調用,將核心共用模塊與業務邏輯群分拆出來,減少冗余調用,最終使一些大服務節點數量從數萬降低到數千,實現了數量級的下降。

    • 上下游均衡部署:這個比較容易理解,結合調用端與服務端比例、服務方機器性能以及調用失敗率等信息,可以作為服務業務在各機房間均衡調整機器數量的參考。另一方面,我們也在減少基于就近調用策略的粒度,目前只保留了“同IDC”和“同城”兩種,去掉了之前的“同中心策略”,減輕業務服務部署的心智負擔。后期,隨著機房數量的降低和同地域機房間延時的可控,同城路由可能是最終的方案。

    在架構上,MNS 2.0依賴DB和其它一些數倉介質,進行多種維度的數據上卷和下鉆,并結合一些定制的風險策略邏輯去幫助業務發現和規避問題,目前這個事情也在進行中。

    圖18 MNS 2.0數據賦能

    ?

    五、未來展望

    未來,美團命名服務主要會朝兩個方向發展:

    • 進一步收集、挖掘服務數據的價值,打造服務數據平臺,賦能業務升級。從單純實現業務注冊發現路由等需求,到通過數據反向推動業務架構流程改造升級,這也是美團核心價值觀“以客戶為中心”的一種體現。

    • 深度結合Service Mesh等云原生基礎設施的演進。云原生理念及相關設施架構的快速發展,必然會造成傳統服務治理組件架構上流程的變動,深度擁抱云原生,并享受基礎功能下沉帶來的“紅利”,是命名服務一個比較確定的方向。

    作者簡介

    舒超,美團資深技術專家,美團OCTO服務治理團隊研發核心成員。
    張翔,美團高級工程師,美團OCTO服務治理團隊研發核心成員。

    總結

    以上是生活随笔為你收集整理的美团命名服务的挑战与演进的全部內容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

    性色av一区二区三区在线观看 | 色综合久久中文综合久久牛 | 欧美成人69av| 蜜臀久久99精品久久久无需会员 | 少妇bbw搡bbbb搡bbb | 国产超碰在线观看 | 亚洲日b视频 | 久久久久久毛片精品免费不卡 | 免费看十八岁美女 | 日本中文字幕在线一区 | 免费在线观看91 | 综合国产在线观看 | 中文字幕久久精品亚洲乱码 | 中文字幕一区二区在线观看 | 超碰在线日本 | 国产性天天综合网 | 欧美aaaxxxx做受视频 | 成人一级黄色片 | 69夜色精品国产69乱 | 国产一区二区在线免费播放 | 中文字幕在线播放一区 | 中文在线中文资源 | 一区二区三区污 | 亚洲国产精品日韩 | 国产精品一区二区三区免费视频 | 一区二区三区国产精品 | 久草久草久草久草 | 国产精品不卡在线观看 | 曰韩在线 | 国产精品一区在线观看 | 久久爱992xxoo| 99久久99久久精品 | 精品中文字幕视频 | 国产精品视频大全 | 国产系列在线观看 | 97国产电影 | 久久96国产精品久久99软件 | 婷婷色网视频在线播放 | 精品一二三区视频 | 97超碰成人在线 | 在线观看视频你懂得 | 国产一区麻豆 | 久99久视频| 六月丁香婷婷久久 | 在线一二区 | 黄网站免费大全入口 | 亚洲欧美视频在线观看 | 欧美激情综合网 | 久久久久国产一区二区 | 国产区在线视频 | 国产资源在线免费观看 | 香蕉视频久久久 | 成人毛片一区 | 欧美性成人 | 亚洲乱亚洲乱亚洲 | 日韩在线 一区二区 | 中文字幕中文字幕中文字幕 | 91av福利视频 | 色亚洲网 | 视频在线一区二区三区 | 99精品在线免费观看 | 天堂在线视频免费观看 | 久久国产精品久久精品国产演员表 | 亚洲日本在线视频观看 | 四虎5151久久欧美毛片 | 视频在线精品 | 偷拍区另类综合在线 | 五月天天av| 日本在线视频网址 | 93久久精品日日躁夜夜躁欧美 | 麻豆影视在线观看 | 亚洲理论视频 | 欧美aaaxxxx做受视频 | 色偷偷av男人天堂 | 在线免费试看 | 成人在线免费av | 国产免费视频一区二区裸体 | 久久精品一级片 | 日韩精品视频在线观看免费 | 成人在线免费av | 性色av一区二区三区在线观看 | 夜夜天天干| 草久在线 | 丁香六月在线 | 91免费的视频在线播放 | av成人在线播放 | 日韩在线观看一区二区 | 在线日韩中文字幕 | 欧美日韩在线免费观看 | 久久午夜国产 | 欧美91av| 久久一区91| 狠狠做六月爱婷婷综合aⅴ 日本高清免费中文字幕 | 亚洲日本精品 | 国产高清视频在线 | 日韩精品免费在线播放 | 福利视频在线看 | 在线欧美日韩 | 在线观看免费视频 | 国产精品免费久久久久久久久久中文 | 狠狠干五月天 | 久久天天躁狠狠躁夜夜不卡公司 | 天天激情 | 亚洲精品88欧美一区二区 | 国产一区二区三区高清播放 | 超碰人人超 | 国产亚洲精品久久网站 | 一区二区不卡高清 | 视频一区二区视频 | 中文字幕永久 | 九九视频免费观看视频精品 | 中文字幕一区二区三区在线观看 | 96精品视频 | 日韩成人黄色 | 国产视频99 | 日韩欧美国产精品 | 中文字幕传媒 | 操操操日日日干干干 | 在线免费黄网站 | 国产精品精 | 天天摸天天干天天操天天射 | 一区精品在线 | 91久久爱热色涩涩 | 毛片1000部免费看 | 黄色毛片视频免费观看中文 | 九九热中文字幕 | 亚洲综合色激情五月 | 亚洲精品2区 | 亚洲一区二区视频在线播放 | 成人91av | 国产精品精品 | 亚洲成人av一区二区 | 久久久久久久久久久久久9999 | 在线观看免费观看在线91 | 丝袜美女视频网站 | 美国av大片 | 青青河边草免费直播 | 国产一区二区久久久久 | 日韩精品在线观看视频 | 日韩在线二区 | 国产黄色免费看 | 亚洲精品小视频在线观看 | 国语麻豆 | 西西444www高清大胆 | 草久视频在线观看 | 中文国产字幕在线观看 | 狠狠躁夜夜躁人人爽超碰97香蕉 | 亚洲理论视频 | 日韩精品不卡在线观看 | 国产乱码精品一区二区蜜臀 | 天天操夜夜操天天射 | 91精品国产自产在线观看永久 | 天天操夜夜曰 | 丁香六月婷婷开心婷婷网 | 日韩精品在线视频免费观看 | 91视频 - v11av | 国外成人在线视频网站 | 99在线免费观看视频 | 综合久久精品 | 国产精品99久久久久久小说 | 蜜臀aⅴ国产精品久久久国产 | 国产精品系列在线 | 欧美日韩国产精品一区二区三区 | 成年人毛片在线观看 | 日韩视频免费观看高清完整版在线 | 欧美一级电影在线观看 | 国产高清在线一区 | 97香蕉久久国产在线观看 | 中文字幕在线国产 | 亚洲激情在线观看 | 欧美日产在线观看 | 在线观看黄污 | 免费观看国产精品视频 | 极品美女被弄高潮视频网站 | 亚洲成人精品国产 | 色视频成人在线观看免 | zzijzzij日本成熟少妇 | 亚洲不卡123 | 91精品国产自产在线观看永久 | 中文av在线免费观看 | 久久久网站 | 午夜国产一区 | 精品久久国产一区 | 中文字幕在线观看视频一区二区三区 | 成人午夜剧场在线观看 | v片在线看 | 91一区二区在线 | 国产一区二区三区四区大秀 | 国产精品男女视频 | 激情视频一区二区三区 | 久草视频在线免费看 | 手机看国产毛片 | 中文有码在线 | 国产一级视频 | 日韩电影久久久 | 久久久久日本精品一区二区三区 | 中文字幕一区二区在线观看 | 亚洲人久久久 | 国产福利久久 | www.com在线观看 | 欧美有色 | 日韩av不卡播放 | 亚在线播放中文视频 | 日本乱码在线 | 一区二区不卡视频在线观看 | 国产免费国产 | 中中文字幕av | 成 人 黄 色视频免费播放 | 狠狠色噜噜狠狠狠狠2022 | 天天曰 | 欧美专区亚洲专区 | 91视频在线观看下载 | 91中文字幕在线 | 国产精品99久久久久久久久 | 激情五月综合网 | 日韩在线高清免费视频 | 色噜噜狠狠色综合中国 | 日韩高清精品免费观看 | 国产三级视频 | a视频免费 | 麻豆国产精品视频 | 黄色av电影在线观看 | 在线免费黄 | 1024手机在线看 | 国产精品久久久久久久av电影 | 精品免费久久 | 国产又粗又猛又黄又爽 | 日韩欧在线 | 国产精品露脸在线 | 91在线播放国产 | 国产剧情一区二区在线观看 | 国产小视频在线观看 | 国产高清不卡 | 最近的中文字幕大全免费版 | 国产永久免费观看 | 久久手机视频 | 黄色av一区二区三区 | 国产日韩欧美在线 | 国产精品中文字幕在线播放 | 综合影视 | wwwwww黄 | 亚洲最大av| 欧美大片在线观看一区 | 亚洲日日射 | 久久在草 | 国产伦精品一区二区三区高清 | 草久热 | 91丨九色丨蝌蚪丨老版 | 国产精成人品免费观看 | 人人爽久久涩噜噜噜网站 | 精品国产伦一区二区三区观看说明 | 亚洲黄色激情小说 | 国产精品久久久免费看 | 国产成人精品一区二区三区在线 | 久草剧场 | 日韩一区二区三免费高清在线观看 | 天天操天天射天天操 | 亚洲黄网址 | 麻豆你懂的 | 玖玖在线免费视频 | 99久热在线精品 | 国内少妇自拍视频一区 | 在线免费黄色av | 成年美女黄网站色大片免费看 | 免费成人在线观看 | 久草视频免费在线观看 | 日产乱码一二三区别免费 | 久操视频在线观看 | 人人插人人费 | 一区二区三区四区在线免费观看 | 国产精品一区二区三区视频免费 | 欧美高清视频不卡网 | av电影不卡在线 | 欧美日韩在线视频一区二区 | 久久好看免费视频 | 久久综合久色欧美综合狠狠 | 国产视频精品网 | 亚洲一区二区精品视频 | av大片免费在线观看 | 九色福利视频 | 日韩精品一区二区三区免费观看 | 久久久国产精品视频 | 人人射人人澡 | 黄色三级免费片 | 欧美精品色 | 在线观看免费国产小视频 | 99久久精品电影 | 亚洲国产成人在线观看 | 97免费公开视频 | 中文字幕在线看视频 | 天堂网av在线 | 国产免费观看高清完整版 | 亚洲黄色片在线 | 日本久久久久久科技有限公司 | 日本爱爱片 | 欧美日韩免费一区二区 | 麻豆久久一区二区 | 欧美淫视频 | 日韩三区在线 | 国产特黄色片 | 国产无套视频 | 又粗又长又大又爽又黄少妇毛片 | 亚洲精品视频在线观看免费视频 | 99久久er热在这里只有精品15 | 久久综合色天天久久综合图片 | 久久免费试看 | 最新高清无码专区 | 久久手机看片 | av+在线播放在线播放 | 9ⅰ精品久久久久久久久中文字幕 | 日本中文一级片 | 国内精品久久久精品电影院 | 99精品视频免费在线观看 | 成人av手机在线 | 久久久伊人网 | 欧美日本不卡视频 | 国产色拍拍拍拍在线精品 | 日韩精品国产一区 | 粉嫩av一区二区三区四区在线观看 | 国产精品黑丝在线观看 | 91人人网 | 人人爱人人射 | 在线 日韩 av | 精品中文字幕在线观看 | 亚洲国产午夜视频 | 久久久www| 日本在线免费看 | 精品999在线观看 | 久久精品99国产国产 | 国产一区二区精品 | 国产无遮挡又黄又爽在线观看 | 男女精品久久 | 日韩精品视频在线免费观看 | 九九精品视频在线 | 久久综合一本 | 日韩欧美综合精品 | 激情综合网色播五月 | 国产 在线 日韩 | 亚洲日日日| 在线免费国产视频 | 亚洲午夜精品一区二区三区电影院 | 亚洲精品美女视频 | 九九久 | 亚洲精品一区二区三区高潮 | 国产精品女人网站 | a亚洲视频 | 不卡电影一区二区三区 | 91视频在线观看下载 | 精品a级片| 91成人国产 | 国产人成一区二区三区影院 | 国产精久久久久久妇女av | 欧美性色综合 | 在线观看中文字幕av | 国产精品久久久久久五月尺 | 69国产精品成人在线播放 | 五月丁婷婷 | 欧美另类tv| 黄网站污| av高清一区二区三区 | 在线观看的a站 | 在线观看一级视频 | a黄色影院 | 色综合久久88色综合天天免费 | 久久国产精品99国产 | 久久精品看片 | 最近中文字幕高清字幕在线视频 | 久久免费精品视频 | 国产精品久久久久久久av大片 | 久久久久| 国产精品免费观看视频 | 在线观看第一页 | 久热免费| 成年人在线播放视频 | 成人av电影在线观看 | 国产精品一区二区av日韩在线 | 天堂在线成人 | 四虎在线永久免费观看 | 国产亚洲精品美女久久 | 毛片网免费 | 成人四虎影院 | 不卡视频在线 | 亚洲综合在线视频 | 在线免费观看黄色小说 | 免费特级黄色片 | 五月丁色 | 婷婷丁香视频 | 国产专区第一页 | 日韩免费在线播放 | 欧洲精品亚洲精品 | 91成年人在线观看 | 96国产精品 | 五月婷婷毛片 | 欧美在线日韩在线 | 日韩精品免费在线视频 | 国产精品第十页 | av视屏在线播放 | 网址你懂的在线观看 | 久久深夜| 99久久国产免费,99久久国产免费大片 | av免费播放| 婷婷色在线观看 | 久久精品久久精品久久 | 日韩精品高清不卡 | 一级片免费视频 | 国产成人一二三 | 99精品视频在线看 | 国产不卡在线观看视频 | www.91国产| 91视频在线| 在线免费观看涩涩 | 我要色综合天天 | 国产三级香港三韩国三级 | 国产午夜精品在线 | 国产原创在线视频 | 日韩高清一二三区 | 亚洲日本黄色 | 免费观看丰满少妇做爰 | av久久在线 | 中午字幕在线观看 | 国内精品久久久久 | 日韩电影一区二区三区在线观看 | 在线中文字幕观看 | 国产98色在线 | 日韩 | 超碰在线天天 | 欧美日韩国产在线一区 | 人人看97| 黄色91免费观看 | 成人免费在线观看电影 | 久久综合久久综合九色 | 国产 视频 高清 免费 | 国产精品一区二区三区在线播放 | 一区二区三区动漫 | 国产精品福利午夜在线观看 | 成人网中文字幕 | 亚洲 欧洲 国产 精品 | 丁香六月欧美 | 日韩视频图片 | 色91av| 欧美一级xxxx | 久久夜色精品国产欧美一区麻豆 | 香蕉在线播放 | 亚洲精品乱码久久久久久写真 | 国产在线最新 | 狠狠操夜夜 | 亚洲japanese制服美女 | av成人在线电影 | 五月天六月婷婷 | 日韩性色| 一区二区三区久久精品 | 日韩精品一区二区免费视频 | 久久久久国产免费免费 | 日韩视频欧美视频 | 九九热1 | 999国内精品永久免费视频 | 操少妇视频 | 成人黄在线 | 国产精品免费小视频 | 黄网av在线| 欧美一区日韩一区 | 免费看片网址 | 在线国产一区 | av片在线观看免费 | 99精品国产99久久久久久福利 | 免费a级毛片在线看 | 欧美精品成人在线 | 成人av电影免费在线播放 | 天天操天天摸天天爽 | 97成人资源 | 久久国产成人午夜av影院宅 | 国产高清视频在线观看 | 午夜影院在线观看18 | 色欧美日韩 | 亚洲综合情 | 免费精品视频在线观看 | 日韩免费电影 | 免费在线a | 精品视频区 | 伊人色综合网 | 日本黄色免费看 | 黄色一区二区在线观看 | 九九久 | 中文字幕在线观 | 国产在线观看免费观看 | 久久综合狠狠综合久久激情 | 福利网在线| 91福利免费 | 99热在线观看 | 天天色天天综合 | 一级电影免费在线观看 | 69xx视频 | 91亚洲精品国偷拍自产在线观看 | av资源在线观看 | 韩日电影在线免费看 | 99久久国产免费看 | 在线观看精品国产 | 黄色免费网站大全 | 精品女同一区二区三区在线观看 | 亚洲高清资源 | 在线观看中文字幕dvd播放 | 91精品在线免费观看视频 | 99精品观看 | 日韩综合在线观看 | 亚洲一本视频 | 一级片免费观看视频 | 中文国产字幕 | 奇米先锋 | 国产精品12345| 91在线视频在线观看 | 韩国在线一区 | 亚洲精品久久在线 | 中文字幕精品www乱入免费视频 | 久久综合成人网 | 最近日本韩国中文字幕 | 日批视频 | 中文永久字幕 | 天天做日日做天天爽视频免费 | 狠狠操欧美 | 少妇性色午夜淫片aaaze | 日韩欧美视频 | 日韩精选在线观看 | 九色视频网址 | 亚洲一片黄| 色天天天 | 欧美精品免费一区二区 | 91网在线观看 | 精品欧美一区二区精品久久 | av黄色成人 | 亚洲成人av一区二区 | 免费看三级网站 | 久久综合成人 | 99精彩视频在线观看免费 | 中文字幕资源在线 | 中文不卡视频在线 | 久久久久久久久久久成人 | 四虎影视成人永久免费观看视频 | 国产精品18久久久久久久久 | 99久久久| 国产精品免费不卡 | a资源在线 | 91免费观看视频网站 | a一片一级| 五月婷婷六月综合 | 五月激情视频 | 天天插日日操 | 久草电影在线观看 | 久久,天天综合 | 国产亚洲综合在线 | 9免费视频 | 国产成人精品在线 | 亚州av免费 | av字幕在线 | av电影中文字幕在线观看 | 国产97免费 | 亚洲精品国产成人av在线 | 久久久www成人免费精品张筱雨 | 欧美在线1 | 中文字幕免费在线看 | 欧美淫aaa免费观看 日韩激情免费视频 | 天天操夜夜想 | 日韩av网页 | 中文一区二区三区在线观看 | 久久99网站 | 伊人婷婷网 | 久久婷亚洲五月一区天天躁 | 国产精品久久久久久久久蜜臀 | 天天色天天操天天爽 | 日韩二区三区在线观看 | 四月婷婷在线观看 | 成人免费毛片aaaaaa片 | 精品国产诱惑 | 中文字幕日本在线 | 免费在线观看91 | 欧美日韩在线电影 | 最新中文字幕在线观看视频 | 亚洲精品在线视频 | 久草热久草视频 | 亚洲国产精品一区二区久久,亚洲午夜 | 国内久久久久久 | 成人黄色av免费在线观看 | 五月天精品视频 | 国产成人一区二区三区久久精品 | 综合在线亚洲 | 一二三区高清 | 丁香av| 月下香电影 | 在线国产91 | 五月天激情视频在线观看 | 顶级bbw搡bbbb搡bbbb | 99精品视频免费看 | 午夜久久久久久久久久久 | 青青五月天 | 精品国产乱码久久久久久1区2匹 | 成人黄色av网站 | 在线精品一区二区 | 五月天电影免费在线观看一区 | 在线播放 日韩专区 | 日日爱999 | 日日操日日| 国产黑丝一区二区三区 | 五月婷婷一区 | 天天插伊人 | 91日韩精品一区 | 日韩在线免费电影 | 欧美一级艳片视频免费观看 | www国产精品com| 少妇视频一区 | 国产九九热视频 | 婷婷丁香在线 | 国产破处在线播放 | 亚洲精品在线播放视频 | 久草电影网| 日本二区三区在线 | 91麻豆精品国产91久久久更新时间 | 精品美女在线观看 | 97av在线| .国产精品成人自产拍在线观看6 | 69精品| 日本精品一二区 | 天堂av在线网址 | 久久在线精品视频 | 夜夜夜| 亚洲成a人片77777潘金莲 | 中文字幕乱码视频 | 国产在线观看污片 | 天天精品视频 | 天天天天色射综合 | 91黄站| 成人av高清在线 | 欧美精品色 | 四虎成人在线 | 五月婷网 | 精品中文字幕在线观看 | 免费裸体视频网 | 亚洲成aⅴ人在线观看 | 免费成人av | 成人va天堂| 最近日韩中文字幕中文 | 久草国产在线观看 | www.av在线播放 | 久久综合婷婷国产二区高清 | 丁香视频全集免费观看 | 婷婷 中文字幕 | 成人综合婷婷国产精品久久免费 | 国产精品免费观看网站 | 精品一二三区视频 | 国产中年夫妇高潮精品视频 | 在线观看91网站 | 超碰午夜| 福利网在线 | 欧美久久精品 | 色综合天天色综合 | 狠狠干2018 | 狠狠色丁香婷婷综合久久片 | 久久精品xxx| 久久人人爽人人爽 | 亚洲九九九在线观看 | 欧美一级性生活 | 国产剧情av在线播放 | 国产视频黄 | 免费看三级 | 激情视频综合网 | 一 级 黄 色 片免费看的 | 麻豆va一区二区三区久久浪 | 亚洲综合色激情五月 | 日韩av成人在线观看 | 国产精品不卡在线观看 | 久章操 | 99精品国产视频 | av日韩av | 欧美精品乱码久久久久久 | 国产 日韩 在线 亚洲 字幕 中文 | 在线性视频日韩欧美 | 黄色av电影| 天天干天天摸 | 国模视频一区二区 | 久久激情婷婷 | 欧美日韩国产免费视频 | 激情综合网五月激情 | 日韩av在线一区二区 | 黄色福利网站 | 日韩欧美网址 | 婷婷激情欧美 | 在线观看一二三区 | 色五月成人| 久久国产电影院 | 成人精品电影 | 片网站| 奇米网网址 | 国产午夜精品一区二区三区 | 九九九九九精品 | 欧美一级电影免费观看 | 日本中文字幕在线一区 | 中文字幕大全 | 伊人狠狠色丁香婷婷综合 | a视频在线看 | 亚洲精品系列 | 国产高清在线免费观看 | 波多野结衣理论片 | 在线免费高清一区二区三区 | 久久精品5| 亚洲美女久久 | 免费在线国产 | 99精品国产福利在线观看免费 | 免费视频91| 四虎在线观看精品视频 | 久久精品福利视频 | 999视频在线播放 | 中文字幕欲求不满 | 国产日产av | 国产精品国产三级国产 | 国产精品一区二区美女视频免费看 | 福利一区二区 | 国产无套精品久久久久久 | 色婷婷综合成人av | 免费视频黄 | 中文在线中文资源 | 久久桃花网 | 日p在线观看 | 草莓视频在线观看免费观看 | 超级碰碰碰视频 | 亚洲一区av | 国产成人精品av在线 | 久久久久久黄色 | 国产久草在线 | 视频在线亚洲 | 国产在线精品区 | 久久热首页 | 97精品国产97久久久久久春色 | 免费h漫在线观看 | 午夜精品久久久久久久久久久久 | 在线免费视频你懂的 | 免费看高清毛片 | av在线电影网站 | 日韩免费网站 | 日p视频在线观看 | 在线观看精品国产 | 四虎永久免费在线观看 | 99精品国产高清在线观看 | 亚洲高清在线观看视频 | 二区三区中文字幕 | 国外调教视频网站 | 69精品在线 | 麻豆mv在线观看 | 日韩av专区 | 国产一卡久久电影永久 | 久久亚洲综合国产精品99麻豆的功能介绍 | 欧美精品久久久久性色 | 国内综合精品午夜久久资源 | 波多野结衣亚洲一区二区 | 国产123av | 国产成人一区二区三区久久精品 | 亚洲aⅴ在线 | 99r精品视频在线观看 | 99精品视频一区二区 | 91社区国产高清 | 国产成人精品亚洲精品 | 色婷婷色 | 亚洲精品中文在线资源 | 在线观看视频黄色 | 午夜影视一区 | 毛片网在线播放 | 国产成人久久精品77777综合 | 久久99精品国产麻豆宅宅 | 最新99热 | 国内揄拍国产精品 | 成人精品影视 | av片一区 | 国产在线观看免费av | 日韩久久久久久久久 | www.天天综合 | 日韩av区 | 91精品国产一区二区三区 | 欧美日韩视频在线观看免费 | 国产黄色观看 | 一级黄色免费网站 | 一区二区三区免费网站 | 中文字幕第 | 久久久久在线观看 | 色婷婷av国产精品 | 手机av在线网站 | 国产96在线观看 | 天堂麻豆 | 草在线 | 成人毛片在线观看视频 | 黄色成人在线观看 | 久久久久免费视频 | 欧美视频二区 | 五月开心激情 | 欧美日韩不卡一区 | 一级黄毛片| 丁香婷婷综合色啪 | 午夜av电影院 | 久久久久久久久久免费视频 | 91精品国产一区二区在线观看 | 国产黄色片在线 | 婷婷免费在线视频 | 久精品视频免费观看2 | 国产精品免费观看久久 | 岛国大片免费视频 | 天堂在线一区二区三区 | 中文字幕字幕中文 | 91成人网页版 | 精品国产一区在线观看 | 日韩中文字幕在线 | 亚洲精品在线免费 | 欧美日韩网址 | 久草精品网| 免费视频一级片 | 免费电影一区二区三区 | 毛片99| 一区二区毛片 | 日韩欧美高清视频在线观看 | 亚洲免费不卡 | 国产成人精品久久 | 色吧av色av | 干天天 | 日韩毛片在线一区二区毛片 | 国产精品毛片一区视频 | 久久艹在线| 欧美日韩中文在线视频 | 一区二区三区视频在线 | 欧美精品久久久久久久久老牛影院 | 一区中文字幕在线观看 | 一色av | 欧美日韩一区二区在线 | www.久草.com| 亚洲va欧美 | 成人国产精品一区二区 | 色美女在线| 免费网站在线观看成人 | 欧美精品国产精品 | 午夜视频一区二区 | 色婷婷综合久久久久 | 日日日视频 | 欧美日韩国产在线精品 | 国产 一区二区三区 在线 | 精品色999 | 在线观看亚洲免费视频 | www.久久99| 国产主播大尺度精品福利免费 | 又黄又爽的免费高潮视频 | 亚洲乱码国产乱码精品天美传媒 | 久久久久久久久综合 | 在线免费成人 | 成人av网站在线观看 | 久久精品亚洲 | 成人精品久久久 | 久久久久亚洲精品中文字幕 | 日韩av不卡播放 | 激情五月av| 99久久久久久 | 成人禁用看黄a在线 | 中文字幕第一页在线播放 | av黄色一级片 | 国产区精品区 | 人人插人人澡 | 正在播放一区 | 干干操操 | 91丨九色丨91啦蝌蚪老版 | 992tv人人网tv亚洲精品 | 青青草国产成人99久久 | 婷婷九月丁香 | 久久精品三 | 草久久av| 日韩在线观看视频一区二区三区 | 欧美久久九九 | 嫩嫩影院理论片 | 日韩精品视频第一页 | 久草久草视频 | 久久国产影视 | 91麻豆精品国产自产在线 | 精品亚洲免费 | 国产h片在线观看 | 在线免费视频 你懂得 | 人人爽人人爽人人爽 | 91在线中文 | 免费在线国产 | www激情com | 久久成人国产精品入口 | 久久99网 | 69热国产视频 | 久久视了| 免费日韩电影 | 婷婷色亚洲 | 视频一区亚洲 | 成人在线免费视频观看 | 亚洲午夜精品久久久久久久久久久久 | 久草视频在线播放 | 亚洲国产网站 | 欧美日韩裸体免费视频 | 精品久久精品久久 | 国产三级午夜理伦三级 | 日日夜夜国产 | 国产精品视频 | 亚洲精品视频在线观看免费 | 在线免费观看黄色小说 | 久久99视频免费观看 | 日韩电影在线观看一区 | 精品国产网址 | 国产视频久久久久 | 久久综合免费视频影院 | 毛片基地黄久久久久久天堂 | 婷婷色综合网 | 青草视频在线 | 亚洲成人免费在线 | 99精品国产兔费观看久久99 | 国产精品福利一区 | 天天操天天透 | 成人av教育 | 人人射人人澡 | 欧美aaa视频 | 久久国产视频网站 | 日韩免费一区 | 日本不卡一区二区三区在线观看 | 黄色一级在线视频 | 激情久久久久久久久久久久久久久久 | 又紧又大又爽精品一区二区 | 精品毛片一区二区免费看 | 高清不卡毛片 | 四虎视频| 国产一区播放 | 成人在线播放网站 | 日韩免费在线视频 | 亚洲黄色影院 | 日韩av在线不卡 | 亚洲伊人av | 国产精品久久久久久久久久了 | avcom在线 | 免费看国产精品 | 欧美激情在线网站 | 亚洲精品久久久久久久蜜桃 | 色婷五月| 81精品国产乱码久久久久久 | 视频三区| 久久伊99综合婷婷久久伊 | 欧美成人精品在线 | 久久9999久久免费精品国产 | 一级一片免费看 | 国产中文字幕91 | 高清不卡一区二区在线 | 99精品视频中文字幕 | 国产午夜精品久久久久久久久久 | 精品国产乱码久久久久久久 | 69国产盗摄一区二区三区五区 | 中文字幕在线国产 | 欧美成年黄网站色视频 | 美女网站在线播放 | 97视频久久久 | 亚洲男人天堂a | 在线 国产 日韩 | 国产精品黄色av | 人人艹人人 | 色人久久 | 精品人妖videos欧美人妖 | 97在线观看 | 九九久久免费 | 婷婷在线综合 | 在线视频欧美精品 | av天天草| 日韩女同一区二区三区在线观看 | 欧美一二区视频 | 中文字幕av日韩 | 国产手机视频在线播放 | 在线导航福利 | 免费视频久久 | 中文字幕成人在线观看 | 免费成人在线视频网站 | 久久久久久久久久电影 | 国产精品成人国产乱一区 | 久久免费观看少妇a级毛片 久久久久成人免费 | 在线国产小视频 | 天天操网址 | 日韩在线免费看 | www操操操 | 中文字幕欧美激情 | 久久99亚洲精品久久久久 | 久久在线免费 | 精品v亚洲v欧美v高清v | 色狠狠综合天天综合综合 | 成人av在线亚洲 | 一级片免费观看视频 | 欧美日韩高清 | 亚洲精品动漫在线 | 成 人 黄 色 片 在线播放 | 久久久久区 | 日本三级在线观看中文字 | 免费看黄在线观看 | 久久爱www. | 久久一区91| 精品你懂的 | 亚洲国产小视频在线观看 | 天天干天天草天天爽 | 五月婷婷在线观看 | 国产精品观看在线亚洲人成网 | 亚洲视频1区2区 | 91精品久久久久久久久 | 国产特级毛片 |