日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

阿里高级算法专家公开10大思考

發(fā)布時(shí)間:2025/3/21 编程问答 56 豆豆
生活随笔 收集整理的這篇文章主要介紹了 阿里高级算法专家公开10大思考 小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

因?yàn)樾湃?#xff0c;所以簡單。

簡介:?35歲左右對工程師而言是個(gè)不同尋常的年齡段。技術(shù)人有可能面臨人生中的轉(zhuǎn)型:從純技術(shù)崗轉(zhuǎn)向管理崗。也將面臨諸多新的挑戰(zhàn),關(guān)于組建團(tuán)隊(duì)、領(lǐng)導(dǎo)以及KPI設(shè)置等。本文將講述阿里資深技術(shù)leader張榮從去年1月底接手CRO線NLP算法團(tuán)隊(duì)以來,在團(tuán)隊(duì)組建、能力建設(shè)、以及管理上的一些思考。這些思考從實(shí)踐中來,總結(jié)出一套方法論,希望能給予轉(zhuǎn)型中的技術(shù)人一些啟發(fā)。 張榮,花名威視,現(xiàn)任職阿里巴巴 CRO 線 NLP 算法團(tuán)隊(duì) leader ,長期聚焦于 NLP 、圖像識(shí)別、視頻分析算法領(lǐng)域。

團(tuán)隊(duì)的定位是什么?——做正確的事

定位

團(tuán)隊(duì)的定位是重要的事情之一,一旦有了偏差,后續(xù)做得越多錯(cuò)得越多。確定團(tuán)隊(duì)的定位花了我很長時(shí)間,中間還發(fā)生了一次組織變化,和兩任主管有多次討論。

首先,這個(gè)團(tuán)隊(duì)配置在 CRO 線,肯定要為風(fēng)險(xiǎn)管理業(yè)務(wù)服務(wù);同時(shí),這又是一支能力團(tuán)隊(duì),還要考慮和業(yè)務(wù)團(tuán)隊(duì)的協(xié)同關(guān)系。最終,我確定了3點(diǎn):

1、能力建設(shè)為主,同時(shí)也需要有業(yè)務(wù)抓手;
2、不做業(yè)務(wù)團(tuán)隊(duì)已經(jīng)做得好的事情;
3、立志高遠(yuǎn),勇攀高峰,要做就做到最好。

壁壘與價(jià)值

不夸張地說,現(xiàn)在是NLP領(lǐng)域的大航海時(shí)代,新算法層出不窮,日新月異,后浪各種把前浪碾死在沙灘上。尤其是 BERT 橫空出世之后,整個(gè) NLP 的研究范式都發(fā)生了變化,從原來的 task-specific 的模型結(jié)構(gòu)設(shè)計(jì)轉(zhuǎn)變到語言模型 pretrain+ 下游任務(wù) finetuning 的模式,預(yù)訓(xùn)練模型是含金量高的工作。研究一下預(yù)訓(xùn)練模型,你會(huì)發(fā)現(xiàn)這是個(gè)需要海量金錢+數(shù)據(jù)+技術(shù)才能玩的游戲。

這就陷入兩難:如果搞預(yù)訓(xùn)練模型,沒那么多資源;如果不搞,用開源模型做下游任務(wù),實(shí)際上很難有什么技術(shù)壁壘。其實(shí)就算你真的搞出什么新算法可以充當(dāng)技術(shù)壁壘,可能兩三個(gè)月之后就又有人做出了更強(qiáng)的結(jié)果。

困境的根源在于,目前 NLP 算法這個(gè)領(lǐng)域發(fā)展速度太快了,在高速變化的領(lǐng)域是很難形成壁壘的。所以,我們需要結(jié)合自身所處的環(huán)境,尋找變化不那么快的東西。

我經(jīng)過好多天的考慮之后,認(rèn)為沉淀風(fēng)險(xiǎn)管控知識(shí)可以作為壁壘。原因:1)風(fēng)險(xiǎn)知識(shí)隨時(shí)間有變化,但速度明顯比算法慢很多;2)CRO 線在這方面有一定積累,也需要用于實(shí)際業(yè)務(wù)管控,并沉淀到產(chǎn)品。

所以,團(tuán)隊(duì)的宗旨我定義為:基于知識(shí)驅(qū)動(dòng)的 NLP 算法團(tuán)隊(duì)。為 CRO 線乃至集團(tuán)沉淀風(fēng)險(xiǎn)知識(shí),并提供不同層次的服務(wù):

圖:4層服務(wù)體系

最近,CRO 線在清華舉辦了 AI 與安全研討會(huì),會(huì)上張鈸院士談到了第三代人工智能,尤其強(qiáng)調(diào)了其中知識(shí)的核心作用;我們走訪中科院信工所,對方的宗旨也是建設(shè)基于知識(shí)驅(qū)動(dòng)的算法,和業(yè)界發(fā)生的共鳴,更堅(jiān)定了我們走這條道路的決心和信心。

團(tuán)隊(duì)需要什么能力?

先要搞清楚團(tuán)隊(duì)所處的環(huán)境。

阿里是一個(gè)什么結(jié)構(gòu)的組織?

有人說是矩陣式的,有人說是樹+網(wǎng)狀的,我不知道確切的答案。不過,如果把每個(gè)小團(tuán)隊(duì)看作節(jié)點(diǎn)的話,有 2 點(diǎn)是確定的:

1、體量巨大,各種節(jié)點(diǎn)(業(yè)務(wù)、產(chǎn)品、工程、算法)種類繁多數(shù)量大。
2、單元節(jié)點(diǎn)之間比較容易發(fā)生跨大團(tuán)隊(duì)甚至跨 BU 的聯(lián)系,條件合適可以發(fā)生協(xié)同關(guān)系。

繼續(xù)觀察,你會(huì)發(fā)現(xiàn):

1、你所需要的一切資源幾乎都能找到提供者,而且往往不止一個(gè)。
2、你也可以給各種需求節(jié)點(diǎn)提供服務(wù),只要還在你的能力范圍內(nèi)。
3、由于規(guī)模巨大,需求節(jié)點(diǎn)和資源節(jié)點(diǎn)相互之間往往不知道對方在哪。

基于以上,我認(rèn)為一個(gè)身處中臺(tái)的算法團(tuán)隊(duì),需要具備 4 項(xiàng)能力:連接-生產(chǎn)-傳播-服務(wù)。

圖:能力中臺(tái)的算法團(tuán)隊(duì)需要具備的能力

**四項(xiàng)能力
**
連接:就是尋找到自己所需要的資源,篩選出其中最優(yōu)的,建立長期穩(wěn)定的合作關(guān)系。比如算法團(tuán)隊(duì)需要的爬蟲、標(biāo)注工具、分布式模型訓(xùn)練工具、模型的評(píng)測工具等,都能在公司范圍內(nèi)獲取,就沒必要刀耕火種從頭開始自己建設(shè)了。

生產(chǎn):這是傳統(tǒng)意義上算法工程師的工作,指獲取數(shù)據(jù)后產(chǎn)出效果和效率達(dá)標(biāo)的算法模型,并上線。

對算法的要求,主管的主管早有論述:算法要全!算法要強(qiáng)!算法要快!算法要便宜!精煉簡潔,振聾發(fā)聵,細(xì)化一下就有:

圖:對算法的要求

傳播:針對中臺(tái)的算法團(tuán)隊(duì)提的要求,因?yàn)槟阈枰屇繕?biāo)業(yè)務(wù)節(jié)點(diǎn)知道你的存在,知道你的能力項(xiàng),以及細(xì)節(jié)。

服務(wù):如果是專屬某業(yè)務(wù)的算法團(tuán)隊(duì),只需要考慮該業(yè)務(wù)下的 SLA 即可;如果是中臺(tái)的算法團(tuán)隊(duì),還需要考慮如何滿足不同業(yè)務(wù)節(jié)點(diǎn)的需求,同時(shí)又不至于做開發(fā)和維護(hù)成本很高的個(gè)性化定制,避免隨著接入業(yè)務(wù)的增長各種資源的開銷也隨著線性增長。

能力雷達(dá)圖

團(tuán)隊(duì)的能力雷達(dá)圖是由成員的個(gè)人能力長板組成的。(話越短意思越長)

圖:團(tuán)隊(duì)能力雷達(dá)圖

組織與個(gè)人的關(guān)系

為什么需要一個(gè)組織呢?

先從一個(gè)現(xiàn)象出發(fā):在小區(qū)業(yè)主和物業(yè)公司的糾紛斗爭中,業(yè)主獲勝的概率很低。從人數(shù)、個(gè)體的教育背景和素質(zhì)來看,業(yè)主都占據(jù)絕對優(yōu)勢,可是為什么會(huì)輸?

粗略分析,大體有三個(gè)原因:

1、共同利益,目標(biāo)明確。物業(yè)的目標(biāo)非常清晰,就是為了從業(yè)主那里賺錢,這也是物業(yè)人員的共同利益。業(yè)主人多,情況各有不同,各自的利益訴求差異大,容易被分化。
2、組織嚴(yán)密,相互協(xié)同。物業(yè)內(nèi)部有明確的分工,平時(shí)也長期一起工作,相互間有信任感,能夠進(jìn)行配合。業(yè)主彼此之間往往是陌生人,缺乏信任感,難以統(tǒng)一行動(dòng),是原子化的散點(diǎn)。
3、局部相對優(yōu)勢。相對單個(gè)業(yè)主,物業(yè)具有明顯力量優(yōu)勢。比如,物業(yè)有資金,而業(yè)主因?yàn)槿狈π湃魏茈y籌措資金。

好,看出來了,小規(guī)模組織的力量可以超過大規(guī)模原子化散點(diǎn)存在的個(gè)體集合的力量。

組織為個(gè)人提供什么?

1、組織能使資源增效組織能把各種資源組合成有機(jī)的整體,使各種分散的力量形成合力,從而產(chǎn)生大于這些資源和力量機(jī)械總和的效能。這個(gè)原理 2000 多年前亞里斯多德就論述過了,后來馬克思又更嚴(yán)密地論述過一次。

2、組織是實(shí)現(xiàn)目標(biāo)的依托:個(gè)人可以依托組織的能力和資源去做事,而組織的能力和資源遠(yuǎn)大于個(gè)人,所以依托組織的時(shí)候,個(gè)人能夠?qū)崿F(xiàn)比單打獨(dú)斗模式大得多的目標(biāo)。

舉個(gè)例子,我們團(tuán)隊(duì)做了 UGC 場景效果超越開源模型的預(yù)訓(xùn)練模型,每個(gè)同學(xué)都可以在這個(gè)預(yù)訓(xùn)練模型的基礎(chǔ)上去做下游的有監(jiān)督學(xué)習(xí)任務(wù),起點(diǎn)就比別人高。

個(gè)人為組織提供什么?

是否有短板不是那么重要,關(guān)鍵是要有長板,能夠?qū)M織的能力雷達(dá)圖做貢獻(xiàn)。

這一節(jié)留一個(gè)思考題:公司設(shè)置主管這個(gè)職位的目的是什么?是為了像幼兒園阿姨那樣,保障每一個(gè)小朋友都有自己喜歡的玩具,高高興興上學(xué)來,平平安安回家去?

招聘團(tuán)隊(duì)需要的人才

招聘為什么特別重要?

世界有個(gè)普遍規(guī)律:在前序階段做嚴(yán)格的控制會(huì)大大降低后序階段的實(shí)現(xiàn)難度,比如數(shù)據(jù)標(biāo)注、寫代碼、模型中的預(yù)處理等等。人招進(jìn)來之后是要用要管的,招聘的時(shí)候高標(biāo)準(zhǔn)嚴(yán)要求,后續(xù)管理會(huì)輕松很多;如果降低標(biāo)準(zhǔn)甚至放水,后續(xù)管理付出的代價(jià)遠(yuǎn)遠(yuǎn)高于招聘時(shí)偷懶省的功夫。

所以,我花了至少 1/3 的時(shí)間在招聘上。對的,至少 1/3 ,你沒有看錯(cuò)。從 2019 年 2 月到現(xiàn)在,社招弄了 300+ 份簡歷;校招 100+ 份簡歷。從統(tǒng)計(jì)數(shù)據(jù)看,每 100 份簡歷產(chǎn)生 2-3 個(gè)offer,入職 1-2 個(gè)人。從 100 份簡歷中招來的人絕對比 10 份簡歷中招來的省心很多。

我給算法團(tuán)隊(duì)找來過不少人,both 社招 and 校招,具體的展開討論見彩蛋部分的【招聘】。

招聘要考察哪些能力?

招聘,首先要確定 job model 。限于篇幅,這里只討論“生產(chǎn)”環(huán)節(jié)所需要的能力。
所處的時(shí)代背景:快速變化,新算法層出不窮。

不變的是什么:數(shù)學(xué)基礎(chǔ)、計(jì)算機(jī)基礎(chǔ)、動(dòng)手能力。

我們很難預(yù)測新技術(shù)的具體實(shí)現(xiàn),但是當(dāng)新技術(shù)出現(xiàn)的時(shí)候,需要能夠快速地分析、學(xué)習(xí)、掌握。而且,我們經(jīng)常要解決從來沒有遇到過的新問題,這就要求候選人在面對沒見過的問題時(shí)具備分析判斷,在具體約束條件下找完整解決方案的能力。另外,在復(fù)雜的業(yè)務(wù)場景里,問題經(jīng)常沒有確定性的答案,我們往往通過對過程的合理性來判斷整個(gè)方案是否合乎要求。尋找答案的過程很少有一帆風(fēng)順的,大概率會(huì)遭遇挫折,非常需要候選人不斷嘗試不斷修正去抵達(dá)終點(diǎn)。

至于教育背景、之前從業(yè)經(jīng)歷,反而不怎么重要。我不贊成對于畢業(yè)好幾年的社招候選人還要參考畢業(yè)學(xué)校、最高學(xué)位,甚至本科學(xué)校是否 985 ——如果一個(gè)人能力強(qiáng),是不需要靠學(xué)校學(xué)位來旁證的,直接用行動(dòng)證明就行了。

對于候選人的考察,我往往從基礎(chǔ)的硬技能、創(chuàng)新性/開放性思維、精神素質(zhì)三方面考察。

硬技能

數(shù)學(xué):概率論與數(shù)理統(tǒng)計(jì)、矩陣論、隨機(jī)過程。
計(jì)算機(jī)基礎(chǔ):操作系統(tǒng)、組成原理、數(shù)據(jù)結(jié)構(gòu)。
算法能力:領(lǐng)域內(nèi)主流模型的演進(jìn),優(yōu)缺點(diǎn)對比;在具體設(shè)定的場景下選擇合適的方案。
動(dòng)手:C++/python/Java (什么?你說matlab?工業(yè)界里這個(gè)不算編程語言)。

有人說,面試過程中要求做代碼測試,就像相親時(shí)要求看存款證明一樣殘暴。我贊同這個(gè)說法,因?yàn)椴簧俸蜻x人聽到要寫代碼就高傲地拒絕了。我給大家推薦一個(gè)在線代碼測試工具:
http://collabedit.com

從我長期的觀察情況看,發(fā)展得好的算法同學(xué),動(dòng)手能力都比較強(qiáng)。畢竟,算法工程師,首先是一個(gè)工程師。

創(chuàng)新性/開放性思維

其實(shí)我還經(jīng)常干比代碼測試更令人發(fā)指的事情——做智力題。這個(gè)不是我的創(chuàng)新,是學(xué)來的,甚至是直接找網(wǎng)上流傳的面試題換個(gè)馬甲來用。

前面的硬技能,看的往往是結(jié)果;這里對思考能力的考察,看的是過程:是否有方法論,思路是否清晰,是否言之有據(jù)。所以,這種問題的面試方式往往是討論式。

如果候選人能夠完成,最后再請TA做個(gè)總結(jié),觀察歸納要點(diǎn)的能力,視線的高度。

有些候選人結(jié)束面試后仍然會(huì)繼續(xù)思考,給出更好的回答。

精神素質(zhì)

公司對人才的要求是:樂觀、皮實(shí)、聰明、自省。

你看,四個(gè)詞里面有兩個(gè)都在強(qiáng)調(diào)堅(jiān)韌不拔。在面試過程中,我會(huì)看候選人在解題不順時(shí)的表現(xiàn),有時(shí)甚至故意小刺激一下觀察候選人的反應(yīng),偶爾還會(huì)故意中途改變限制條件。阿里內(nèi)部競爭激烈,經(jīng)常需要擁抱變化,如果心理承受力脆弱,是不適合當(dāng)同路人的。

還有一點(diǎn)很重要:自我驅(qū)動(dòng)力。這是從降低對內(nèi)管理成本來要求的,后面會(huì)具體說。

在我看來,硬技能、創(chuàng)新性/開放性思維和精神素質(zhì)缺一不可。即使這三方面我都滿意了,如果主管,主管的主管, HR 對候選人明確提出疑慮,我一般不申辯直接放棄掉。因?yàn)?#xff0c;他們比我 level 高,閱人無數(shù),往往不會(huì)錯(cuò)。

有的同學(xué)會(huì)問:這樣子做,會(huì)不會(huì)錯(cuò)失優(yōu)秀人才?是的,我的方式幾乎可以確保招進(jìn)來的同學(xué)肯定是好的,但會(huì)漏掉一些優(yōu)秀的候選人,不過這不會(huì)造成嚴(yán)重的后果。相比之下,招進(jìn)來不合格的人才會(huì)有大麻煩。

用人

主管的角色是什么?

以前有句話,叫做“火車跑得快,全靠車頭帶”,這說的是前動(dòng)車時(shí)代。動(dòng)車和高鐵為什么比傳統(tǒng)的火車速度更快?根本原因是:大多數(shù)車廂都能提供動(dòng)力。

同樣的,如果一個(gè)團(tuán)隊(duì)完全靠主管來驅(qū)動(dòng),來提供動(dòng)力,主管很容易成為團(tuán)隊(duì)的瓶頸。我的團(tuán)隊(duì)成員,很多都是自己領(lǐng)域的高手,專業(yè)能力在我之上,我就應(yīng)該順應(yīng)實(shí)際情況,不要拿自己的愚見去束縛同學(xué)們的發(fā)揮。因此,我的角色更多的是眺望遠(yuǎn)方,掌握方向盤,有時(shí)踩一下剎車;團(tuán)隊(duì)大多數(shù)同學(xué)一起構(gòu)成動(dòng)力引擎。

圖:動(dòng)車/高鐵跑得快,是因?yàn)榇蠖鄶?shù)車廂都提供動(dòng)力

**對內(nèi)管理模式
**
一個(gè)不恰當(dāng)?shù)谋扔?#xff1a;放羊。

這么做,堂而皇之的理由是“因?yàn)樾湃?#xff0c;所以簡單”。技術(shù)層面的原因,對算法類同學(xué)做過程管理性價(jià)比太低。

算法類工作,創(chuàng)造性在其中占據(jù)重要地位,而創(chuàng)造性很難在過程中量化度量,也很難從外部觀測現(xiàn)象來判斷。比如:身邊的同學(xué)坐在工位直視屏幕目不轉(zhuǎn)睛,我不知道他到底是在思考論文中的公式還是在回味昨天晚上看的電影。再比如,我base在杭州,沒辦法知道團(tuán)隊(duì)內(nèi)base北京的同學(xué)是不是在工作時(shí)間打游戲。

所以,我選擇信任我的同學(xué),只在一些必須監(jiān)管的事項(xiàng)上把關(guān),比如數(shù)據(jù)安全、安全生產(chǎn)等,其他事項(xiàng)一般不做過程管理,只做結(jié)果管理。得益于招聘時(shí)把關(guān)嚴(yán)格,絕大多數(shù)同學(xué)的自我驅(qū)動(dòng)力都比較強(qiáng),我并不用操心偷懶的事情;相反,偶爾需要操心一下少部分同學(xué)拼過了頭的問題。關(guān)于這一點(diǎn),更多的內(nèi)容見彩蛋中的【認(rèn)真生活,快樂工作】。

肯定有同學(xué)問:上面說的是不擔(dān)心出工不出力,那么,怎么解釋出力的問題呢?你難道不指導(dǎo)同學(xué)做項(xiàng)目嗎?

我一般只給出項(xiàng)目的目標(biāo),有時(shí)給一個(gè)粗略的方案設(shè)想,有時(shí)不給。公司對于P6同學(xué)已經(jīng)有“獨(dú)當(dāng)一面拿結(jié)果” 的要求,大家都應(yīng)該具備獨(dú)立作戰(zhàn)的能力。而且,按照前面說的,團(tuán)隊(duì)內(nèi)大部分同學(xué)都應(yīng)該是提供動(dòng)力的車廂,沒必要依賴我。人是否有自我意志?這個(gè)問題我不知道答案。但我知道,如果一個(gè)人認(rèn)為主意是自己想出來的,決定是自己做的,會(huì)更有動(dòng)力去實(shí)現(xiàn)。嘗試做決策,嘗試完成不確定的任務(wù),都有利于自己的成長。

思考題:管理有很多種style。有的主管喜歡自己做需求分析,然后拆解細(xì)化到原子級(jí)的技術(shù)問題,讓下屬做執(zhí)行。這種模式,和“放羊”模式相比,從主管視角,以及下屬視角看,各有什么優(yōu)缺點(diǎn)?

綜合以上兩點(diǎn),我覺得放羊是可行的。而且,放羊這件事,羊倌也是要做很多工作的:選擇合適的天氣,找到草地,把羊群帶到草地,放哨保護(hù)羊群,是不是?如果還要把青草割好喂給羊吃,那成什么了?

羊倌應(yīng)該把更多的精力花在尋找豐美的草地,購買強(qiáng)壯的羊,與其他羊倌交流這些事情上,要是成天忙于喂羊,督促偷懶的羊快點(diǎn)吃草,拉開打架的羊這些內(nèi)部事務(wù),羊群怎么發(fā)展壯大?

鼓舞團(tuán)隊(duì)信心,最好的方式是什么?

痛痛快快地贏一次。如果不夠,就兩次。

接手團(tuán)隊(duì)的時(shí)候,在商業(yè)化方向上局勢是很差的:去年三次PK競品都輸了,穩(wěn)定性問題頻發(fā)以至于新版本都無法發(fā)布……團(tuán)隊(duì)好幾個(gè)人都撲在這一個(gè)陣地上干得很苦但就是拿不到結(jié)果。

這個(gè)時(shí)候我要是去發(fā)表個(gè)類似《至暗時(shí)刻》里丘吉爾那樣讓人熱血沸騰的演講是否可以解決問題?可能有短暫的強(qiáng)心劑作用,但是不長久,因?yàn)閷?shí)際困難沒解決。何況,我也肯定不具備丘吉爾的演說能力。最有用的辦法,還是分析失敗的原因,制定正確的打法,指導(dǎo)同學(xué)們獲得一次成功。鼓舞信心最好的方式還是靠實(shí)實(shí)在在的成功。

結(jié)果大家都看到了,今年我們PK競品的戰(zhàn)績是N:0,付費(fèi)調(diào)用量上漲25倍以上。大家肯定好奇:正確的打法是什么樣的呢?我放在后面“正確地做事”那一節(jié)講。

做有吸引力的事情

目標(biāo)要定得高一些,有挑戰(zhàn)性,達(dá)成的時(shí)候內(nèi)心的成就感會(huì)更高一些。這個(gè)很容易理解,就好比你打游戲,虐了個(gè)菜,沒多少快感;如果能贏下之前屢戰(zhàn)屢敗的對手,一定會(huì)興奮很久。

目標(biāo)定得太低,不僅不能逼出自己的潛力,還容易讓自己關(guān)注于一些雞毛蒜皮的小問題。

前幾天,我的主管在一個(gè)項(xiàng)目 kick off 會(huì)上說,當(dāng)你回首往事時(shí),要有一件做過的事情能夠拿出來吹牛逼,人生才有意義。深以為然。

過程即享受

在阿里的工作肯定是辛苦的,我沒看到過誰能隨隨便便就成功。如果只是沖著收入來做工作,難免在過程中會(huì)感覺到很多痛苦。物質(zhì)的刺激是短暫的,不管是加薪、年終獎(jiǎng),或者 option ,興奮高興個(gè)幾天就過去了。如果喜歡自己做的事情,專注于工作本身,從中源源不斷地獲得成就感,就能做到雖然辛苦但是不痛苦。我家做飯的阿姨是拆遷戶,坐擁 N 套房,每天仍然跑幾家做飯,我問她為什么?她說,以前是開蒼蠅館子的,拆遷后沒得開了,但是自己就是喜歡做飯。理想狀況下就是要招聘這種人。

采取什么工作模式?——正確地做事

四個(gè)在線化

互聯(lián)網(wǎng)的本質(zhì)是連接,最大價(jià)值也是連接。

這句話不知道是誰說的,第一次聽說是在《計(jì)算機(jī)網(wǎng)絡(luò)》課程上。互聯(lián)網(wǎng)連接的可以是人和人,人和文檔,人和數(shù)據(jù),人和代碼,人和……和一切你工作中需要的東西。

接手團(tuán)隊(duì)之后,我發(fā)現(xiàn)同學(xué)們的工作模式真的是自耕農(nóng)一般:各做各的模型,各用各的數(shù)據(jù),各讀各的 paper ,完全是原子化的散點(diǎn)存在。說得不客氣一點(diǎn),除了聚餐的時(shí)候,平時(shí)感覺不到這是一個(gè)組織。也就是說,身處中國頂級(jí)互聯(lián)網(wǎng)公司,大家卻像農(nóng)業(yè)社會(huì)時(shí)期一樣在進(jìn)行生產(chǎn),當(dāng)著不折不扣的“碼農(nóng)”。

團(tuán)隊(duì)里一個(gè)同學(xué)說得很好:相互間建立信任關(guān)系的最好辦法是發(fā)生工作上的協(xié)同。我覺得,要發(fā)生工作上的協(xié)同,前提就是把工作相關(guān)的資源都在線化,與組織成員發(fā)生連接,于是,我設(shè)想做4個(gè)在線化。

圖:文檔、數(shù)據(jù)、代碼、評(píng)測在線化

1、文檔在線化:春節(jié)期間我建了個(gè)團(tuán)隊(duì)語雀,自己做頂層設(shè)計(jì),寫好框架,然后讓同學(xué)們把業(yè)務(wù)、技術(shù)、資源、技術(shù)影響力等等和工作相關(guān)的內(nèi)容都填寫其中。這樣子,每個(gè)同學(xué)都可以看到團(tuán)隊(duì)的各種信息和資源,以及其他人的工作。目前團(tuán)隊(duì)的語雀還對部分關(guān)聯(lián)緊密的兄弟團(tuán)隊(duì)完全開放。

2、數(shù)據(jù)在線化:如果同學(xué)們各自管理自己的數(shù)據(jù),形成數(shù)據(jù)孤島不說,發(fā)生機(jī)器重裝,或者轉(zhuǎn)崗、離職,往往數(shù)據(jù)就丟了。接手的時(shí)候,能清理出來的有標(biāo)簽數(shù)據(jù)遠(yuǎn)遠(yuǎn)低于應(yīng)有的數(shù)量,就是因?yàn)橐恢睕]有做數(shù)據(jù)的在線化管理。團(tuán)隊(duì)里的言奇同學(xué)做了樣本大表項(xiàng)目,已經(jīng)完成了將整個(gè)智能認(rèn)知團(tuán)隊(duì)的全面標(biāo)簽數(shù)據(jù)在線化。這一點(diǎn)非常重要,后續(xù)在開發(fā)各種新模型,以及做預(yù)訓(xùn)練模型時(shí),就擁有不同業(yè)務(wù)不同場景不同風(fēng)險(xiǎn)的大量數(shù)據(jù),在短時(shí)間內(nèi)取得了良好的效果。

3、代碼在線化:這個(gè)正在進(jìn)行中,預(yù)期 S2 結(jié)束時(shí)完成,出發(fā)點(diǎn)是:

a.代碼是團(tuán)隊(duì)重要的技術(shù)資產(chǎn),應(yīng)該統(tǒng)一管理,提高安全性。
b.在線化后方便團(tuán)隊(duì)協(xié)作,共享優(yōu)秀代碼
c.基礎(chǔ)性模塊代碼統(tǒng)一,降低維護(hù)成本

4、評(píng)測在線化:也在進(jìn)行中,設(shè)想是在一些特定任務(wù)上做幾種經(jīng)典模型和確認(rèn)無誤的主流模型,能夠一鍵實(shí)現(xiàn)自己的模型和前者的自動(dòng)化比對,提升工作效率。除此之外還有個(gè)作用:經(jīng)典模型的結(jié)果可以作為baseline,幫助驗(yàn)證深度模型的正確性。因?yàn)?#xff0c;你做了一個(gè)深度模型,效果好也就罷了,效果不好的時(shí)候都搞不清楚是模型不適用,還是自己的代碼寫錯(cuò)了。

找對前進(jìn)的方向

主管最重要的職責(zé)之一是當(dāng)同學(xué)們迷茫的時(shí)候明確前進(jìn)的方向。

接著前面商業(yè)化的例子,詳細(xì)情況是這樣的:我們通過阿里云對外輸出文本風(fēng)險(xiǎn)識(shí)別的算法能力做商業(yè)化,比如涉政、色情低俗、廣告、辱罵等。我接手的時(shí)候,有 3-4 個(gè)同學(xué)全職投入這項(xiàng)工作,他們工作非常努力,干得也很辛苦,但是效果并不好, PK 競品的時(shí)候并無勝算。出了什么問題呢?

分析之后,我發(fā)現(xiàn)以下問題:

1、確實(shí)是一個(gè)內(nèi)容維度的問題,但只使用了分類模型一種方式。

分類模型適合解決靜態(tài)標(biāo)準(zhǔn)的問題,并不適合及時(shí)響應(yīng)業(yè)務(wù)上的快速變化。模型迭代更新的速度做到極限也只能是 T+1 或者 T+2 天,且人力消耗高。之前的主管為了解決這個(gè)問題,在分類模型中塞了一個(gè)風(fēng)險(xiǎn)詞包,由算法同學(xué)維護(hù)更新,接到運(yùn)營反饋的 badcase 之后手動(dòng)添加到風(fēng)險(xiǎn)詞包,然后定時(shí)推送到分類模型應(yīng)用中。這個(gè)復(fù)雜的機(jī)制帶來了詞典的頻繁構(gòu)建,結(jié)果導(dǎo)致應(yīng)用的穩(wěn)定性問題頻發(fā),甚至已經(jīng)無法更新。

2、缺乏頂層設(shè)計(jì),同學(xué)們各自為戰(zhàn)。

幾個(gè)風(fēng)險(xiǎn)各自單獨(dú)做模型,技術(shù)選型高度自由,百花齊放,starspace、SVM、CRF、kenlm、textCNN 都有,難以統(tǒng)一提升能力,維護(hù)的難度大。

3、做了過多的個(gè)性化定制,導(dǎo)致后續(xù)維護(hù)和升級(jí)的成本非常高。

幾乎為每一個(gè)稍微大一點(diǎn)的用戶都單獨(dú)做了模型,付費(fèi)調(diào)用量不大,模型倒是有了好幾十個(gè)。同學(xué)們頻繁地做模型的迭代更新(每周都至少有 1-2 次),占用大量人力。

怎么辦呢?

建設(shè)技術(shù)體系去解決某一類問題,而不是某個(gè)技術(shù)點(diǎn)去解決某一個(gè)問題;結(jié)合安全業(yè)務(wù)的特點(diǎn),設(shè)計(jì)可以強(qiáng)化通用算法效果的基礎(chǔ)能力或處理框架。

——上面兩句話不是我說的,來源于前主管。(插一句:本文還有一些內(nèi)容來源于前主管和主管,向主管學(xué)習(xí)是提升自己的一個(gè)重要途徑。)

具體來說,解法有幾點(diǎn):

明確風(fēng)險(xiǎn)詞包、相似性檢索、分類模型、風(fēng)險(xiǎn)知識(shí)圖譜 4種手段適合完成的任務(wù),且相互配合。

把風(fēng)險(xiǎn)詞包從分類模型中拆出來,降低應(yīng)用的復(fù)雜度,以及模型迭代的頻率,解決穩(wěn)定性問題。

分類模型的結(jié)構(gòu)盡可能統(tǒng)一,標(biāo)準(zhǔn)盡可能不變,持續(xù)把效果做強(qiáng)。

自從 BERT 提出以來,NLP 問題的基本范式從原來的 task-specific 的模型結(jié)構(gòu)設(shè)計(jì)轉(zhuǎn)變到語言模型 pretrain+ 下游任務(wù) finetuning 的模式。工作重點(diǎn)應(yīng)該轉(zhuǎn)向預(yù)訓(xùn)練模型與知識(shí)蒸餾。

由于目前對內(nèi)的內(nèi)容交互風(fēng)險(xiǎn)管控業(yè)務(wù)也在我的團(tuán)隊(duì)內(nèi),我就貼一張全局視角的問題分析與解決方案。

圖:全局視角的UGC風(fēng)險(xiǎn)管控思路

明確解法之后,同學(xué)們快速做了實(shí)踐,到 4 月份就基本扭轉(zhuǎn)了被動(dòng)的局面,隨后打了翻身仗,付費(fèi)調(diào)用量增長 25 倍。現(xiàn)在模型的更新周期降低到以月為周期,穩(wěn)定性大幅度提升,同學(xué)們也不再疲于奔命;而且,投入的人力也明顯下降了。

績效的考核

績效考核決定了收益的分配,也是團(tuán)隊(duì)最重要的事情之一。

如果把團(tuán)隊(duì)比作一個(gè)模型,考核的標(biāo)準(zhǔn)就是 loss function。loss function 一旦確定,模型的優(yōu)化方向也就定了,團(tuán)隊(duì)成員會(huì)按照利益最大化原則沿著這個(gè)方向調(diào)整自己的 action 。

所以,考核標(biāo)準(zhǔn)的設(shè)計(jì)需要體現(xiàn)團(tuán)隊(duì)的定位、價(jià)值和需求;在執(zhí)行的過程中需要滿足平等性。

圖:績效考核的3個(gè)維度

業(yè)務(wù)結(jié)果

阿里有個(gè)文雅的說法是:為過程鼓掌,為結(jié)果付酬。

還有個(gè)話糙理不糙的說法是:沒有過程的結(jié)果是垃圾,沒有結(jié)果的過程是放屁。

你覺得哪一句對你的胃口就看哪一句。

配置在業(yè)務(wù)BU的算法團(tuán)隊(duì),幫助業(yè)務(wù)目標(biāo)達(dá)成肯定是首要任務(wù)。今年以來,AI 行業(yè)也都漸漸擠出泡沫,回歸本質(zhì),開始強(qiáng)調(diào)創(chuàng)造業(yè)務(wù)價(jià)值了。

能力進(jìn)步

從價(jià)值觀上講,今天的最好表現(xiàn)是明天的最低要求。

從業(yè)務(wù)需求講,量級(jí)越來越大,業(yè)務(wù)形態(tài)越來越復(fù)雜,老算法是解決不了新問題的。

從團(tuán)隊(duì)利益講,成員的能力進(jìn)步可以擴(kuò)展團(tuán)隊(duì)的能力雷達(dá)圖。

參加百阿的時(shí)候,一位講師的發(fā)言我到現(xiàn)在都記得:在座的各位最終都是要離開阿里的,離開的時(shí)候無非兩種情況:1,公司不要你了;2,你不要公司了。怎么離開,取決于是你的能力提高快,還是公司對能力的要求提高快。

技術(shù)影響力

什么是技術(shù)影響力?

有形物:Paper 、競賽成績、著作、專利、 ATA 文章等。

無形物:對內(nèi)對外合作、對外 PR 、對內(nèi)分享、組織機(jī)構(gòu)任職、參會(huì)做報(bào)告等。

為什么要建設(shè)技術(shù)影響力?

團(tuán)隊(duì)的四項(xiàng)基本能力:連接、生產(chǎn)、傳播、服務(wù),其中“傳播”就需要技術(shù)影響力。

CRO 線的使命“四心”中,有一條叫“讓監(jiān)管單位放心”。技術(shù)影響力是讓監(jiān)管放心的有效方式之一。

商業(yè)化需要資質(zhì):搞過投標(biāo)的同學(xué)都知道。

招聘需要名氣:對候選人講解我們的技術(shù)水平時(shí),如果用內(nèi)部業(yè)務(wù)舉例,不容易產(chǎn)生共鳴;但是如果直接亮出頂會(huì)論文、刷榜名次之類的,對方馬上就懂了。

個(gè)人的市場價(jià)值需要證明:這些東西都可以作為個(gè)人技術(shù)品牌,到哪都能帶著。

假定一個(gè)場景,有人問:“你說這個(gè)業(yè)務(wù)做得好,說明你的算法水平高。會(huì)不會(huì)換一個(gè)人能夠做得更好?”你打算怎么回答這個(gè)問題?

再假定一個(gè)場景,你打算給自己團(tuán)隊(duì)的算法能力定性為“xx領(lǐng)先”或者“xx第一梯隊(duì)”,如果沒有硬核的技術(shù)影響力做支撐,是否還能理直氣壯?

平等性

團(tuán)隊(duì)協(xié)作的基礎(chǔ)是團(tuán)結(jié),團(tuán)結(jié)的基礎(chǔ)是平等。

平等性最重要的體現(xiàn),就是在考核過程中盡可能只衡量以上三項(xiàng),不去考慮地域、教育背景、從業(yè)經(jīng)歷、之前表現(xiàn)、顏值、性別、個(gè)人動(dòng)向等等其他因素。我認(rèn)為:結(jié)果體現(xiàn)的就是能力,直截了當(dāng),最能服眾。

當(dāng)然,這個(gè)世界上是否有完全客觀的判斷?或者,完全客觀的判斷如果存在,是不是就是最合適的?我不知道答案。不過,我覺得不能因?yàn)樽霾坏酵耆钠降榷艞壸非笃降取?/p>

總結(jié)

以上是生活随笔為你收集整理的阿里高级算法专家公开10大思考的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。

日韩视频欧美视频 | 精品视频久久久久久 | 国产精品片 | 日韩mv欧美mv国产精品 | 色偷偷888欧美精品久久久 | 日韩av电影一区 | 在线亚洲日本 | 成人免费中文字幕 | 六月色婷婷 | 在线观看av免费 | 综合激情网... | 久久影视中文字幕 | 色婷婷播放 | 国产麻豆精品传媒av国产下载 | 99精品视频免费在线观看 | 精品久久影院 | 激情五月在线 | 久草色在线观看 | 国产精品久久久久久久久久久免费看 | 亚洲精品国产精品国自产观看浪潮 | 亚洲成人动漫在线观看 | 激情五月开心 | 麻豆国产网站入口 | 久久久久久久久久久福利 | 狠狠狠狠狠色综合 | 国产成人三级一区二区在线观看一 | 国产性天天综合网 | 国产精品九九视频 | 超级碰碰免费视频 | 久久久www成人免费精品张筱雨 | 国产成人一区二区三区在线观看 | 日韩xxxbbb| 1区2区3区在线观看 三级动图 | 国产裸体视频bbbbb | 国产一区国产精品 | 国产aaa大片 | 久久这里只有精品首页 | 久久电影中文字幕视频 | 91麻豆精品国产91久久久更新时间 | 天天射天天干天天插 | 久久综合九色综合97婷婷女人 | 精品在线99 | 欧美日韩国产精品一区二区亚洲 | 国产精品igao视频网网址 | 国产精品久久久久久模特 | 色伊人网 | 丁香婷婷成人 | 不卡电影免费在线播放一区 | 免费观看黄 | 久久综合在线 | 91成人午夜 | 国内精品视频久久 | 亚洲精品在线看 | 国产精品久久麻豆 | 欧美久久久久久久久久 | 欧美日本三级 | 97免费在线观看 | 黄色的片子| 亚洲色图激情文学 | 亚洲欧美日韩不卡 | 91久久精品一区二区三区 | 中文字幕一区二区三区久久 | 国产精品成人一区二区三区吃奶 | 97碰在线视频 | av久久久久久| 日韩大片免费在线观看 | 毛片99| 久久久国产成人 | 天天玩夜夜操 | 中文有码在线 | 国产成人a v电影 | 韩国av在线播放 | 99久久这里只有精品 | 天堂av在线免费 | 国产麻豆精品一区 | 天天摸天天弄 | 亚洲精品欧美专区 | 成人手机在线视频 | 在线国产一区二区三区 | 午夜.dj高清免费观看视频 | 一本一道久久a久久综合蜜桃 | 亚洲国产精品一区二区久久hs | 国产亚洲精品精品精品 | 香蕉网在线 | 久久精品久久久精品美女 | 国产精品久久久久久久久久妇女 | 亚洲国产伊人 | 亚洲黄色免费网站 | 99久久99久久精品国产片 | 91麻豆精品国产91久久久使用方法 | 婷婷在线观看视频 | 成年人免费电影在线观看 | 欧美一级久久久 | 婷婷av电影 | 波多野结衣在线播放视频 | 欧美性黄网官网 | 成人免费 在线播放 | 日本中文字幕在线播放 | 全久久久久久久久久久电影 | 中文字幕第| 成年人免费在线观看网站 | 狠狠综合网 | 91丨九色丨高潮丰满 | 天天爽人人爽夜夜爽 | 国产流白浆高潮在线观看 | 国产精品久久久久av | 国内精品久久久久久久影视麻豆 | 久久男人视频 | 久久国产精品99久久久久久进口 | 国模视频一区二区 | 久久99国产视频 | 99久久精品无码一区二区毛片 | 成人免费色 | 天天射天天色天天干 | av在线免费不卡 | 日韩字幕在线 | 狠狠色丁香久久综合网 | 成人国产网址 | 久久在线免费观看视频 | 欧美久久久久久久久久久 | 国产一二三区av | 国产美女免费观看 | 久久视频一区二区 | 99999精品视频 | 亚洲精品黄 | 国产精品美女久久久久久久久 | 欧美一区二区在线看 | 麻豆国产在线播放 | 久久美女高清视频 | 久久国产影院 | 欧美亚洲国产精品久久高清浪潮 | 精品国产一区二区三区四区在线观看 | 亚洲激情五月 | 9999精品免费视频 | av在线com| 精品久久久免费视频 | 最近中文字幕 | 久久久久久国产精品 | 日本韩国在线不卡 | 夜夜嗨av色一区二区不卡 | 91九色最新地址 | 91看片一区二区三区 | 在线观看一区二区视频 | 久久精品在线 | 国产色婷婷 | 99色免费| 免费成人结看片 | 在线看国产 | 欧美另类高清 videos | 伊人激情综合 | 日韩在线免费观看视频 | 久久开心激情 | 欧美日韩中文字幕视频 | 人人澡人摸人人添学生av | 91人人揉日日捏人人看 | 91一区二区三区久久久久国产乱 | 国产黄色一级片在线 | 日日爽天天 | 国产黄a三级三级三级三级三级 | 一区二区三区四区影院 | 九九在线国产视频 | 久久久久 | 国产又粗又猛又色 | 国产精品一区二区免费在线观看 | 亚洲国产中文字幕 | 99精品欧美一区二区三区黑人哦 | 精品久久免费看 | 69亚洲乱 | 美女国内精品自产拍在线播放 | 尤物97国产精品久久精品国产 | 丁香婷婷自拍 | 久久久 精品 | 精品一二三四视频 | 成人蜜桃 | www夜夜操com| 久久免费av | 久久久69| 免费在线国产精品 | 九九热在线观看视频 | 美女性爽视频国产免费app | 中文字幕大全 | 亚洲成人av电影在线 | 中文字幕久久精品亚洲乱码 | 天天激情天天干 | 欧美aa一级 | 亚洲国产理论片 | 少妇自拍av| 久久天天躁夜夜躁狠狠躁2022 | 在线播放第一页 | 区一区二在线 | 久热爱| 色偷偷男人的天堂av | 日本久久综合网 | av中文字幕在线观看网站 | 成年人视频免费在线播放 | 国产一级大片免费看 | 国产黄色a | 丁香在线观看完整电影视频 | 91精品久久久久久综合乱菊 | 午夜精品视频一区二区三区在线看 | 四虎国产精品免费观看视频优播 | 狠狠干狠狠插 | 91福利视频在线 | 国产无遮挡猛进猛出免费软件 | 精品视频亚洲 | 日韩中文字幕一区 | 久久精品一 | 精品在线观 | 国产高清在线一区 | 97超碰在 | 九九热在线视频 | 久草电影免费在线观看 | 久草精品资源 | 91av视频在线观看免费 | 四虎成人免费观看 | 三级视频片 | 一区二区精品在线 | 又黄又爽的视频在线观看网站 | 免费看的黄色片 | 国产欧美日韩精品一区二区免费 | 亚洲精品免费观看视频 | 色视频 在线 | 亚洲精品乱码久久久久久 | 伊人天天操| 精品一区二区三区四区在线 | 黄av在线| 五月婷婷在线播放 | 国产剧情一区二区在线观看 | 在线免费中文字幕 | 天天干天天操天天拍 | 国产成人免费精品 | 在线免费观看的av | 日韩网站在线播放 | 久久综合国产伦精品免费 | a黄色| 久久老司机精品视频 | 久久丁香网 | 亚洲综合成人婷婷小说 | 欧美精品v国产精品v日韩精品 | 99久久精品免费看国产 | 美女福利视频网 | 久久97久久 | 黄色片免费在线 | 天天激情 | 成年人免费看片网站 | a久久久久久 | 久99久精品视频免费观看 | 亚洲精品乱码久久久久久蜜桃不爽 | 激情视频免费在线 | 九九热视频在线免费观看 | 99精品毛片| 免费的黄色的网站 | 久久久一本精品99久久精品66 | 久久综合久久综合这里只有精品 | 视频国产在线观看18 | 日韩美精品视频 | 中文字幕美女免费在线 | 8x成人免费视频 | 天天超碰 | 91亚瑟视频 | 久久69精品久久久久久久电影好 | 日韩av电影免费观看 | 最新99热 | 国产1区在线观看 | 欧美日韩视频免费 | 国产精品美女久久久久久免费 | 久久精品99国产精品日本 | 亚洲综合在线五月 | 国产免费不卡av | 亚洲国产精品99久久久久久久久 | 日韩毛片在线一区二区毛片 | 欧洲成人av | 久久久激情网 | 五月天天av | 日韩高清在线一区二区 | 91av免费看| 国产福利资源 | 婷婷激情五月综合 | 精品久久网 | 中文字幕乱码电影 | 综合色婷婷 | 色婷婷色| 操操综合 | 人人看黄色| 在线 你懂 | 国产黄色资源 | 国产精品国产三级国产aⅴ9色 | 国产欧美在线一区 | 五月亚洲 | 久久视频网址 | 免费日韩一区二区三区 | 在线免费91 | 亚洲另类视频在线 | 久久久免费高清视频 | 伊人电影在线观看 | 日日夜夜精品免费观看 | 免费视频a | 亚洲成av片人久久久 | 亚洲视频综合 | 日日干日日操 | 91av视频免费观看 | 亚洲午夜精品久久久久久久久 | 久久天堂网站 | 99久久精品久久久久久清纯 | 免费成人在线观看视频 | 欧美不卡在线 | 成片视频在线观看 | 99热这里精品 | 欧美在线观看视频一区二区三区 | 波多野结衣一区三区 | 91精品国产91热久久久做人人 | 成人av网站在线 | 久久久久久久久久久久电影 | 国产一级在线免费观看 | 国产999视频在线观看 | 国产91对白在线播 | 国产精品色在线 | 国产麻豆精品一区 | 超碰国产97 | av在线播放一区二区三区 | 国产精品资源在线观看 | 亚洲美女免费精品视频在线观看 | 日本公妇色中文字幕 | 久久婷亚洲五月一区天天躁 | 一区二区三区在线电影 | 日韩福利在线观看 | 丰满少妇在线观看资源站 | 日韩在线观看高清 | 久久久久久久久久久免费av | 久久精品一区二区三区国产主播 | 99精品视频网 | 中文字幕亚洲情99在线 | 日韩av图片 | 在线韩国电影免费观影完整版 | 国产无套精品久久久久久 | 干干夜夜 | 精品在线免费视频 | 成人资源网 | 欧美另类视频 | a级片网站 | 五月在线视频 | 91在线视频免费 | 国产精品久久久久久久免费 | 久久久久亚洲精品成人网小说 | 成人午夜黄色 | 久久国产精品一区二区三区四区 | a级国产片 | 成人免费在线视频观看 | 亚洲免费一级电影 | 国产精品第三页 | 狠狠躁天天躁 | 91精品国产欧美一区二区 | 天天操夜夜摸 | 欧美成人手机版 | 久久成年视频 | 免费在线观看成人 | 亚洲午夜精品久久久久久久久久久久 | 超碰在线98| 日韩在线视频观看免费 | 丰满少妇在线观看资源站 | 婷婷激情五月 | 91精品啪啪 | 亚洲精品男人的天堂 | 国产成人精品电影久久久 | 国产成人精品一区二区三区在线 | 久久久久99精品成人片三人毛片 | 天天干天天干天天 | 奇米四色影狠狠爱7777 | 五月婷婷综合激情网 | 一区二区三区免费在线播放 | 亚洲国产中文字幕在线观看 | 国产精品久久久久久久久久久杏吧 | 久热爱| 日韩美精品视频 | 日韩免费视频播放 | 久久久精品高清 | 国产精品一区二区吃奶在线观看 | 999视频在线观看 | 亚洲一一在线 | 黄色成人毛片 | 最新中文字幕视频 | 91精品国自产在线观看欧美 | 欧美天天干 | 日韩中文字幕亚洲一区二区va在线 | 狠狠干在线| 色夜视频 | 国产免费专区 | 99在线热播精品免费 | 黄色在线观看免费网站 | 免费久久片| 在线观看理论 | 亚洲精品一区二区三区四区高清 | 91在线日韩| 国产欧美高清 | 国产一级视频免费看 | 特级大胆西西4444www | 黄色av一级片 | 91精品在线播放 | 亚洲狠狠操 | 久久久久久久久久久久亚洲 | 玖玖精品在线 | 激情久久伊人 | 天天干天天玩天天操 | 国产精品美女毛片真酒店 | 日韩黄色网络 | 久久久亚洲网站 | 中文字幕在线播放视频 | japanesexxxxfreehd乱熟 | 91九色丨porny丨丰满6 | 欧美巨大| 久久国产区 | 色婷婷九月 | 曰本免费av | 国产高清成人在线 | 久久一及片 | 最新中文字幕在线播放 | 99精品欧美一区二区三区 | 欧女人精69xxxxxx | 中文av在线播放 | 久爱综合 | 亚洲国产视频在线 | 久久久免费看片 | 久久综合久久综合这里只有精品 | 超薄丝袜一二三区 | 色婷婷午夜 | 色99视频| 狠狠色伊人亚洲综合网站野外 | 91成人免费电影 | 久久中文字幕在线视频 | 国产一区二区在线观看视频 | 91久久国产自产拍夜夜嗨 | 久久这里只有精品23 | 久久撸在线视频 | 精品国产乱码久久久久久1区二区 | 午夜私人影院久久久久 | 狠狠狠干 | 亚洲欧美日韩精品一区二区 | 黄色在线免费观看网站 | 日韩色一区二区三区 | 国产精品乱码久久久久久1区2区 | 国内精品久久久久久久久久久 | 探花视频免费观看高清视频 | 久久综合色综合88 | 亚洲 综合 激情 | 人人看看人人 | 国产第一页在线观看 | 久久爱www. | 欧美少妇xxx | 国产在线a视频 | 天天操天天色综合 | 国产精品资源在线观看 | 久久新视频 | 亚洲天天看 | 亚洲视频www| 国产第一二区 | 福利二区视频 | 亚洲成a人片77777kkkk1在线观看 | 欧美最猛性xxx | 在线观看mv的中文字幕网站 | 国产精品毛片久久久久久久久久99999999 | 久章操| 嫩草av影院 | 亚洲免费一级 | 欧美日韩久久一区 | 国产精品 视频 | 蜜臀av免费一区二区三区 | 免费高清在线观看电视网站 | 五月婷婷.com| 亚洲国产精品va在线看黑人动漫 | 久草综合在线观看 | 国产精品99免费看 | 欧美精品一区二区三区一线天视频 | 99久久www | 国产亚洲精品久 | 一区二区 不卡 | 精品久操| 久99精品 | 在线看黄色av | 综合久久精品 | 久久99久久99精品免费看小说 | 精品99免费视频 | 日韩理论在线观看 | 日韩在线观看a | 亚洲欧洲av| 欧美久久综合 | 亚洲国产精品一区二区久久,亚洲午夜 | 色婷婷午夜| 中文字幕欧美日韩va免费视频 | 人人干网站 | 91探花国产综合在线精品 | 国产精品视频永久免费播放 | 奇米网网址 | 午夜性福利 | 亚洲精品乱码久久久久久蜜桃欧美 | 成人性生交大片免费观看网站 | 狠狠狠色丁香婷婷综合激情 | 91大神电影 | 国产 日韩 在线 亚洲 字幕 中文 | 久在线 | 91夜夜夜| 国产视频在线免费 | 九九视频精品免费 | 国产黄色片免费在线观看 | 探花视频在线版播放免费观看 | 久久综合久久综合这里只有精品 | 四虎伊人 | 九九欧美 | 亚洲午夜精品一区 | 国产中文字幕国产 | 成人黄色电影免费观看 | 九九免费在线观看视频 | 国产打女人屁股调教97 | 夜夜躁日日躁 | 九九99| 久草在线电影网 | 婷婷色六月天 | 久久久久久久久国产 | 91自拍视频在线 | 精品高清美女精品国产区 | 日本在线中文在线 | 五月激情在线 | 天堂av网址 | 中文不卡视频在线 | 最新av网址在线 | 精品国产精品国产偷麻豆 | 成人午夜精品福利免费 | 欧美亚洲精品一区 | 日韩| 国产精品一区二区三区观看 | 精品国产一区二区久久 | 日韩黄色中文字幕 | 久久99久久99精品免视看婷婷 | 亚州精品天堂中文字幕 | 亚洲国产精品成人综合 | 国产精品久久久久久久99 | 婷婷伊人综合 | 日本少妇久久久 | 色综合天天综合网国产成人网 | 狠狠躁夜夜躁人人爽超碰97香蕉 | 国产精品一区二区在线观看免费 | 日韩一三区| 97人人添人澡人人爽超碰动图 | 天无日天天操天天干 | 波多野结衣精品视频 | 九九免费在线看完整版 | 国产一区欧美日韩 | 国产99久久久久 | www色网站| 国内精品久久天天躁人人爽 | 久久开心激情 | 一区二区三区国 | 久久成人一区 | 超碰97公开| 免费男女羞羞的视频网站中文字幕 | 国产不卡精品 | 毛片99 | 亚洲欧美日韩精品久久奇米一区 | 中文在线字幕免 | 久久综合久久综合九色 | 国产精品mv在线观看 | 久久精品二区 | 国产精品免费久久久久 | 亚州中文av | 探花国产在线 | 久久久资源网 | 人人揉人人揉人人揉人人揉97 | 黄色在线观看www | 久射网| 一区二区三区电影在线播 | 国产成人精品亚洲精品 | av在线免费观看网站 | 国产精品永久在线 | 在线观看视频h | av千婊在线免费观看 | 日精品在线观看 | 麻豆av电影| 成人a视频在线观看 | 色在线中文字幕 | 九九九国产 | 欧亚日韩精品一区二区在线 | 久久久久一区 | 国产一二三区在线观看 | 91香蕉视频在线 | 日日成人网 | 日韩久久精品一区二区三区 | 中文字幕视频 | 国产一区二区网址 | 亚洲九九精品 | 国产手机视频精品 | 欧美日韩精品在线观看视频 | 亚洲第一区在线播放 | 黄色毛片一级片 | 国内三级在线观看 | 久久av在线 | 久章操 | 四虎影视国产精品免费久久 | 日韩av一区二区三区 | 日韩亚洲在线视频 | 久久在线精品 | 久久久久久久久毛片精品 | 欧美日韩在线播放 | 亚洲欧美国产精品18p | 国产无遮挡又黄又爽在线观看 | 人人狠狠综合久久亚洲 | 91精品视频一区 | 日韩在线网址 | 99久久9| av成人动漫 | 久久精品久久精品久久精品 | 久久综合久久综合这里只有精品 | 激情综合一区 | 最近最新mv字幕免费观看 | 中文字幕免费一区 | 国产一区二区日本 | 激情五月综合 | aaa亚洲精品一二三区 | 91日韩精品视频 | 亚洲天堂网视频在线观看 | 一区二区精| 天天操天操 | 毛片在线播放网址 | 日本黄色一级电影 | 欧美在线观看视频 | 91高清在线看 | 国产在线一卡 | 成人在线网站观看 | 精品久久亚洲 | 精品伊人久久久 | 精品久久五月天 | 亚洲狠狠丁香婷婷综合久久久 | 久草在线在线精品观看 | 国产美女被啪进深处喷白浆视频 | 99久高清在线观看视频99精品热在线观看视频 | 久久99国产精品自在自在app | 波多野结衣久久精品 | 西西www4444大胆在线 | av免费在线观 | 久草综合在线 | 亚洲1区 在线 | 天堂激情网 | 久草精品资源 | 久久婷婷国产色一区二区三区 | 91看成人| 日韩欧美大片免费观看 | 中文字幕在线视频一区二区 | 亚洲狠狠婷婷综合久久久 | 天堂av在线网站 | 92国产精品久久久久首页 | 丝袜护士aⅴ在线白丝护士 天天综合精品 | 在线观看视频国产一区 | 操操综合| 人人澡澡人人 | 国产视频1 | 亚洲免费观看在线视频 | 国产视频 久久久 | 日韩精品电影在线播放 | 毛片无卡免费无播放器 | 久久精品79国产精品 | 亚洲成a人片在线www | 国产在线精 | 不卡的av电影 | 欧美巨大荫蒂茸毛毛人妖 | 国产亚洲精品久久久久秋 | 黄色日视频 | 欧美精品中文字幕亚洲专区 | 亚洲黄a| 91精品欧美一区二区三区 | 色网站免费在线观看 | 操操操综合 | 国产精品久久久久久久久久久不卡 | 精品久久久久一区二区国产 | 91在线入口 | 在线日韩中文 | 黄色一级在线视频 | 国产精品久久久久高潮 | 国产成人精品女人久久久 | 天堂在线v | 国产精品一区二区三区在线看 | 日韩大片在线观看 | 久久新| 久久这里| 日韩精品一区二区久久 | 狠狠狠色丁香婷婷综合久久88 | 中文字幕精品一区久久久久 | 久草在 | 天天玩天天干 | 久久久久久久久久免费视频 | 91亚洲综合 | 国产资源站 | 91激情| 天天天操天天天干 | 精品 一区 在线 | a级免费观看 | 中文字幕在线字幕中文 | 九色porny真实丨国产18 | 久久系列 | 日韩亚洲在线视频 | 99精品一区二区 | 精品国产91亚洲一区二区三区www | 91视频成人免费 | 天天干天天干天天色 | 超碰在线人人 | 欧美日韩在线看 | 三级黄色网络 | 欧美成人影音 | 日韩a在线看| 免费观看国产视频 | 99久久综合国产精品二区 | 国产亚洲精品久久久久久久久久 | 黄色aa久久 | 97精品一区二区三区 | 久草免费在线视频观看 | 国产伦精品一区二区三区高清 | 成人免费在线观看av | 国产精品一区二区麻豆 | 亚洲免费在线看 | 欧美日韩成人一区 | 国产高清在线 | 在线观看中文字幕dvd播放 | 久久97超碰 | 18久久久久久 | 国产96在线观看 | 国产成人久久久77777 | 国偷自产中文字幕亚洲手机在线 | 久久全国免费视频 | 婷婷激情综合 | 国产成人精品一区二区三区福利 | 成人免费网站视频 | 亚洲一二三久久 | 欧美成人精品xxx | 亚洲精品资源 | 国产高清视频在线 | 不卡精品视频 | 国产精品久久久久久久久久久免费看 | 色的网站在线观看 | 中日韩免费视频 | 在线导航福利 | 亚洲成人av一区 | 欧美日韩1区2区 | 日日爽天天操 | 天天色天天骑天天射 | 99爱精品视频 | 久久午夜免费观看 | 国产高清无av久久 | 欧美一区三区四区 | 欧亚日韩精品一区二区在线 | 人人干人人爽 | 国产精品一区二区久久国产 | 久久成人亚洲欧美电影 | 麻豆视频91 | 99在线精品免费视频九九视 | 久久永久免费 | 91精品麻豆 | 欧美午夜久久久 | 精品在线观看一区二区三区 | 国产亚洲一级高清 | 91在线色 | 最新av电影网站 | 一本一本久久a久久精品牛牛影视 | 国产成人精品一二三区 | 国产高清视频在线免费观看 | 亚洲精品午夜一区人人爽 | 香蕉视频久久 | 亚洲精品午夜aaa久久久 | 激情综合网婷婷 | 天天干亚洲 | 国产福利一区二区在线 | 成人在线播放网站 | 美女网站免费福利视频 | 日日操天天射 | 久久人人干| 69精品人人人人 | 精品国产乱码一区二 | 久久久久久久久久久福利 | 欧美精品网站 | 中文字幕一区2区3区 | 99视频这里只有 | 波多野结衣久久资源 | 91在线视频免费播放 | 国产精品日韩在线播放 | 欧美性色黄大片在线观看 | 96看片| 男女全黄一级一级高潮免费看 | 在线观看中文字幕dvd播放 | 又黄又爽又湿又无遮挡的在线视频 | 亚洲一区二区精品视频 | 婷婷六月在线 | 日韩色一区二区三区 | 色a在线观看 | 国产精品原创在线 | 久久一二三四 | 国产极品尤物在线 | 日韩久久久久久久久久 | 伊人天天色 | 亚洲更新最快 | 国产黄影院色大全免费 | 国产午夜小视频 | 日韩免费在线观看视频 | 国产网站色 | 国产在线观看地址 | 98涩涩国产露脸精品国产网 | 国产亚洲精品美女久久 | 黄色免费网站大全 | 国产精品久久久亚洲 | 久久精品视频一 | 国产999精品久久久久久麻豆 | 日本久久久久久 | 亚洲免费在线播放视频 | 日韩午夜一级片 | avove黑丝| 丁香六月在线观看 | 日韩大片在线免费观看 | 亚洲亚洲精品在线观看 | 在线观看岛国片 | 国产一级片免费播放 | 98超碰人人| 国产高清视频免费最新在线 | 国产精品a成v人在线播放 | 成人在线视频在线观看 | 亚州av成人| 麻豆视频免费入口 | 99999精品视频 | www黄免费| 中文字幕欧美激情 | 一级全黄毛片 | 久久精品视频免费播放 | 日韩欧美久久 | 成年一级片 | 亚洲精品小视频 | 婷婷看片| 在线免费视频a | 久久成人国产精品免费软件 | 中文字幕av免费观看 | 中文字幕亚洲在线观看 | 免费在线观看一区 | 色综合天天视频在线观看 | 久久www免费人成看片高清 | 精品在线视频观看 | 亚洲黄色软件 | 日韩视频一 | 五月婷婷激情综合网 | 新版资源中文在线观看 | zzijzzij亚洲日本少妇熟睡 | 国产系列在线观看 | 日韩理论在线观看 | 在线视频日韩欧美 | 五月婷网 | 国产精品激情 | 午夜视频播放 | 欧美日韩久久 | 天天干人人 | 欧美精彩视频在线观看 | 国产精品原创视频 | 久久久久国产成人精品亚洲午夜 | 久久福利影视 | 久久色在线播放 | 97精品国产 | 国产精品爽爽久久久久久蜜臀 | 久久99国产精品自在自在app | 亚洲天天 | 99r精品视频在线观看 | 91精品国产自产91精品 | 日本久久久久久科技有限公司 | 国产精品久久久久久久久久久久午夜 | 国产网站av | 久久久久久久久久毛片 | 欧美一级视频免费看 | 9999国产精品 | 中文字幕高清免费日韩视频在线 | 婷婷激情欧美 | 色福利网 | 国产精品高潮呻吟久久av无 | 三级黄在线| 欧美激情视频免费看 | 亚洲午夜av久久乱码 | 日本午夜免费福利视频 | 国产一级电影网 | 天天狠狠操| 成人理论在线观看 | 97在线观看免费高清完整版在线观看 | 在线观看亚洲成人 | 天天操一操 | 91久久精品日日躁夜夜躁国产 | 黄色三级免费 | 欧美成人按摩 | 久久久精品在线观看 | 69亚洲乱 | 中文字幕中文字幕在线中文字幕三区 | 色视频在线免费观看 | 日本精品一区二区三区在线播放视频 | 蜜桃视频日本 | 午夜美女福利 | 69国产盗摄一区二区三区五区 | 亚洲国产精品传媒在线观看 | 亚洲四虎在线 | 亚洲精选久久 | 久久久免费网站 | 久久高清免费观看 | 99精品视频免费在线观看 | 日韩理论视频 | 粉嫩av一区二区三区四区在线观看 | 久久久久免费精品视频 | 最近中文字幕高清字幕免费mv | 免费看一级黄色大全 | 免费视频二区 | 精品国产不卡 | 丁香婷婷在线 | 国产成人一区二区啪在线观看 | 在线观看黄色 | 精品久久久久久国产 | 精品国产免费一区二区三区五区 | 人人看人人爱 | 一级精品视频在线观看宜春院 | 精品久久综合 | 国产一区二区中文字幕 | av 一区二区三区 | 精品视频久久久 | 色五月激情五月 | 国内精品久久久久久 | 日日干夜夜操视频 | 6080yy精品一区二区三区 | 欧美精品九九99久久 | 亚洲天堂精品 | 国产美女精品久久久 | av综合av| 久久久黄色av | www.91av在线 | 午夜免费福利视频 | 成在人线av | 婷婷中文字幕在线观看 | 日韩精品视频在线观看网址 | 国产视频18 | 在线观看中文字幕av | 日本论理电影 | 97超碰在线久草超碰在线观看 | 97超视频免费观看 | 欧美成人性战久久 | 免费观看一区二区三区视频 | 日本中出在线观看 | 国产精品久久久久久久久久 | 久产久精国产品 | 808电影 | 国产在线成人 | 日韩在线视频观看 | 国产精品久久久久aaaa九色 | 91精品国自产在线偷拍蜜桃 | 色婷婷综合五月 | 久久精品伊人 | 国产日韩av在线 | 五月婷丁香网 | 久久精品在线视频 | 成人网看片 | 一区二区三区动漫 | 91色国产在线 | 五月婷婷丁香在线观看 | 成人精品电影 | 亚洲国产精品电影在线观看 | 日韩色一区二区三区 | 高潮久久久 | 国产乱对白刺激视频在线观看女王 | av免费在线观看网站 | 久久草视频 | 免费在线观看av的网站 | 亚洲精品色婷婷 | 久久黄色小说视频 | 天天综合网入口 | 91在线观 | 久草剧场| 色网免费观看 | 日韩在线看片 | 色com网 | 91亚·色 | 亚洲午夜久久久影院 | 97人人添人澡人人爽超碰动图 | 成人综合婷婷国产精品久久免费 | 欧美有色 | 亚洲视频,欧洲视频 | 色综合久久88色综合天天人守婷 | 精品xxx | 久久99久久99免费视频 | 免费看黄色小说的网站 | 中文字幕免费国产精品 | 成人av资源网 | 日韩欧美高清免费 | 美女视频黄是免费的 | 999精品网| 国产成人精品国内自产拍免费看 | 成人免费一级 | 久久午夜免费观看 | 99热都是精品 | 在线久久 | 精品国产观看 | 麻豆av电影 | 国产中文字幕精品 | 香蕉成人在线视频 | 99热在线精品观看 | 欧美激情综合色综合啪啪五月 | 人人爽人人爽人人片 |