阿里大數據比賽心得

~~~~~~····最終比賽還是結束了，想說研一一半的青春奉獻給了阿里，最后艱難擠進了前五十，一路過來真心不easy，每天早上醒來的第一件事就是查成績，三個月來天天如此，晚上熬夜提交預測，那樣的日子想說愛你不easy。。。回想一路走來的艱難歷程，回味當中的付出和收獲，謹以此文獻給一路走來一起奮斗的小伙伴，么么噠···~~~~~~

（一）初識阿里大數據比賽

一次偶然的機會，在去實驗室的路上見到了阿里天貓推薦算法的比賽海報，對近來炒得非常火的大數據有非常濃的好奇心，點開報名網址，大數據比賽，便踏上了接近四個月的阿里競賽之路。

比賽大概的描寫敘述是：第一賽季阿里官方提供少量的某年4-15到8-15這段時間離線的天貓真實行為數據，參賽者利用機器學習的方法，預測8.15-9-15的用戶購買情況，詳細評分方式為：依據預測的正確率和召回率計算出調和平均得分來考量參賽者的成績，例如以下圖所看到的：

接觸第一賽季的時候，比賽已經進行了半個多月，因為非CS出生，機器學習方面僅僅學習過皮毛，做過一兩個實驗。。。能夠說經驗匱乏，草草的和實驗室隊友組隊了（草率的決定讓自己后來說不出的心酸...無力吐槽），第一次胡亂的提交了一次成績，第二天就有了成績啦，看到了成績以及排名，當時還有點小興奮，盡管成績不好，總算有個成績啦。。。

接下來幾天成績都有小幅度上漲，詳細的做法是利用學習過的邏輯回歸LR和加一些簡單的統計規則進行推薦，一些簡單的規則有：利用用戶對品牌的點擊、購買、收藏、增加購物車這四種基本操作給品牌打分，將得分較高的品牌推薦給用戶，做了半個多月，成績一路上漲??

?

??

最后還是穩穩的進入了前500名，得到了接觸第二賽季的機會，賽季結束的時候，官方組織確定了終于的參賽隊伍信息，第一賽季差點兒是一個人戰斗的我，選擇了又一次組隊，和室友新組建了一個2人小隊，心血來潮搞了個隊名，，擠進第二賽季，當時定下的目標，沖擊一百萬，贏取白富美，出任CEO，走上人生巔峰，小小興奮了一把（~純屬自娛自樂~）

（二）第二賽季“血拼”

休整了幾天之后，阿里開放了第二賽季的天池大數據計算平臺ODPS供參賽者使用，對于第一次接觸大數據分析平臺的我們來說，真是啥都不會。。。三個月的奮斗，我們組大概用了純規則、LR、RF、GBRT四種方法，其它的一些SVM、貝葉斯等方法效果甚微，淺嘗輒止。

2.1、SQL純規則

第一時間打開了提供的ODPS用戶手冊，看了簡單的入門之后，就開始弄了，再次從0開始學習，這次提供的用戶操作記錄數比第一賽季高了幾個數量級，達到了5億的規模，直接依照手冊提供的sql語句加入的簡單規則（給用戶推薦熱門的10個商品）進行了一次的提交，結果就有了成績，小激動啊：

?? ? ? ? ? ? ? ? ? ? ? ? ?

接下來的幾天，依照第一賽季的流程，對數據進行預處理，刪除未購買過品牌的用戶記錄（不刪除近期一周才出現的新用戶），刪除未被購買過的品牌記錄，刪除瘋狂點擊可是從不購買的刷鉆用戶記錄等，利用一些簡單規則：定義熱門品牌集合，交互時間記錄統計，活躍用戶集合，近期新出現的品牌集合，周期品牌集合，用戶的品牌忠誠度，用戶對品牌的操作加權打分等規則，每加一條規則，成績都蹭蹭蹭往上漲（畢竟我們的baseline還非常低），幸福洋溢的感覺有木有：

提升了幾天，絲毫沒有察覺到規則帶來的局限，依靠純規則推薦，挖掘不出用戶購買行為深層次的關系注定有提升上限，做了接近10天的規則成績漲到3.9左右，無論怎么加入規則，我們的成績也始終上漲不了了。

2.2、LR模型

考慮轉到LR模型，要想利用模型訓練，首先得在與處理之后的數據之上，劃分好線上和線下數據集，參考阿里討論群和BBS上面的數據集劃分，因為題目是利用4個月交互數據預測第5個月購買，故我們線下也是將已知的四個月數據平均分為5部分，利用前4部分數據預測第5部分購買情況，構建的線下數據集和線上數據集詳細為：

2.2.1、線下：

訓練：篩選出4月15號到7月02號的有過交互記錄的，而且在7月03號到7月21號發生購買的用戶品牌對作為正樣本，將4月15號到7月02號剩下的記錄作為負樣本，構建好特征后，訓練到線下的LR模型；

預測：利用4-15號到7月21號的全部數據，構建好特征后，帶入線下訓練好的LR模型進行驗證；

2.2.2、線上：

訓練：篩選出4月15號到7月21號的有過交互記錄的，而且在7月22號到8月15號發生購買的用戶品牌對作為正樣本，將4月15號到7月21號剩下的記錄作為負樣本，構建好特征后，訓練到線上的LR模型；

預測：利用4-15號到8月15號的全部數據，構建好特征后，帶入線上訓練好的LR模型進行推薦；

數據集劃分好后，我們組花了大量的時間構建特征，從三個角度出發，用戶品牌交互特征類,用戶特征類和品牌特征類，到第二賽季結束的時候，累計構建了715個特征（真的是一個比拼特診構建的比賽了），僅僅羅列出我們組最后用上的效果比較好的一組特征，具體例如以下：

2.2.3、用戶品牌交互特征類

構建用戶與品牌之間交互的統計特征，體現用戶與品牌之間的交互特性，大致反映出用戶與品牌之間滿足某種映射下會發生購買行為，大概有：

<pre name="code" class="objc">click_count :用戶A對品牌B的總PV數 buy_count :用戶A對品牌B的總購買數 collect_count :用戶A對品牌B的總收藏數 cart_count :用戶A對品牌B的總增加購物車數 avg_buy_day_count :用戶A對品牌B的各次購買離如今的平均天數 variance_buy_day_count :用戶A對品牌B的各次購買離如今的時間的方差 least_click_day_count :用戶A對品牌B的近期一次點擊離如今的天數 least_buy_day_count :用戶A對品牌B的近期一次購買離如今的天數 least_collect_day_count :用戶A對品牌B的近期一次收藏離如今的天數 least_cart_day_count :用戶A對品牌B的近期一次購物車離如今的天數 click_count_before_firstbuy :用戶A對品牌B的第一次購買前的PV數 collect_count_before_firstbuy :用戶A對品牌B的第一次購買前的收藏數 cart_count_before_firstbuy :用戶A對品牌B的第一次購買前的購物車數 avg_click_day_interval :用戶A對品牌B的平均點擊天數間隔 avg_buy_day_interval :用戶A對品牌B的平均購買天數間隔 first_operator_day_count :用戶A對品牌B的第一次交互離如今的天數 last_operator_day_count :用戶A對品牌B的最后一次交互離如今的天數 max_operator_Day_count :用戶A對品牌B的交互次數最多那天離如今的天數 user_buy_brand_rate :用戶A對品牌B的購買次數占用戶A總購買次數的比例 user_click_brand_rate :用戶A對品牌B的點擊次數占用戶A總點擊次數的比例 click_buy_rate :用戶A對品牌B的點擊購買比 click_2_count :用戶A對品牌B的PV數的平方 buy_2_count :用戶A對品牌B的購買數的平方 brand_is_bought_rate :用戶A對品牌B的購買次數占品牌B被購買的總次數的比例 brand_is_clicked_rate :用戶A對品牌B的點擊次數占品牌B被點擊的總次數的比例 last_31_day_click_buy_rate :用戶A對品牌B的近期31天的點擊購買比 click_day_count :用戶A對品牌B的點擊總天數 buy_day_count :用戶A對品牌B的購買總天數 buy_last_week_count :用戶A對品牌B購買了多少周 avg_click_rate_before_buy :用戶A對品牌B最后一次購買后的PV數/用戶A對品牌B每次購買前的平均點擊 avg_collect_rate_before_buy :用戶A對品牌B最后一次購買后的收藏數/用戶A對品牌B每次購買前的平均收藏 click_delete_user_avg_rate :(用戶A對品牌B的PV數-用戶A對操作過的品牌的平均PV數)/用戶A對操作過的品牌的平均PV數 buy_delete_user_avg_rate :(用戶A對品牌B的購買數-用戶A對操作過的品牌的平均購買數)/用戶A對操作過的品牌的平均購買數 collect_delete_user_avg_rate :(用戶A對品牌B的收藏數-品牌B被平均收藏數)/品牌B被平均收藏數 before_0_day_last_5_day_click_count :用戶A對品牌B離如今5天之內的PV數 before_0_day_last_5_day_buy_count :用戶A對品牌B離如今5天之內的購買數 before_0_day_last_5_day_collect_count :用戶A對品牌B離如今5天之內的收藏數 before_0_day_last_5_day_cart_count :用戶A對品牌B離如今5天之內的增加購物車數 before_0_day_last_10_day_click_count :用戶A對品牌B離如今10天之內的PV數 before_0_day_last_10_day_buy_count :用戶A對品牌B離如今10天之內的購買數 before_0_day_last_10_day_collect_count :用戶A對品牌B離如今10天之內的收藏數 before_0_day_last_10_day_cart_count :用戶A對品牌B離如今10天之內的增加購物車數 before_10_day_last_10_day_click_count :用戶A對品牌B離如今10天之前的10天之內的PV數 before_10_day_last_10_day_buy_count :用戶A對品牌B離如今10天之前的10天之內的購買數 before_10_day_last_10_day_collect_count:用戶A對品牌B離如今10天之前的10天之內的收藏數 before_10_day_last_10_day_cart_count :用戶A對品牌B離如今10天之前的10天之內的增加購物車數 before_20_day_last_10_day_click_count :用戶A對品牌B離如今20天之前的10天之內的PV數 before_20_day_last_10_day_buy_count :用戶A對品牌B離如今20天之前的10天之內的購買數 before_20_day_last_10_day_collect_count:用戶A對品牌B離如今20天之前的10天之內的收藏數 before_20_day_last_10_day_cart_count :用戶A對品牌B離如今20天之前的10天之內的增加購物車數 before_30_day_last_10_day_click_count :用戶A對品牌B離如今30天之前的10天之內的PV數 before_30_day_last_10_day_buy_count :用戶A對品牌B離如今30天之前的10天之內的購買數 before_30_day_last_10_day_collect_count:用戶A對品牌B離如今30天之前的10天之內的收藏數 before_30_day_last_10_day_cart_count :用戶A對品牌B離如今30天之前的10天之內的增加購物車數 before_0day_last_10_day_click_day_count:用戶A對品牌B離如今10天之內的總點擊天數 before_0day_last_10_day_buy_day_count :用戶A對品牌B離如今10天之內的總購買天數

2.2.4、用戶特征類

構建體現用戶特性的特征，盡量挖掘處用戶購物行為習慣，大致有例如以下特征：

user_buy_count :用戶A總購買的次數 user_click_count :用戶A總點擊的次數 user_collect_count :用戶A總收藏的次數 user_cart_count :用戶A總購物車的次數 user_click_buy_rate :用戶A總的點擊購買比 user_avg_buy_day_count :用戶A全部購買發生的時間離如今的平均天數 user_least_buy_day_count :用戶A近期一次購買離如今的天數 user_variance_buy_day_count :用戶A全部購買發生的時間離如今的時間方差 user_last_5_day_click_count :用戶A近期5天的點擊總數 user_last_5_day_buy_count :用戶A近期5天的購買總數 user_last_5_day_collect_count :用戶A近期5天的收藏總數 user_last_5_day_cart_count :用戶A近期5天的增加購物車總數 user_click_day_count :用戶A點擊的總天數 user_buy_day_count :用戶A購買的總天數 user_collect_day_count :用戶A收藏的總天數 user_cart_day_count :用戶A增加購物車的總天數 user_buy_brand_count_for_1_week:用戶A僅僅購買1周的商品有多少種 user_buy_brand_count_for_2_week:用戶A僅僅購買2周的商品有多少種 user_buy_brand_count_for_3_week:用戶A僅僅購買3周的商品有多少種 user_buy_brand_count_for_4_week:用戶A僅僅購買4周的商品有多少種

2.2.5、品牌特征類

構建體現品牌特性的特征，盡量挖掘處什么樣的品牌受用戶追捧，會被用戶購買，大致有例如以下特征：

brand_click_count :品牌B被點擊的總次數 brand_buy_count :品牌B被購買的總次數 brand_collect_count :品牌B被收藏的總次數 brand_cart_count :品牌B被增加購物車的總次數 brand_click_buy_rate :品牌B的點擊購買比 brand_last_3_day_click_count :品牌B近期3天之內的點擊總數 brand_last_3_day_buy_count :品牌B近期3天之內的購買總數 brand_last_5_day_click_count :品牌B近期5天之內的點擊總數 brand_last_5_day_buy_count :品牌B近期5天之內的購買總數 brand_last_11_day_click_count :品牌B近期11天之內的點擊總數 brand_last_11_day_buy_count :品牌B近期11天之內的購買總數 brand_least_operator_day_count:品牌B近期一次被操作離如今的天數 brand_first_operator_day_count:品牌B第一次被操作離如今的天數 brand_hot_level :品牌B的熱門度（PV數*0.1+購買數*5+購物車數+收藏數） user_count_buy_brand_morethan_2week :購買品牌B超過兩周的用戶數 user_count_buy_brand_morethan_3week :購買品牌B超過三周的用戶數 user_count_buy_brand_morethan_4week :購買品牌B超過四周的用戶數 user_count_buy_brand_equal_1week :購買品牌B為1周的用戶數 user_count_buy_brand_equal_2week :購買品牌B為2周的用戶數 user_count_buy_brand_equal_3week :購買品牌B為3周的用戶數 user_count_buy_brand_equal_4week :購買品牌B為4周的用戶數 brand_hot_ave_level :品牌B的熱門度（PV數*0.1+購買數*5+購物車數+收藏數）/(品牌B第一次被操作和最后一次被操作的時間間隔天數)

2.2.6特征計算

利用天池平臺的分布式計算，具體資料見天池平臺資料分享。我們組寫了三個MapReduce程序，Map階段分別依據userbrandgroup、usergroup、brandgroup進行拆分，Reduce階段分別計算出三類特征的數值，后面就是簡單的多張特征表的合并操作，線下的訓練和預測的特征總表的MR處理是一樣的，僅僅有輸入時間不一樣，例如以下所看到的：

<pre name="code" class="sql"><pre name="code" class="sql">//線下訓練特征總表 create resource jar C:\TOOLS\mapReduce-getCharacter.jar -f jar --resources mapReduce-getCharacter.jar --classpath C:\TOOLS\mapReduce-getCharacter.jar com.mr.userbrandgroup.MyDriver LR_Offline_Train_Table LR_Offline_Train_Feature_1_Table '04-15' '07-02' '1'; create resource jar C:\TOOLS\mapReduce-getCharacter.jar -f jar --resources mapReduce-getCharacter.jar --classpath C:\TOOLS\mapReduce-getCharacter.jar com.mr.usergroup.MyDriver LR_Offline_Train_Table LR_Offline_Train_Feature_2_Table '04-15' '07-02'; create resource jar C:\TOOLS\mapReduce-getCharacter.jar -f jar --resources mapReduce-getCharacter.jar --classpath C:\TOOLS\mapReduce-getCharacter.jar com.mr.brandgroup.MyDriver LR_Offline_Train_Table LR_Offline_Train_Feature_3_Table '04-15' '07-02';//線下預測特征總表 create resource jar C:\TOOLS\mapReduce-getCharacter.jar -f jar --resources mapReduce-getCharacter.jar --classpath C:\TOOLS\mapReduce-getCharacter.jar com.mr.userbrandgroup.MyDriver LR_Offline_Validate_Table LR_Offline_Validate_Feature_1_Table '04-15' '07-21'; create resource jar C:\TOOLS\mapReduce-getCharacter.jar -f jar --resources mapReduce-getCharacter.jar --classpath C:\TOOLS\mapReduce-getCharacter.jar com.mr.usergroup.MyDriver LR_Offline_Validate_Table LR_Offline_Validate_Feature_2_Table '04-15' '07-21'; create resource jar C:\TOOLS\mapReduce-getCharacter.jar -f jar --resources mapReduce-getCharacter.jar --classpath C:\TOOLS\mapReduce-getCharacter.jar com.mr.brandgroup.MyDriver LR_Offline_Validate_Table LR_Offline_Validate_Feature_3_Table '04-15' '07-21';

? ? ? ? ? ? ??在進行LR模型的時候，我們依據文本檢索里面的對數處理準則，對計算到的特征總表進行了總體對數化處理，之后便是對正負樣本進行單獨抽樣得到一個較小的數據集進行訓練，抽樣總數為330W，抽樣比例為10:1(后面改到8:1有小幅度提高)，LR模型因為構建數據集和特征，熟悉MR，所以上手的時間非常長，做了一周左右，提交的成績不好

不斷加入和測試新的特征，兩三天的時間，成績就有了起色，之前規則的得分上線被LR打破，停滯的F1最終開始漲了，這段時間因為做的有點疲倦，加的特征不夠多，成績上漲的斷斷續續，F1上漲到接近5的時候又出現了瓶頸，再怎么加入特征都不怎么漲了：

這段時間，LR的瓶頸讓我們放棄了對它的執念，看到競賽群里火熱的討論著RF，我們決定轉投RF。。。

2.3RF

我們利用LR最好的一組特征直接轉到RF模型上面來進行訓練預測，得到的線下成績非常差，線上的成績也低得嚇人

? ? 感覺我們組好悲催，別的組都能直接從LR過渡到RF上面來，我們又要又一次測試一下特征，不能直接轉過來，花了兩天的時間，成績略微正常了一點，可是離LR不妨差了一大截啊，懷疑我們的方法哪里出問題了，這段時間又是考試周臨近，真真的頭疼啊（看到別的組天天都在上升，饑餓游戲，滋味不好受，還是每天抽出兩三個小時來做比賽）排錯排除了一周左右的時間，成績上漲到和LR差點兒相同的水平了，當時那個開心啊，呵呵，回味無窮

? ? 然后，就正式進入考試周了，比賽的時間壓縮到極致，兩人都忙于復習，比賽做的比較水了，中途不知道哪里出問題了，提交的成績創歷史之最了。。。商議之后決定，決定臨時不搞了，差點兒相同停了兩周左右

考完試也就基本是6月底了，和隊友也差點兒相同忙完了，每天空暇時間相對多了起來，決定重操舊業，”享受早上起來看成績興奮的那一瞬間“，我們花了兩天時間又一次排查了一遍程序，決定臨時先不正確數據做預處理，利用選好的特征，最終得到了超過LR最好得分的成績，一舉破5,停滯的baseline最終開始上漲啦，（果然是預處理影響了我們的模型型。。。當時猜想是數據清洗的過度了，后來也試過刪除一些刷磚用戶，可是效果甚微）基本上方法對了之后，我們就不斷加入新的特征，這幾天基本實現兩天一個大提升，特征總數也達到了500多，實際用上的特征從30多個，到了接近70個了。

我們RF訓練用的方法基本上是界面的方式實現的，詳細做法見之前發的一篇博文阿里大數據比賽sesson2 RF上手篇，成績上漲到5.66這個水平就不太好上升了，試了兩三天效果都不好了，正好碰到群里又在火熱的討論gbrt，對于我們來說又是一個新的模型，我們商議之后，沒有猶豫，立刻決定轉到GBRT，繼續馬拉松。。。

2.4GBRT

學習了兩天的GBRT界面操作（由于一直沒注意看BBS的更新資料，導致我們知道7月中旬都一直還在用界面訓練預測，耗時耗力。。。），便開始實戰了，果不其然，直接RF最好特征轉過來，效果又是差的離奇，（奇了怪了，這也太悲催了吧），這兩天和哈工大隊的大帥交流了下GBRT的使用心得，最終還是步入了正軌，成績又開始歡快的漲了，漲了。。。

? ? ? ? 成績上了5.8之后，上漲的就有點吃力了，不斷加入新的特征，不斷換數據預處理，經過一周的操作，成績上漲到了

還是沒能上5.9，我們這段時間嘗試過RF和GBRT模型融合，加入規則輔助推薦都效果不好，詳細的GBRT方法見博文阿里大數據比賽sesson2 GBRT上手篇，20號左右的時候，最終看到了腳本實現的文檔。。。再也不用手動訓練預測了。。。

2.5最后一周奮戰

24號阿里更新了一批等量的數據，當天晚上，趕在凌晨4點之前，在新數據集上跑完了第一次成績，當晚的成績最終破5.9啦

好景不長，接下來的一天，線下在提升，線上卻下降了，反思線下特征過擬合了，在討論組里大家都在議論著提升的問題，我們又又一次梳理了特征，再次加入了一批特征，驚喜的發現線下提升了0.06達到了5.39，著實興奮了一把，果然，第二天成績怒破6.0，排名穩定在了前50名，激動不已。。。

接下來的幾天，我們繼續線下調試新特征和試著融合，可是線下效果好，到了線上效果卻低于6.02：

最后一天，我們改變了正負樣本抽樣比例，換到了8:1，線下提升了0.02，線上定格在了6.03：

寫博客的一天，再現了四個月來的一路”廝殺“，幾個月來就基本沒有1點鐘之前睡過覺的，盡管辛苦，可是還是認為收獲挺多，感謝阿里提供的這個平臺，讓我們對大數據不再一無所知，感謝隊友朱凌云的陪伴，感謝我們隊伍一路走來幫助過我們的哈工大-王帥同學和姚繼濤同學，感謝USTC的Cara、Closure、陳朝才和陳誠、李悅、以及寧波大學丁石磊同學，以及一些路見不平拔刀相助的壯士，么么噠O(∩_∩)O~

轉載于:https://www.cnblogs.com/mfrbuaa/p/4055990.html

總結

以上是生活随笔為你收集整理的阿里大数据比赛总结的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。