寫在前面

最近騰訊賽分享成為“Coggle數(shù)據(jù)科學(xué)”的主推文章，從籌備競賽到逐步上分之路的分享，助力大家取得優(yōu)異成績。當然，這也將延續(xù)到大賽結(jié)束。持續(xù)關(guān)注Coggle，大家一起學(xué)起來~

上回說到如何晉升到尊貴白金，發(fā)現(xiàn)很多同學(xué)在這個階段遇到很多問題，在開啟新的征程前，我們一起先來看看可能遇到的問題。

1. TF-IDF細節(jié)

第一個是內(nèi)存問題，這里可以對參數(shù)做些調(diào)整，比如max_features=100000，最后僅選出100000列。

第二個是tfidf的id類特征選擇，凡是id類的都可以進行tfidf，我連time都加進去了。

2.?五折交叉統(tǒng)計

這里可以考慮將年齡和性別進行one-hot，然后統(tǒng)計每一個類別的概率，主鍵可以是任意id類特征，當然也可以進行交叉組合后的id特征。

在本文中，Coggle的目標是帶領(lǐng)大家突破1.42分，同時對于1.42之后的提升，比如1.43，或者1.43+，也會給出更多建議和思考方向。

每個分數(shù)階段都有不同的知識點需要去學(xué)習(xí)，在這次歷程中，我們一起探尋永恒鉆石和至尊星耀的上分之路。

永恒鉆石

分數(shù)達到1.41，更多特征工程技巧，后處理方法

梳理下我們還有哪些特征可以加的，我想到的其實并不多，對于有效的特征會進行一系列的擴展，比如提取用戶行為序列中creative_id的向量表示，可以使用不同的embedding方式，基本的word2vec、deepwalk或者fasttext都是取嘗試的。對于tfidf后的結(jié)果進行主題分類，基本的SVD、LDA、NMF也都有嘗試。

后處理方法在目前階段還是有千分位的提升，方法比較簡單，在很多分類問題中都會產(chǎn)生奇效。下面給出優(yōu)化過程，對應(yīng)本賽題，輸入的概率矩陣是n*10。

至尊星耀

分數(shù)達到1.42，你該有一個好的nn結(jié)構(gòu)

簡單的三輸入，在加上我之前提到的特征，輕輕松松達到1.42+的分數(shù)，結(jié)構(gòu)也是非常的簡單。我們首先選取三個比較強的ID特征，例如creative_id，ad_id和advertiser_id（這是我所選擇的三輸入，當然還能進行更多嘗試，或者進行ID交叉組合構(gòu)建新的序列），然后進行word2vec預(yù)訓(xùn)練得到embedding向量，對應(yīng)三個bilstm層。對于其它構(gòu)造出來的特征對應(yīng)Dense層，最后進行concat。結(jié)構(gòu)非常簡單，收益也是非常高的。

經(jīng)過bilstm后進行mean pooling或者max pooling，可以進一步考慮bilstm后接attention網(wǎng)絡(luò)對隱狀態(tài)進行加權(quán)。然后與其它特征concat后，再經(jīng)過幾層的mlp后作為接sigmoid或者softmax得到最終結(jié)果。

像attention、gru、lstm等操作基本上已經(jīng)成為這道賽題的標配，暴力嘗試組合就常常會有效果，就如同堆積木一樣，使用這些通用方式堆出你想要的結(jié)構(gòu)。

在之后的文章還將 " 可能 "分享最強王者段位的上分之路，希望大家持續(xù)關(guān)注。

更多學(xué)習(xí)資料

歷屆騰訊賽答辯PPT獲取

關(guān)注我們并后臺回復(fù)【2020騰訊賽】

往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機器學(xué)習(xí)在線手冊深度學(xué)習(xí)筆記專輯AI基礎(chǔ)下載（pdf更新到25集）機器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯獲取一折本站知識星球優(yōu)惠券，復(fù)制鏈接直接打開：https://t.zsxq.com/yFQV7am本站qq群1003271085，加入微信群請掃碼喜歡文章，點個在看

總結(jié)

以上是生活随笔為你收集整理的【竞赛方案】2020腾讯广告算法大赛：高分进阶的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。