機(jī)器之心專欄

作者：羅遠(yuǎn)飛

近日，全球頂級(jí)數(shù)據(jù)挖掘競(jìng)賽 KDD Cup 2020 已經(jīng)正式畫上圓滿句號(hào)，KDD Cup 2020 RL Track 比賽結(jié)果也隨之出爐，第四范式羅遠(yuǎn)飛與北京航空航天大學(xué)軟件開發(fā)環(huán)境國家重點(diǎn)實(shí)驗(yàn)室童詠昕教授研究組組成的聯(lián)合團(tuán)隊(duì)脫穎而出，斬獲 KDD Cup 2020 強(qiáng)化學(xué)習(xí)挑戰(zhàn)賽世界冠軍。

據(jù)主辦方滴滴介紹，本次注冊(cè)隊(duì)伍達(dá)到了 1007 支，其中不乏普渡大學(xué)、南京大學(xué)、中國科學(xué)技術(shù)大學(xué)、中山大學(xué)、東南大學(xué)等國際頂尖高等院校以及電商巨頭京東、出行巨頭 Lyft、 日本通信巨頭 NTT DOCOMO 的身影。

作為全球數(shù)據(jù)挖掘領(lǐng)域最有影響力的賽事，KDD Cup 比賽由 ACM 協(xié)會(huì)的國際頂級(jí)會(huì)議 SIGKDD 舉辦，自 1997 年以來每年舉辦一次。KDD Cup 多年來一直保持著很高的工業(yè)界參與度以及對(duì)解決實(shí)際問題的敏感度。與去年 KDD Cup 強(qiáng)化學(xué)習(xí)挑戰(zhàn)賽的分類問題以及過往多應(yīng)用在體育競(jìng)技類比賽性質(zhì)不同，今年的強(qiáng)化學(xué)習(xí)賽道（RL Track）聚焦于更加真實(shí)且問題極為復(fù)雜的業(yè)務(wù)場(chǎng)景，旨在解決共享出行領(lǐng)域優(yōu)化難題。在題目難度進(jìn)一步增加的同時(shí)，也將強(qiáng)化學(xué)習(xí)的價(jià)值進(jìn)一步放大。

以下內(nèi)容為冠軍團(tuán)隊(duì)在競(jìng)賽中的技術(shù)分享。

聚焦共享出行，題目難在哪？

如今，按需出行（MoD）或網(wǎng)約車平臺(tái)已成為大眾不可或缺的出行方式，對(duì)于網(wǎng)約車平臺(tái)來說，高效率的按需出行系統(tǒng)可以為司機(jī)和乘客提供更好的用戶體驗(yàn)：司機(jī)可以通過減少空轉(zhuǎn)時(shí)間獲得更高的收入，乘客等待時(shí)間會(huì)更短，滿意度也會(huì)更高。因此，如何更有效地利用空置車輛，更快、更高效地匹配乘客需求、提高司機(jī)收入成為了網(wǎng)約車平臺(tái)優(yōu)化指標(biāo)當(dāng)中的重中之重。

按需出行系統(tǒng)的效率取決于時(shí)空中供需分布的協(xié)調(diào)程度。如果想要調(diào)整供給分布來更好地協(xié)調(diào)需求，從而優(yōu)化運(yùn)營(yíng)效率，有兩個(gè)重要的問題：車輛調(diào)度（vehicle repositioning）和訂單分配（order dispatching）。訂單分配負(fù)責(zé)把空閑的車輛分配給等待中的出行訂單，并把乘客（和司機(jī)）運(yùn)輸?shù)接唵谓K點(diǎn)。車輛調(diào)度是一種更主動(dòng)的策略，可以把閑置的車輛部署到預(yù)計(jì)未來會(huì)產(chǎn)生需求的特定位置。

因此，參賽者需要同時(shí)解決按需出行平臺(tái)上訂單分配（order dispatching）和車輛調(diào)度（vehicle repositioning）問題，通過主辦方提供的真實(shí)場(chǎng)景數(shù)據(jù)和模擬器，基于強(qiáng)化學(xué)習(xí)設(shè)計(jì)一個(gè)智能匹配與調(diào)度算法，以最大化平臺(tái)所有司機(jī)的平均日收入。

聯(lián)合團(tuán)隊(duì)解釋了賽題中的一些挑戰(zhàn)：

真實(shí)場(chǎng)景，數(shù)據(jù)量大：歷史數(shù)據(jù)包含西南某省會(huì)城市一個(gè)月時(shí)間內(nèi)幾百個(gè) G 的數(shù)據(jù)記錄；線上亦基于若干天的真實(shí)數(shù)據(jù)來評(píng)測(cè)；

因素多：影響司機(jī)收益的因素很多，如接駕距離、天氣、路況信息、出行時(shí)間等，需要考慮復(fù)雜的環(huán)境因素；

實(shí)時(shí)性：在一天內(nèi)，算法每 2 秒被調(diào)用一次，必須 2 秒內(nèi)做出分配，且訂單和司機(jī)信息每次不同，不能預(yù)分配；

調(diào)參難：官方并未提供模擬器，且已有數(shù)據(jù)不足以在線下搭建出高質(zhì)量的模擬器，需要開發(fā)的算法具有較強(qiáng)的魯棒性。

世界冠軍團(tuán)隊(duì)如何破局？

為了最大化平臺(tái)上所有司機(jī)日均收入，在計(jì)算每個(gè)訂單的收益時(shí)，采用基于強(qiáng)化學(xué)習(xí)的方法，不僅能考慮當(dāng)前時(shí)刻的收入，還能兼顧未來可能的收益。同時(shí)，結(jié)合剪枝與 C++ 實(shí)現(xiàn)的高效二分圖匹配算法，能夠在 2 秒的時(shí)限內(nèi)，及時(shí)找到合適的訂單分配方案，從而取得了更好的效果。

其解決方案整體框架如下：

代碼地址：https://github.com/maybeluo/KDDCup2020-RL-1st-solution

問題定義

本賽題的優(yōu)化目標(biāo)是最大化平臺(tái)上司機(jī)一天內(nèi)的平均總收益，因此在派單時(shí)，不僅要考慮最大化當(dāng)前時(shí)間窗的收益，還必須考慮未來的可能收益。同時(shí)，當(dāng)前的訂單分配會(huì)影響車輛的位置和收益，對(duì)未來產(chǎn)生影響，是一個(gè)序列決策問題，因此考慮通過強(qiáng)化學(xué)習(xí)解決。此情景下，環(huán)境 (Environment) 包括訂單、司機(jī)車輛信息位置等，而參賽者需要定義智能體 (Agent)的學(xué)習(xí)和預(yù)測(cè)策略，以最大化司機(jī)的收益。本問題中司機(jī)和車輛一一對(duì)應(yīng)，下文中如未特殊強(qiáng)調(diào)，車輛和司機(jī)含義一般可以互換。狀態(tài) (State)、動(dòng)作(Action) 和獎(jiǎng)勵(lì) (Reward) 設(shè)計(jì)如下：

2.1.1?狀態(tài)

聯(lián)合團(tuán)隊(duì)使用車輛的地理坐標(biāo)經(jīng)過離散化后對(duì)應(yīng)的 ID，來表示車輛的狀態(tài)，而不考慮時(shí)間因素。具體的，團(tuán)隊(duì)同時(shí)使用了多種離散化策略，使得每個(gè)地理坐標(biāo)，對(duì)應(yīng)多個(gè)不同粒度的狀態(tài)，如主辦方提供的六邊形格子劃分策略，還可以是多種不同大小的四邊形等。如下圖所示，對(duì)于圖中的坐標(biāo)點(diǎn)（紅色圓點(diǎn)），離散化后，可以同時(shí)采用六邊形、不同大小的四邊形來標(biāo)識(shí)該點(diǎn)對(duì)應(yīng)的狀態(tài)。

2.1.2?動(dòng)作

智能體執(zhí)行派單程序后，會(huì)生成司機(jī)和訂單的匹配列表。在不考慮取消訂單的情況下，成功匹配的司機(jī)將會(huì)進(jìn)入服務(wù) (serving) 狀態(tài): 司機(jī)會(huì)到達(dá)指定上車點(diǎn)，接到乘客，并運(yùn)送到指定下車點(diǎn)，拿到相應(yīng)的獎(jiǎng)勵(lì)。而未能分配到訂單的司機(jī)，將會(huì)閑置(idle)，不能拿到任何收益。

2.1.3?獎(jiǎng)勵(lì)

每次派單成功后，司機(jī)會(huì)拿到相應(yīng)訂單的收益，作為本次動(dòng)作的獎(jiǎng)勵(lì)。本次比賽的目標(biāo)，即是最大化所有司機(jī)的平均收益。

算法設(shè)計(jì)

每次智能體被調(diào)用時(shí)，將接收到當(dāng)前所有的候選訂單信息，并在 2 秒內(nèi)做出司機(jī)和乘客的匹配。候選信息列表是候選訂單的集合，每個(gè)候選訂單主要包含如下信息：

• oorder_id 和 driver_id: 訂單 ID 和司機(jī) ID，用來唯一標(biāo)識(shí)候選訂單和司機(jī)；

• odriver_location: 司機(jī)在當(dāng)前時(shí)刻所處的地理位置，本次比賽中地理位置信息均采用經(jīng)緯度對(duì)來表示；該信息信息經(jīng)過離散化后，得到訂單的起始狀態(tài)標(biāo)識(shí)；

• oorder_finish_location：訂單結(jié)束位置，即訂單的目的地；該信息經(jīng)過離散化后，得到訂單的終點(diǎn)狀態(tài)標(biāo)識(shí)；

• oduration：訂單的預(yù)估時(shí)長(zhǎng)；

• oreward：訂單帶來的收益。

此外，還有當(dāng)前時(shí)刻信息、訂單起始位置（order_start_location）、接駕距離（司機(jī)和乘客的距離 order_driver_distance）、預(yù)估接駕時(shí)長(zhǎng)（pick_up_eta）等，可以根據(jù)此類信息推斷訂單取消概率。

本方案整體策略為通過時(shí)序差分算法（Temporal Difference）學(xué)習(xí)狀態(tài)值，并通過二分圖匹配算法最大化收益。具體的，智能體接受到候選訂單列表后，將依次執(zhí)行以下三個(gè)步驟：

1) 構(gòu)圖：通過候選訂單信息，將司機(jī)和乘客建模成二分圖；并根據(jù)起止點(diǎn)對(duì)應(yīng)的狀態(tài)，計(jì)算邊權(quán)；

2) 匹配：通過二分圖匹配算法，將司機(jī)和乘客匹配，并派單；

3) 更新：根據(jù)匹配結(jié)果，通過時(shí)序差分算法的學(xué)習(xí)規(guī)則，更新涉及到的狀態(tài)對(duì)應(yīng)的值。

下面詳細(xì)介紹每個(gè)步驟。

2.2.1 構(gòu)圖

本文將訂單 ID 和司機(jī) ID 作為圖的頂點(diǎn)，并根據(jù)候選訂單信息，連接相應(yīng)的訂單和司機(jī)，得到對(duì)應(yīng)的圖。因?yàn)橛唵沃g、司機(jī)之間均不存在連接關(guān)系，因此該圖是二分圖。另外，為了保證更快的得到匹配效果，加速后續(xù)匹配算法，將二分圖按如下策略剪枝：對(duì)于每個(gè)訂單，只保留接駕距離最小 K 個(gè)司機(jī)對(duì)應(yīng)的邊；在比賽中，K 取 11。

不妨將司機(jī)位置（driver_location）和訂單終點(diǎn)（order_finish_location）對(duì)應(yīng)的狀態(tài)分別記為 S?和?S^'，其對(duì)應(yīng)的狀態(tài)值分別為?V(S)?和?V(S^')?，則二分圖中的邊權(quán) w 計(jì)算方式為：

其中，R 為訂單對(duì)應(yīng)的收益，t 為離散化后的訂單時(shí)長(zhǎng)，為折扣因子， p 為訂單的取消概率。

訂單取消概率和接駕距離、接駕時(shí)長(zhǎng)等有關(guān)，可以通過對(duì)官方提供的歷史數(shù)據(jù)中訂單取消概率建模，得到對(duì)應(yīng)的訂單取消概率預(yù)測(cè)模型，以便線上推斷每個(gè)訂單的取消概率。

2.2.2 匹配

構(gòu)圖完成后，得到剪枝后的二分圖以及每條邊的權(quán)重，可以直接利用匈牙利算法進(jìn)行匹配。在實(shí)際使用時(shí)，團(tuán)隊(duì)發(fā)現(xiàn) Scipy 提供的對(duì)應(yīng)算法接口? (https://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.linear_sum_assignment.html) 效率較低，導(dǎo)致超時(shí)（不能在 2 秒的時(shí)間窗內(nèi)做出匹配）。如果直接使用貪心算法（完全貪心或- greedy）分配訂單，則效果不佳。另外，司機(jī)和乘客數(shù)量一般不等，導(dǎo)致圖中二分圖頂點(diǎn)數(shù)目不均衡。綜合以上因素，我們使用 C++ 實(shí)現(xiàn)了高效的匈牙利算法（hungarian algorithm），并編譯成對(duì)應(yīng)的 so 文件，通過 Python 直接調(diào)用，以解決容易超時(shí)的問題。

2.2.3 更新

當(dāng)訂單分配完成后，需要根據(jù)分配的結(jié)果更新對(duì)應(yīng)的狀態(tài)值。因官方未提供比賽環(huán)境對(duì)應(yīng)的模擬器，不能線下調(diào)參，因此選擇從簡(jiǎn)單模型入手。我們選取了單步在線策略更新的 SARSA 算法（state–action–reward–state–action）。對(duì)于每個(gè)訂單的起點(diǎn)和終點(diǎn)，它們均會(huì)同時(shí)激活多個(gè)不同粒度的狀態(tài)表示，記每個(gè)坐標(biāo)位置離散化后的狀態(tài)個(gè)數(shù)為 k。

對(duì)于派單的車輛，目標(biāo)狀態(tài)值為：

對(duì)于閑置的車輛，目標(biāo)狀態(tài)值為：

計(jì)算得到狀態(tài)值后，對(duì)起點(diǎn)所對(duì)應(yīng)的各狀態(tài)，按照如下公式更新：

其中，為學(xué)習(xí)率。

聯(lián)合團(tuán)隊(duì)也曾嘗試基于深度強(qiáng)化學(xué)習(xí)的狀態(tài)學(xué)習(xí)和更新方法，但效果不佳；嘗試基于動(dòng)態(tài)規(guī)劃、時(shí)序差分等方法，通過歷史數(shù)據(jù)在線下學(xué)習(xí)對(duì)應(yīng)狀態(tài)值，作為線上狀態(tài)的初值，未能取得收益。也嘗試了一系列方法，以降低時(shí)序差分單步更新時(shí)可能引入的噪音，仍未能取得更好的效果。

因此，針對(duì)真實(shí)場(chǎng)景下的大規(guī)模訂單實(shí)時(shí)分配問題，將強(qiáng)化學(xué)習(xí)和二分圖匹配算法相結(jié)合，在最大化當(dāng)前收益的同時(shí)，能夠有效兼顧未來可能的收益。相比基線模型或其他選手方案，本方案能夠取得更大的收益。

與50位技術(shù)專家面對(duì)面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的第四范式团队KDD Cup世界冠军方案详解：解密共享出行场景中的优化问题的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。