?比賽簡介：

任務1：推薦最佳交通方式

任務描述：給定用戶的一些信息，預測用戶使用何種最佳交通方式由O(起點)到D(終點）

數據描述：

profiles.csv：

屬性pid:用戶的ID；

屬性p0~p65:用戶的個人信息（如身高，年齡，職業等）

訓練集(2018.10.1~2018.11.30兩個月的數據)：

train_clicks.csv：

屬性sid：用戶的會話ID，如用戶登陸一個app去使用就會有一個會話ID（可以百度了解)；

屬性click_time: 用戶點擊某種方案的時間；

屬性click_mode:用戶選擇了某種出行方式(****這是訓練集的label標簽****)

?

train_plans.csv：

屬性sid：用戶的會話ID，如用戶登陸一個app去使用就會有一個會話ID（可以百度了解)；

屬性plan_time:用戶準備查詢如何去目的點的時間；

屬性plans:這個信息是基于百度地圖推薦的方案（包括距離，需要的時間，價格，交通方式），注：交通方式可能是某些組合，如taxi-bus

?

train_queries.csv：

屬性sid：用戶的會話ID，如用戶登陸一個app去使用就會有一個會話ID（可以百度了解)；

屬性pid:用戶的ID；

屬性req_time:和plan_time幾乎一樣，用戶查詢的時間(并不是完全一樣的,有的有一些時間差,猜測可能是手機的網速等問題)；

屬性o:起點的經緯度；

屬性d:終點的經緯度

?

?測試集(2018.12.1~2018.12.7七天的數據)：

test_plans.csv：

屬性sid：用戶的會話ID，如用戶登陸一個app去使用就會有一個會話ID（可以百度了解)；

屬性plan_time:用戶準備查詢如何去目的點的時間；

屬性plans:這個信息是基于百度地圖推薦的方案（包括距離，需要的時間，價格，交通方式），注：交通方式可能是某些組合，如taxi-bus

?

test_queries.csv：

屬性sid：用戶的會話ID，如用戶登陸一個app去使用就會有一個會話ID（可以百度了解)；

屬性pid:用戶的ID；

屬性req_time:和plan_time幾乎一樣，用戶查詢的時間(并不是完全一樣的,有的有一些時間差,猜測可能是手機的網速等問題)；

屬性o:起點的經緯度；

屬性d:終點的經緯度

?任務就是根據訓練集的數據來訓練模型，然后將測試集的特征放入模型，預測每個用戶出行的交通選擇方式(即訓練集中的click_mode屬性)

?

開源代碼如下：

2.1??工具包導入

import numpy as np
import pandas as pd
import lightgbm as lgb
import os

import seaborn as sns
import matplotlib.pyplot as plt
%matplotlib inline

import warnings
warnings.filterwarnings("ignore")

from tqdm import tqdm
import json 
from sklearn.metrics import f1_score
from sklearn.model_selection import StratifiedKFold
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.decomposition import TruncatedSVD
from itertools import product
import ast

?

2.2??數據讀取

path = 'E:/data/data_set_phase1/'
train_queries = pd.read_csv(path + 'train_queries.csv', parse_dates=['req_time'])
train_plans = pd.read_csv(path + 'train_plans.csv', parse_dates=['plan_time'])
train_clicks = pd.read_csv(path + 'train_clicks.csv')
profiles = pd.read_csv(path + 'profiles.csv') 
test_queries = pd.read_csv(path + 'test_queries.csv', parse_dates=['req_time'])
test_plans = pd.read_csv(path + 'test_plans.csv', parse_dates=['plan_time'])

?

??3?特征工程

• 此處我們對所有表格進行合并,這樣方便提取表格之間的交互特征,注意因為初賽的數據相對較少,所以我們才合在一起,不然盡量不要做,這樣會給機器的內存帶來非常大的負擔.

3.1??數據集合并

train = train_queries.merge(train_plans, 'left', ['sid'])
test = test_queries.merge(test_plans, 'left', ['sid'])
train = train.merge(train_clicks, 'left', ['sid'])
train['click_mode'] = train['click_mode'].fillna(0).astype(int)
data = pd.concat([train, test], ignore_index=True)
data = data.merge(profiles, 'left', ['pid']) 

?

3.2??od(經緯度)特征

• 因為經緯度是組合字符串特征,此處我們對其進行還原,因為o,d本身是有相對大小關系的,我們不再對其進行編碼。

data['o_lng'] = data['o'].apply(lambda x: float(x.split(',')[0]))
data['o_lat'] = data['o'].apply(lambda x: float(x.split(',')[1]))
data['d_lng'] = data['d'].apply(lambda x: float(x.split(',')[0]))
data['d_lat'] = data['d'].apply(lambda x: float(x.split(',')[1])) 

?

3.3??plan_time & req_time特征

3.3.1??原始特征

時間信息會影響我們的決定,比如大晚上從A地到B地其實很多人是不會選擇步行的,更多的會選擇打車之類的,因為太黑了,怕迷路等;而如果是早高峰,而且離公司就幾公里的情況, 那么一般就不會打車，因為特別會容易堵車,這個時候大家更喜歡騎自行車.

• 此處我們提取weekday來標志是周幾; hour來標志是當日幾點.

time_feature = []
for i in ['req_time']:
data[i + '_hour'] = data[i].dt.hour
data[i + '_weekday'] = data[i].dt.weekday
time_feature.append(i + '_hour')
time_feature.append(i + '_weekday') 

?

3.3.2??plan_time & req_time差值特征

我們做EDA的時候發現plan_time和req_time并不是完全一樣的,有的有一些時間差,我們猜測可能是手機的網速等問題,所以我們做差值來標志用戶的手機信號等信息.

data['time_diff'] = data['plan_time'].astype(int) - data['req_time'].astype(int)
time_feature.append('time_diff')

?

3.4??plans特征

plans這個數據集包含的信息非常多,因為這個信息是基于百度地圖推薦的。所以毫無疑問是本次比賽的關鍵之一,我們對其進行展開并提取相關的特征。

此處我發現kdd已經有大佬開源了plans的特征提取關鍵代碼,我感覺很不錯,此處我便直接引用,至于其他的特征歡迎去作者的Github下載.

此處關于plans的特征主要可以歸納為如下的特征:

1. 百度地圖推薦的距離的統計值(mean,min,max,std)

2. 各種交通方式的價格的統計值(mean,min,max,std)

3. 各種交通方式的時間的統計值(mean,min,max,std)

4. 一些其他的特征,最大距離的交通方式,最高價格的交通方式,最短時間的交通方式等.

data['plans_json'] = data['plans'].fillna('[]').apply(lambda x: json.loads(x))

def gen_plan_feas(data):
n                                           = data.shape[0]
mode_list_feas = np.zeros((n, 12))
max_dist, min_dist, mean_dist, std_dist = np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,))

max_price, min_price, mean_price, std_price = np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,))

max_eta, min_eta, mean_eta, std_eta = np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,))

min_dist_mode, max_dist_mode, min_price_mode, max_price_mode, min_eta_mode, max_eta_mode, first_mode = \
np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,))

mode_texts = []
for i, plan in tqdm(enumerate(data['plans_json'].values)):
if len(plan) == 0:
cur_plan_list = []
else:
cur_plan_list = plan
if len(cur_plan_list) == 0:
mode_list_feas[i, 0] = 1
first_mode[i] = 0
max_dist[i] = -1
min_dist[i] = -1
mean_dist[i] = -1
std_dist[i] = -1
max_price[i] = -1
min_price[i] = -1
mean_price[i] = -1
std_price[i] = -1
max_eta[i] = -1
min_eta[i] = -1
mean_eta[i] = -1
std_eta[i] = -1
min_dist_mode[i] = -1
max_dist_mode[i] = -1
min_price_mode[i] = -1
max_price_mode[i] = -1
min_eta_mode[i] = -1
max_eta_mode[i] = -1
mode_texts.append('word_null')
else:
distance_list = []
price_list = []
eta_list = []
mode_list = []
for tmp_dit in cur_plan_list:
distance_list.append(int(tmp_dit['distance']))
if tmp_dit['price'] == '':
price_list.append(0)
else:
price_list.append(int(tmp_dit['price']))
eta_list

轉載于:https://www.cnblogs.com/USTC-ZCC/p/10844448.html

總結

以上是生活随笔為你收集整理的kdd cup 2019的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。