使用C++编写一个DHT爬虫，实现从DHT网络爬取BT种子
使用C++編寫一個DHT爬蟲，實現(xiàn)從DHT網(wǎng)絡爬取BT種子
- 1、前言
- 2、相關術語
- 2.1、P2P網(wǎng)絡
- 2.2、DHT網(wǎng)絡
- 2.3、Kademlia算法
- 2.4、KRPC協(xié)議
- 2.5、MagNet協(xié)議
- 3、BT下載的一些概念梳理
- 3.1、BT軟件下載原理
- 3.2、迅雷獲取種子的速度為什么那么快
- 3.3、資源時效性問題
- 3.4、好用的BT軟件
- 3.5、有沒有已經(jīng)編寫好的DHT爬蟲
- 4、使用C++編寫DHT爬蟲
- 4.1、實現(xiàn)原理
- 4.2、實現(xiàn)DHT協(xié)議
- 4.2.1、創(chuàng)建UDP服務
- 4.2.2、加入DHT網(wǎng)絡
- 4.2.3、報文解析
- 4.2.4、對不同類型報文進行處理、回復
- 4.2.5、隱藏自己，防止被其他節(jié)點拉進黑名單
- 4.2.6、獲取info_hash和peer
- 4.3、實現(xiàn)BitTorrent協(xié)議
- 4.3.1、HandShake（握手）
- 4.3.2、Extend HandShake（擴展握手）
- 4.3.3、獲取metadata
- 4.3.4、制作torrent文件
- 4、總結(jié)
1、前言
通過前面兩篇文章的科普，相信大家都一定程度上了解了DHT網(wǎng)絡和BT種子的相關知識了，不了解也沒關系，可以倒回去看下面兩篇文章：
- B編碼與BT種子文件分析，以及模仿json-cpp寫一個B編碼解析器
- DHT協(xié)議介紹
雖然前面介紹了很多理論相關的知識，但是光有這些理論是沒用的，中看不中用，接下來我們就實戰(zhàn)一下，自己編寫一個DHT爬蟲，達到種子自由的目的，不對，是達到提高我們編程水平的目的。
2、相關術語
2.1、P2P網(wǎng)絡
對等計算（Peer to Peer，簡稱p2p）可以簡單定義成通過直接交換來共享計算機資源和服務，而對等計算模型應用層形成的網(wǎng)絡通常稱為對等網(wǎng)絡。相信大家都用過迅雷等p2p軟件，這里就不贅述了。
2.2、DHT網(wǎng)絡
DHT（Distributed Hash Table，分布式哈希表），DHT由節(jié)點組成，它存儲peer的位置，是一種分布式存儲方法。在不需要服務器的情況下，每個客戶端負責一個小范圍的路由，并負責存儲一小部分數(shù)據(jù)，從而實現(xiàn)整個DHT網(wǎng)絡的尋址和存儲，其中BT客戶端包含一個DHT節(jié)點，用來聯(lián)系DHT中其他節(jié)點，從而得到peer的位置，進而通過BitTorrent協(xié)議下載。
簡單點來說DHT就是負責管理提供信息和服務節(jié)點的管理與路由功能，這里有兩個需要區(qū)分的概念：
- peer：是在一個 TCP 端口上監(jiān)聽的客戶端/服務器，它實現(xiàn)了BitTorrent協(xié)議
- 節(jié)點：是在一個 UDP 端口上監(jiān)聽的客戶端/服務器，它實現(xiàn)了DHT(分布式哈希表) 協(xié)議
2.3、Kademlia算法
Kademlia是DHT網(wǎng)絡的一種實現(xiàn)。在Kademlia網(wǎng)絡中，距離是通過異或(XOR)計算的，結(jié)果為無符號整數(shù)。distance(A, B) = |A xor B|，數(shù)值越小表示越近兩個節(jié)點越接近，詳細說明可以自行百度查閱。
2.4、KRPC協(xié)議
KRPC是節(jié)點之間的交互協(xié)議，是由B編碼組成的一個簡單的RPC結(jié)構(gòu)，它使用UDP報文發(fā)送，一個獨立的請求包發(fā)出去，然后由另一個獨立的包來回復（這也是UDP無連接特性所決定的，所以協(xié)議中肯定也會有讓我們區(qū)分報文包的方法），要注意的是這個協(xié)議沒有重發(fā)機制。
2.5、MagNet協(xié)議
MagNet協(xié)議，也就是磁力鏈接。是一個通過sha1算法生成一個20字節(jié)長的字符串，P2P客戶端使用磁力鏈接，下載資源的種子文件，然后根據(jù)種子文件下載資源。
3、BT下載的一些概念梳理
3.1、BT軟件下載原理
BT軟件使用DHT協(xié)議，通過擊鼓傳花的方式，在DHT網(wǎng)絡上搜尋磁力鏈接對應的資源，當找到擁有此資源的peer之后，使用BitTorrent協(xié)議先將種子下載下來，然后根據(jù)種子文件內(nèi)容下載對應的資源。
3.2、迅雷獲取種子的速度為什么那么快
從理論上來講，由于BT軟件要先去DHT網(wǎng)絡搜尋種子，這個過程時需要耗費一定時間的，所以要做到大部分資源都迅速響應是不可能的，迅雷那么快的原因只有一個，就是迅雷自己有種子庫，里面緩存了其他用戶下載過的種子或者迅雷自己平時在DHT上面爬取的種子。
3.3、資源時效性問題
當DHT網(wǎng)絡上持有某一資源的peer全部停止工作后，資源自然也就下不了了，迅雷由于自己有服務器緩存了以往一些熱門的資源，所以往往會給人造成資源還在的假象，其實此時是迅雷自己充當服務器給你下發(fā)資源而已（這也就是為什么有些資源充了VIP才能下的原因了，畢竟服務器不能讓你白用）。
3.4、好用的BT軟件
既然BT的原理都是DHT協(xié)議加上BitTorrent協(xié)議，所以不同軟件下載速度啥的應該差別不大（有服務器緩存支撐的軟件除外），比較出名的BT軟件有迅雷、uTorrent、qBittorrent、比特彗星、Transmission、aria2等等，大家可以自行去百度去搜索。
3.5、有沒有已經(jīng)編寫好的DHT爬蟲
答案當然是有的啦，所有BT軟件肯定都實現(xiàn)了DHT協(xié)議和BitTorrent協(xié)議，可以看一些開源的BT軟件里面的實現(xiàn)方法，有個叫做libtorrent的庫非常著名，很多BT軟件都是將其套個殼做出來的，只不過代碼寫的比較復雜，看起來有點難受。于是乎就想看看有沒有人已經(jīng)用比較簡單的方式實現(xiàn)了DHT爬蟲，而通過查閱了很多文章，發(fā)現(xiàn)有些人是只實現(xiàn)了DHT協(xié)議，然后拿那些通過DHT網(wǎng)絡爬取到的hash去開源種子庫獲取種子，有些就是沒有把BitTorrent協(xié)議的實現(xiàn)方法開源出來，所以萌生了自己做一個完整的DHT爬蟲的想法（開源庫無法獲取到最新的資源，而且速度肯定是不如直接在DHT網(wǎng)絡爬取的）。
4、使用C++編寫DHT爬蟲
4.1、實現(xiàn)原理
偽裝成DHT節(jié)點加入DHT網(wǎng)絡中收集信息，爬蟲主要收集get_peer、announce_peer這兩個請求的信息。當收到get_peer或者announce_peer的請求時，直接使用BitTorrent協(xié)議從請求發(fā)起者下載對應的種子信息（獲取不到種子的概率會比較大，原因大家自行完整看一下DHT協(xié)議就明白了）
這里有一個疑問，要如何加入DHT網(wǎng)絡，通過查看其他大神們的開源代碼，我發(fā)現(xiàn)基本都是ping下面三個節(jié)點來加入DHT網(wǎng)絡的
| router.utorrent.com | 6881 |
| router.bittorrent.com | 6881 |
| dht.transmissionbt.com | 6881 |
4.2、實現(xiàn)DHT協(xié)議
4.2.1、創(chuàng)建UDP服務
創(chuàng)建一個UDP服務，監(jiān)聽6881端口（DHT默認端口，可以自行修改，理論上啥端口都可以）
4.2.2、加入DHT網(wǎng)絡
通過ping上面那幾個節(jié)點來將自己加入到DHT網(wǎng)絡中，這樣才能獲取到節(jié)點的消息，實現(xiàn)如下：
void DhtSearch::ping_root() {std::vector<std::pair<const char*, const char*>> ip_addr = {{"router.utorrent.com", "6881"},{"router.bittorrent.com", "6881"},{"dht.transmissionbt.com", "6881"}};for (auto addr : ip_addr){struct addrinfo hints, *info;memset(&hints, 0, sizeof(hints));hints.ai_socktype = SOCK_DGRAM;hints.ai_family = AF_UNSPEC;int error = getaddrinfo(addr.first, addr.second, &hints, &info);if (error){log_error << "getaddrinfo fail, error=" << error << ", errstr=" << gai_strerror(error);}else{struct addrinfo* p = info;while (p){if (p->ai_family == AF_INET){send_ping((struct sockaddr_in*)p->ai_addr, "");log_debug << addr.first << ":" << addr.second << " is AF_INET";}else{log_debug << addr.first << ":" << addr.second << " is no support the family(" << p->ai_family << ")";}p = p->ai_next;}freeaddrinfo(info);}} }4.2.3、報文解析
收到其他節(jié)點發(fā)過來的報文之后，進行報文解析，DHT網(wǎng)絡中互相之間通信的格式是B編碼，不了解B編碼的可以去看這篇文章《B編碼與BT種子文件分析，以及模仿json-cpp寫一個B編碼解析器》，解析報文的代碼如下：
// private int DhtSearch::parse(const char* buf, int len, std::string& tid, std::string& id,std::string& info_hash, unsigned short& port, std::string& nodes) { #define XX(str) \log_error << str; \return -1int ret;BEncode::Value root;size_t start = 0;if (BEncode::decode(buf, start, len, &root) || root.getType() != BEncode::Value::BCODE_DICTIONARY){XX("bencode message is invalid");}// tid(始終在頂層){auto value = root.find("t");if (value != root.end()){if (value->getType() != BEncode::Value::BCODE_STRING){XX("\"t\" value is must be string");}tid = value->asString();}}// y(始終在頂層)auto type_y = root.find("y");if (type_y != root.end() && type_y->getType() == BEncode::Value::BCODE_STRING){std::string value = type_y->asString();if (value == "r")ret = REPLY;else if (value == "e"){XX("remote reply ERROR value");}else if (value == "q"){auto type_q = root.find("q");if (type_q != root.end() && type_q->getType() == BEncode::Value::BCODE_STRING){std::string v = type_q->asString();if (v == "ping")ret = PING;else if (v == "find_node")ret = FIND_NODE;else if (v == "get_peers")ret = GET_PEERS;else if (v == "announce_peer")ret = ANNOUNCE_PEER;else if (v == "vote" || v == "sample_infohashes")return -1;else{XX("\"q\" value(" + v + ") is invaild");}}else{XX("not found \"q\" value");}}else{XX("\"y\" value(" + value + ") is invaild");}}else{XX("not found \"y\" value");}BEncode::Value::iterator body_value;if (ret == REPLY){body_value = root.find("r");if (body_value == root.end() || body_value->getType() != BEncode::Value::BCODE_DICTIONARY){XX("not found \"r\" value");}}else{body_value = root.find("a");if (body_value == root.end() || body_value->getType() != BEncode::Value::BCODE_DICTIONARY){XX("not found \"a\" value");}}// id{auto value = body_value->find("id");if (value != body_value->end()){if (value->getType() != BEncode::Value::BCODE_STRING){XX("\"id\" value is must be string");}id = value->asString();if (id.size() != 20)id.clear();}elseid.clear();}// info_hash{auto value = body_value->find("info_hash");if (value != body_value->end()){if (value->getType() != BEncode::Value::BCODE_STRING){XX("\"info_hash\" value is must be string");}info_hash = value->asString();if (info_hash.size() != 20)info_hash.clear();}elseinfo_hash.clear();}// port{auto value = body_value->find("port");if (value != body_value->end()){if (value->getType() != BEncode::Value::BCODE_INTEGER){XX("\"port\" value is must be int");}port = (unsigned short)(value->asInt());}elseport = 0;}// nodes{auto value = body_value->find("nodes");if (value != body_value->end()){if (value->getType() != BEncode::Value::BCODE_STRING){XX("\"nodes\" value is must be string");}nodes = value->asString();}elsenodes.clear();}return ret;#undef XX }4.2.4、對不同類型報文進行處理、回復
解析完成后，如果報文有效，則進行后續(xù)處理，由于我們的需求只是爬取其他人的種子，自己不進行主動查詢，所以并不需要完整實現(xiàn)DHT協(xié)議，即不緩存其他節(jié)點信息，別人的請求有用的就接受，沒用的返回一些假的信息給請求節(jié)點，通過這種騙、偷襲的方法可以使得編寫出的爬蟲的復雜度大大降低，接下來分析各個請求的回應方法（不知道DHT協(xié)議的請看這篇文章《DHT協(xié)議介紹》，請務必看完，不然接下來的內(nèi)容很有可能無法看懂）
| PING | 直接按標準格式回復PONG就行 |
| FIND_NODE | 由于我們并沒有緩存其他節(jié)點信息，來我們這里查找節(jié)點是不可能做到的，所以返回一個空的節(jié)點列表給它 |
| GET_PEERS | 這個對于我們是有用的，我們要通過GET_PEERS請求的發(fā)起者來下載種子文件，但是由于我們既沒有緩存節(jié)點，也沒有緩存peer，所以回復它一個空列表 |
| ANNOUNCE_PEER | 和GET_PEERS處理方式一樣 |
| REPLY | 由于我們始終沒有在主動查詢?nèi)魏钨Y源，所以基本不太可能受到回復，收到的話檢測報文中有沒有nodes，有的話把里面的節(jié)點拿出來ping一遍，加入到更多的網(wǎng)絡之中 |
4.2.5、隱藏自己，防止被其他節(jié)點拉進黑名單
由于整個過程中欺騙其他節(jié)點的成分很大，所以每次回復別人錯誤信息的時候最好修改一下自己的node id，防止被其他節(jié)點加入黑名單
4.2.6、獲取info_hash和peer
通過獲取GET_PEERS或者ANNOUNCE_PEER消息中的info_hash還有對端地址就可以開始使用BitTorrent協(xié)議來下載種子信息了（此時將對端節(jié)點視為peer，下載失敗的概率會挺大，畢竟對端節(jié)點也有可能只是在找種子而已，而不是持有種子在下載資源）
4.3、實現(xiàn)BitTorrent協(xié)議
要想實現(xiàn)BitTorrent協(xié)議，就得先仔細看完下面兩篇官方文檔
http://www.bittorrent.org/beps/bep_0009.html
http://www.bittorrent.org/beps/bep_0010.html
里面的介紹非常簡短，建議全部看完
4.3.1、HandShake（握手）
從bep_0010中可以看到，握手的報文消息格式為：19的ASCII碼 + BitTorrent protocol + \x00\x00\x00\x00\x00\x10\x00\x04 + infohash的十六進制解碼 + 二十字節(jié)長的nodeid，infohash是種子的hash，nodeid就是我們自己的id了，需要注意的是BitTorrent協(xié)議除了握手消息之外的其他所有的消息的開頭四個字節(jié)是消息長度（不包含長度域），對端收到消息之后，會給你返回一個至少68字節(jié)的回復信息（為什么是至少，下面擴展握手那里會講），至于如何判斷對端是接受了我們的握手呢，判斷返回信息的第25位和27位即可（這個是看其他開源代碼這樣寫的，具體原因沒去深究，通過測試之后證明確實是這樣）
// 握手std::string handshake_message;handshake_message.resize(28);handshake_message[0] = 19;memcpy(&handshake_message[1], "BitTorrent protocol", 19);char ext[8];memset(ext, 0x00, sizeof(ext));ext[5] = 0x10;ext[7] = 0x04;memcpy(&handshake_message[20], ext, 8);handshake_message += m_info_hash + m_node_id;m_sock->send(&handshake_message[0], handshake_message.size());int len = m_sock->recv(buf, BUF_LEN);if (len < 68){log_debug << COMMON_PART << "(handshake) message size=" << len<< " is too short(must be >= 68)";delete buf;return false;}std::string handshake_reply(buf, 68);std::string ext_message;if (len > 68)ext_message = std::string(buf + 68, len - 68);if (handshake_reply.substr(0, 20) != handshake_message.substr(0, 20)){log_debug << COMMON_PART << "(handshake) protocol fail, message:"<< std::endl << dump(handshake_reply);delete buf;return false;}if ((int)handshake_reply[25] & 0x10 == 0){log_debug << COMMON_PART << "(handshake) peer does not support extension protocol, message:"<< std::endl << dump(handshake_reply);delete buf;return false;}if ((int)handshake_reply[27] & 0x04 == 0){log_debug << COMMON_PART << "(handshake) peer does not support fast protocol, message:"<< std::endl << dump(handshake_reply);delete buf;return false;}下面是請求報文示例
下面是響應報文示例，大家可以自己算一下，從第四行第7個字節(jié)0x13開始算起到報文結(jié)尾，長度確實是超過了68
4.3.2、Extend HandShake（擴展握手）
從bep_0010中可以看到，握手之后就要進行擴展握手了，而擴展握手是至關重要的，報文消息格式為：消息長度 + MSG_ID的ASCII + EXTEND_ID的ASCII + B編碼的字典{‘m’:{‘ut_metadata’:1}}
其中MSG_ID為20，由于是擴展握手，EXTEND_ID是0，完成之后，peer的響應報文里面會包含了兩個我們下一步用得到的鍵值：ut_metadata、和metadata_size，這兩個非常重要，拿到之后要找個變量存起來
注意事項：協(xié)議中本來是要求握手協(xié)議和擴展握手是分開兩步進行的，但是在實際測試中發(fā)現(xiàn)了很多peer會直接在第一次握手時就把全部數(shù)據(jù)發(fā)過來了，也就是把原本屬于擴展握手的消息的應答也一并發(fā)過來，而且還有幾率發(fā)不全。剛開始在寫代碼的時候，由于不知道這點，導致一直擴展握手失敗，差點懷疑智商和碼生，到后來通過抓包才了解到這個東西，所以在最終實現(xiàn)時必須這樣做，就是第一次握手之后，如果數(shù)據(jù)量大于68個字節(jié)，把多余的內(nèi)容保存下來，然后進行擴展握手，擴展握手后，把握手剩余的內(nèi)容和擴展握手的內(nèi)容一加，就得到正確的擴展握手數(shù)據(jù)了
代碼實現(xiàn)如下:
// 擴展握手std::string ext_handshake_message;ext_handshake_message.append(1, 20);ext_handshake_message.append(1, 0);ext_handshake_message += "d1:md11:ut_metadatai2ee1:v" + std::to_string(m_v.size()) + ":" + m_v + "e";std::string ext_handshake_message_size_str;ext_handshake_message_size_str.resize(4);uint32_t ext_handshake_message_size = ext_handshake_message.size();ext_handshake_message_size = littleByteSwap(ext_handshake_message_size);memcpy(&ext_handshake_message_size_str[0], &ext_handshake_message_size, 4);ext_handshake_message = ext_handshake_message_size_str + ext_handshake_message;m_sock->send(&ext_handshake_message[0], ext_handshake_message.size());len = 0;while (1){int cur_len = m_sock->recv(buf + len, BUF_LEN - len);if (cur_len <= 0)break;len += cur_len;if (len >= BUF_LEN)break;}std::string ext_reply;if (len > 0)ext_reply = ext_message + std::string(buf, len);else if (!ext_message.empty())ext_reply = ext_message;else{log_debug << COMMON_PART << "(ext handshake) fail";delete buf;return false;}// 摘取數(shù)據(jù)// ut_metadatasize_t pos = ext_reply.find("ut_metadata");if (pos == std::string::npos){log_debug << COMMON_PART << "(ext handshake) parse ut_metadata fail, message:"<< std::endl << dump(ext_reply);delete buf;return false;}pos += 12;size_t pos_e = ext_reply.find("e", pos);if (pos_e == std::string::npos){log_debug << COMMON_PART << "(ext handshake) parse ut_metadata fail, message:"<< std::endl << dump(ext_reply);delete buf;return false;}std::string ut_metadata_str = ext_reply.substr(pos, pos_e - pos);uint32_t ut_metadata = atoi(ut_metadata_str.c_str());// metadata_sizepos = ext_reply.find("metadata_size");if (pos == std::string::npos){log_debug << COMMON_PART << "(ext handshake) parse metadata_size fail, message:"<< std::endl << dump(ext_reply);delete buf;return false;}pos += 14;pos_e = ext_reply.find("e", pos);if (pos_e == std::string::npos){log_debug << COMMON_PART << "(ext handshake) parse metadata_size fail, message:"<< std::endl << dump(ext_reply);delete buf;return false;}std::string metadata_size_str = ext_reply.substr(pos, pos_e - pos);int64_t metadata_size = atoll(metadata_size_str.c_str());下面是請求報文示例
下面是正常響應報文示例
下面是需要用拼接的響應報文示例（和握手剩余內(nèi)容拼接），可以很想看出報文沒有以字母d開頭（B編碼表示的報文都需要d開頭表示整體是一個對象）
4.3.3、獲取metadata
我們在握手完畢，收到ut_metadata、metadata_size后就能進行下載了，為什么需要這兩個值，因為請求的格式為：消息長度 + MSG_ID的ASCII + ut_metadata的ASCII + B編碼的字典{‘msg_type’:0,‘piece’:piece}
這里MSG_ID為20，ut_metadata必須為2，不然peer不會給你回復的，piece值為分片標記，協(xié)議中說，一個piece分片的長度為 16KB=16*1024B，所以我們需要拿metadata_size和16*1024除法計算分片標記，代碼如下
下面是請求報文示例
下面是響應報文示例，可以看到第一行第7個字節(jié)開始到第四行第3個字節(jié)結(jié)束，這段是報文消息的元數(shù)據(jù)，要把他剔除，因為他不屬于種子信息，這點和bep_0009描述的一致
4.3.4、制作torrent文件
將metadata信息寫入文件中就形成種子文件了，要注意的是在前面循環(huán)獲取metadata時，每一次都要把元數(shù)據(jù)信息給剔除了，因為元數(shù)據(jù)是消息的一部分，而不是種子文件的一部分
4、總結(jié)
本文介紹了DHT和BitTorrent的相關知識，并且實現(xiàn)了一個C++版本的DHT爬蟲，源代碼已經(jīng)上傳到github了，大家覺得有用的話麻煩給項目點一下star，覺得本文有用的話可以點贊收藏關注我一下，謝謝
源碼github地址：https://github.com/bifang-fyh/gude
總結(jié)
以上是生活随笔為你收集整理的使用C++编写一个DHT爬虫，实现从DHT网络爬取BT种子的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 线性同余法求随机数python实现_百面
- 下一篇： Visual C++——定时器(计时器)