一、有序集合求交集的方法有

???????? a）二重for循環法，時間復雜度O(n*n)

???????? b）拉鏈法，時間復雜度O(n)

???????? c）水平分桶，多線程并行

???????? d）bitmap，大大提高運算并行度，時間復雜度O(n)

???????? e）跳表，時間復雜度為O(log(n))

以下是方法的具體介紹：

方案一：for * for，土辦法，時間復雜度O(n*n)

　　　　每個搜索詞命中的網頁是很多的，O(n*n)的復雜度是明顯不能接受的。倒排索引是在創建之初可以進行排序預處理，問題轉化成兩個有序的list求交集，就方便多了。

方案二：有序list求交集，拉鏈法

　　　　

　　　　　　有序集合1{1,3,5,7,8,9}

　　　　　　有序集合2{2,3,4,5,6,7}

　　　　兩個指針指向首元素，比較元素的大小：

　　　　（1）如果相同，放入結果集，隨意移動一個指針

　　　　（2）否則，移動值較小的一個指針，直到隊尾

　　這種方法的好處是：

　　（1）集合中的元素最多被比較一次，時間復雜度為O(n)

　　（2）多個有序集合可以同時進行，這適用于多個分詞的item求url_id交集

　　這個方法就像一條拉鏈的兩邊齒輪，一一比對就像拉鏈，故稱為拉鏈法

方案三：分桶并行優化

　　　　數據量大時，url_id分桶水平切分+并行運算是一種常見的優化方法，如果能將list1<url_id>和list2<url_id>分成若干個桶區間，每個區間利用多線程并行求交集，各個線程結果集的并集，作為最終的結果集，能夠大大的減少執行時間。

?　　　　舉例：

　　　　　　有序集合1{1,3,5,7,8,9, 10,30,50,70,80,90}

　　　　　　有序集合2{2,3,4,5,6,7, 20,30,40,50,60,70}

?　　　　求交集，先進行分桶拆分：

　　　　　　桶1的范圍為[1, 9]

　　　　　　桶2的范圍為[10, 100]

　　　　　　桶3的范圍為[101, max_int]

　　　　于是：

　　　　集合1就拆分成

　　　　集合a{1,3,5,7,8,9}

　　　　集合b{10,30,50,70,80,90}

　　　　集合c{}?

　　　　集合2就拆分成

　　　　集合d{2,3,4,5,6,7}

　　　　集合e{20,30,40,50,60,70}

　　　　集合e{}

　　　　每個桶內的數據量大大降低了，并且每個桶內沒有重復元素，可以利用多線程并行計算：

　　　　桶1內的集合a和集合d的交集是x{3,5,7}

　　　　桶2內的集合b和集合e的交集是y{30, 50, 70}

　　　　桶3內的集合c和集合d的交集是z{}

?　　　最終，集合1和集合2的交集，是x與y與z的并集，即集合{3,5,7,30,50,70}

方案四：bitmap再次優化

　　　　數據進行了水平分桶拆分之后，每個桶內的數據一定處于一個范圍之內，如果集合符合這個特點，就可以使用bitmap來表示集合：

　　　　　　

?

　　如上圖，假設set1{1,3,5,7,8,9}和set2{2,3,4,5,6,7}的所有元素都在桶值[1, 16]的范圍之內，可以用16個bit來描述這兩個集合，原集合中的元素x，在這個16bitmap中的第x個bit為1，此時兩個bitmap求交集，只需要將兩個bitmap進行“與”操作，結果集bitmap的3，5，7位是1，表明原集合的交集為{3,5,7}

?　　　　水平分桶，bitmap優化之后，能極大提高求交集的效率，但時間復雜度仍舊是O(n)

　　　　但bitmap需要大量連續空間，占用內存較大

方案五：跳表skiplist

　　　　有序鏈表集合求交集，跳表是最常用的數據結構，它可以將有序集合求交集的復雜度由O(n)降至O(log(n))

　　　　　

　　　　集合1{1,2,3,4,20,21,22,23,50,60,70}

　　　　集合2{50,70}

　　　　要求交集，如果用拉鏈法，會發現1,2,3,4,20,21,22,23都要被無效遍歷一次，每個元素都要被比對，時間復雜度為O(n)，能不能每次比對“跳過一些元素”呢？

跳表就出現了：

　　　　　　

　　　　集合1{1,2,3,4,20,21,22,23,50,60,70}建立跳表時，一級只有{1,20,50}三個元素，二級與普通鏈表相同，集合2{50,70}由于元素較少，只建立了一級普通鏈表；如此這般，在實施“拉鏈”求交集的過程中，set1的指針能夠由1跳到20再跳到50，中間能夠跳過很多元素，無需進行一一比對，跳表求交集的時間復雜度近似O(log(n))，這是搜索引擎中常見的算法。

?

?

?

本片博客轉載自以下網站(本著分享以及保存以便日后復習的目的發布此博客)：

　　http://mp.weixin.qq.com/s/lwsN7RbptdL5XNEVWSevLg

轉載于:https://www.cnblogs.com/Mr-nie/p/7234729.html

總結

以上是生活随笔為你收集整理的list1与list2求交集的方法总结！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。