當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

算法七——分治算法

發布時間：2023/12/10 编程问答 68 豆豆

生活随笔收集整理的這篇文章主要介紹了算法七——分治算法小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

文章出處：極客時間《數據結構和算法之美》-作者：王爭。該系列文章是本人的學習筆記。

MapReduce本質就是一個分值算法。

什么是分治算法

分治算法的核心是：分而治之。也就是將原問題分解為n個規模較小，并且結構與原問題相似的子問題，遞歸地解決這些子問題，并且合并子問題的結果得到原問題的解。

與遞歸的區別：遞歸是一種編程技巧，分治是一種算法思想。

使用分治法的步驟：
1 分解：將原問題分解為一系列子問題；
2 解決：遞歸地解決各個子問題，當問題足夠小，可以直接求解；
3 合并：將子問題的結果合并為原問題的解。

分治算法能解決的問題的特征：
1 原問題與分解后的子問題具有相同的模式。
2 子問題可以獨立求解，子問題之間沒有相關性；這點與動態規劃是有區別的。動態規劃分解后的子問題可能是重復的，需要把結果保存下來，避免重復計算。
3 具有分解終止條件。當子問題足夠小，可以直接求解。
4 子問題的解合并為原問題的解，合并操作不能太復雜，否則起不到降低復雜度的效果。

計算數組的逆序度

假設我們有n個數據，希望從小到大排序。當數組完全有序的時候，有序度為 $n(n?1)2\dfrac{n(n-1)}{2}$ ，逆序度為0。當數組是按照從大到小排序的時候，那有序度是0，無序度是 $n(n?1)2\dfrac{n(n-1)}{2}$ 。除了這兩種極端情況，我們計算數組逆序對的個數表示逆序度。

如何編程求出一組數組中逆序對的個數呢？

直觀的想法就是從第0個元素開始，算一個后面有幾個元素比它小，計數為k0。再從第1個元素開始，算一個后面有幾個元素比它小，計數為k1…一直算到最后一個元素。這幾個計數(k0,k1…)加和，就是逆序對的個數。時間復雜度是O(n^2)。是不是可以改進呢？

我們試著用分治思想解決。求數組A的逆序對個數，可以分解為前后兩個部分數組分別標記為A1，A2。遞歸求解A1，A2逆序對個數K1，K2，再求出A1與A2之間逆序對個數K3。K1+K2+K3就是原問題的解。

當數組中只有兩個元素的時候，就可以知道K1，K2的值。
如何求K3。我們可以參考歸并排序的合并操作。將數組A1，A2排序。假設數組A1={1,5,6},A2={2,3,4}。A1長度為3。
合并排序：
1（來自A1數組，不用管）
1,2 （來自A2數組，此時A1數組還有3-1個元素沒有排序，所以2小于A1數組中的2個元素）
1,2,3（來自A2數組，此時A1數組還有3-1個元素沒有排序，所以2小于A1數組中的2個元素）
1,2,3,4(來自A2數組，此時A1數組還有3-1個元素沒有排序，所以2小于A1數組中的2個元素)
1,2,3,4,5（來自A1數組，不用管）
1,2,3,4,5,6（來自A1數組，不用管）
最終：此次合并操作發現逆序對個數是2+2+2=6。
合并為原問題的解：K1+K2+6。
合并操作是一個O(n)的時間復雜度。

public class ArrayReverseCount {private int num = 0;public int count(int[] a){int n = a.length;return mergeSortCounting(a,0,n-1);}private int mergeSortCounting(int[] a, int start, int end) {if(start>=end){return 0;}int q = (start+end)/2;int k1 = mergeSortCounting(a,start,q);int k2 = mergeSortCounting(a,q+1,end);int k3 = merge(a,start,q,end);return k1+k2+k3;}private int merge(int[] a, int start, int q, int end) {int[] temp = new int[end-start+1];int i= start;int j= q+1;int k = 0;int nums = 0;while(i<=q && j<=end){if(a[j]<a[i]){temp[k++]=a[j++];nums += q-i+1;}else{temp[k++] = a[i++];}}while(i<=q){temp[k++] = a[i++];}while(j<=end){temp[k++] = a[j++];}for(i=0;i<=end-start;i++){a[start+i]= temp[i];}return nums;} }

經典練習題目

二維平面上有 n 個點，如何快速計算出兩個距離最近的點對？
有兩個 nn 的矩陣 A，B，如何快速求解兩個矩陣的乘積 C=AB？
自己練習

分治思想處理海量數據

前面學到的一些算法和數據結構，都是基于內存存儲和單機處理的。如果要處理的數據量大，沒有辦法一次加載到內存中。這時候這些算法和數據結構就不能發揮作用了。但我們可以使用分治思想來處理這個問題。

例如我們需要對10G的訂單按照金額排序。單機只有3G內存。那么，我們可以把這10G訂單掃描一遍，找到訂單金額的最小值和最大值。將這10G訂單按照訂單金額從小到大分成幾個區間。例如1-100放入一個小文件，101-200放入另外一個文件。以此類推。這樣形成的一個一個小文件可以加載到內存中。對單個文件最排序，排序之后再合并排序結果。

如果訂單數據是放在GFS這樣的分布式文件系統上。被分成的多個小文件可以同時被不同的機器加載處理，最后再合并結果集。這樣并行處理速度就快多了。這里需要注意一點：數據存儲的機器與處理的機器需要在同一個網段內或者局域網。否則數據傳輸速度會是最大的時間開銷。反而會慢。

Mapreduce 與分治算法

這也就是MapReduce的原理。單個機器的性能不足以完成任務，就把任務分配到多臺服務器。最后再合并結果。MapReduce是一個任務調度框架。數據依賴GFS存儲，依賴Borg管理機器。它從 GFS 中拿數據，交給 Borg 中的機器執行，并且時刻監控機器執行的進度，一旦出現機器宕機、進度卡殼等，就重新從 Borg 中調度一臺機器執行。

總結

以上是生活随笔為你收集整理的算法七——分治算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

算法