當(dāng)一個(gè) .txt 文件的數(shù)據(jù)過(guò)于龐大，此時(shí)想要對(duì)數(shù)據(jù)進(jìn)行排序就需要先將數(shù)據(jù)進(jìn)行切割，然后通過(guò)歸并排序，最終實(shí)現(xiàn)對(duì)整體數(shù)據(jù)的排序。要實(shí)現(xiàn)這個(gè)過(guò)程我們需要進(jìn)行以下幾步：獲取總數(shù)據(jù)行數(shù)；根據(jù)行數(shù)按照自己的需要對(duì)數(shù)據(jù)進(jìn)行切割；對(duì)每組數(shù)據(jù)進(jìn)行排序 最后對(duì)所有數(shù)據(jù)進(jìn)行歸并排序。

下面我們就來(lái)實(shí)現(xiàn)這整個(gè)過(guò)程：

一：獲取總數(shù)據(jù)的行

def get_file_lines(file_path):

# 目標(biāo)文件的路徑

file_path = str(file_path)

with open(file_path, 'rb') as file:

# 定義行數(shù)

i = 0

while True:

# 一次讀取一行數(shù)據(jù)

line = file.readline()

if not line :

break

else:

# 每讀一行，行數(shù)加一

i += 1

#設(shè)置進(jìn)度條，每當(dāng)i讀取1000000行時(shí)打印一次i

# 每當(dāng)讀取1000000的整數(shù)倍行時(shí)，打印行數(shù)（進(jìn)度條）

if i % 1000000 == 0:

print(i)

# 打印總行數(shù)

print(i)

return i

二：對(duì)數(shù)據(jù)進(jìn)行切割

# 定義均等切割函數(shù)，num是待切割的文件的行數(shù)的值，n為切割份數(shù),file_path是待切割的文件，file_dir是切割好的文件寫(xiě)入的目錄

def evg_split(num, n, file_path, file_dir):

last_list = []

# 如果樣本剛好可以整除為n份

if num % n == 0:

for i in range(n):

# 則直接將樣本分為n分沒(méi)份對(duì)應(yīng)num/n個(gè)

last_list.append(num / n)

# 如果不能整除

if num % n != 0:

# 如果不能整除，則先將num整除n-1并取n-1份,余下的單獨(dú)做一份

evg = (num - num % n) // (n - 1)

for i in range(n):

last_list.append(evg)

last_list.append(num % (n - 1))

print(last_list)

# return last_list

# 對(duì)應(yīng)于切割后的每一份數(shù)據(jù)

with open(file_path, 'rb') as path:

for i in range(n):

# 創(chuàng)建臨時(shí)文件

tmp_file = file_dir + str(i) + '.txt'

# 打開(kāi)臨時(shí)文件，將內(nèi)容一條一條的寫(xiě)入

file = open(tmp_file, 'wb')

for j in range(int(last_list[i])):

line = path.readline()

file.write(line)

print(line)

print('------------')

file.close()

三：對(duì)每組數(shù)據(jù)進(jìn)行排序的內(nèi)容由讀者根據(jù)自身數(shù)據(jù)需要進(jìn)行排序，下面直接介紹歸并排序

四：歸并排序

def merge( mylist1, mylist2, file1):

while len(mylist1) > 0 and len(mylist2) > 0:

if mylist1[0]

with open(file1,'a') as file:

file.write(str(mylist1[0]))

del mylist1[0]

elif mylist1[0] > mylist2[0]:

with open(file1,'a') as file:

file.write(str(mylist2[0]))

del mylist2[0]

else:

with open(file1,'a') as file:

file.write(str(mylist1[0]))

file.write(str(mylist2[0]))

del mylist1[0]

del mylist2[0]

with open(file1, 'a') as file:

for i in mylist1:

file.write(str(i))

for i in mylist2:

file.write(str(i))

總結(jié)：對(duì)于一個(gè)大型數(shù)據(jù)文件，我們可以將其切割成若干個(gè)小型的數(shù)據(jù)文件，然后分別的這些小型的數(shù)據(jù)文件進(jìn)行排序，最后使用歸并排序?qū)⑦@些數(shù)據(jù)文件寫(xiě)入到一個(gè)總體文件中，從而實(shí)現(xiàn)了對(duì)這個(gè)大型數(shù)據(jù)文件的排序。

以上這篇對(duì)python數(shù)據(jù)切割歸并算法的實(shí)例講解就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持我們。

本文標(biāo)題: 對(duì)python數(shù)據(jù)切割歸并算法的實(shí)例講解

本文地址: http://www.cppcns.com/jiaoben/python/247039.html

與50位技術(shù)專家面對(duì)面20年技術(shù)見(jiàn)證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的python分割数字_对python数据切割归并算法的实例讲解的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。