100G 數據如何先隨機讀取1%?今天番茄加速就來給大家介紹下。

　　對于動輒就幾十或幾百個 G 的數據，在讀取的這么大數據的時候，我們有沒有辦法隨機選取一小部分數據，然后讀入內存，快速了解數據和開展 EDA ?

　　使用 Pandas 的 skiprows 和 概率知識，就能做到。解釋具體怎么做，如下所示，讀取某 100 G 大小的 big_data.csv 數據

　　使用 skiprows 參數，

　　x > 0 確保首行讀入，

　　np.random.rand() > 0.01 表示 99% 的數據都會被隨機過濾掉

　　言外之意，只有全部數據 1% 才有機會選入內存中。

　　import pandas as pd

　　import numpy as np

　　df = pd.read_csv("big_data.csv",

　　skiprows =

　　lambda x: x>0and np.random.rand() > 0.01)

　　print("The shape of the df is {}.

　　It has been reduced 100 times!".format(df.shape))

　　使用這種方法，讀取的數據量迅速縮減到原來的 1% ，對于迅速展開數據分析有一定的幫助。

總結

以上是生活随笔為你收集整理的java如何读取rfid的数据_100G 数据如何先随机读取1%?的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。