我將運(yùn)行大量的模擬，產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)需要在以后存儲和訪問。我的模擬程序的輸出數(shù)據(jù)被寫入文本文件(每個模擬一個)。我計(jì)劃編寫一個Python程序來讀取這些文本文件，然后以更便于以后分析的格式存儲數(shù)據(jù)。經(jīng)過一段時間的搜索，我想我正遭受信息過載的困擾，所以我把這個問題放到堆棧溢出中尋求一些建議。具體情況如下：

我的數(shù)據(jù)基本上采用多維數(shù)組的形式，其中每個條目都將如下所示：data[ stringArg1, stringArg2, stringArg3, stringArg4, intArg1 ] = [ floatResult01, floatResult02, ..., floatResult12 ]

每個參數(shù)的潛在值大致如下：

字符串a(chǎn)rg1:50

字符串a(chǎn)rg2:20

字符串a(chǎn)rg3:6

字符串a(chǎn)rg4:24

圖1:10000

但是請注意，數(shù)據(jù)集是稀疏的。例如，對于給定的stringArg1值，將只填充stringArg2的大約16個值。另外，對于給定的(stringArg1，stringArg2)組合，將填充大約5000個intArg1值。第3個和第4個字符串參數(shù)總是完全填充。在

因此，使用這些數(shù)字，我的數(shù)組將有大約50*16*6*24*5000=576000000個結(jié)果列表。在

我正在尋找存儲這個數(shù)組的最佳方法，這樣我就可以保存它并在以后重新打開它，以添加更多數(shù)據(jù)、更新現(xiàn)有數(shù)據(jù)或查詢現(xiàn)有數(shù)據(jù)以進(jìn)行分析。到目前為止，我已經(jīng)研究了三種不同的方法：關(guān)系數(shù)據(jù)庫

PyTables

使用元組作為字典鍵的Python字典(使用pickle保存和重新加載)

在這三種方法中我都會遇到一個問題，我總是將(stringArg1、stringArg2、stringArg3、stringArg4、intArg1)的每個元組組合存儲為表中的字段，或作為Python字典中的鍵。從我(可能是天真的)的觀點(diǎn)來看，這似乎沒有必要。如果這些都是整型參數(shù)，那么它們只會形成數(shù)組中每個數(shù)據(jù)項(xiàng)的地址，就不需要在單獨(dú)的字段中存儲所有可能的地址組合。例如，如果我有一個2x2數(shù)組=[[100，200]，[300，400]]，你可以通過在地址數(shù)組[0][1]上請求值來檢索值。您不需要將所有可能的地址元組(0,0)(0,1)(1,0)(1,1)存儲到其他地方。所以我希望能找到一個解決這個問題的辦法。在

我希望能夠在PyTables中定義一個表，其中第一個表中的單元格包含其他表。例如，頂級表將有兩列。第一列中的條目將是stringArg1的可能值。第二列中的每個條目都是一個表。這些子表將有兩列，第一列是stringArg2的所有可能值，第二列是子表的另一列。。。在

這種解決方案將很容易瀏覽和查詢(尤其是如果我可以使用vitalables來瀏覽數(shù)據(jù))。問題是PyTables似乎不支持一個表的單元格包含其他表。所以我似乎在那里遇到了一個死胡同。在

我已經(jīng)閱讀了數(shù)據(jù)倉庫和星型模式方法，但事實(shí)表似乎仍然需要包含每個可能的參數(shù)組合的元組。在

好吧，那就是我現(xiàn)在的處境。任何和所有的建議將不勝感激。在這一點(diǎn)上，我一直在四處尋找，以至于我的大腦受傷了。是時候請專家們想想了。在

總結(jié)

以上是生活随笔為你收集整理的python多维数据存储_在Python中存储和重新加载大型多维数据集的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。