內(nèi)存映射獲取行數(shù)

總覽

矩陣可能真的很大，有時(shí)甚至比您可以容納在一個(gè)數(shù)組中的要大。 您可以通過(guò)具有多個(gè)數(shù)組來(lái)擴(kuò)展最大大小，但這會(huì)使堆大小確實(shí)很大且效率低下。 一種替代方法是在內(nèi)存映射文件上使用包裝器。 內(nèi)存映射文件的優(yōu)點(diǎn)是它們對(duì)堆的影響很小，并且可以由操作系統(tǒng)相當(dāng)透明地交換出來(lái)。

巨大的矩陣

此代碼支持double的大型矩陣。 它將文件分區(qū)為1 GB映射。 （由于Java一次不支持2 GB或更大的映射，這是我的寵兒；）

import sun.misc.Cleaner; import sun.nio.ch.DirectBuffer;import java.io.Closeable; import java.io.IOException; import java.io.RandomAccessFile; import java.nio.MappedByteBuffer; import java.nio.channels.FileChannel; import java.util.ArrayList; import java.util.List;public class LargeDoubleMatrix implements Closeable {private static final int MAPPING_SIZE = 1 << 30;private final RandomAccessFile raf;private final int width;private final int height;private final List mappings = new ArrayList();public LargeDoubleMatrix(String filename, int width, int height) throws IOException {this.raf = new RandomAccessFile(filename, "rw");try {this.width = width;this.height = height;long size = 8L * width * height;for (long offset = 0; offset < size; offset += MAPPING_SIZE) {long size2 = Math.min(size - offset, MAPPING_SIZE);mappings.add(raf.getChannel().map(FileChannel.MapMode.READ_WRITE, offset, size2));}} catch (IOException e) {raf.close();throw e;}}protected long position(int x, int y) {return (long) y * width + x;}public int width() {return width;}public int height() {return height;}public double get(int x, int y) {assert x >= 0 && x < width;assert y >= 0 && y < height;long p = position(x, y) * 8;int mapN = (int) (p / MAPPING_SIZE);int offN = (int) (p % MAPPING_SIZE);return mappings.get(mapN).getDouble(offN);}public void set(int x, int y, double d) {assert x >= 0 && x < width;assert y >= 0 && y < height;long p = position(x, y) * 8;int mapN = (int) (p / MAPPING_SIZE);int offN = (int) (p % MAPPING_SIZE);mappings.get(mapN).putDouble(offN, d);}public void close() throws IOException {for (MappedByteBuffer mapping : mappings)clean(mapping);raf.close();}private void clean(MappedByteBuffer mapping) {if (mapping == null) return;Cleaner cleaner = ((DirectBuffer) mapping).cleaner();if (cleaner != null) cleaner.clean();} }public class LargeDoubleMatrixTest {@Testpublic void getSetMatrix() throws IOException {long start = System.nanoTime();final long used0 = usedMemory();LargeDoubleMatrix matrix = new LargeDoubleMatrix("ldm.test", 1000 * 1000, 1000 * 1000);for (int i = 0; i < matrix.width(); i++)matrix.set(i, i, i);for (int i = 0; i < matrix.width(); i++)assertEquals(i, matrix.get(i, i), 0.0);long time = System.nanoTime() - start;final long used = usedMemory() - used0;if (used == 0)System.err.println("You need to use -XX:-UseTLAB to see small changes in memory usage.");System.out.printf("Setting the diagonal took %,d ms, Heap used is %,d KB%n", time / 1000 / 1000, used / 1024);matrix.close();}private long usedMemory() {return Runtime.getRuntime().totalMemory() - Runtime.getRuntime().freeMemory();} }

在下面的測(cè)試中，它寫(xiě)入一百萬(wàn)*一百萬(wàn)矩陣的每個(gè)對(duì)角線值。 這太大了，無(wú)法希望在堆上創(chuàng)建。

Setting the diagonal took 314,819 ms, Heap used is 2,025 KB$ ls -l ldm.test -rw-rw-r-- 1 peter peter 8000000000000 2011-12-30 12:42 ldm.test $ du -s ldm.test 4010600 ldm.test

在Java進(jìn)程中，虛擬內(nèi)存為8,000,000,000,000字節(jié)或?7.3 TB！ 這行得通，因?yàn)樗鼉H在您使用的頁(yè)面中分配或分配頁(yè)面。 因此，雖然文件大小幾乎為8 TB，但實(shí)際使用的磁盤(pán)空間和內(nèi)存為4 GB。
使用100K * 100K矩陣的較小文件大小，您將看到類似以下的內(nèi)容。 它仍然是一個(gè)80 GB的矩陣，使用了很小的堆空間。 ;）

Setting the diagonal took 110 ms, Heap used is 71 KB$ ls -l ldm.test -rw-rw-r-- 1 peter peter 80000000000 2011-12-30 12:49 ldm.test $ du -s ldm.test 400000 ldm.test

參考：在Vanilla Java博客上，使用我們的JCG合作伙伴 Peter Lawrey 的巨大內(nèi)存矩陣的內(nèi)存映射文件

相關(guān)文章 ：

• 如何在Java中獲得類似于C的性能
• Java中的低GC：使用原語(yǔ)而不是包裝器
• 回收對(duì)象以提高性能
• 改善Java應(yīng)用程序性能的快速技巧
• Java Secret：加載和卸載靜態(tài)字段
• 具有GlassFish和一致性的高性能JPA –第1部分

翻譯自: https://www.javacodegeeks.com/2012/01/using-memory-mapped-file-for-huge.html

內(nèi)存映射獲取行數(shù)

總結(jié)

以上是生活随笔為你收集整理的内存映射获取行数_使用内存映射文件获取巨大的矩阵的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。