介紹

????Alluxio（之前名為Tachyon）是世界上第一個以內(nèi)存為中心的虛擬的分布式存儲系統(tǒng)。它統(tǒng)一了數(shù)據(jù)訪問的方式，為上層計算框架和底層存儲系統(tǒng)構(gòu)建了橋梁。應用只需要連接Alluxio即可訪問存儲在底層任意存儲系統(tǒng)中的數(shù)據(jù)。此外，Alluxio的以內(nèi)存為中心的架構(gòu)使得數(shù)據(jù)的訪問速度能比現(xiàn)有常規(guī)方案快幾個數(shù)量級。

????在大數(shù)據(jù)生態(tài)系統(tǒng)中，Alluxio介于計算框架(如Apache Spark，Apache MapReduce，Apache HBase，Apache Hive，Apache Flink)和現(xiàn)有的存儲系統(tǒng)（如Amazon S3，OpenStack Swift，GlusterFS，HDFS，MaprFS，Ceph，NFS，OSS）之間。Alluxio為大數(shù)據(jù)軟件棧帶來了顯著的性能提升。Alluxio與Hadoop是兼容的。現(xiàn)有的數(shù)據(jù)分析應用，如Spark和MapReduce程序，可以不修改代碼直接在Alluxio上運行。

? ? Alluxio是中國人開發(fā)的，好處就是中文文檔很齊全，方便大家入門，具體科普就不做了，看官方入口。

Alluxio 是一個高容錯的分布式文件系統(tǒng)，允許文件以內(nèi)存的速度在集群框架中進行可靠的共享，類似Spark和 MapReduce。

通過利用lineage信息，積極地使用內(nèi)存，Alluxio的吞吐量要比HDFS高300多倍。

Alluxio都是在內(nèi)存中處理緩存文件，并且讓不同的 Jobs/Queries以及框架都能內(nèi)存的速度來訪問緩存文件。

特性：

• 類 Java 的文件 API

• 兼容性：實現(xiàn) Hadoop 文件系統(tǒng)接口

• 可插入式的底層文件系統(tǒng)

• 內(nèi)建 Raw 原生表的支持

• 基于 Web 的 UI?

• 提供命令行接口

轉(zhuǎn)載于:https://www.cnblogs.com/lixgjob/p/10536011.html

總結(jié)

以上是生活随笔為你收集整理的Alluxio学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。