1.說明

為了解決，數據日益增長并且目前使用Snappy壓縮導致的Spark讀取時會出現OOM，并且處理起來速度過慢的問題，決定使用LZO+Index來解決問題。

線上Hadoop版本3.2.1，Spark2.3.1，Lzo使用最新版0.4.21

2.未解決的問題

但是還有個疑問，我們使用spark寫入到hdfs上的lzo文件，該如何更好的生成索引文件？
目前能想到的就是在提交spark任務的腳本中，spark任務后面加上生成索引文件的命令，想知道還有沒有什么更好的方法解決，最好是能有在spark程序里直接生成索引文件。

2.安裝lzop

sudo yum -y install lzop

3.下載編譯安裝LZO

下載地址

http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz

下載好后在linux下進行編譯

tar -zxvf lzo-2.10.tar.gzcd lzo-2.10export CFLAGS=-m64./configure -enable-sharedmakesudo make install

編譯完成后，編輯lzo.conf文件

sudo vim /etc/ld.so.conf.d/lzo.conf

在里面寫入：

/usr/local/lib

然后要讓 lzo.conf 生效

sudo /sbin/ldconfig -v

lzo-2.10文件已經沒有用了，可以進行刪除

rm -rf lzo-2.10

4. 安裝hadoop-lzo

4.1下載安裝 hadoop-lzo-master

https://github.com/twitter/hadoop-lzo

在linux下解壓后進入hadoop-lzo-master 目錄，然后使用 maven 獲取 jar 文件以及 lib 目錄中的的.so文件。

l執行命令如下：

export CFLAGS=-m64 export CXXFLAGS=-m64 export C_INCLUDE_PATH=/usr/local/include/lzo export LIBRARY_PATH=/usr/local/lib #有maven就不用下載了 sudo yum install mavenmvn clean package -Dmaven.test.skip=true

在當前目錄下生成了 target，下面有個 native/Linux-amd64-64/lib 目錄，將 lib 目錄下的文件拷貝到 hadoop 的 lib/native 目錄下（hadoop 目錄根據自己情況修改）:

cp target/native/Linux-amd64-64/lib/* $HADOOP_HOME/lib/native/

將target下的hadoop-lzo三個文件拷貝到 share/hadoop/common/lib 下

cp hadoop-lzo-0.4.21-SNAPSHOT*.jar $HADOOP_HOME/share/hadoop/common/lib/

4.2.修改Hadoop配置

在hadoop的core-site.xml文件中增加如下lzo相關配置：

<property><name>io.compression.codecs</name><value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.SnappyCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value> </property> <property><name>io.compression.codec.lzo.class</name><value>com.hadoop.compression.lzo.LzoCodec</value> </property>

4.3.分發、重啟hadoop

將hadoop下新加入的so文件、jar包，還有修改的core-site.xml分發給集群其他節點

然后重啟集群即可。

5.Spark下啟用LZO

完成上面linux下的lzo和hadoop的lzo后就可以配置spark下的lzo了。

5.1 修改配置文件

修改spark配置文件spark-defaults.conf

vim spark-defaults.conf#增加如下配置,$HADOOP_HOME可以改為自己的hadoop路徑 #配置的文件就是上面我們mvn打的jar包，路徑是hadoop下因為我們放在了hadoop目前下 spark.driver.extraClassPath $HADOOP_HOME/share/hadoop/common/hadoop-lzo-0.4.21-SNAPSHOT.jar spark.executor.extraClassPath $HADOOP_HOME/share/hadoop/common/hadoop-lzo-0.4.21-SNAPSHOT.jar

修改spark-env.sh

vim spark-env.sh#增加如下配置 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:$HADOOP_HOME/lib/native export SPARK_CLASSPATH=$SPARK_CLASSPATH:$HADOOP_HOME/share/hadoop/yarn/*:$HADOOP_HOME/share/hadoop/yarn/lib/*:$HADOOP_HOME/share/hadoop/common/*:$HADOOP_HOME/share/hadoop/common/lib/*:$HADOOP_HOME/share/hadoop/hdfs/*:$HADOOP_HOME/share/hadoop/hdfs/lib/*:$HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/mapreduce/lib/*:$HADOOP_HOME/share/hadoop/tools/lib/*:$SPARK_HOME/jars/*

5.2 分發重啟Spark

5.3 Spark程序LZO配置

我們在讀取和存儲LZO壓縮的時候是需要使用到上面所打完的包hadoop-lzo-0.4.21-SNAPSHOT.jar的，因為我們是內網所以將他打成了Maven依賴再使用

5.4 導入Maven依賴

1.官網給出的方式:

Maven repository:
The hadoop-lzo package is available at https://maven.twttr.com/.
For example, if you are using ivy, add the repository in ivysettings.xml:

<ibiblio name="twttr.com" m2compatible="true" root="https://maven.twttr.com/"/>

And include hadoop-lzo as a dependency:

<dependency org="com.hadoop.gplcompression" name="hadoop-lzo" rev="0.4.17"/>

2.我們使用的方式:
將hadoop-lzo-0.4.21-SNAPSHOT.jar拿到本地將文件名修改為hadoop-lzo-0.4.21.jar，
在當前目錄的cmd中執行如下命令，將他加入到maven本地庫

# 在hadoop-lzo-0.4.21-SNAPSHOT.jar所在目錄打開cmd，執行 mvn install:install-file -DgroupId=com.hadoop.gplcompression -DartifactId=hadoop-lzo -Dversion=0.4.21 -Dpackaging=jar -Dfile=hadoop-lzo-0.4.21.jar

顯示build success就是成功，然后就可以愉快的使用了

1.pom.xml中加入

<dependency><groupId>com.hadoop.gplcompression</groupId><artifactId>hadoop-lzo</artifactId><version>0.4.21</version> </dependency>

2.生成索引文件
讀取lzo文件的前提是，我們生成在lzo文件的基礎上生成了index索引文件，要不然會導致無法切片：

# 生成索引文件，如果指定的是文件夾,則會將未生成索引的lzo文件全部生成索引 hadoop jar $HADOOP_HOME/lib/hadoop-lzo-0.4.21-SNAPSHOT.jar com.hadoop.compression.lzo.DistributedLzoIndexer hdfs://cluster1:8020/test/test.txt.lzo

3.使用，讀取/寫入

// 要使用的是com.hadoop包下的類 import com.hadoop.compression.lzo.LzopCodec; import com.hadoop.mapreduce.LzoTextInputFormat; // 讀取LZO文件 org.apache.hadoop.conf.Configuration configuration = new Configuration(); JavaPairRDD<LongWritable, Text> pairRDD =sc.newAPIHadoopFile(readLzoFileName,LzoTextInputFormat.class,LongWritable.class,Text.class,configuration);//存儲LZO格式,我們使用的是Lzop，lzo和lzop區別可以自行了解下 rdd.saveAsTextFile("fullName",LzopCodec.class);

讀取lzo文件后的JavaPairRDD的key是每個塊開頭的 offset，value 為原始文件的每一行，我們直接使用value就可以。

6 后續要將CDH集群也做一個LZO壓縮的配置

總結

以上是生活随笔為你收集整理的HDFS和Spark配置LZO压缩，Spark读取LZO创建正常Task数量的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。