當前位置：
首頁 >
如何解决运行Spark-shell，出现报错Unable to load native-hadoop library for your platform的问题
發(fā)布時間：2024/3/13
48
豆豆
生活随笔
收集整理的這篇文章主要介紹了
如何解决运行Spark-shell，出现报错Unable to load native-hadoop library for your platform的问题
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
問題：啟動spark后，運行bin/spark-shell會出現(xiàn)一個警告且交互界面顯示時間非常長（有很長的延遲時間）（如圖）
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
解決辦法：
設置環(huán)境變量和conf/spark-env.sh
vim /etc/profile
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native/
source /etc/profile
進入conf/spark-env.sh目錄下：
vim conf/spark-env.sh
export LD_LIBRARY_PATH=$JAVA_LIBRARY_PATH
（按照該步驟操作后，交互界面顯示的時間大大的縮短，且不再提示警告）
該方法本人親測有效，感興趣的可以瀏覽原博主的博客，他博客中講的（更加詳細哦
（附上博客鏈接：https://blog.csdn.net/csdnliu123/article/details/105488895）
總結
以上是生活随笔為你收集整理的如何解决运行Spark-shell，出现报错Unable to load native-hadoop library for your platform的问题的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 好佳居软装十大品牌 软装这些知识我们要知
- 下一篇： 最新交易猫 闲鱼源码 带后台管理+个人码