故障排除

本教程旨在為正在構建，部署和使用 CarbonData 的用戶和開發人員提供故障排除。

當加載數據時，遇到 tablestatus.lock 問題:

現象

17/11/11 16:48:13 ERROR LocalFileLock: main hdfs:/localhost:9000/carbon/store/default/hdfstable/tablestatus.lock (No such file or directory)

java.io.FileNotFoundException: hdfs:/localhost:9000/carbon/store/default/hdfstable/tablestatus.lock (No such file or directory)

at java.io.FileOutputStream.open0(Native Method)

at java.io.FileOutputStream.open(FileOutputStream.java:270)

at java.io.FileOutputStream.(FileOutputStream.java:213)

at java.io.FileOutputStream.(FileOutputStream.java:101)

可能原因

當你創建 carbonsession 時使用 作為存儲路徑，你可能會遇到這種錯誤，因為默認的鎖類型是 LOCALLOCK。

處理

創建 carbonsession 之前，進行如下設置：

import org.apache.carbondata.core.util.CarbonProperties

import org.apache.carbondata.core.constants.CarbonCommonConstants

CarbonProperties.getInstance().addProperty(CarbonCommonConstants.LOCK_TYPE, "HDFSLOCK")

加載 thrift 類庫失敗

現象

Thrift 拋出以下異常 :

thrift: error while loading shared libraries:

libthriftc.so.0: cannot open shared object file: No such file or directory

可能原因

包含類庫目錄的完整路徑沒有被正確配置。

處理

啟動 Spark Shell 失敗

現象

shell 提示以下的錯誤 :

org.apache.spark.sql.CarbonContext$$anon$$apache$spark$sql$catalyst$analysis

$OverrideCatalog$_setter_$org$apache$spark$sql$catalyst$analysis

$OverrideCatalog$$overrides_$e

可能原因

Spark 版本和編譯 Carbondata 指定的 Spark 配置不匹配。

處理

請確保 Spark 版本和編譯 Carbondata 指定的 Spark 配置匹配。

使用以下命令 :

"mvn -Pspark-2.1 -Dspark.version {yourSparkVersion} clean package"

注意 : 避免直接使用 "mvn clean package" 而不指定配置參數。

無法在集群上執行加載查詢.

現象

加載查詢時遇到以下異常：

Dictionary file is locked for updation.

可能原因

集群中所有節點上 carbon.properties 文件可能不一致。

處理

按照下面步驟確保所有節點上的 carbon.properties 文件一致:

將 master 節點上的 carbon.properties 文件復制到集群中其他所有節點上。

比如, 你可以使用 ssh 將該文件復制到所有節點上。

為了使修改生效，重啟 Spark 集群。

無法在集群上執行插入查詢.

現象

插入查詢時遇到以下異常:

Dictionary file is locked for updation.

可能原因

集群中所有節點上 carbon.properties 文件可能不一致。

處理

按照下面步驟確保所有節點上的 carbon.properties 文件一致:

將 master 節點上的 carbon.properties 文件復制到集群中其他所有節點上。

比如, 你可以使用 scp 將該文件復制到所有節點上。

為了使修改生效，重啟 Spark 集群。

無法通過 thrift 連接到 hiveuser

現象

遇到以下異常 :

Cannot connect to hiveuser.

可能原因

外部進程沒有訪問權限。

處理

確保 mysql 中的 Hiveuser 能夠允許訪問外部進程。

無法在創建表時讀取 Metastore 數據庫。

現象

我們在嘗試連接時遇到以下異常 :

Cannot read the metastore db

可能原因

元數據庫可能出現功能障礙。

處理

從 Spark 目錄的 carbon.metastore 中刪除 metastore db。

無法在集群上加載數據

現象

數據加載時遇到以下異常 :

Data Load failure exception

可能原因

下面原因可能導致這個異常 :

集群中所有節點上的 core-site.xml、hive-site.xml、yarn-site 以及 carbon.properties 等文件可能不一致。

carbon.properties 中關于 hdfs ddl 沒有正確的配置。

處理

按照下面步驟確保所有節點上的配置文件一致：

將 master 節點上的 core-site.xml、hive-site.xml、yarn-site 以及 carbon.properties 文件復制到集群中其他所有節點上。

比如, 你可以使用 scp 將該文件復制到所有節點上。

注意 : 在主節點的 carbon.properties 中設置好 hdfs ddl 路徑。

為了使修改生效，重啟 Spark 集群。

無法在集群上插入數據

現象

數據插入時遇到以下異常 :

Data Load failure exception

可能原因

下面原因可能導致這個異常 :

集群中所有節點上的 core-site.xml、hive-site.xml、yarn-site 以及 carbon.properties 等文件可能不一致。

carbon.properties 中關于 hdfs ddl 沒有正確的配置。

處理

按照下面步驟確保所有節點上的配置文件一致:

將 master 節點上的 core-site.xml、hive-site.xml、yarn-site 以及 carbon.properties 文件復制到集群中其他所有節點上。

比如, 你可以使用 scp 將該文件復制到所有節點上。

注意 : 在主節點的 carbon.properties 中設置好 hdfs ddl 路徑。

為了使修改生效，重啟 Spark 集群。

多個用戶無法在表上執行并發操作(加載，插入，更新)

現象

運行時遇到以下異常:

Table is locked for updation.

可能原因

不支持并發。

處理

用戶必須等待查詢執行完成，并且確保該表的鎖被釋放，以便其他查詢能夠執行成功。

無法創建擁有單個數字類型列的表格

現象

運行時遇到以下異常 :

Table creation fails.

可能原因

不支持這種行為

處理

創建表格必須提供一個維度列。

總結

以上是生活随笔為你收集整理的carbondata与mysql_Apache CarbonData 1.4.0 中文文档的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。