2019獨角獸企業重金招聘Python工程師標準>>>

我們用Hive去連接一個Hbase款表，大概有150多個字段。

因此，就報了異常：

FAILED: Error in metadata: MetaException(message:javax.jdo.JDODataStoreException: Put request failed : INSERT INTO `SERDE_PARAMS` (`PARAM_VALUE`,`SERDE_ID`,`PARAM_KEY`) VALUES (?,?,?)

NestedThrowables:

org.datanucleus.store.mapped.exceptions.MappedDatastoreException: INSERT INTO `SERDE_PARAMS` (`PARAM_VALUE`,`SERDE_ID`,`PARAM_KEY`) VALUES (?,?,?) )

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

?

后來翻了墻，查了谷歌度娘，發現了原因。

在hive元數據中，存放serde信息的是一個varchar(4000)的字段，為了兼容oracle。

但是超過4000個字段怎么辦？

?

目前使用的是mysql數據庫，解決方法是將字段擴充成30000如下：

mysql> desc SERDE_PARAMS;

+-------------+---------------+------+-----+---------+-------+

| Field?????? | Type????????? | Null | Key | Default | Extra |

+-------------+---------------+------+-----+---------+-------+

| SERDE_ID??? | bigint(20)??? | NO?? | PRI | NULL??? |?????? |

| PARAM_KEY?? | varchar(256)? | NO?? | PRI | NULL??? |?????? |

| PARAM_VALUE | varchar(4000) | YES? |???? | NULL??? |?????? |

+-------------+---------------+------+-----+---------+-------+

3 rows in set (0.03 sec)

?

mysql> alter table SERDE_PARAMS modify column PARAM_VALUE varchar(30000);

Query OK, 447 rows affected (0.86 sec)

Records: 447? Duplicates: 0? Warnings: 0

?

mysql> desc SERDE_PARAMS;

+-------------+----------------+------+-----+---------+-------+

| Field??? ???| Type?????????? | Null | Key | Default | Extra |

+-------------+----------------+------+-----+---------+-------+

| SERDE_ID??? | bigint(20)???? | NO?? | PRI | NULL??? |?????? |

| PARAM_KEY?? | varchar(256)?? | NO?? | PRI | NULL??? |?????? |

| PARAM_VALUE | varchar(30000) | YES? |???? | NULL??? |?????? |

+-------------+----------------+------+-----+---------+-------+

3 rows in set (0.08 sec)??

?

異常解決。

但是只能暫時解決MySQL庫中的問題，加入元數據存在其他庫，則還會存在這樣的問題。

?

?

轉載于:https://my.oschina.net/dacoolbaby/blog/353001

總結

以上是生活随笔為你收集整理的Hive连接超长Hbase宽表异常的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。