1.hadoop安全機制歷史

在Hadoop1.0.0或者CDH3 版本之前， hadoop并不存在安全認證一說。默認集群內所有的節點都是可靠的，值得信賴的。用戶與HDFS或者M/R進行交互時并不需要進行驗證。導致存在惡意用戶偽裝成真正的用戶或者服務器入侵到hadoop集群上，惡意的提交作業，修改JobTracker狀態，篡改HDFS上的數據，偽裝成NameNode 或者TaskTracker接受任務等。 盡管在版本0.16以后， HDFS增加了文件和目錄的權限，但是并沒有強認證的保障，這些權限只能對偶然的數據丟失起保護作用。惡意的用戶可以輕易的偽裝成其他用戶來篡改權限，致使權限設置形同虛設。不能夠對Hadoop集群起到安全保障。

在Hadoop1.0.0或者CDH3版本后，加入了Kerberos認證機制。使得集群中的節點就是它們所宣稱的，是信賴的。Kerberos可以將認證的密鑰在集群部署時事先放到可靠的節點上。集群運行時，集群內的節點使用密鑰得到認證。只有被認證過節點才能正常使用。企圖冒充的節點由于沒有事先得到的密鑰信息，無法與集群內部的節點通信。防止了惡意的使用或篡改Hadoop集群的問題，確保了Hadoop集群的可靠安全。

2.Hadoop面臨的安全問題

2.1 ?用戶到服務器的認證問題

1)NameNode，,JobTracker上沒有用戶認證

用戶可以偽裝成其他用戶入侵到一個HDFS 或者MapReduce集群上。

2)DataNode上沒有認證

Datanode對讀入輸出并沒有認證。導致如果一些客戶端如果知道block的ID，就可以任意的訪問DataNode上block的數據

3)JobTracker上沒有認證

可以任意的殺死或更改用戶的jobs，可以更改JobTracker的工作狀態

2.2 ?服務器到服務器的認證問題

1)沒有DataNode, TaskTracker的認證

用戶可以偽裝成datanode ,tasktracker，去接受JobTracker, Namenode的任務指派。

3.安全機制

3.1Java的安全機制

詳細介紹請參考JAAS:靈活的Java安全機制

簡單來說,用戶首先使用LoginContext的接口進行登錄驗證。LoginContext可以配置使用不同的驗證協議。驗證通過后，用戶得到一個subject，里面包含憑證，公私鑰等。之后，在涉及到需要進行權限認證的地方(例如，資源訪問，外部鏈接校驗，協議訪問等)，使用doAs函數()代替直接執行。

這樣，java的權限認證就和用戶的業務邏輯分離了。

//一段典型的代碼如下

LoginContext lc = new LoginContext("MyExample");

try {

lc.login();

} catch (LoginException) {

// Authentication failed.

}

// Authentication successful, we can now continue.

// We can use the returned Subject if we like.

Subject sub = lc.getSubject();

Subject.doAs(sub, new MyPrivilegedAction());

3.2Kerberos認證協議

Kerberos是一種網絡認證協議，其設計目標是通過密鑰系統為客戶機 / 服務器應用程序提供強大的認證服務。

簡單介紹

使用Kerberos時，一個客戶端需要經過三個步驟來獲取服務:

認證：客戶端向認證服務器發送一條報文，并獲取一個含時間戳的Ticket-Granting Ticket(TGT)。

授權：客戶端使用TGT向Ticket-Granting Server(TGS)請求一個服務Ticket。

服務請求：客戶端向服務器出示服務Ticket，以證實自己的合法性。該服務器提供客戶端所需服務，在Hadoop應用中，服務器可以是namenode或jobtracker。

為此，Kerberos需要The Key Distribution Centers(KDC)來進行認證。KDC只有一個Master，可以帶多個slaves機器。slaves機器僅進行普通驗證。Mater上做的修改需要自動同步到slaves。

另外，KDC需要一個admin，來進行日常的管理操作。這個admin可以通過遠程或者本地方式登錄。

4.Hadoop ?Kerberos安全機制安裝

安裝這里就不講解了，網上資料一大堆

5.kerberos安裝后，hbase客戶端鏈接的變化

5.1 客戶端鏈接kerberos的準備

一臺機器叫hbaseclient.com,首先在其上安裝kerberos客戶端，安裝后連接kadmin工具創建用戶test，并生成keytab文件

kinit admin/admin

kadmin: addprinc -randkey test

kadmin: xst -k test.keytab test

5.2 未安裝kerberos之前，hbase客戶端鏈接代碼

public class Test1 {

public static void main(String[] args) throws IOException {

Configuration conf = HBaseConfiguration.create();

conf.set("hbase.zookeeper.quorum", "zookeeperserver1,zookeeperserver2,zookeeperserver3");

conf.set("hbase.zookeeper.property.clientPort", "2181");

HTable t = new HTable(conf, "test");

Scan s = new Scan();

ResultScanner rs = t.getScanner(s);

try{

for(Result r:rs){

for(Cell cell:r.rawCells()){

System.out.println("Row: "+new String(CellUtil.cloneRow(cell)));

System.out.println("CF: "+new String(CellUtil.cloneFamily(cell)));

System.out.println("Qualifier: "+new String(CellUtil.cloneQualifier(cell)));

System.out.println("Value: "+new String(CellUtil.cloneValue(cell)));

}

}

}finally{

t.close();

}

System.out.println("Done!");

}

5.3 安裝kerberos之后，hbase客戶端鏈接代碼

public class Test1 {

public static void main(String[] args) throws IOException {

Configuration conf = HBaseConfiguration.create();

conf.set("hbase.zookeeper.quorum", "zookeeperserver1,zookeeperserver2,zookeeperserver3");

conf.set("hbase.zookeeper.property.clientPort", "2181");

conf.set("hadoop.security.authentication", "kerberos");

UserGroupInformation.setConfiguration(conf);

UserGroupInformation.loginUserFromKeytab("hbaseclient.com", "/home/test/test.keytab");

HTable t = new HTable(conf, "test");

Scan s = new Scan();

ResultScanner rs = t.getScanner(s);

try{

for(Result r:rs){

for(Cell cell:r.rawCells()){

System.out.println("Row: "+new String(CellUtil.cloneRow(cell)));

System.out.println("CF: "+new String(CellUtil.cloneFamily(cell)));

System.out.println("Qualifier: "+new String(CellUtil.cloneQualifier(cell)));

System.out.println("Value: "+new String(CellUtil.cloneValue(cell)));

}

}

}finally{

t.close();

}

System.out.println("Done!");

}

6.spring-data-hadoop中如何使用kerberos

6.1 kerberos安裝之前配置

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xmlns:hdp="http://www.springframework.org/schema/hadoop"

xmlns:beans="http://www.springframework.org/schema/beans"

xmlns:context="http://www.springframework.org/schema/context"

xsi:schemaLocation="

http://www.springframework.org/schema/beans

http://www.springframework.org/schema/beans/spring-beans.xsd

http://www.springframework.org/schema/hadoop

http://www.springframework.org/schema/hadoop/spring-hadoop.xsd

http://www.springframework.org/schema/context

http://www.springframework.org/schema/context/spring-context-3.1.xsd">

fs.defaultFS=hdfs://master:9000/

6.2 kerberos安裝之后配置

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xmlns:hdp="http://www.springframework.org/schema/hadoop"

xmlns:beans="http://www.springframework.org/schema/beans"

xmlns:context="http://www.springframework.org/schema/context"

xsi:schemaLocation="

http://www.springframework.org/schema/beans

http://www.springframework.org/schema/beans/spring-beans.xsd

http://www.springframework.org/schema/hadoop

http://www.springframework.org/schema/hadoop/spring-hadoop.xsd

http://www.springframework.org/schema/context

http://www.springframework.org/schema/context/spring-context-3.1.xsd">

fs.defaultFS=hdfs://master:9000/

hadoop.security.authentication=kerberos

hadoop.security.authorization=true

keyTab=/home/test/test.keytab

principal=hbaseclient.com

7.以上配置是參見hadoop-common-2.6.0.jar中源碼org.apache.hadoop.security.UserGroupInformation.java得知

8.參考資料

總結

以上是生活随笔為你收集整理的hbase1.1.1 连接集群_Hadoop2.7.1+Hbase1.1.2集群环境搭建(10) hadoop hbase kerberos的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。