日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

kylin备份元数据(用于清除不用的数据方式)

發布時間:2024/9/27 编程问答 27 豆豆
生活随笔 收集整理的這篇文章主要介紹了 kylin备份元数据(用于清除不用的数据方式) 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

轉:https://blog.csdn.net/jiangshouzhuang/article/details/51290239
Kylin組織它所有的元數據(包括cube descriptions and instances, projects, inverted index description and instances,jobs, tables and dictionaries)作為一個層次的文件系統。

然而,Kylin使用HBase來進行存儲,而不是普通的文件系統。

我們可以從Kylin的配置文件kylin.properties中查看到:

## The metadata store in hbase kylin.metadata.url=kylin_metadata@hbase

表示Kylin的元數據被保存在HBase的kylin_metadata表中。
備份Kylin的元數據

./bin/metastore.sh backup

這將備份元數據到本地目錄KYLIN_HOME/metadata_backps下面,目錄的命名格式為:
KYLIN_HOME/meta_backups/meta_year_month_day_hour_minute_second
比如我的Kylin的家目錄為/var/lib/kylin/kylin,那么備份數據的目錄為:

/var/lib/kylin/kylin/meta_backups/meta_2016_05_01_11_50_32

我們來查看一下目錄:

[kylin@SZB-L0023777kylin]$ cd /var/lib/kylin/kylin/meta_backups/meta_2016_05_01_11_50_32[kylin@SZB-L0023777meta_2016_05_01_11_50_32]$ lltotal 44drwxrwxr-x 2 kylin kylin 4096 May 1 11:50 cubedrwxrwxr-x 2 kylin kylin 4096 May 1 11:50 cube_descdrwxrwxr-x 4 kylin kylin 4096 May 1 11:50 cube_statisticsdrwxrwxr-x 6 kylin kylin 4096 May 1 11:50 dictdrwxrwxr-x 2 kylin kylin 4096 May 1 11:50 executedrwxrwxr-x 2 kylin kylin 4096 May 1 11:50 execute_outputdrwxrwxr-x 2 kylin kylin 4096 May 1 11:50 model_descdrwxrwxr-x 2 kylin kylin 4096 May 1 11:50 projectdrwxrwxr-x 2 kylin kylin 4096 May 1 11:50 tabledrwxrwxr-x 2 kylin kylin 4096 May 1 11:50 table_exddrwxrwxr-x 5 kylin kylin 4096 May 1 11:50 table_snapshot

恢復元數據
假如你的Kylin元數據掛掉了,那么我們就可以使用之前備份的數據進行恢復:
1. 首先reset當前Kylin的元數據存儲,這將清理掉所有存儲在HBase中的Kylin元數據,確保在此之前做過備份

./bin/metastore.sh reset
  • 接著,上傳備份的元數據到Kylin的元數據中
  • ./bin/metastore.sh restore $KYLIN_HOME/meta_backups/meta_xxxx_xx_xx_xx_xx_xx

    從Kylin元數據中清理掉無用的資源

    隨著時間的推移,有些資源,比如字典,表的快照等變得無用了(cube的segment被刪除或合并了),但是他們仍然占用空間。可以執行如下命令查找和清理無用的元數據:

  • 首先,執行檢查,這是安全的操作,不會修改任何內容:
  • ./bin/metastore.sh clean

    將需要被刪除的資源(resources)羅列出來

  • 接著,在上面的命令中,添加“–delete true”參數,這樣就會清理掉哪些無用的資源。切記,在這個命令操作之前,一定要備份Kylin元數據:
  • ./bin/metastore.sh clean --delete true

    總結

    以上是生活随笔為你收集整理的kylin备份元数据(用于清除不用的数据方式)的全部內容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。