Doris 初识 -安装
美團(tuán)Doris 使用: https://zhuanlan.zhihu.com/p/128068950
官網(wǎng)發(fā)布文檔:http://doris.incubator.apache.org/master/zh-CN/installing/install-deploy.html
Apache Doris官方網(wǎng)站:http://doris.incubator.apache.org
Apache Doris Github:https://github.com/apache/incubator-doris
關(guān)于open file limit問題解決
如果遇到open file limit問題
Configuration of maximum open file limit is too low: 1024 (expected at least 32768). Please consult https://goo.gl/LgvGFl
修改方法:
(1)ulimit -HSn 102400
這只是在當(dāng)前終端有效,退出之后,open files 又變?yōu)槟J(rèn)值。
(2)將ulimit -HSn 102400寫到/etc/profile中,因?yàn)槊看蔚卿浗K端時(shí),都會(huì)自動(dòng)執(zhí)行/etc/profile。
(3)令修改open files的數(shù)值永久生效,則必須修改配置文件:/etc/security/limits.conf 在這個(gè)文件后加上:
* soft nofile 102400
* hard nofile 102400
這種方法需要重啟機(jī)器才能生效。 (第三種測(cè)試無效,建議第二種)
權(quán)限問題:
sudo chown -R sea:sea ./fe
sudo chown -R sea:sea ./be
環(huán)境:Ubuntu16.04 jdk8
doris編譯:
## 1. 開啟
```bash
docker run -d -it
--name doris
--net=host
-v /volume1/doris/incubator-doris:/root/incubator-doris/ apachedoris/doris-dev:build-env-1.2
docker exec -it 514efb88fa99 bash
```
## 2. 修改
```bash
vim /usr/share/maven/conf/settings.xml
```
```xml
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
```
## 3. 下載
```bash
git clone https://github.com/apache/incubator-doris.git
建議直接下載:https://github.com/baidu-doris/incubator-doris/releases sudo docker cpincubator-doris-DORIS-0.13.12-release.tar.gz 10fc0e2c0608:/root/
```
## 4. 編譯
```bash
sh build.sh
```
編譯完成后,產(chǎn)出文件在output/目錄中。
IP 綁定
因?yàn)橛卸嗑W(wǎng)卡的存在,或因?yàn)榘惭b過 docker 等環(huán)境導(dǎo)致的虛擬網(wǎng)卡的存在,同一個(gè)主機(jī)可能存在多個(gè)不同的 ip。當(dāng)前 Doris 并不能自動(dòng)識(shí)別可用 IP。所以當(dāng)遇到部署主機(jī)上有多個(gè) IP 時(shí),必須通過 priority_networks 配置項(xiàng)來強(qiáng)制指定正確的 IP。
priority_networks 是 FE 和 BE 都有的一個(gè)配置,配置項(xiàng)需寫在 fe.conf 和 be.conf 中。該配置項(xiàng)用于在 FE 或 BE 啟動(dòng)時(shí),告訴進(jìn)程應(yīng)該綁定哪個(gè)IP。示例如下:
priority_networks=10.1.3.0/24 這配置可以使用 ip a 查看
這是一種CIDR的表示方法。FE 或 BE 會(huì)根據(jù)這個(gè)配置項(xiàng)來尋找匹配的IP,作為自己的 localIP。
注意:當(dāng)配置完 priority_networks 并啟動(dòng) FE 或 BE 后,只是保證了 FE 或 BE 自身的 IP 進(jìn)行了正確的綁定。而在使用 ADD BACKEND 或 ADD FRONTEND 語(yǔ)句中,也需要指定和 priority_networks 配置匹配的 IP,否則集群無法建立。舉例:
BE 的配置為:priority_networks=10.1.3.0/24
但是在 ADD BACKEND 時(shí)使用的是:ALTER SYSTEM ADD BACKEND "192.168.0.1:9050";
則 FE 和 BE 將無法正常通信。
這時(shí),必須 DROP 掉這個(gè)添加錯(cuò)誤的 BE,重新使用正確的 IP 執(zhí)行 ADD BACKEND。
FE 同理。
BROKER 當(dāng)前沒有,也不需要 priority_networks 這個(gè)選項(xiàng)。Broker 的服務(wù)默認(rèn)綁定在 0.0.0.0 上。只需在 ADD BROKER 時(shí),執(zhí)行正確可訪問的 BROKER IP 即可。
單 FE 部署 建議結(jié)合官網(wǎng)文檔:http://doris.incubator.apache.org/master/zh-CN/installing/install-deploy.html
編譯doris: 見上面
安裝位置:
/opt/doris
配置文件
(需要?jiǎng)?chuàng)建 palo-meta文件夾)
cd fe
mkdirdoris-meta
1) Fe.conf
meta_dir = ${DORIS_HOME}/doris-meta
http_port = 18030
rpc_port = 9020
query_port = 9030
edit_log_port = 9010
priority_networks=192.168.18.129/24
2) be.conf
be_port = 9060
be_rpc_port = 9070
webserver_port = 18040
heartbeat_service_port = 9050
brpc_port = 18060
storage_root_path = /storage1/be/data;/storage2/be/data;/storage3/be/data
#storage_root_path = ${DORIS_HOME}/storage
priority_networks=192.168.18.129/24
3) 創(chuàng)建目錄
mkdir -p /storage1/be/data /storage2/be/data /storage3/be/data
啟動(dòng)fe
cd /opt/doris/fe
sh bin/start_fe.sh --daemon
FE進(jìn)程啟動(dòng)進(jìn)入后臺(tái)執(zhí)行。日志默認(rèn)存放在 fe/log/ 目錄下。如啟動(dòng)失敗,可以通過查看 fe/log/fe.log 或者 fe/log/fe.out 查看錯(cuò)誤信息。
連接fe
mysql -h host -P 9030 -uroot
修改root 用戶密碼 (如果需要 ): > set password for 用戶名@localhost = password('新密碼');
其中 host 為 FE 所在節(jié)點(diǎn) ip;port 為 fe/conf/fe.conf 中的 query_port;默認(rèn)使用 root 賬戶,無密碼登錄。
添加be
ALTER SYSTEM ADD BACKEND “host1:9050”;
ALTER SYSTEM ADD BACKEND “host2:9050”;
ALTER SYSTEM ADD BACKEND “host3:9050”;
(
如果使用多組戶功能,則執(zhí)行以下命令添加BE:
ALTER SYSTEM ADD FREE BACKEND “host:port”;
)
其中 host 為 BE 所在節(jié)點(diǎn) ip;port 為 be/conf/be.conf 中的 heartbeat_service_port。
BE 進(jìn)程將啟動(dòng)并進(jìn)入后臺(tái)執(zhí)行。日志默認(rèn)存放在 be/log/ 目錄下。如啟動(dòng)失敗,可以通過查看 be/log/be.log 或者 be/log/be.out 查看錯(cuò)誤信息。
查看BE狀態(tài)
使用 mysql-client 連接到 FE,并執(zhí)行SHOW PROC '/backends';查看 BE 運(yùn)行情況。如一切正常,isAlive列應(yīng)為true。
啟動(dòng)be
cd /opt/doris-0.9.0/be
sh bin/start_be.sh
顯示fe與be狀態(tài)
show proc "/frontends";
show proc "/backends";
fe高可用部署 :http://doris.incubator.apache.org/master/zh-CN/installing/install-deploy.html#%E9%9B%86%E7%BE%A4%E9%83%A8%E7%BD%B2
總結(jié)
以上是生活随笔為你收集整理的Doris 初识 -安装的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: AutoCAD 2008如何绘制环形弹簧
- 下一篇: Windows下获取CPU频率