當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

fastdfs 集群 java_FastDFS集群部署(转载写的比较好)

發布時間：2023/12/3 编程问答 35 豆豆

生活随笔收集整理的這篇文章主要介紹了 fastdfs 集群 java_FastDFS集群部署(转载写的比较好) 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

之前介紹過關于FastDFS單機部署，詳見博文：FastDFS+Nginx(單點部署)事例

下面來玩下FastDFS集群部署，實現高可用(HA)

服務器規劃：

跟蹤服務器1【主機】(Tracker Server)：192.100.139.121

跟蹤服務器2【備機】(Tracker Server)：192.100.139.122

存儲服務器1(Storage Server)：192.100.139.121

存儲服務器2(Storage Server)：192.100.139.123

存儲服務器3(Storage Server)：192.100.139.124

操作系統：CentOS7

用戶：root

數據存儲目錄：

應用

安裝目錄

Nginx

/opt/nginx

Fastdfs

/usr/bin

Keepalived

/usr/local

安裝包

/home/yxgly/resources

è /usr/local/src

Tracker_data

/fastdfs/tracker

Storage_data

/fastdfs/storage

安裝包：

FastDFS_v5.08.tar.gz：FastDFS源碼

libfastcommon-master.zip：(從 FastDFS 和 FastDHT 中提取出來的公共 C 函數庫)

fastdfs-nginx-module-master.zip：storage節點http服務nginx模塊

nginx-1.10.0.tar.gz：Nginx安裝包

ngx_cache_purge-2.3.tar.gz：圖片緩存清除Nginx模塊(集群環境會用到)

點擊這里下載所有安裝包

下載完成后，將壓縮包解壓到/usr/local/src目錄下

一、所有tracker和storage節點都執行如下操作

1、安裝所需的依賴包

yum install make cmake gcc gcc-c++

2、安裝libfatscommon

cd /usr/local/src

#安裝unzip 命令： yum install -y unzip zip

unzip libfastcommon-master.zip

cd libfastcommon-master

## 編譯、安裝

./make.sh

./make.sh install

3、安裝FastDFS

cd /usr/local/src

tar -xzvf FastDFS_v5.08.tar.gz

cd FastDFS

./make.sh

./make.sh install

采用默認安裝方式，相應的文件與目錄檢查如下：

1>服務腳本：

/etc/init.d/fdfs_storaged

/etc/init.d/fdfs_trackerd

2>配置文件(示例配置文件)：

ll /etc/fdfs/

-rw-r--r-- 1 root root 1461 1月 4 14:34 client.conf.sample

-rw-r--r-- 1 root root 7927 1月 4 14:34 storage.conf.sample

-rw-r--r-- 1 root root 7200 1月 4 14:34 tracker.conf.sample

3>命令行工具(/usr/bin目錄下)

ll /usr/bin/fdfs_*

-rwxr-xr-x 1 root root 260584 1月 4 14:34 fdfs_appender_test

-rwxr-xr-x 1 root root 260281 1月 4 14:34 fdfs_appender_test1

-rwxr-xr-x 1 root root 250625 1月 4 14:34 fdfs_append_file

-rwxr-xr-x 1 root root 250045 1月 4 14:34 fdfs_crc32

-rwxr-xr-x 1 root root 250708 1月 4 14:34 fdfs_delete_file

-rwxr-xr-x 1 root root 251515 1月 4 14:34 fdfs_download_file

-rwxr-xr-x 1 root root 251273 1月 4 14:34 fdfs_file_info

-rwxr-xr-x 1 root root 266401 1月 4 14:34 fdfs_monitor

-rwxr-xr-x 1 root root 873233 1月 4 14:34 fdfs_storaged

-rwxr-xr-x 1 root root 266952 1月 4 14:34 fdfs_test

-rwxr-xr-x 1 root root 266153 1月 4 14:34 fdfs_test1

-rwxr-xr-x 1 root root 371336 1月 4 14:34 fdfs_trackerd

-rwxr-xr-x 1 root root 251651 1月 4 14:34 fdfs_upload_appender

-rwxr-xr-x 1 root root 252781 1月 4 14:34 fdfs_upload_file

二、配置tracker服務器

1、復制tracker樣例配置文件，并重命名

cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

2、修改tracker配置文件

vim /etc/fdfs/tracker.conf

# 修改的內容如下：

disabled=false # 啟用配置文件

port=22122 # tracker服務器端口(默認22122)

base_path=/fastdfs/tracker # 存儲日志和數據的根目錄

store_group=group1

其它參數保留默認配置，具體配置解釋可參考官方文檔說明：http://bbs.chinaunix.net/thread-1941456-1-1.html

3、創建base_path指定的目錄

mkdir -p /fastdfs/tracker

4、防火墻中打開tracker服務器端口( 默認為 22122)

vi /etc/sysconfig/iptables

附加：若/etc/sysconfig 目錄下沒有iptables文件可隨便寫一條iptables命令配置個防火墻規則：如：

iptables -P OUTPUT ACCEPT

然后用命令：service iptables save 進行保存，默認就保存到 /etc/sysconfig/iptables 文件里。這時既有了這個文件。防火墻也可以啟動了。接下來要寫策略，也可以直接寫在/etc/sysconfig/iptables 里了。

添加如下端口行：

-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT

重啟防火墻

service iptables restart

5、啟動tracker服務器

/etc/init.d/fdfs_trackerd start

初次啟動，會在/fastdfs/tracker目錄下生成logs、data兩個目錄。

drwxr-xr-x 2 root root 4096 1月 4 15:00 data

drwxr-xr-x 2 root root 4096 1月 4 14:38 logs

檢查FastDFS Tracker Server是否啟動成功：

ps -ef | grep fdfs_trackerd

三、配置storage服務器

1、復制storage樣例配置文件，并重命名

cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf

2、編輯配置文件

vi /etc/fdfs/storage.conf

# 修改的內容如下:

disabled=false # 啟用配置文件

port=23000 # storage服務端口

base_path=/fastdfs/storage # 數據和日志文件存儲根目錄

store_path0=/fastdfs/storage # 第一個存儲目錄

tracker_server=192.100.139.121:22122 # tracker服務器IP和端口

tracker_server=192.100.139.122:22122 #tracker服務器IP2和端口[Microsof1]

http.server_port=8888 # http訪問文件的端口

其它參數保留默認配置，具體配置解釋可參考官方文檔說明：http://bbs.chinaunix.net/thread-1941456-1-1.html

3、創建基礎數據目錄

mkdir -p /fastdfs/storage

4、防火墻中打開storage服務器端口( 默認為 23000)

vi /etc/sysconfig/iptables

#添加如下端口行：

-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT

重啟防火墻

service iptables restart

注：集群環境下

存儲節點只做存儲則只操作步驟三

5、啟動storage服務器

/etc/init.d/fdfs_storaged start

初次啟動，會在/fastdfs/storage目錄下生成logs、data兩個目錄。

drwxr-xr-x 259 root root 4096 Mar 31 06:22 data

drwxr-xr-x 2 root root 4096 Mar 31 06:22 logs

檢查FastDFS Tracker Server是否啟動成功：

[root@gyl-test-t9 ~]# ps -ef | grep fdfs_storaged

root 1336 1 3 06:22 ? 00:00:01 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf

root 1347 369 0 06:23 pts/0 00:00:00 grep fdfs_storaged

四、文件上傳測試(ip01)

1、修改Tracker服務器客戶端配置文件

cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf

vim /etc/fdfs/client.conf

# 修改以下配置，其它保持默認

base_path=/fastdfs/tracker

tracker_server=192.100.139.121:22122 # tracker服務器IP和端口

tracker_server=192.100.139.122:22122 #tracker服務器IP2和端口

2、執行文件上傳命令

#/usr/local/src/test.png 是需要上傳文件路徑

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/test.png

返回文件ID號：group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png

(能返回以上文件ID，說明文件已經上傳成功)

Or :

/usr/bin/fdfs_test /etc/fdfs/client.conf upload client.conf

五、在所有storage節點安裝fastdfs-nginx-module

1、fastdfs-nginx-module 作用說明

FastDFS通過Tracker服務器,將文件放在Storage服務器存儲,但是同組存儲服務器之間需要進入文件復制,有同步延遲的問題。假設Tracker服務器將文件上傳到了ip01,上傳成功后文件ID已經返回給客戶端。此時FastDFS存儲集群機制會將這個文件同步到同組存儲ip02,在文件還沒有復制完成的情況下,客戶端如果用這個文件ID在ip02上取文件,就會出現文件無法訪問的錯誤。而fastdfs-nginx-module可以重定向文件連接到源服務器取文件,避免客戶端由于復制延遲導致的文件無法訪問錯誤。(解壓后的fastdfs-nginx-module在nginx安裝時使用)

2、解壓?fastdfs-nginx-module_v1.16.tar.gz

cd /usr/local/src

tar -xzvf fastdfs-nginx-module_v1.16.tar.gz

3、修改 fastdfs-nginx-module 的 config 配置文件

cd fastdfs-nginx-module/src

vim config

將

CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/"

修改為:

CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

4、安裝編譯 Nginx 所需的依賴包

yum install gcc gcc-c++ make automake autoconf libtool pcre* zlib openssl openssl-devel

5、編譯安裝 Nginx (添加 fastdfs-nginx-module 模塊)

cd /usr/local/src/

tar -zxvf nginx-1.10.0.tar.gz

tar –zxvf ngx_cache_purge_2.3.tar.gz

cd nginx-1.10.0

./configure --prefix=/opt/nginx --add-module=/usr/local/src/fastdfs-nginx-module/src --add-module=/usr/local/src/ngx_cache_purge-2.3

make && make install

特別注意

很好的文檔，但是文中有一處還請大家特別注意。在

五 5、編譯安裝 Nginx (添加 fastdfs-nginx-module 模塊)

這個步驟執行

./configure --prefix=/opt/nginx --add-module=/usr/local/src/fastdfs-nginx-module/src --add-module=/usr/local/src/ngx_cache_purge-2.3

時，你的實際nginx的目錄已經到 /opt/nginx下，相應的配置也得在這下面修改。

/usr/local/src 目錄下得nginx還在·但是沒用了。。被這問題困擾了大半天·希望大家不要踩這個坑了

7、復制 fastdfs-nginx-module 源碼中的配置文件到/etc/fdfs 目錄,并修改

cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/

vi /etc/fdfs/mod_fastdfs.conf

修改以下配置:

connect_timeout=10

base_path=/tmp

tracker_server=192.100.139.121:22122 # tracker服務器IP和端口

tracker_server=192.100.139.122:22122 #tracker服務器IP2和端口

url_have_group_name=true #url中包含group名稱

#在最后添加 [group1]

group_name=group1

storage_server_port=23000

store_path_count=1

store_path0=/fastdfs/storage

8、復制 FastDFS 的部分配置文件到/etc/fdfs 目錄

cd /usr/local/src/FastDFS/conf

cp http.conf mime.types /etc/fdfs/

9、在/fastdfs/storage 文件存儲目錄下創建軟連接,將其鏈接到實際存放數據的目錄

ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00

10、配置 Nginx

user nobody;

worker_processes 1;

events {

worker_connections 1024;

}

http {

include mime.types;

default_type application/octet-stream;

sendfile on;

keepalive_timeout 65;

server {

listen 8888;

server_name 192.100.139.121;

location ~/group1/M00 {

ngx_fastdfs_module;

}

error_page 500 502 503 504 /50x.html;

location = /50x.html {

root html;

}

upstream storage_server_group1{

server 192.100.139.121:8888 weight=10;

server 192.100.139.123:8888 weight=10;

server 192.100.139.124:8888 weight=10;

}

說明：

A、8888 端口值是要與/etc/fdfs/storage.conf 中的 http.server_port=8888 相對應, 因為 http.server_port 默認為 8888,如果想改成 80,則要對應修改過來。

B、Storage 對應有多個 group 的情況下,訪問路徑帶 group 名,如/group1/M00/00/00/xxx, 對應的 Nginx 配置為:

location ~/group([0-9])/M00 {

ngx_fastdfs_module;

}

C、如查下載時如發現老報 404,將 nginx.conf 第一行 user nobody 修改為 user root 后重新啟動。

11、防火墻中打開 Nginx 的 8888 端口

vi /etc/sysconfig/iptables

添加:

-A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT

#重啟防火墻

service iptables restart

啟動nginx : /opt/nginx/sbin/nginx

(重啟 Nginx 的命令為:/opt/nginx/sbin/nginx -s reload)

六、驗證：通過瀏覽器訪問測試時上傳的文件

切換追蹤服務器IP同樣可以訪問

http://192.100.139.121:8888/group1/M00/00/00/CmSKtFj13gyAen4oAAH0yXi-HW8296.png

http://192.100.139.122:8888/group1/M00/00/00/CmSKtFj13gyAen4oAAH0yXi-HW8296.png

七、Java API 客戶端配置

2.在你的項目src/java/resources 下加入文件 fastdfs_client.conf

注意修改tracker服務器Ip地址

connect_timeout = 2

network_timeout = 30

charset = ISO8859-1

http.tracker_http_port = 8888

http.anti_steal_token = no

tracker_server=192.100.139.121:22122

tracker_server=192.100.139.122:22122

default_group_name=group1

總結

以上是生活随笔為你收集整理的fastdfs 集群 java_FastDFS集群部署(转载写的比较好)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇：闽icp备案查询（闽备案查询）
下一篇： java内部类选择题_java内部类详解

编程问答

fastdfs 集群 java_FastDFS集群部署(转载 写的比较好)

總結

fastdfs 集群 java_FastDFS集群部署(转载写的比较好)