摘要：?為了更好的了解日志采集，這里我們首先對(duì)日志采集中遇到的基本概念進(jìn)行簡(jiǎn)要的介紹。

Logtail相關(guān)概念

為了更好的了解日志采集，這里我們首先對(duì)日志采集中遇到的基本概念進(jìn)行簡(jiǎn)要的介紹。

概念介紹

• 項(xiàng)目：?項(xiàng)目（Project）是日志服務(wù)中的資源管理單元，用于資源隔離和控制。您可以通過項(xiàng)目來管理某一個(gè)應(yīng)用的所有日志及相關(guān)的日志源。它管理著用戶的所有日志庫（Logstore），采集日志的機(jī)器配置等信息，同時(shí)它也是用戶訪問日志服務(wù)資源的入口。
• 日志庫：?日志庫（Logstore）是日志服務(wù)中日志數(shù)據(jù)的采集、存儲(chǔ)和查詢單元。每個(gè)日志庫隸屬于一個(gè)項(xiàng)目，且每個(gè)項(xiàng)目可以創(chuàng)建多個(gè)日志庫。
• Logtail客戶端：?Logtail是一款執(zhí)行日志收集工作的Agent，一般安裝在需要收集日志的服務(wù)器上，作為獨(dú)立軟件運(yùn)行。
• 機(jī)器組：?一個(gè)機(jī)器組包含一或多臺(tái)需要收集一類日志的機(jī)器。通過綁定一組Logtail配置到一個(gè)機(jī)器組，可以讓日志服務(wù)根據(jù)同樣的Logtail配置采集一個(gè)機(jī)器組內(nèi)所有服務(wù)器上的日志。
• 采集配置：?是Logtail收集日志的策略集合，采集配置一般包括需要采集的數(shù)據(jù)源、解析方式、過濾方式等參數(shù)，所有采集配置均在控制臺(tái)進(jìn)行管理。

各概念間關(guān)系

日志庫直接負(fù)責(zé)日志存儲(chǔ)，所有Logtail采集的數(shù)據(jù)最終都會(huì)存儲(chǔ)到日志庫中。

日志庫由項(xiàng)目進(jìn)行管理，項(xiàng)目和日志庫的關(guān)系類似于數(shù)據(jù)庫和表之間的關(guān)系。

一個(gè)日志庫中可包含多個(gè)不同的采集配置，日志庫下的采集配置默認(rèn)將數(shù)據(jù)采集到該日志庫。

采集配置并不直接應(yīng)用于Logtail客戶端，而是應(yīng)用于中間層的機(jī)器組，便于大規(guī)模集群和應(yīng)用的靈活管理。

一個(gè)Logtail可屬于多個(gè)機(jī)器組，一個(gè)機(jī)器組可包含多個(gè)Logtail，實(shí)現(xiàn)Logtail與機(jī)器組的解耦。

一個(gè)采集配置可應(yīng)用到多個(gè)機(jī)器組，一個(gè)機(jī)器組可關(guān)聯(lián)多個(gè)采集配置，實(shí)現(xiàn)機(jī)器組與采集配置的解耦。

安裝配置流程

Logtail的安裝配置流程相對(duì)比較簡(jiǎn)單，如果日志服務(wù)和ECS在同一賬號(hào)下，則只需5個(gè)步驟即可實(shí)現(xiàn)采集。

• 日志服務(wù)已經(jīng)和ECS打通，可自動(dòng)獲取ECS對(duì)應(yīng)的owner信息，因此不需要設(shè)置aliuid信息。

安裝Logtail

ECS安裝

購買一臺(tái)ECS

根據(jù)ECS所在區(qū)域選擇Logtail安裝腳本（參見Logtail安裝指南）

• 例如華東1的經(jīng)典網(wǎng)絡(luò)，使用wget http://logtail-release.oss-cn-hangzhou-internal.aliyuncs.com/linux64/logtail.sh; chmod 755 logtail.sh; sh logtail.sh install cn_hangzhou

使用/etc/init.d/ilogtaild status檢查Logtail運(yùn)行狀態(tài)，如輸出ilogtail is running表示安裝成功

自建主機(jī)安裝

選擇任意公網(wǎng)Logtail安裝腳本（參見Logtail安裝指南）

• 例如選擇華東1公網(wǎng)安裝，使用wget http://logtail-release.oss-cn-hangzhou.aliyuncs.com/linux64/logtail.sh; chmod 755 logtail.sh; sh logtail.sh install cn_hangzhou_internet

使用/etc/init.d/ilogtaild status檢查Logtail運(yùn)行狀態(tài)，如輸出ilogtail is running表示安裝成功

配置賬號(hào)標(biāo)識(shí)文件（參見非本人ECS/線下機(jī)器，配置完成后無需重啟Logtail）

配置

創(chuàng)建項(xiàng)目和日志庫

在阿里云官網(wǎng)產(chǎn)品中選擇日志服務(wù)或直接點(diǎn)擊進(jìn)入日志服務(wù)控制臺(tái)，若您當(dāng)前沒有開通，會(huì)提示您開通日志服務(wù)，點(diǎn)擊開通。

點(diǎn)擊創(chuàng)建Project按鈕，地域(Region)中選擇Logtail安裝時(shí)所選的地域，例如選擇華東1（杭州）。

Project創(chuàng)建成功后會(huì)提示創(chuàng)建Logstore，點(diǎn)擊創(chuàng)建；這里我們輸入Logstore名稱，其他參數(shù)無需修改，點(diǎn)擊確認(rèn)。

創(chuàng)建采集配置

Logstore創(chuàng)建完畢后，會(huì)提示進(jìn)行數(shù)據(jù)接入。如下圖所示，可通過三個(gè)入口創(chuàng)建采集配置：

在彈出的數(shù)據(jù)接入頁面中，我們選擇自定義數(shù)據(jù)中的文本文件接入。

在采集配置中我們選擇極簡(jiǎn)模式，日志路徑中的文件夾和文件名分別輸入/var/log和message，點(diǎn)擊下一步。

創(chuàng)建機(jī)器組并應(yīng)用

配置頁面點(diǎn)擊下一步后，會(huì)提示您選擇機(jī)器組，這里我們點(diǎn)擊創(chuàng)建機(jī)器組。

機(jī)器組配置頁面中選擇IP地址類型的機(jī)器組，IP輸入ECS的內(nèi)網(wǎng)IP（Logtail獲取的IP地址可通過cat /usr/local/ilogtail/app_info.json查看）

保存機(jī)器組后，勾選該機(jī)器組并點(diǎn)擊應(yīng)用到機(jī)器組。后續(xù)設(shè)置無需關(guān)心，直接點(diǎn)擊下一步。

查看日志

此時(shí)采集配置已經(jīng)創(chuàng)建完畢，您可以嘗試退出重新登錄主機(jī)或輸入命令echo "test message" >> /var/log/message，這時(shí)本地/var/log/message文件會(huì)有新的日志產(chǎn)生，Logtail就會(huì)采集到這些數(shù)據(jù)了。

點(diǎn)擊日志庫頁面的預(yù)覽或查詢鏈接，即可看到Logtail采集上來的日志了。

原文鏈接

干貨好文，請(qǐng)關(guān)注掃描以下二維碼：

總結(jié)

以上是生活随笔為你收集整理的Logtail从入门到精通（二）：开启日志采集之旅的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。