阿里云Elasticsearch搜索
一.ES介紹
1.ES全稱Elasticsearch,是一種分布式,文檔數據庫。能夠迅速擴展,存儲以及處理PB級別數據,可以在段時間內做海量數據的查詢,分析,搜索。
(1)分布式:es集群是由多個節點組成的。
(2)文檔數據庫:es的數據存儲形式是文檔,數據以文檔形式存儲在索引里,es中的索引類似mysql數據庫中的表。
ES存儲文檔數據舉例:
{
????"name":"段嬌",
????"sex":1,
????"age":24
}
二.阿里云ES介紹
? ? ? ?阿里云ES服務是基于開源elasticsearch研發的全托管的es服務,完全兼容開源功能,開箱即用,按需計費。不僅集成了elasticsearch,logstash,kibana,beats等組件,還集成了商業版X-pack擴展包的sql,告警,監控等功能。
? ? ? ?阿里云的ES版本包括:
通用商業版:提供全托管的ES服務,100%開源,同時包含全部X-pack高級特性。支持的版本較多。用于數據分析和數據搜索場景。
日志增強版:在高級特性基礎上,優化增加了內核及插件,提供更好性能,更高穩定性,和更低成本。用于海量日志存儲場景。
? ? ? ? 其中ES中的組件包括:
logstash:數據處理管道
數據節點:存儲索引數據,對文檔進行增刪改查。
kibana節點:可視化界面,管理es數據庫。
專有主節點:對集群進行操作,例如創建刪除索引,默認情況下任一節點會被選為專有主節點。
冷數據節點:存儲冷數據,用于冷熱數據分離。
協調節點:分擔數據節點CPU開銷,如果業務是CPU密集型業務,可以購買協調節點。
彈性節點:提供彈性擴縮功能,在業務高峰期增加資源,低峰期減少資源。
beats:數據采集
三.ES與mysql區別
| 對比項 | mysql | ES |
| 數據庫類別 | 關系型數據庫 | 分布式文檔數據庫 |
| 存儲類型 | 結構化數據,表 | 非結構化數據,文檔 |
| 存儲量 | TB | PB |
| 數據處理能力 | 事務,二級索引 | 全文檢索 |
| 應用場景 | 核心業務,結構化數據存儲 | 文檔數據,日志海量存儲分析 |
四.ES應用場景
1.日志分析,elk三件套搭建日志收集分析平臺。
2.信息檢索,es用于PB級數據快速檢索,查詢。
3.數據智能,es用于大數據分析
五.ES使用
1.ES遷移
2.數據庫同步
3.大數據云產品同步
4.存儲產品遷移
5.ES-Hadoop使用
6.日志采集與分析
7.服務器數據采集
8.集群管理
六.RDS同步到ES
| 同步方式 | 原理 | 場景 | 限制 |
| DTS | binlog日志同步,毫秒級 | 實時性要求高 | 占用數據庫資源,需要購買DTS實例 |
| logstas | Logstash批量查詢數據并存儲到es,秒級延遲 | 同步全量數據,接收秒級延遲 | |
| dataworks離線數據同步 | 引入RDS結構化數據,進行轉化然后存儲到es | 接收離線同步 |
總結
以上是生活随笔為你收集整理的阿里云Elasticsearch搜索的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: icon图标库
- 下一篇: (1.5.1.3)编程之美:一摞烙饼的排