介紹一些平時用得到的服務/組件

組件名屬性標簽特性使用場景

Mysql	關系型數據庫，行式存儲，支持sql	輕量級數據分析，存儲	hive的元數據，kettle的資源庫，web 應用后臺庫
Oracle	關系型數據庫，行式存儲，支持sql	中量級數據分析，存儲 。可分布式	BI（商業智能）
ES	分布式全文搜索引擎	ES自動可以將海量數據分散到多臺服務器上去存儲和檢索，支持海量數據進行近實時的全文檢索（like “%ABC%”）和結構化檢索（= “ABC” ）	站內搜索（電商，招聘，門戶等），IT系統（OA,CRM,ERP）；維基百科，GitHub
redis	高性能的key-value數據庫	讀寫性能極高，豐富的數據類型	結合storm的實時查詢分析，java高并發秒殺
memcache	基于內存	分布式的高速緩存系統，對于一些大型的、需要頻繁訪問數據庫的網站訪問速度提升效果十分顯著。	單點登錄頁面跳轉的時候，解決重復性登錄的問題。
Kafka	高吞吐量、低延遲：kafka每秒可以處理幾十萬條消息； 可擴展性：kafka集群支持熱擴展； 持久性、可靠性：消息被持久化到本地磁盤，并且支持數據備份防止數據丟失； 容錯性：允許集群中節點失敗（若副本數量為n,則允許n-1個節點失敗）； 高并發：支持數千個客戶端同時讀寫	一個分布式、支持分區的（partition）、多副本的（replica），基于zookeeper協調的分布式消息系統； 它的最大的特性就是可以實時的處理大量數據以滿足各種需求場景； 比如基于hadoop的批處理系統、低延遲的實時系統、storm/Spark流式處理引擎，web/nginx日志、訪問日志，消息服務等等； 用scala語言編寫	日志收集：可以用Kafka可以收集各種服務的log； 消息系統：解耦和生產者和消費者、緩存消息等； 用戶活動跟蹤：Kafka經常被用來記錄web用戶或者app用戶的各種活動，如瀏覽網頁、搜索、點擊等； 運營指標：Kafka也經常用來記錄運營監控數據； 流式處理：比如spark streaming和storm
ETL工具
Kettle	ETL工具	本地開發，通過資源庫同步在服務器執行	常用ETL工具之一
Sqoop	ETL工具	常規etl工具，可集群部署	mysql與hadoop數據遷移等
調度工具
azkaban	調度工具	處理有依賴關系的復雜任務調度，只支持mysql存儲基本信息	常用調度工具之一
crontab	linux自帶調度工具	簡單任務調度	適用日常少量調度

總結

以上是生活随笔為你收集整理的介绍一些平时用得到的服务/组件的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。