基本信息： 姓 名：XXX 性 別：X 目前所在地：XXXXXX 電話：XXXXXXXX 郵箱：XXXXXXXX@163.com 英語：六級 學歷：2008.09 – 2010.12 中國科學技術大學 軟件工程 碩士 專業技能： 1. 熟悉 Java、Scala、Python 編程語言； 2. 熟悉大數據開發框架，熟悉運用 Hive、Spark、Flink、Hbase、Impala、Kylin、Flume、ClickHouse 等大數據主流工具和技術； 3. 熟悉Kafka消息中間件，進行日志采集，并和Spark/Flink整合使用，進行數據的實時處理； 4. 熟悉Redis內存數據庫，能搭建Redis高可用集群及其編程； 5. 熟悉 Oozie、Azkaba、Kettle 任務調度組件的使用，能獨立編寫 Oozie、Azkaban 和 Kettle 任務調度腳本。 大數據開發工作經驗： 2020/03 -- 2020/12 深圳同為數碼科技股份有限公司 大數據軟件工程師 2017/07 -- 2019/12 平安科技（深圳）有限公司 資深軟件工程師 2016/07 -- 2017/06 文思海輝技術有限公司（微眾銀行外包） 高級軟件工程師 軟件開發工作經驗： 2015/07 -- 2016/06 文思海輝技術有限公司（微眾銀行外包） 高級軟件工程師 2014/02 -- 2015/06 佳都新太科技股份有限公司 Linux c++軟件工程師 2011/02 -- 2014/02 普拉普斯微電子技術有限公司 中級軟件工程師 項目經驗： 項目一：同銳智能制造自動化測試大數據監控平臺 項目架構：MySQL+Oracle+OGG+Canal+Kafka+StructedStreaming+Kudu+ClickHouse+Impala+Azkaban 項目描述： 該項目與公司 MES 系統結合，開發基于大數據的監控平臺。項目使用 Spark 技術，結合 Kafka、Kudu、Impala、 ClickHouse 等大數據組件，完成業務數據的實時 ETL 開發、Kudu 離線數倉開發、Impala 整合 Kudu 完成即席查詢 模塊開發以及 ClickHouse 實時 OLAP 分析。通過對生產物料、產品產量、良率、產品缺陷類型比率和設備稼動等指 標的監控，有利于節約物料成本、在生產過程中及時調整生產，提高品良，指導設備維護。 工作內容： 1. 使用 Cannal、OGG 實時采集 Mysql、Oracle 事實表和維度表增量數據到 Kafka 中；2. 通過 StructuredStreaming 實時消費 Kafka 中主題數據，解析 Kafka 中數據格式與 kudu 中的表結構映射，將數 據寫入 kudu 數據庫； 3. Kudu 離線數倉開發。Kudu 離線數倉分層為 ODS、DWD、DWS 層，使用 Sparksql 對 ODS 層數據進行拉寬到 DWD 層， 對 DWD 層數據進行聚合計算，完成 生產物料、產品量、良率缺陷類型占比和設備稼動等指標開發； 4. 使用 Azkaban 進行 Kudu 離線數倉定時任務調度； 5. Impala 整合 Kudu，在 Hue 可視化頁面使用 Impala Sql 進行即席查詢進行即席查詢模塊開發； 6. 使用 SparkSql 在 ClickHouse 中進行產品量、良率缺陷類型占比和設備稼動等指標的實時 OLAP 分析。 項目二：平安好學智慧教育平臺用戶畫像系統 項目架構：MySQL+SpringBoot+HBase+ SparkSQL+SparkMllib +Oozie 項目描述： 該項目是用于全方位的了解平臺用戶的特征屬性和行為屬性，為實現提高用戶的學習體驗和實現精準營銷推廣提供數 據支持。項目使用 BulkLoad 批量導入 Hive 數據倉庫中的業務數據到 HBase 中，通過 SpringBoot 搭建的 WebUI 界面進行統一的標簽管理，通過 Oozie 進行任務的調度。通過 SparkSQL 從 4 級標簽中獲取 Intype 業務數據源數 據，加載 HBase 中的業務數據，使用 SparkSQL 結合從 5 級標簽數據進行規則類標簽和統計類標簽的分析，使用 SparkSQL 結合 SparkMllib 完成對挖掘類標簽的分析計算，將分析得到的標簽數據保存在 HBase 中。根據業務需求 完成了用戶性別標簽、用戶年齡段標簽等規則類標簽的統計分析和 PSM 用戶價格敏感度標簽、RFM 用戶活躍度標簽 等挖掘類標簽的分析計算，全面的分析了用戶的特征屬性和消費行為，為實現精準營銷提供數據支持。 工作內容： 1. 根據業務需求，協助前端完成 SpringBoot 創建 1-5 級標簽； 自定義數據源，將 Hive 離線數倉中的數據以 Hfile 的形式轉移到 HBase 中，如日志-訂單數據； 2. 負責規則匹配類和統計類標簽開發，讀取 MySQL 數據源的 4 級標簽的業務數據源數據，加載 HBase 中的業務數 據，結合 5 級標簽中的數據使用 SparkSQL 計算引擎完成標簽的開發，將標簽的結果數據保存到 HBase 中； 3. 根據業務需求，負責對挖掘類標簽的數據進行特征工程處理，使用機器學習的算法如 DecisionTree 算法、 RandomForest 算法等構建機器學習的模型，如 PSM 模型和 RFE 模型等； 4. 負責使用 SparkMllib 進行機器學習模型的訓練、預測、檢驗等，完成挖掘類標簽如用戶價格敏感度、用戶活躍度 等標簽的計算，將標簽的結果保存到 HBase 中； 5. 負責使用交叉驗證和網格搜索完成超參數的訓練，優化機器學習的模型； 6. 完成編寫任務調度，使用 Oozie 對工作流進行調度監控。 項目三：平安銀行金融產品實時統計分析系統 技術架構：FlinkStreaming+Zookeeper+Flume+Kafka+Canal+Redis+Mysql+Hbase+Driud+SuperSet 項目描述： 該項目通過對數據庫交易數據實時同步，監控網站實時交易情況，以提高網站交易情況監控的時效性，降低網站運行 的風險，以及產品的風險控制。通過對網站和 APP 的數據進行實時的獲取，來可以幫助管理員、運營人員、推廣人員 等實時獲取網站信息，從流量來源、網站 APP 內容、網站 APP 訪客特性等多方面提供網站 APP 分析的數據依據。項 目通過 Flink 大數據技術，實現在不同推廣活動中數據的實時觀察分析，從而幫助提高產品流量，提升用戶體驗，讓 訪客更多的沉淀下來變成會員或客戶，通過更少的投入獲取最大化的收入。項目通過對金融數據的挖掘、分析，創造數據增值價值，提供針對銀行的精準營銷、統一發布廣告、業務體驗優化、客戶綜合管理、風險控制等多種金融服 務。 工作內容： 1. 使用 Canal 將 MySQL 中的維度數據全量導入 Redis 中,以及通過 Canal 進行和 Kafka、Redis 的實時同步； 2. 從 Kafka 中拉取數據用 Flink 進行 ETL 處理，完成運營和產品等指標，數據落地 Kafka 和 HBase； 3. 使用 Flink CEP 整合風控系統； 4. Driud 進行指標分析,包括充值、提現、身份認證等業務指標。 項目四：微眾銀行批處理任務調度服務端軟件開發與實現 開發環境：Linux + Git + Gdb 項目描述： 銀行批處理任務調度軟件支持銀行柜面和各外圍系統完成業務處理、記載會計賬務、產生業務報表，提供決策數據的 計算機應用系統。作為銀行存款、貸款賬務處理的重要組成部分，關于存款、貸款賬戶的業務操作是在任務調度系統 中完成的。其主要業務包括：客戶信息管理、存款業務、貸款業務、總賬以及對這些存、貸款賬戶的日間操作等。由 于批處理任務調度是一個后臺系統，因此對它的訪問都是通過前端的各類服務渠道進行的。無論客戶的交易是來自柜 員系統、ATM/POS 還是其它方式，如電話銀行、網上銀行、客戶服務中心等，該交易都會被傳遞到后臺的核心業務 系統，進行有關客戶賬和總賬的更新。 任務調度系統軟件是多進程 Linux 服務程序，服務端包括 tss_ctl(接受控制指令) 、tss_sch（接受批量任務）、 tss_rmb（接收 RMB 指令）、tss_sync（接收同步指令）等幾部分，各模塊間通過網絡進行通信。 工作內容： 1. 負責完善各軟件邏輯業務實現； 2. 參與軟件研發過程，控制軟件產品質量； 3. 參與軟件研發過程，協助測試和運維人員完成軟件測試和部署維護。 項目五：IP camera 服務端軟件開發與實現 開發環境：Linux + Svn + NetBeans + Gdb/myddd + Valgrind 項目描述： 該項目是通過 BOSS 端下發注冊綁定信息到服務端，服務端將信息處理后發送到其他服務程序，主要是 IP camera 服 務端軟件與終端（IOS，Andorid 、PC）、其他服務端（BOSS 業務運營支撐系統、云存儲系統、華為 IMS 網元的統 一業務發放系統）業務交互實現。 工作內容： 1. 負責設計大并發和高負載的網絡服務端和業務邏輯； 2. 服務器業務邏輯的開發，主要包括注冊服務，登錄，相機基本參數添加修改、相機綁定、解綁、增刪改以及其他協 議開發； 3. 性能和內存檢測對程序進行 performance 和 memory 優化； 4. 按照研發流程要求，控制軟件產品質量，按時完成軟件詳細設計、代碼實現、集成測試。 項目六：Nanospice 千兆級集成電路分析軟件開發與實現開發環境：Linux + Svn/Git + NetBeans + Gdb/myddd +Valgrind 項目描述： Nanospice 千兆級電路仿真軟件是一款大規模集成電路后仿真數值分析軟件，主要用于分析集成電路電流、功率、電 壓、電容計算輸出直流分析、交流分析，瞬態分析、噪聲分析、傅里葉分析、失真分析、靈敏度分析、直流掃描分析 等功能。 工作內容： 1. EDA 數值分析軟件核心部分數據建立與優化，及其與其他部分的交互等； 2. 維護公司現有核心產品組件,Bug 修改測試等； 3. 參與軟件研發過程，控制軟件產品質量； 4. 性能和內存檢測對程序進行 performance 和 memory 優化； 5. 開發與測試進度管理。 項目七：基于 Linux 的智能網絡攝像機 項目描述： 基于 Hi3516CV500 處理器體系結構、視頻編解碼流程的視頻攝像機系統。主要內容包括應用應用程序編寫、 Bootloader 移植，Linux 操作系統內核裁剪，內核移植，根文件系統制作。 工作內容： 根據需求，主要完成如下五部分功能的開發工作 1. 視頻處理部分：讀取參數，數據通過管道傳輸，經過算法處理后通過網絡發送； 2. 配置管理部分：IPC 產品的設備啟動、配置、應用程序、管理、升級軟件等邏輯功能開發； 3. 業務管理部分：與網絡平臺之間協議的解析與執行，模塊功能實現； 4. 注冊管理部分：網絡中客戶端的注冊和確認登陸等功能； 5. 與 web 端交互：音頻、視頻參數、智能算法，報警輸入輸出、郵件、智能事件配置、云臺、時間日期、網絡、錄 像、遠程在線升級等功能。 自我評價： 1. 有較強的學習能力，善于接受新技術 2. 有良好的適應能力，能承受一定壓力 3. 具有自信心，工作積極主動、認真負責 4. 具有良好的分析解決問題能力及團隊合作精神

總結

以上是生活随笔為你收集整理的真实大数据简历模版的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。