金融行業是經營風險的行業，風險控制能力是金融機構的核心競爭力。通常而言，金融機構一般是通過給客戶的信用狀況評分來計量貸款違約的可能性，并通過客戶的風險水平進行利率定價。

而傳統的信用測算主要是利用歷史借貸數據和財務數據對借款人的違約風險進行分析和判斷，這種方法盡管在很長一段時間內被廣泛的金融機構所使用，但此方法的評價標準單一，評估結果不夠全面，同時存在一定的滯后性，更為嚴重的是，這種基于歷史數據的評估方法無法對缺乏歷史借貸數據的借款人進行信用風險評估。近年來，金融機構紛紛尋找新的手段，借助新的技術，嘗試構建新的信用風險評估模型。

大數據風控技術正是隨著大數據處理技術、計算機科技和互聯網技術的出現和升級而產生的一種基于數據挖掘、機器學習等大數據建模方法的信用評估體系，目前被金融機構廣泛運用到貸前信審、反欺詐、貸后管理和追償清收等環節中。

一、銀行可利用的大數據有哪些？

大數據是指“無法在一定時間范圍內用常規工具進行捕捉、管理和處理的巨量數據集合”。與傳統數據集合相比，大數據不僅僅體現在規模大和復雜性，更為重要的是，大數據往往包含了大量的非結構化數據，包括圖片、視頻、語音、地理位置等，具有維度廣、時時更新等優勢。金融業，特別是銀行業，近年來由于業務積累和渠道搭建，聚集了大量數據，成為大數據應用的重要領域。

以銀行為例，目前銀行能夠利用的大數據主要包括以下幾個方面：

▲ 表1 目前銀行大數據來源及分類

二、銀行大數據管理方面存在哪些問題？

1）數據使用效率低：數據的加工和使用超強依賴IT人員，不能提供自助式數據服務。

2）外部數據雜亂：外部數據源越來越多，如微博、新聞媒體、淘寶、電商數據等，如何將這些外部數據整理、加工成可供行內正常使用的真實、準確的數據需進一步探索。

3）數據類型復雜：數據資源非結構化數據占有很大比重，且數據類型越來越復雜，如視頻文件、音頻文件、圖片文件、郵件等，傳統的Oracle，SQL Server等數據庫不能滿足該類數據的存儲、搜索和分析。

4）存在大量的數據孤島：銀行等金融機構存在不同類型的應用系統，數據被分散在各個應用系統的數據庫和文件系統中，導致數據不能有效的共享；跨系統的、綜合性的數據搜索、分析困難等。

顯然，上述數據管理方面存在的問題難以單純靠人工解決，那么如何有效地整合和利用銀行積累起來的大數據資源，讓大數據資源更高地為銀行的信用評估服務，這就需要搭建綜合型的大數據風控平臺。

三、大數據風控平臺應該是怎樣的？

大數據風控平臺是一款集大數據處理、OLAP分析、在線分析、離線分析、數據挖掘、數據模型、數據可視化展現于一體的綜合性大數據分析平臺，它提供了基于hadoop存儲、數據立方體預計算的OLAP可視化分析功能，使用戶通過托拉拽的簡單操作即可在亞秒級的時間內完成多維度、全方位的數據分析，并以多種可視化方式展示分析結果，集成了主流的數據挖掘算法和工具，幫助用戶快速建立數據挖掘模型。

大數據風控平臺的基本特征主要有三個：

1）大數據風控平臺能夠處理的數據種類多，維度更廣，大數據風控平臺不僅重視傳統的信貸變量，還可以分析借款主體的社交網絡信息等信息，能夠為信貸缺失的群體提供基本金融服務。

2）大數據風控平臺不僅僅關注歷史財務數據，還更加關注借款主體的行為數據，能夠在充分考察借款人借款行為背后的線索和線索之間的關聯性基礎上進行數據分析，降低貸款違約率。

3）大數據風控平臺對模型可以不斷迭代和動態調整。機器學習技術使得大數據風控平臺的風控模型可以將原始數據轉化成指標需要進行不斷的迭代，不同模型的權重值可以根據樣本進行動態調整，反過來也能不斷改進模型的評測效果。

四、大數據平臺的數據治理方案

搭建一款集數據采集、存儲、搜索、加工、分析為一體的大數據平臺，融合結構化數據、非結構化數據，實現了統一數據架構，對海量異構數據的存儲歸檔、信息組織、搜索訪問、安全控制、分析可視化，以及數據挖掘、數據治理等，如圖1所示。

▲ 圖1 銀行大數據平臺數據治理方案

1、數據分層

數據是分層次的，不同的數據其屬性、處理方式、價值都是不同的，如圖2所示：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

1）源數據：源數據是各個業務系統中生成的大量的業務生產數據，應加強備份和歸檔工作，防止數據的不完整和損壞。

2）歸檔數據：歸檔數據又稱為細節數據，平臺需要抓取所有的源數據進行歸檔，形成完整的數據庫。

3）整合數據：對細節數據進行整合，形成按照主題存放的匯總數據集市。

4）指標數據：針對客戶、員工、管理者，計算生成內容豐富的指標數據源，為進一步做數據挖掘準備豐富的數據源。

5）決策支持數據：用于決策分析系統、智能化分析系統數據，如客戶產品推薦、客戶細分、銷售預測、精準營銷等等。

▲ 圖2 不同數據層次的處理方案

2、數據整理

對于歷史數據來源于行內數據平臺或其他來自于數據庫的數據，行內數據可直接用ETL系統工具直接抽取數據，其他數據庫數據則可用Sqoop工具抽取，放入HBase通道中，從而滿足實時歷史數據的查詢需求，如圖3所示。

1）文件格式數據：直接使用行內ETL工具直接導入到大數據平臺中。

2）實時變更數據：建立專用通道，支持數據實時裝載到大數據平臺中。

▲ 圖3 行內數據和行外數據整理

3、抽取數據

對現有各種數據庫的各類數據進行清洗、轉換、并加載到大數據平臺。根據代碼標準，整合數據類別，形成數據覆蓋全面、標準化、規范化的數據集市。

4、數據倉庫

大數據平臺對結構化數據采用分布式技術的開源數據倉庫，支持各種報表軟件的訪問和第三方軟件集成，同時滿足結構化數據的計算和存儲。

5、加工數據

大數據平臺定義對數據的各種加工任務，主要表現在以下幾個方面：

• 數據集成：根據原有的數據生成新的數據；如根據關聯表格設置其他維度生成新的匯總表格等；

• 文件處理：將視音頻文件、圖片、郵件等轉換成識別文字；

• 挖掘數據：對平臺數據進行各類數據挖掘處理，如關聯分析，分類，聚類，回歸預測等；

• 計算指標：實時計算各類指標數據，如計算客戶的活躍度，價值，忠誠度等。

6、分析數據

大數據平臺以可視化方式呈現數據查詢、數據視圖、報表等。

五、銀行大數據風控平臺的建設方案

常見的大數據分析平臺架構有Hadoop、Spark、Storm、Samza等，而基于Hadoop構建大數據風控平臺具有分布式云存儲和云計算能力，提供了核心分布式數據倉庫、分布式列數據庫解決方案，還具有良好的擴展性，常用在銀行大數據風控平臺建設中。本文基于Hadoop搭建大數據硬件系統，結合JAVA開發，實現海量數據的分布式存儲和處理。

1、系統總體硬件框架圖

銀行大數據風控平臺是基于PC服務器部署，無需購買數據庫的軟件及硬件，實現小時級別的安裝部署。甚至實現數據并行傳輸、實時數據更新服務、查詢數據秒出結果等等，系統整體硬件框架如圖4所示。

1）分布式計算和存儲，根據數據量增大快速水平擴展。

2）面向多應用系統，多數據類型和多數據源，實現統一數據架構，融合結構化、半結構化、非結構化的數據，實現數據的安全控制和統一建模。

3）為其他應用系統提供API接口，實現第三方系統數據集成并提供各種數據服務。

4）以數據歸檔為核心，全面實現數據的全生命周期管理和全數據搜索、實時數據分析可視化以及交互式數據發現等。

5）支持傳統SQL結構化數據訪問和傳統BI軟件的集成。

▲ 圖4 大數據風控系統硬件框架圖

2、系統軟件架構

大數據風控平臺的軟件設計理念和技術，能夠解決海量數據容納問題、多業務數據源整合問題、多數據格式轉換問題等，如圖5所示。

1）整個系統軟件部分可基于JAVA開發，運行在Windows和Linux操作系統上，節點同時運行在物理機、虛擬機、Linux、Windows上。

2）所有后臺數據服務程序可直接運行在JVM上，實現靈活、高效的分布式運算。

3）用戶使用管理功能可基于J2EE開發，WEB用JSF2.0實現，可擴展性強，便于二次開發。

4）采用分布式存儲和搜索技術，數據集中平臺最根本的要求是處理海量的數據，高效融合結構化、半結構化、非結構化數據的管理。

▲ 圖5 大數據風控系統軟件架構

六、銀行大數據平臺產品應用

通過大數據平臺內置現成的客戶統一畫像，根據獲取實時數據，實現客戶精準畫像，通過遷移學習、機器深度學習理論，對客戶360度畫像，分析客戶行為習慣，甚至實現客戶精準營銷應用，智能推送優質客戶資源，嚴格控制風險。如圖6所示。

▲ 圖6 銀行大數據平臺產品應用

1、風險控制

銀行建立大數據風控平臺可用于信貸客戶的反欺詐分析、信用等級評估、貸后風險監測預警與催收等環節，嚴格進行風險防范；重點關注個人客戶或企業客戶在銀行體系內外的負面信息。

銀行體系內的負面信息包括：信用卡逾期、貸款逾期、黑名單信息等；銀行體系外的負面信息包括：P2P/小貸公司等黑名單信息、公檢法的訴訟案件信息、國家行政機關處罰信息(工商、稅務、一行三會、協會等)以及網上負面輿情(虛假宣傳、誤導消費者)等。從這些數據出發，全面評估個人客戶在銀行的風險等級，為銀行的風險防范提供決策支持。如圖7所示：

▲ 圖7 大數據平臺產品之風險控制

2、客戶畫像及用戶行為分析

通過大數據風控平臺將結構化數據、非結構化數據、半結構化數據統一存放在數據模型之中，并將外部數據與內部數據盡可能的匹配，實現對現有客戶更加全面、充分、詳盡分析，如圖8所示。

▲ 圖8 客戶全面行為特征分析和指標運算

為了滿足線上營銷和線下營銷相結合的場景，數據的進入根據營銷方式分為實時數據、批量數據、畫像指標數據、建立復雜網絡體系和客戶智能信用分模型。

1）實時數據：將客戶線上行為日志數據信息實時推送到大數據平臺，存入數據模型之中，實現數據標準化、統一化工作，并且對實時數據進行線上行為實時分析。

2）批量：每日定時將數據匯總到大數據平臺，存入數據模型庫中，實現數據標準化、統一化的工作，并對數據進行加工。

3）畫像、指標數據運算：根據預設的場景，進行客戶信息全面畫像和各項指標運算，從而獲得客戶的全面特征，以及產品特征。

4）構建復雜關系網絡體系，實現線上各業務通道場景互通，主要實現基金理財平臺、三方支付平臺、電商/O2O平臺、游戲平臺、銀行網申平臺的互通。

5）創建客戶智能信用分模型：以全網大數據為基礎，結合大數據風控平臺，以諸多業務驅動為導向，創建客戶智能信用分。輸入：身份證號，手機號；輸出：信用評分。

根據客戶的負債信息、穩定性、負面信息、行為偏好、還款能力、還款意愿等六個維度，結合客戶旅游、社交、支付、保險、基金、理財、電商、非銀信貸、O2O、銀行信息等全網各類數據信息，依據不同加權比重，建立客戶智能信用分。

3、大數據產品應用之精準營銷分析

通過深度學習理論和遷移學習理論對客戶進行精準分析，獲取客戶源，并進行理財產品的精準推薦。

1）線上實時營銷

使用數學模型算法，根據客戶或客戶群線上連續行為，自動校正客戶畫像或產品畫像之間的關聯情況分析，從而形成線上產品的推薦服務，產品推薦可按照客戶可能關心的內容放在醒目位置自動排序，從而有效提升客戶體驗。

2）線上交叉營銷

將不同產品或業務交叉推薦，根據客戶的交易記錄分析，識別小微企業客戶，然后用遠程銀行來實施交叉營銷。

3）線上個性化推薦

根據客戶的理財偏好、資產規模、年齡、工作等維度，分析其潛在的金融服務需求，進行有針對性的營銷推廣。

4）線下營銷

除了內部交叉營銷銷售、客戶忠誠度分析、向上銷售等傳統的分析性內容外，還需要利用大數據平臺，將行內數據與外部數據整合，建立精準營銷數學模型，尋找更多的營銷機會。

5）精準營銷模型建立

• 尋找理財客戶：利用大數據平臺篩選客戶資金在5萬及以上的儲蓄存款客戶，不定時的推送理財產品信息；對于行外客戶，借助于P2P平臺或第三方平臺推送的白名單客戶，可以為其提供理財服務，將資金留在本行。

• 尋找貸款客戶：結合行內數據、第三方房產網數據以及移動設備位置信息，通過數據平臺尋找可能購房或購車客戶群體，為其提供金融服務。

6）產品創新

通過對特定數據分析和提取、產品核算，對比各類客戶的產品使用率、收益率，結合互聯網輿情信息，對不同客戶群設計差異化的創新產品。

7）產品評價體系

根據產品評價指標建設評價模型，實現對產品的系統評分，獲取每個產品指標數據，可采用登記評分法對數據進行處理，反應每個產品的每項指標在組內產品的排序。

作者丨這里金融來源丨金融時代網（ID：jinrognshidai）
>>>>

活動推薦

10月19日，成都：中生代技術金融科技私享會，攜手京東、AWS、建信金科、新金融科技專家，聚焦金融科技創新與敏捷轉型熱門話題。

11月15日，廣州：Gdevops全球敏捷運維峰會將舉辦2019年度收官盛會，重點圍繞智慧運維、DevOps、數據庫領域，攜手阿里、騰訊、京東、新浪微博、甜橙金融、聯通大數據、微眾銀行、貝殼找房、新炬網絡等技術代表展開年度技術總結與發展趨勢展望，掃碼汲取全年技術精華。

? ? ? ??

#專注技術人的成長#

本文由程序員茶特約播出，400位互聯網一線CTO欽點正山小種紅茶，養胃提神減脂神器，秋季必備

總結

以上是生活随笔為你收集整理的银行大数据风控平台的建设要点与应用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。