人工智能与软件架构
本文轉(zhuǎn)自微信號EAWorld。掃描下方二維碼，關(guān)注成功后，回復(fù)“普元方法+”，將會獲得熱門課堂免費學(xué)習(xí)機會！
本文目錄：
一、人工智能（AI）的目標(biāo)是增強智能（IA），而不是替代人類
二、應(yīng)對軟件架構(gòu)分而治之帶來集成的挑戰(zhàn)，探索智能的連接
三、從智能連接入手探索在軟件架構(gòu)中應(yīng)用人工智能
四、總結(jié)
因為 AlphaGo 的出現(xiàn)，過去的 2016 年可謂是人工智能元年。記得當(dāng)時我們正在蘇州封閉研發(fā)The Platform，工作之余討論到人機對戰(zhàn)的真正意義，并不在于技術(shù)上的突破，而在于對人們固有知識的影響，人工智能的應(yīng)用會如雨后春筍般誕生，以后沒有人工智能的軟件你都不好意思開口了。
大家都在問，自己的工作與人工智能有什么關(guān)系，如何在自己的工作中應(yīng)用人工智能，如何在軟件中植入人工智能的基因，使用人工智能應(yīng)該從何處入手，學(xué)習(xí)人工智能應(yīng)該從哪里開始，更深層次的問題是人工智能能否代替人類，作為一個程序員，在人工智能能否代替人類寫程序的問題上，根據(jù)我們團隊的實踐介紹一下如何在軟件中應(yīng)用人工智能。
一、人工智能（AI）的目標(biāo)是增強智能（IA），而不是替代人類
人工智能并不是一個新概念，40年代維納的《控制論——關(guān)于在動物和機器中控制和通訊的科學(xué)》就是人工智能。但早年的人工智能受限于計算能力，更多在解決模型的計算速度和精度上，近年來隨著云計算技術(shù)的發(fā)展，計算能力提高了，隨著大數(shù)據(jù)的發(fā)展，更復(fù)雜的計算問題可以用更多的數(shù)據(jù)進行修正，人工智能的可用性大大提高。但是我們從目前人工智能應(yīng)用的情況可以看到，人工智能并不能替代人類，例如在圖像識別、語音方面的突破，僅僅是讓機器更加聰明而已，還遠遠沒有達到人類的程度，作為人類的智能助手更加合適。
理清人工智能、機器學(xué)習(xí)、深度學(xué)習(xí)、統(tǒng)計等基本概念之間的關(guān)系
把人工智能的方法應(yīng)用到軟件中，我們先梳理清楚幾個概念之間的關(guān)系：人工智能（Artificial Intelligence）是一個大的概念，是讓機器像人一樣思考甚至超越人類；而機器學(xué)習(xí)（Machine Learning）是實現(xiàn)人工智能的一種方法，機器學(xué)習(xí)最基本的做法，是使用算法來解析數(shù)據(jù)、從中學(xué)習(xí)，然后對真實世界中的事件做出決策和預(yù)測；深度學(xué)習(xí)（Deep learning）又是機器學(xué)習(xí)的一種實現(xiàn)方式，他是模擬人神經(jīng)網(wǎng)絡(luò)的方式，用更多的層數(shù)，更多的神經(jīng)元，然后給系統(tǒng)輸入海量的數(shù)據(jù)，來訓(xùn)練網(wǎng)絡(luò)。而統(tǒng)計學(xué)是機器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的一種基礎(chǔ)知識，從傳統(tǒng)分工來看，統(tǒng)計學(xué)一般是數(shù)學(xué)、統(tǒng)計等專業(yè)研究的方向，而機器學(xué)習(xí)是計算機科學(xué)的研究方向，但是目前大家的研究成果越來越殊途同歸，有統(tǒng)計學(xué)的大師就認(rèn)為統(tǒng)計實際上一直在從事機器學(xué)習(xí)的工作。
對于深度學(xué)習(xí)、統(tǒng)計的專家來說，他們更加關(guān)注于模型、算法等等，找到可以普適性解決問題的辦法，而對于我們應(yīng)用來說，具體的算法實現(xiàn)不需要我們考慮太多，而是找到適合的場景、合適的模型、匹配的算法，所以，應(yīng)用人工智能實際上是一個計算機、統(tǒng)計、知識工程、行業(yè)知識的一個交叉應(yīng)用，在經(jīng)常涉及到的應(yīng)用中，我一般在處理結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)時優(yōu)先考慮傳統(tǒng)統(tǒng)計學(xué)的方法，例如分類、數(shù)據(jù)相關(guān)性、回歸等，而處理非結(jié)構(gòu)化數(shù)據(jù)時（例如圖像、視頻、文本）優(yōu)先考慮深度學(xué)習(xí)的方法，但這些方法也需要有統(tǒng)計學(xué)知識。所以，需要補課：線性代數(shù)、數(shù)理統(tǒng)計、Python，我覺得《機器學(xué)習(xí)實戰(zhàn)》這書入門不錯，上述幾方面知識都介紹了。
應(yīng)用人工智能實現(xiàn)增強智能的三個層面
應(yīng)用人工智能的時候，人們會有一個誤區(qū)，總是希望得到一個意想不到的結(jié)果，也就是希望探索出新知識。經(jīng)常有人問我，得到的結(jié)果好像沒有什么我不知道的，我說這就對了，因為你是專家，要是計算機得到的結(jié)果都是不可知的，你怎么能相信他，例如AlphaGo下的棋，絕大多數(shù)都是人類已知的，非常少非常少的情況下，下出一招另類，這已經(jīng)是一個頂天星的水平了。很多人失望了，這還有啥意思，其實意義很大：
（1）計算機可以讓常人快速獲得以往專家才能具備的知識，例如有經(jīng)驗的客戶經(jīng)理，肯定非常了解客戶的情況，誰是優(yōu)質(zhì)客戶，誰需要什么產(chǎn)品等等，不需要計算機，但是通過用戶畫像等人工智能的手段，計算機可以讓經(jīng)驗不夠豐富的人，也具備了上述經(jīng)驗，這個做法價值就非常高，畢竟專家是少的；
（2）幫助專家減少重復(fù)性的工作，例如醫(yī)生在做病理檢測時，絕大多數(shù)沒有生病的情況和有典型病理特征的情況，機器都可以提醒醫(yī)生，節(jié)約醫(yī)生的寶貴時間。如此看來，我們就會理解，人工智能不是替代人，而是給人類增加一個智能的助手，是增強智能（IA Intelligence Augmentation）。
計算機作為一個智能助手，可以在不同層面和手段幫助我們，我把他分為機械智能、實現(xiàn)意圖的智能和創(chuàng)造意圖的智能三個方面：
（1）機械智能，我們目前從事的主要工作都是這個，事先設(shè)定規(guī)則（代碼也是規(guī)則），讓計算機完成大量重復(fù)計算，充分利用計算機的計算能力，替代人的手工勞動，這是一個以規(guī)則為核心的模式，而這些規(guī)則來自于人現(xiàn)有的知識；
（2）實現(xiàn)意圖智能，人知道最終結(jié)果是什么，但是并不告訴計算機采用什么樣的規(guī)則計算，通過大量數(shù)據(jù)訓(xùn)練計算機找到規(guī)則，然后再讓計算機完成大量重復(fù)計算，計算機究竟找到的規(guī)則是什么，有可能人并不一定能理解，其實往往也不需要理解，把計算機當(dāng)成了黑盒；
（3）創(chuàng)造意圖智能，也就是讓計算機自己找到人并不知道的新知識，這也是我們最向往的場景。
從具體的實現(xiàn)層面看，第一種情況無疑是最多的，我們需要提煉總結(jié)規(guī)則，用好第一種情況很重要，第二種情況以前相對少一些，但恰恰是目前需要改進的，在第二種情況下我們往往優(yōu)先用統(tǒng)計學(xué)的方法處理結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)（例如格式化日志），用深度學(xué)習(xí)的方法處理非結(jié)構(gòu)化數(shù)據(jù)，這就需要讓我們的團隊具備人工智能的思維。
實踐人工智能應(yīng)用需要新思維，不能再用規(guī)則理解計算機實現(xiàn)智能的方式
實踐人工智能，需要在在思維上進行調(diào)整。我們往往習(xí)慣于用制定規(guī)則的方式指揮計算機，輸入、計算規(guī)則和輸出結(jié)果都是已知的，也就是我上面說的機械智能方式。但后兩種模式就不是規(guī)則方式了，因為規(guī)則是計算機找到的，這也就是經(jīng)常說的數(shù)據(jù)訓(xùn)練。這里我舉一個我們自己實現(xiàn)的例子，讓大家理解一下什么是模型、算法和數(shù)據(jù)訓(xùn)練。
先說一個背景，我們在梳理現(xiàn)有企業(yè)數(shù)據(jù)架構(gòu)的時候，需要建立數(shù)據(jù)間的關(guān)聯(lián)，用人進行梳理費工費力，我們就打算用計算機自動完成一部分，然后人工修正，這就是一個增強智能（IA）的例子。這里面就有一個情況，如果數(shù)據(jù)庫中沒有建立外鍵，如何把這種實際的外鍵關(guān)系找出來，我們就用這個例子解釋一下機械智能和實現(xiàn)意圖智能的方法：
（1）用規(guī)則的方式查找外鍵關(guān)系。首先要定義規(guī)則，外鍵關(guān)聯(lián)的規(guī)則包括字段類型一致、長度一致、包含相同數(shù)據(jù)等等，然后在所有數(shù)據(jù)中遍歷，進行匹配。這種方式需要有完整的數(shù)據(jù)，而且是否外鍵關(guān)系的判斷規(guī)則往往有些模糊，在沒有得到全量數(shù)據(jù)時有一定局限性；
（2）用統(tǒng)計學(xué)方法查找外鍵關(guān)系。首先，我們定義出字段的特征（類似用戶畫像），字段特征是一個向量，就是一個一維數(shù)組，包括表名、字段名、字段類型、注釋、樣例數(shù)據(jù)最大長度、樣例數(shù)據(jù)最小長度等等，由于表名、字段名不是數(shù)值，我們要把他們變成數(shù)值，可以和同一個標(biāo)準(zhǔn)字符串作比較，也就是通過移位的方式把字符串移動成標(biāo)準(zhǔn)字符串，移動次數(shù)越少，相似度就越高，這樣就得到了一個真正的一維數(shù)組（向量）了。
其次，我們拿出一部分已知關(guān)系的表和字段，作為訓(xùn)練樣本，逐一計算兩個字段之間的相關(guān)系數(shù)（相關(guān)系數(shù)的計算方法是現(xiàn)成的，我這里就不介紹了，一上公式我就暈，Python的發(fā)行版Anaconda里面就有，用了這個就體會到 Python 是最好的語言了），相關(guān)系數(shù)高的說明特征類似，認(rèn)定為外鍵關(guān)系。這時候人工判斷一下，如果結(jié)果不錯，那這個模型就是正確的，如果結(jié)果不好就換一種相關(guān)系數(shù)計算方法，或者改變數(shù)據(jù)特征，或者對數(shù)據(jù)特征進行加工，總之，外鍵特征作為一個客觀存在，一定能夠找到符合的特征，這就是數(shù)據(jù)訓(xùn)練。通過數(shù)據(jù)訓(xùn)練，找到合適的字段特征（模型）和計算方法（算法），也可以交給計算機做處理了，把所有的外鍵找出來。
你看，這里沒有定義規(guī)則，處理方法是通過數(shù)據(jù)訓(xùn)練的方式，讓計算機自己找出來的，我不需要知道相關(guān)系數(shù)這玩意到底是什么意思，這就是上面說的，計算機是一個黑盒。
需要說明的事，在上述例子中，我簡化了不少動作，實際上最開始還找出來很多不是外鍵關(guān)系的字段，例如 createTime，我們還要把這種噪音字段的特征訓(xùn)練出來，剔除噪音。
這個示例說明了應(yīng)用人工智能時不同的兩種思維模式，簡單的說不能再用創(chuàng)造規(guī)則的方式指揮計算機，而是訓(xùn)練計算機自己找出規(guī)律。
上面我們分析了人工智能相應(yīng)的基本概念，人工智能的幾種模式以及應(yīng)用人工智能時需要的思維突破，下面我們從軟件架構(gòu)發(fā)展和面臨的挑戰(zhàn)，看看應(yīng)用人工智能時的切入點在哪里，哪里更容易爆發(fā)出人工智能的火花。
二、應(yīng)對軟件架構(gòu)分而治之帶來集成的挑戰(zhàn)，探索智能的連接
什么是軟件架構(gòu)，在InfoQ出版的《聊聊架構(gòu)》中講的很清楚（感謝老王，總結(jié)非常到位），軟件架構(gòu)就是（1）根據(jù)問題確定系統(tǒng)邊界；（2）按一定原則進行切分；（3）建立不同模塊間的溝通機制；（4）整體性交付軟件功能?？梢?#xff0c;架構(gòu)的關(guān)鍵是分而治之的哲學(xué)，但切分是為了軟件研發(fā)、運維方便，軟件的目標(biāo)是整體交付，分與合存在著矛盾，這一矛盾是由集成解決的，但是集成往往是復(fù)雜的，大家在架構(gòu)方面的分享，也以如何切分居多，如何集成相對較少。
集成工作的復(fù)雜度影響了復(fù)雜系統(tǒng)的研發(fā)
Unix的實踐無疑對軟件架構(gòu)有著巨大的影響，做一個事情，做到最好，一直是 Unix 風(fēng)格所倡導(dǎo)的，但“在理想世界中，Unix程序員只愿意手工打造小巧完美的軟件寶石，每個都那么小巧、那么優(yōu)雅、那么完美。然而現(xiàn)實中很不幸的是，太多復(fù)雜問題需要復(fù)雜的解決方案。僅僅十行的程序，再優(yōu)雅也無法控制噴氣式客機。那兒有太多的裝備、太多的通路和界面，太多不同的處理機，太多不同操作人員定義的子系統(tǒng)，他們甚至連基本的約定都無法統(tǒng)一。即使能夠成功地將航空系統(tǒng)所有的個體軟件部分做的優(yōu)雅，但拼裝結(jié)果很可能是一堆龐大、復(fù)雜、糟糕的代碼… 噴氣客機的復(fù)雜是必然的。過去有個尖銳的觀點，不能為簡單性而犧牲功能，因為飛機必須要能飛。正是這個事實，航空控制系統(tǒng)并不會產(chǎn)生關(guān)于復(fù)雜度的圣戰(zhàn)—-Unix程序員往往敬而遠之?！?#xff08;摘自《Unix編程藝術(shù)》）。
不幸的是，我們面臨的往往是復(fù)雜性的系統(tǒng)，片面理解Unix風(fēng)格分而治之往往帶來更大的集成難度。為了降低集成的難度，我們往往采用巨石型的系統(tǒng)架構(gòu)，用一個大一統(tǒng)的方式設(shè)計系統(tǒng)，僅僅在系統(tǒng)內(nèi)部進行模塊的拆分，用codebase和規(guī)范進行約束，走上了和Unix風(fēng)格背道而馳的道路。當(dāng)性能和可維護性壓力到來后，這樣的系統(tǒng)又不得不進行拆分：我過去常常看到，當(dāng)軟件系統(tǒng)達到 100 萬行代碼規(guī)模時，人們會覺得維護困難，產(chǎn)生了強烈的拆分念頭，當(dāng)達到 300 萬行代碼規(guī)模時，人們往往再也按耐不住拆分的欲望，當(dāng)達到 500 萬行代碼規(guī)模時，再保守的組織也會作出拆分的決定。
軟件架構(gòu)中復(fù)雜的集成工作需要利用人工智能方式簡化下來
回顧一下解決集成問題的歷史，我們會發(fā)現(xiàn)較早的集成架構(gòu)模式來自于 Unix，就是眾所周知的管道（Pipe）模式。Pipe模式將數(shù)據(jù)傳遞到一個任務(wù)序列中，管道扮演著流水線的角色，數(shù)據(jù)在這里被處理然后傳遞到下一個步驟。管道模式作為一種最基本的方式，理論上可以解決所有集成問題，但涉及到具體問題時，就需要針對不同情況做應(yīng)對，針對各種復(fù)雜的情況，可以總結(jié)出更多的模式，《企業(yè)集成模式》（EIP）一書中圍繞消息集成，總結(jié)出若干集成模式，可謂是消息集成的集大成式總結(jié)。
但EIP的集成模式主要針對系統(tǒng)間后臺服務(wù)的集成，SOA架構(gòu)提出了以Portal（前端集成）、BPM（流程集成）、ESB（服務(wù)集成）、DI（數(shù)據(jù)集成）以及事件/消息集成的多層面集成體系，更加系統(tǒng)性的為集成工作提供指導(dǎo)。SOA的集成方式需要一系列的集成基礎(chǔ)設(shè)施支持，屬于一種中心化的集成方式，我們可以稱之為MiddleBox的方式，在微服務(wù)架構(gòu)提出后，我們會采用把集成邏輯與業(yè)務(wù)功能部署在一起的去中心化集成方式，可以稱之為MiddlePipe的模式。
集成方式一路演進下來，主要是集成的手段上不斷翻新，多種框架和基礎(chǔ)設(shè)施越來越多的解決了非功能需求，例如 ESB 可以解決路由、安全、流控等問題，一定程度上減少了集成的工作量。但集成的業(yè)務(wù)復(fù)雜度還存在很多，這里我列舉幾個常見的問題：
（1）數(shù)據(jù)的查找問題。針對業(yè)務(wù)需求，需要使用已存在的數(shù)據(jù)和服務(wù)，但在企業(yè)環(huán)境中，系統(tǒng)、服務(wù)、數(shù)據(jù)眾多（想象一下具有10多萬服務(wù)、10多萬數(shù)據(jù)標(biāo)準(zhǔn)的情況），想找到適用的服務(wù)和數(shù)據(jù)，不是一件容易的事情，一般我們都要依賴專家在這方面的知識，通過總體設(shè)計指定了數(shù)據(jù)的流向，這依賴于專家的能力，專家的能力也是慢慢積累起來的。我們需要幫助業(yè)務(wù)更快速的找到數(shù)據(jù)和服務(wù)，幫助專家快速實現(xiàn)積累，減少重復(fù)勞動。
（2）數(shù)據(jù)的適配問題。通過服務(wù)方式進行集成，原子服務(wù)往往需要大量的輸入?yún)?shù)。舉個例子，調(diào)用一個發(fā)短信的接口，不僅僅是收信人電話號碼和短信內(nèi)容，還要包括很多業(yè)務(wù)含義的參數(shù)，例如發(fā)信人的姓名、組織、發(fā)信的系統(tǒng)、發(fā)信的原因、發(fā)信時和客戶接觸的渠道（客服渠道、網(wǎng)點渠道、網(wǎng)銀渠道、自助終端等等）、發(fā)信時關(guān)聯(lián)的產(chǎn)品，這些信息是可以用來計算成本、控制次數(shù)、避免重復(fù)騷擾客戶；用戶名、密碼、驗證碼、發(fā)送時間等這是用作安全驗證的；優(yōu)先級、發(fā)送渠道等是用來做流量控制的；流水號、全局業(yè)務(wù)ID、請求ID、請求時間等等是用來做監(jiān)控的。上述信息來自與每次發(fā)短信的上下文，在實際開發(fā)期間就要做很多的賦值、轉(zhuǎn)換工作，將上下文的信息傳遞給服務(wù)，這種轉(zhuǎn)換就像下圖那樣，典型的面多了加水，水多了加面。我們需要根據(jù)當(dāng)前上下文和服務(wù)的特征，自動的進行一些適配，避免人工的重復(fù)性勞動。
（3）系統(tǒng)的聯(lián)動問題。當(dāng)一個業(yè)務(wù)事件產(chǎn)生時，有很多相關(guān)聯(lián)的系統(tǒng)都會需要作出關(guān)聯(lián)性反映，例如一個航班延誤，就會涉及機票的改簽、酒店的改期、接車服務(wù)的改期、會議安排的變更、日程計劃的變更。一般我們會設(shè)計一個事件中心，為各個系統(tǒng)開發(fā)出監(jiān)聽的程序，當(dāng)事件到來時判斷上下文信息，決定產(chǎn)生的動作。如果事先沒有設(shè)定的規(guī)則，就無法產(chǎn)生聯(lián)動，我們期待更加自動化的建立這種聯(lián)動關(guān)系，讓計算機智能的產(chǎn)生動作而不僅僅通過人為設(shè)置。
類似問題還有很多，我們期待能夠更加智能的集成。
需要集成的部分不只是軟件本身，軟件過程也是一個復(fù)雜的集成/協(xié)作工作
分而治之的軟件需要通過集成方式整體交付，軟件的生產(chǎn)過程也是一個多人、多組織協(xié)作的過程，也需要集成。把軟件看成是一個產(chǎn)品，產(chǎn)品就有策劃、研發(fā)、運營和退出各個階段，每個階段可能由不同的人或組織完成。軟件的研發(fā)階段就是一個一個項目的實施過程，包括立項、執(zhí)行和完工。這樣的過程組織起來，就是一條軟件生產(chǎn)的流水線。從早期瀑布式的軟件研發(fā)，到后來敏捷研發(fā)過程、CMM，到目前風(fēng)頭正勁的DevOps，都是在解決軟件生產(chǎn)流水線不同階段的協(xié)作問題，敏捷針對軟件定義、設(shè)計、構(gòu)建（開發(fā)）階段的協(xié)作，持續(xù)集成是構(gòu)建（開發(fā)）與測試階段的協(xié)作，持續(xù)交付是從定義階段到部署（交付）階段的協(xié)作。
協(xié)作中面臨的問題，就是集成的問題，我們可以想到很多，這里也舉幾個例子：
（1）需求、設(shè)計與構(gòu)建（開發(fā)）的溝通問題。我們需要把需求/設(shè)計的知識圖譜化、條目化，自動與開發(fā)工作做一定程度的適配，減少需求/設(shè)計到代碼的轉(zhuǎn)換工作；
（2）構(gòu)建（開發(fā)）與測試的溝通問題。我們需要根據(jù)服務(wù)和數(shù)據(jù)特性以及積累的歷史數(shù)據(jù)，自動產(chǎn)生測試用例和測試方法；
（3）運營的溝通問題。我們需要通過應(yīng)用畫像、資源畫像等方式，服務(wù)與物理資源之間建立連接，快速定位問題，進行容量預(yù)測，實現(xiàn)更智能的運維。
在軟件架構(gòu)中應(yīng)用人工智能的目標(biāo)：通過增強智能方式實現(xiàn)軟件系統(tǒng)與軟件工程的智能連接
應(yīng)對復(fù)雜集成的挑戰(zhàn)，我們可以引入人工智能的思路，將人與軟件、物體與軟件之間、軟件與軟件之間、軟件生產(chǎn)線各環(huán)節(jié)之間通過知識使能的方式集成起來，在傳統(tǒng)完全依賴規(guī)則進行集成的方式基礎(chǔ)上，采用新的集成方法：以上下文信息為輸入，利用專家已有的知識，通過數(shù)據(jù)訓(xùn)練和強化學(xué)習(xí)的方式，讓計算機能夠理解集成的意圖，成為我們的智能助手，幫助我們實現(xiàn)智能的連接，進而可以讓計算機探索新的連接知識。這里，我把連接也分為三個層面：機械連接、基于知識連接、創(chuàng)造知識連接。
三、從智能連接入手探索在軟件架構(gòu)中應(yīng)用人工智能
從何處入手，探索人工智能在軟件中的應(yīng)用，是大家最關(guān)注的話題，這里我把普元在探索人工智能初期經(jīng)歷的幾個案例，給大家做一個介紹。普元董事長劉亞東博士早年就從事神經(jīng)網(wǎng)絡(luò)的研究，他指出在目前并行計算等技術(shù)充分發(fā)展的今天，算法已經(jīng)不是人工智能的瓶頸，應(yīng)用人工智能需要有兩個突破（1）找到人工智能應(yīng)用的切入點（2）團隊具備人工智能應(yīng)用的思維。所以我們在應(yīng)用人工智能的時候，不是成立一個專門的小組做研究，而是百花齊放的方式。了解普元的朋友會知道，普元的研發(fā)分為云計算&SOA、大數(shù)據(jù)、移動、工程效率與技術(shù)平臺、產(chǎn)品支持中心幾個團隊，我們讓每個團隊從數(shù)據(jù)+連接方向上入手，各自探索人工智能在領(lǐng)域上的應(yīng)用場景，通過找到切入點和初步實踐，逐步建立團隊的人工智能思維。其中云計算&SOA團隊的方向是通過服務(wù)畫像方式解決微服務(wù)的智能運維與智能匹配，大數(shù)據(jù)團隊的方向是通過知識圖譜實現(xiàn)數(shù)據(jù)自服務(wù)，移動團隊的方向是UI的智能化開發(fā)，工程效率與技術(shù)平臺團隊的方向是深度學(xué)習(xí)在流程與智能制造的應(yīng)用。由于篇幅有限，這里我把普元大數(shù)據(jù)團隊和移動團隊所做的工作做一個介紹。
案例一：基于知識圖譜，實現(xiàn)數(shù)據(jù)的自服務(wù)能力
先簡單介紹一下背景：大家經(jīng)常會聽到有人問我們有哪些數(shù)據(jù)，這些數(shù)據(jù)在哪里，如何獲取數(shù)據(jù)的問題，能否建立一個平臺，讓我們象百度搜索一樣，根據(jù)我們的知識（業(yè)務(wù)術(shù)語）找到相關(guān)的數(shù)據(jù)，提交申請，得到數(shù)據(jù)，這就是一個獲取數(shù)據(jù)的自助服務(wù)。
以往數(shù)據(jù)在哪里往往通過人工梳理完成，我們希望能夠自動化一些，為專家提供一個智能的助手，這里的工作分為三部分：
（1）建立知識圖譜。人進行數(shù)據(jù)搜索是通過業(yè)務(wù)術(shù)語（知識）來搜索的，而知識之間是有相互聯(lián)系的，例如水果和蘋果是上下位關(guān)系（后者是前者的具體體現(xiàn)），搜索是除了要列出直接結(jié)果，還需要顯示一些關(guān)聯(lián)的知識，這就要建立知識圖譜。簡單說知識圖譜就是概念、屬性以及概念之間的關(guān)聯(lián)關(guān)系， 這個關(guān)系可以手工建立，我們通過對政策、法規(guī)、需求、數(shù)據(jù)庫comments、界面等多種來源，采用自然語言處理等方法，可以建立起部分的知識圖譜，輔助專家的工作；
（2）梳理技術(shù)元數(shù)據(jù)。整理各個系統(tǒng)內(nèi)部數(shù)據(jù)，以及數(shù)據(jù)之間的關(guān)系，形成數(shù)據(jù)地圖。這里的難度是數(shù)據(jù)之間的關(guān)系，例如數(shù)據(jù)的血緣關(guān)系、影響度關(guān)系、關(guān)聯(lián)關(guān)系、主數(shù)據(jù)關(guān)系等，這里我們采用字段特征的相關(guān)性、數(shù)據(jù)處理邏輯的詞法/語法分析等手段，配合強化學(xué)習(xí)來完成，前面列舉的查找外鍵示例，就是一部分；
（3）建立知識圖譜與技術(shù)元數(shù)據(jù)之間的關(guān)系，這里就要通過分析界面/服務(wù)與代碼之間的關(guān)聯(lián)，建立起映射關(guān)系。最終效果就是，使用數(shù)據(jù)搜索，錄入希望查找的業(yè)務(wù)術(shù)語，得到相關(guān)結(jié)果，查看樣例數(shù)據(jù)，如果是需要的數(shù)據(jù)，提交使用申請，如果不是，繼續(xù)根據(jù)相關(guān)知識進行數(shù)據(jù)探索。提供數(shù)據(jù)自服務(wù)能力，就是在應(yīng)用的設(shè)計師、數(shù)據(jù)科學(xué)家或者業(yè)務(wù)分析師與數(shù)據(jù)之間建立起連接，我們的團隊就是從連接的思路出發(fā)，找到了人工智能的切入點。實際上，數(shù)據(jù)自服務(wù)包含有找、獲、用等眾多環(huán)節(jié)，我這里說的是找的環(huán)節(jié)如何實現(xiàn)，這種找的方法，也不可能100%準(zhǔn)確，還需要專家進行調(diào)整，以及通過強化學(xué)習(xí)等手段不斷修正，可以看出，應(yīng)用人工智能也是一個漸進完善的過程。
案例二：通過深度學(xué)習(xí)，實現(xiàn)移動UI的智能化開發(fā)
移動UI的智能化開發(fā)，是我們移動團隊?wèi)?yīng)用人工智能的第一個嘗試，現(xiàn)在看來，就是在UI設(shè)計師與開發(fā)工程師之間建立連接。大家會發(fā)現(xiàn)，設(shè)計師的設(shè)計在變成代碼實現(xiàn)時總會有偏差，即使一個像素的差異，也會影響界面的效果，以往我們采取不同業(yè)務(wù)模板的方式，建立一些規(guī)范對設(shè)計和開發(fā)做約束，后來移動團隊覺得，可以用深度學(xué)習(xí)的方式做一些嘗試，尋找不同的界面設(shè)計效果，首先通過數(shù)據(jù)標(biāo)簽方式確定頁面的風(fēng)格，再通過圖像片段的方式學(xué)習(xí)和識別設(shè)計稿中的組件，最終經(jīng)過多次的處理，變成一個樹狀的結(jié)構(gòu)，把這個樹狀結(jié)構(gòu)與代碼進行映射，就產(chǎn)生了和設(shè)計圖一致的代碼。
這個案例中，基于圖片的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)是一個關(guān)鍵技術(shù)，但是如果單純使用這個技術(shù)，計算量會無法承受，所以我們將處理過程分成了幾個階段，每個階段進行分類，每個階段都可以配合強化學(xué)習(xí)的方式，由人工指定策略，指導(dǎo)計算機的學(xué)習(xí)，提高了工程化的能力（類似做法在深藍對陣卡斯帕羅夫的時候就有應(yīng)用，有一位特級大師會指導(dǎo)深藍當(dāng)前的策略，例如進攻還是防守，具體招數(shù)由深藍決定）。
上述兩個案例中，我們首先在各個領(lǐng)域中找到可能的切入點，針對不同場景使用了不同的方案，并不是都采用了深度學(xué)習(xí)/神經(jīng)網(wǎng)絡(luò)的方法。我們沒有首先從Tensorflow等框架學(xué)起，而是在結(jié)構(gòu)化、半結(jié)構(gòu)化優(yōu)先使用統(tǒng)計方法，非結(jié)構(gòu)化數(shù)據(jù)再使用深度學(xué)習(xí)，是用業(yè)務(wù)驅(qū)動的方式逐步推進，有效的避免了“深度泛濫”。
四、總結(jié)
未來的軟件必將是人工智能的軟件，但人工智能是通過技術(shù)手段實現(xiàn)智能增強，幫助普通人迅速具備部分專家的技能，幫助專家減少重復(fù)性的勞動，探索新的知識，而不是取代人。應(yīng)用人工智能，應(yīng)該在數(shù)據(jù)+連接的模式下，從智能的集成入手，探索人工智能在軟件中的應(yīng)用。而這種探索，既包括傳統(tǒng)利用規(guī)則實現(xiàn)的機械智能，也包括利用統(tǒng)計學(xué)和深度學(xué)習(xí)方法支撐的實現(xiàn)意圖智能，還有創(chuàng)造意圖/尋找新知識的探索，而統(tǒng)計學(xué)方法往往用在結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化的數(shù)據(jù)中，深度學(xué)習(xí)往往要利用非結(jié)構(gòu)化數(shù)據(jù)。總之，人工智能是計算機科學(xué)、統(tǒng)計學(xué)、知識工程、領(lǐng)域知識的一個交叉學(xué)科，不能僅僅站在某個角度去理解和嘗試，正所謂“君子不群”。
關(guān)于作者
焦烈焱
EAII-企業(yè)架構(gòu)創(chuàng)新研究院 常務(wù)理事
2001年加入普元信息，現(xiàn)任CTO，全面負(fù)責(zé)普元信息技術(shù)與產(chǎn)品的運營工作，公司技術(shù)發(fā)展戰(zhàn)略的重要決策人。焦烈焱在企業(yè)技術(shù)架構(gòu)研究方面有二十余年的經(jīng)驗，長期致力于分布式環(huán)境的企業(yè)計算、 SOA與云計算技術(shù)研究與實踐。加入普元信息后組織完成一系列核心產(chǎn)品的研發(fā)工作，包括SOA應(yīng)用平臺、以BPM &/ESB為核心的業(yè)務(wù)集成平臺、以復(fù)雜事件處理/數(shù)據(jù)治理/作業(yè)調(diào)度為核心的大數(shù)據(jù)平臺，期間主持了中國工商銀行、中國建設(shè)銀行等多家大型企業(yè)技術(shù)平臺的規(guī)劃與研發(fā)。著有《SOA中國路線圖—實施版》一書。
關(guān)于EAWorld
微服務(wù)，DevOps，元數(shù)據(jù)，企業(yè)架構(gòu)原創(chuàng)技術(shù)分享，EAii（Enterprise Architecture Innovation Institute）企業(yè)架構(gòu)創(chuàng)新研究院旗下官方微信公眾號。
掃描下方二維碼，關(guān)注成功后，回復(fù)“普元方法+”，將會獲得熱門課堂免費學(xué)習(xí)機會！
微信號：EAWorld，長按二維碼關(guān)注。
總結(jié)
- 上一篇： matlab 调速系统试验,实验三 开环
- 下一篇： 订地方报纸的女人