2021 年世界人工智能大會（WAIC）于 7 月 8 日 在上海世博中心拉開帷幕。九章云極DataCanvas董事長方磊受邀參加由世界人工智能大會組委會主辦、機器之心承辦的“2021 WAIC·AI開發者論壇”，并發表“Hypernets：自動化機器學習的基礎框架”主題演講。

本次論壇以「后深度學習的 AI 時代」為主題，作為本屆 WAIC 開發者單元的主力軍，WAIC· AI開發者論壇與 WAIC·開發者日一脈相承，連續三年始終專注 AI 技術人員與開發者。本次論壇邀請了15位學術界和產業界重磅嘉賓，覆蓋多模態機器學習及大規模自動生成技術、AutoML框架、智能社區的多模態數據融合、智能制造中的算法平臺以及下一代 AI 基礎軟件能力等話題，共同探討AI前沿技術。九章云極DataCanvas董事長方磊圍繞AutoML框架的重要性和基本抽象、Hypernets的概念模型和重要特性、Hypernets的具體示例三部分向廣大開發者奉獻了一場干貨滿滿的技術福利。

AutoML框架的本質是空間搜索

AutoML技術的研發與應用是一個持之以恒的課題，隨著對其研發的深入，很多AutoML工具的各部分高度耦合，只能針對特定問題，難以擴展。方磊表示，AutoML框架的本質就是空間搜索，在這里面很重要的思想就是抽象性和層級的必要。

AutoML框架是對AutoML領域面對的問題解構和抽象后形成的基礎性支撐，無論是超參數優化、Full-Pipeline搜索還是神經網絡架構搜索(NAS)問題，主要圍繞3個基本部分：搜索空間(Search Space)、搜索策略(Search Strategy)和評估策略(EstimationStrategy)。AutoML框架應對各部分高度解耦以實現各部分自由擴展，開發者可以在此之上不斷豐富搜索算法，設計多樣搜索空間，避免共性問題重復開發，針對非共性問題實現靈活擴展，加速迭代效率，大幅低于降低自動機器學習的準入門檻，能夠讓開發者快速實現自動機器學習的搜索。

Hypernets——開發者的朋友

一款優秀的AutoML框架應當在上述三個部分具有：富有表現力的搜索空間描述語言、支持高維空間的高效搜索算法和高性能的評估策略。Hypernets作為一個自動機器學習的底層通用框架，滿足單節點及分布式高性能的模型訓練需求，可以在不同的空間進行搜索與訓練，結合各種機器學習和深度學習框架開發專用自動機器學習工具，幫助用戶快速開發專用領域的AutoML工具。同時，Hypernets支持最新的神經網絡架構搜索（NAS）算法，可以實現深度學習的網絡架構設計自動化。

方磊表示，Hypernets與目前眾多的機器學習、深度學習框架相結合更快更好的生成自動機器學習工具。用5-10行代碼完全可以搜索模型，因此Hyperents一個定位就非常清晰，不管開發一個訓練框架還是開發應用模型，都是開發者的朋友。開發訓練框架可以讓框架使用Hypernets很容易結合出框架本身的自動機器學習能力；如果是開發應用模型，可以組合不同學習訓練框架的同時，在上面使用Hypernets，端到端整個pipeline上進行自動機器學習的參數搜索，就會得到非常較好的模型。經過大量在行業上的應用，在特征豐富情況下，Hypernets在搜索能力包括分布式計算能力體現出來很多優勢，搜索時間短，算力僅需普通訓練的20-30倍，就能夠得到一個性能大大提升的模型。

簡單快速精準的自動機器學習開發過程

開發者通過Hypernets設計不同的模塊空間(Module Space)和相應的參數空間(Parameter Space)，通過不同的連接方式(Connection Space)將各個模塊空間組合成為一個高維的豐富動態搜索空間(Search Space)。遺傳算法作為搜索策略的一個例子，是一種非常有效的尋找局部最優的方法，也可以與其他各類算法組合使用，實現更為強大的策略，例如在空間切分搜索的時候，使用遺傳算法加速子空間中的迭代。評估策略的核心在于高效：在評估不精確的情況下，通過指導搜索方向、節省預處理時間、防止過擬合三種方式，減少計算量，高效地利用自動機器學習找到更好的模型。作為Hypernets的一個具體實例，HyperGBM在多個公開數據集上和真實業務場景上，超過或達到了人類專家和其他AutoML工具的水平。

強大的自動機器學習開源框架：Hypernets家族

Gartner在2020年十大科技趨勢中，將以AutoML為代表的AI普及化作為數據與分析領域的重要戰略技術之一。作為幫助用戶快速開發專用領域的AutoML工具，Hypernets于2019年在GitHub進行開源，結合各種機器學習和深度學習框架開發專用自動機器學習工具，率先突破了機器學習建模過程中不均衡數據、概念漂移、模型泛化能力和大規模數據等諸多挑戰，提供開放的訓練服務框架，降低了AutoML工具的開發門檻，實現深度學習的網絡架構設計自動化。

方磊提到，AutoML的核心內容是降低門檻構建模型。基于Hypernets框架，九章云極DataCanvas自主研發的HyperGBM不僅能夠解決生產化困擾，同時實現了數據預處理、特征衍生、特征篩選、模型超參數優化、模型選擇、模型融合全過程的全自動機器學習，僅需5行代碼就可以實現高質量的模型，擁有開箱即用、簡單易用等特點，解決企業在結構化數據建模的需求。

為避免共性問題重復開發，其研發的HyperKeras支持神經網絡架構搜索和超參數優，專注非共性問題，實現靈活高效擴展。此外，九章云極DataCanvas對AutoML技術不斷探索，開源項目DeepTables榮獲全球知名國際性競賽第一名，全新定義了深度學習技術在結構化數據分析領域的價值。

Hypernets家族開源地址

Hypernets
https://github.com/DataCanvasIO/Hypernets
HyperGBM
https://github.com/DataCanvasIO/HyperGBM
HyperKeras
https://github.com/DataCanvasIO/HyperKeras

隨著人工智能時代對于AutoML需求的增加，九章云極DataCanvas將運用Hypernets框架融合更多的深度學習框架，推動神經網絡架構搜索的前沿發展，助力實際應用場景中的深度學習模型落地，并且通過在AutoML、AutoDL領域不斷的技術創新，為金融、通信、政府等眾多行業實現數智化升級提供新動能。

總結

以上是生活随笔為你收集整理的WAIC|高精准、低成本，九章云极DataCanvas突破AutoML难题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。