虚拟专题:联邦学习 | 联邦可视化:一种隐私保护的可视化新模型
來源:智能科學(xué)與技術(shù)學(xué)報(bào)
聯(lián)邦可視化:一種隱私保護(hù)的可視化新模型
魏雅婷,?王智勇,?周舒悅,?陳為
浙江大學(xué)計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)國家重點(diǎn)實(shí)驗(yàn)室,浙江?杭州?310058
【摘? 要】概述了聯(lián)邦可視化的概念、框架、方法與應(yīng)用。聯(lián)邦可視化框架能夠在不進(jìn)行數(shù)據(jù)整合的情況下,針對具體任務(wù)和特定場景進(jìn)行加密訓(xùn)練,得出反映全體數(shù)據(jù)特征的可視化模型。聯(lián)邦可視化是聯(lián)邦學(xué)習(xí)框架在可視化領(lǐng)域的拓展應(yīng)用,主要強(qiáng)調(diào)在保障數(shù)據(jù)隱私的前提下,互利共贏的聯(lián)邦協(xié)作方式在對多數(shù)據(jù)源數(shù)據(jù)進(jìn)行可視分析方面的應(yīng)用,以打破各領(lǐng)域、各行業(yè)的數(shù)據(jù)壁壘,實(shí)現(xiàn)數(shù)據(jù)與知識(shí)的共享。
【關(guān)鍵詞】?聯(lián)邦學(xué)習(xí)?;?數(shù)據(jù)隱私?;?視覺特征?;?數(shù)據(jù)可視化?;?人工智能
【引用格式】魏雅婷,?王智勇,?周舒悅,?陳為.聯(lián)邦可視化:一種隱私保護(hù)的可視化新模型
[J]. 智能科學(xué)與技術(shù)學(xué)報(bào), 2019, 1(4): 415-420.
1.引言
近年來,在大多數(shù)行業(yè)中,行業(yè)之間的競爭、行政手續(xù)、數(shù)據(jù)隱私安全等問題,使得數(shù)據(jù)是以孤島的形式存在的,甚至有時(shí)同一個(gè)公司的不同部門之間也無法實(shí)現(xiàn)數(shù)據(jù)互通。這一困境嚴(yán)重阻礙了各類數(shù)據(jù)科學(xué)技術(shù)的落地。
數(shù)據(jù)的全面與否將直接影響數(shù)據(jù)可視化分析結(jié)果的準(zhǔn)確性。使用片面的數(shù)據(jù)進(jìn)行可視分析往往會(huì)使得結(jié)果和真實(shí)情況大相徑庭。尤其是當(dāng)前數(shù)據(jù)可視化在安防、交通、金融等領(lǐng)域扮演著十分重要的角色,分析結(jié)果的偏差可能會(huì)帶來嚴(yán)重?fù)p失。
與此同時(shí),通過數(shù)據(jù)整合的方式來解決數(shù)據(jù)孤島問題逐漸變得不可行。一方面,隨著大數(shù)據(jù)的進(jìn)一步發(fā)展,人們越來越重視數(shù)據(jù)隱私和數(shù)據(jù)安全,保障用戶數(shù)據(jù)隱私是企業(yè)獲得用戶信任的前提。用戶數(shù)據(jù)的每一次泄露都會(huì)引起媒體和公眾的極大關(guān)注,如Facebook的數(shù)據(jù)泄露事件引發(fā)了大范圍的抗議行動(dòng)。另一方面,各國也在通過法律手段加強(qiáng)對數(shù)據(jù)隱私和數(shù)據(jù)安全的保護(hù)。2018年5月25日歐盟開始實(shí)施《通用數(shù)據(jù)保護(hù)條例(general data protection regulation,GDPR)》,GDPR旨在保護(hù)用戶的個(gè)人隱私和數(shù)據(jù)安全,它要求經(jīng)營者必須使用清晰、明確的語言來表述自己的用戶協(xié)議,同時(shí)用戶擁有抹除數(shù)據(jù)的權(quán)利,即用戶可以要求企業(yè)刪除其個(gè)人數(shù)據(jù)并停止利用其個(gè)人數(shù)據(jù)進(jìn)行建模,違背該條例的企業(yè)將面臨巨額罰款。同樣,我國在2017年起實(shí)施的《中華人民共和國網(wǎng)絡(luò)安全法》和《中華人民共和國民法總則》也指出,網(wǎng)絡(luò)運(yùn)營者不得泄露、篡改、毀壞其收集的個(gè)人信息,并且與第三方進(jìn)行數(shù)據(jù)交易時(shí)需確保擬定的合同明確約定擬交易數(shù)據(jù)的范圍和數(shù)據(jù)保護(hù)義務(wù)。
在機(jī)器學(xué)習(xí)領(lǐng)域,學(xué)者面臨著相似的困境。表現(xiàn)良好的模型背后往往需要數(shù)量大、維度高的優(yōu)質(zhì)數(shù)據(jù),而在實(shí)際產(chǎn)業(yè)界中,除了有限的幾個(gè)行業(yè),很多領(lǐng)域存在著數(shù)據(jù)有限且質(zhì)量較差的問題,其擁有的數(shù)據(jù)不足以支撐人工智能技術(shù)的實(shí)現(xiàn)。因此,聯(lián)邦學(xué)習(xí)應(yīng)運(yùn)而生,它能夠在保障數(shù)據(jù)安全的前提下,打破數(shù)據(jù)孤島。
受到聯(lián)邦學(xué)習(xí)的啟發(fā),本文提出一個(gè)框架,能夠在保障數(shù)據(jù)隱私的前提下,對分布在不同機(jī)構(gòu)的數(shù)據(jù)進(jìn)行可視化,即聯(lián)邦可視化。在傳統(tǒng)的數(shù)據(jù)可視化流程中,視覺編碼決定需要的特征數(shù)據(jù),并從數(shù)據(jù)庫中讀取這些數(shù)據(jù)。而在聯(lián)邦可視化中,可視化的特征數(shù)據(jù)將不再通過查詢數(shù)據(jù)庫直接獲取,而是通過由各方機(jī)構(gòu)共同完善的模型計(jì)算得到。
2.相關(guān)工作
2.1 隱私保護(hù)
在隱私保護(hù)的數(shù)據(jù)挖掘領(lǐng)域,句法匿名模型和差異隱私模型是 2 種常用的隱私模型,它們從不同的角度解決隱私問題。k-匿名模型是語法匿名模型的代表之一,其目標(biāo)是通過鏈接公共數(shù)據(jù)庫和私有數(shù)據(jù)庫中共存的準(zhǔn)標(biāo)識(shí)符防止重新標(biāo)識(shí),使 k 條記錄彼此相同,防止身份泄露(因?yàn)楣粽邿o法識(shí)別特定的個(gè)人),但是,k-匿名模型在防止屬性泄露方面有其缺點(diǎn):如果具有相同準(zhǔn)標(biāo)識(shí)符的個(gè)人也具有相似甚至相同的敏感屬性值,則某些敏感信息仍然可能泄露。隨后,研究人員提出了l-多樣性模型和t-緊密度模型來分析隱私保護(hù)泄露數(shù)據(jù)挖掘中的屬性公開風(fēng)險(xiǎn)。差異隱私模型主要用于匿名化查詢響應(yīng),是通過將從確定的分布中選擇的隨機(jī)噪聲添加到真實(shí)查詢結(jié)果中的方式實(shí)現(xiàn)的。
在隱私保護(hù)數(shù)據(jù)可視化領(lǐng)域,研究人員已經(jīng)對數(shù)據(jù)挖掘社區(qū)的模型進(jìn)行了修改和擴(kuò)展,以在匿名可視化表示中的隱私與實(shí)用性之間取得平衡。參考文獻(xiàn)討論了當(dāng)使用平行坐標(biāo)表示多維數(shù)據(jù)時(shí),應(yīng)用語法匿名化方法(即 k-匿名性和 l多樣性)的策略。參考文獻(xiàn)將重點(diǎn)放在事件序列數(shù)據(jù)上,為數(shù)據(jù)所有者提供視覺界面,檢查潛在的隱私問題并根據(jù)算法建議和自己的判斷微調(diào)結(jié)果。參考文獻(xiàn)著眼于多屬性表格數(shù)據(jù)匿名化和圖數(shù)據(jù)隱私保護(hù),設(shè)計(jì)一種可以輔助用戶定制既能保護(hù)隱私,又能降低實(shí)用性損失的隱私保護(hù)方案,但是需要用戶進(jìn)行一些復(fù)雜的交互。參考文獻(xiàn)利用屏幕空間的不確定性來防御攻擊。參考文獻(xiàn)在系統(tǒng)后端已經(jīng)拿到各方數(shù)據(jù)的基礎(chǔ)上,通過向可視化圖表中加入不確定性來保護(hù)隱私。
本文從數(shù)據(jù)層面出發(fā),提出不同于傳統(tǒng)可視化的新框架,使攻擊者完全觸碰不到原始數(shù)據(jù),而且數(shù)據(jù)持有者不需要進(jìn)行復(fù)雜的交互即可定制隱私保護(hù)方案。
2.2 AI與可視化
將可視化與傳統(tǒng)機(jī)器學(xué)習(xí)技術(shù)結(jié)合以構(gòu)建人在回路(human in the loop)分析流水線,一直是視覺分析的核心目標(biāo)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、生成對抗網(wǎng)絡(luò)(GAN)、深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)(DQN)以及深度生成模型。這些工作本質(zhì)上是利用可視化技術(shù)解釋、優(yōu)化 AI模型,即用可視化技術(shù)解決AI中的問題(VIS for AI)。與之相反,本文提出的聯(lián)邦可視化框架是利用 AI 模型(聯(lián)邦學(xué)習(xí)模型)解決可視化中存在的隱私保護(hù)問題,即用 AI 技術(shù)解決可視化中的問題(AI for VIS)。
AI for VIS這個(gè)概念目前被很多領(lǐng)域?qū)<艺J(rèn)可,是可視化領(lǐng)域一個(gè)非常有發(fā)展前景的方向。近幾年,在可視探索、圖繪制、可視化圖表推薦與自動(dòng)生成等領(lǐng)域出現(xiàn)許多優(yōu)秀的研究工作,它們使用 AI 模型解決可視化中存在的各種問題。
2.3 聯(lián)邦學(xué)習(xí)
聯(lián)邦學(xué)習(xí)的概念最早于2016年由Google公司提出,當(dāng)多個(gè)數(shù)據(jù)擁有方(如企業(yè))
?想要聯(lián)合其他數(shù)據(jù)擁有方的數(shù)據(jù)Di訓(xùn)練機(jī)器學(xué)習(xí)模型時(shí),傳統(tǒng)做法是把數(shù)據(jù)整合到其中一方,利用數(shù)據(jù)進(jìn)行訓(xùn)練,并得到模型M_sum。但是,這種做法在沒有得到用戶同意的情況下是違反隱私和數(shù)據(jù)安全的相關(guān)法律的,通常難以實(shí)施。因此聯(lián)邦學(xué)習(xí)應(yīng)運(yùn)而生,在聯(lián)邦學(xué)習(xí)中,數(shù)據(jù)擁有方 Fi可以在不給出己方數(shù)據(jù)Di的情況下進(jìn)行模型訓(xùn)練,得到模型M_fed,并能夠保證模型M_fed的效果(V_fed)與模型 M_sum 的效果(V_sum)的差距足夠小,即|V_fed-V_sum| <δ,其中δ是任意小的一個(gè)正值。
楊強(qiáng)[37]教授根據(jù)參與訓(xùn)練的數(shù)據(jù)分布情況將聯(lián)邦學(xué)習(xí)分為 3 類:橫向聯(lián)邦學(xué)習(xí)(horizontal federated learning)、縱向聯(lián)邦學(xué)習(xí)(vertical federated learning)和聯(lián)邦遷移學(xué)習(xí)(federated transfer learning,FTL),如圖1(a)所示。聯(lián)邦學(xué)習(xí)框架如圖1(b)所示,各客戶端在不上傳本地?cái)?shù)據(jù)的前提下,訓(xùn)練本地模型,并將梯度值上傳到服務(wù)端;服務(wù)端將所有梯度值平均分發(fā)給各客戶端;客戶端更新本地模型,這個(gè)迭代過程持續(xù)到模型收斂或人為結(jié)束訓(xùn)練。
圖1???聯(lián)邦學(xué)習(xí)
3.聯(lián)邦可視化框架
本文借鑒聯(lián)邦學(xué)習(xí)框架提出適用于可視化領(lǐng)域的聯(lián)邦可視化框架,解決可視化分析中的數(shù)據(jù)孤島問題。聯(lián)邦可視化框架的核心思想是得到一個(gè)反映全體數(shù)據(jù)特征的可視化模型,在各個(gè)數(shù)據(jù)擁有方的數(shù)據(jù)不離開本地的情況下進(jìn)行加密訓(xùn)練。
3.1 可視化模型
可視化映射是信息可視化的核心步驟,指將數(shù)據(jù)信息映射成可視化元素,映射結(jié)果通常表達(dá)直觀,易于理解和記憶。可視化元素由3方面組成:可視化空間、標(biāo)記和視覺通道。數(shù)據(jù)由屬性和值構(gòu)成,屬性與標(biāo)記對應(yīng),值與視覺通道對應(yīng)。其中,標(biāo)記是數(shù)據(jù)屬性到可視化元素的映射,用以直觀地表示數(shù)據(jù)的屬性歸類,如點(diǎn)、線、面、體等;視覺通道是數(shù)據(jù)屬性的值到標(biāo)記的視覺呈現(xiàn)參數(shù)的映射,用于控制標(biāo)記的視覺特征,通常可用的視覺通道包括標(biāo)記的位置、大小、形狀、方向、色調(diào)等,標(biāo)記和視覺通道的結(jié)合可以完整地將數(shù)據(jù)信息進(jìn)行可視化表達(dá)。
假設(shè)V是一個(gè)可視化圖表,一般地,可以將其分解成多個(gè)視覺特征集,表示為V={VF1,VF2,…,VFn},其中,VFi={vfi1,vfi 2,…,vfin}是一個(gè)視覺特征集,由多個(gè)視覺特征組成。例如,直方圖只有一組視覺特征,每個(gè)視覺特征的作用是編碼柱子的高度(如圖2(a)所示);熱力圖也只有一組視覺特征,每個(gè)視覺特征的作用是編碼每個(gè)小方格的顏色(如圖2(b)所示)。
圖2???視覺特征集示例
3.2 框架架構(gòu)
本文以包含3個(gè)數(shù)據(jù)擁有方(即企業(yè)A、B、C),且每個(gè)數(shù)據(jù)擁有方有相同的用戶特征和不同的用戶(即橫向聯(lián)邦學(xué)習(xí))的場景為例,介紹聯(lián)邦可視化的框架(對該框架的細(xì)節(jié)設(shè)置進(jìn)行調(diào)整,即可擴(kuò)展至更加復(fù)雜的數(shù)據(jù)分布情況)。這些企業(yè)僅使用各自擁有的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析。假設(shè)這3家企業(yè)想聯(lián)合起來看整體數(shù)據(jù)的數(shù)據(jù)分布特點(diǎn),出于數(shù)據(jù)隱私保護(hù)和安全考慮,3 家企業(yè)無法直接進(jìn)行數(shù)據(jù)整合,但是可以使用聯(lián)邦可視化框架建立可視化模型,使各個(gè)企業(yè)看到近似的數(shù)據(jù)全貌。聯(lián)邦可視化的框架與運(yùn)行機(jī)制如圖3所示。
圖3???聯(lián)邦可視化的框架與運(yùn)行機(jī)制
為保證訓(xùn)練過程中數(shù)據(jù)的保密性,需要借助第三方協(xié)作者服務(wù)器(Server)進(jìn)行加密訓(xùn)練。以熱力圖為例,訓(xùn)練過程可分為以下4步。
? 數(shù)據(jù)預(yù)處理。各個(gè)企業(yè)將本地的地理數(shù)據(jù)根據(jù)經(jīng)緯度統(tǒng)一用n × m的網(wǎng)格進(jìn)行劃分,并對每個(gè)網(wǎng)格中的數(shù)據(jù)點(diǎn)進(jìn)行計(jì)數(shù)。
? 初始模型分發(fā)。基于聯(lián)邦學(xué)習(xí),Server端初始化一個(gè)模型M_fed,將參數(shù)發(fā)送至各個(gè)企業(yè)。如在熱力圖的實(shí)例中,模型M_fed的輸入為一組經(jīng)緯度對應(yīng)的網(wǎng)格索引,輸出為該網(wǎng)格中的數(shù)據(jù)點(diǎn)統(tǒng)計(jì)量。
? 加密模型訓(xùn)練。各個(gè)企業(yè)獲取Server端發(fā)來的參數(shù),根據(jù)本地?cái)?shù)據(jù)計(jì)算梯度值,并加密發(fā)送給 Server 端。Server 端對各個(gè)企業(yè)發(fā)來的梯度值進(jìn)行加權(quán)平均,更新參數(shù)后再次發(fā)送給各個(gè)企業(yè)。
? 可視圖表繪制。經(jīng)過多次迭代,模型逐漸精確。在各個(gè)企業(yè)本地,對于n × m的地理網(wǎng)格,將每個(gè)網(wǎng)格的搜索索引k作為模型M_fed的輸入,可以得到對應(yīng)網(wǎng)格的數(shù)據(jù)點(diǎn)統(tǒng)計(jì)量,即vfk,最終以熱力圖的形式將n × m的網(wǎng)格數(shù)據(jù)可視化地表示出來。
在訓(xùn)練過程中,各個(gè)企業(yè)沒有進(jìn)行本地?cái)?shù)據(jù)傳輸,數(shù)據(jù)隱私得到了保障,同時(shí)也使得各個(gè)企業(yè)可以看到數(shù)據(jù)全貌,有利于企業(yè)間的合作,并且可以輔助企業(yè)做出更加有效的決策。
4.實(shí)驗(yàn)
基于上述聯(lián)邦可視化框架架構(gòu),本文使用數(shù)百萬條海口出租車訂單數(shù)據(jù)(包括經(jīng)緯度信息)做了一個(gè)簡單的實(shí)驗(yàn),來驗(yàn)證框架的有效性。
4.1 數(shù)據(jù)預(yù)處理
為了模擬多家企業(yè),本文將一份數(shù)據(jù)集隨機(jī)等分為3份非獨(dú)立同分布的數(shù)據(jù)集,對數(shù)據(jù)進(jìn)行以下處理。
? 將海口劃分為 360×180 的網(wǎng)格,用(x,y){ x∈[1,360],y∈[1,180]}表示。
? 對每個(gè)網(wǎng)格里的數(shù)據(jù)進(jìn)行計(jì)數(shù),獲得數(shù)據(jù)(x,y,count){x∈[1,360],y∈[1,180]}。
4.2 技術(shù)實(shí)施
針對上述3份數(shù)據(jù),借助聯(lián)邦平均算法對3個(gè)客戶端進(jìn)行加密訓(xùn)練,并擬合整合后的數(shù)據(jù),以此保證各方的數(shù)據(jù)隱私。
在聯(lián)邦平均算法的配置方面,使用 Python 的SocketIO 開源數(shù)據(jù)庫進(jìn)行服務(wù)器與客戶端之間的通信。所有客戶端均參與每輪訓(xùn)練,每個(gè)客戶端訓(xùn)練一輪。
在神經(jīng)網(wǎng)絡(luò)設(shè)置方面,輸入為經(jīng)緯度索引(x,y),輸出為對應(yīng)網(wǎng)格的計(jì)數(shù)結(jié)果。使用5層寬度為 96 的全連接層,每層均使用線性整流函數(shù)(rectified linear unit,ReLU)作為激活函數(shù),優(yōu)化器采用Adadelta算法,批尺寸設(shè)為32。
4.3 實(shí)驗(yàn)結(jié)果
隨著迭代次數(shù)的增加,模型輸出結(jié)果的相對誤差的變化情況如圖4所示,在訓(xùn)練前期,相對誤差降低得較快,在達(dá)到一定訓(xùn)練次數(shù)后,相對誤差的變化速度變慢,需要增加多次迭代才能獲得更準(zhǔn)確的結(jié)果。經(jīng)過20 000次迭代后,相對誤差降到了4.9%,所獲得的熱力圖已經(jīng)接近將3份數(shù)據(jù)直接整合的效果。進(jìn)一步優(yōu)化訓(xùn)練方法,結(jié)果會(huì)更加逼近數(shù)據(jù)直接整合的結(jié)果。
圖4???相對誤差隨迭代次數(shù)的變化曲線(平滑后)
與現(xiàn)有的可視化領(lǐng)域隱私保護(hù)方法相比,本文的方法不需要提前整合多個(gè)客戶端的原始數(shù)據(jù),各個(gè)客戶端的數(shù)據(jù)不會(huì)離開本地,這從根本上保護(hù)了數(shù)據(jù)隱私,并且可以通過控制迭代的次數(shù)得到不同精確度的聚合結(jié)果。
5.結(jié)束語
數(shù)據(jù)的孤島分布以及相關(guān)部門對數(shù)據(jù)隱私監(jiān)管力度的加強(qiáng)是研究領(lǐng)域面臨的主要問題。聯(lián)邦學(xué)習(xí)的出現(xiàn)為人工智能領(lǐng)域打破數(shù)據(jù)屏障及人工智能領(lǐng)域的進(jìn)一步發(fā)展提供了新的思路。本文基于聯(lián)邦學(xué)習(xí)的思想,提出了聯(lián)邦可視化框架,用于解決可視化領(lǐng)域的數(shù)據(jù)孤島問題。聯(lián)邦可視化框架的核心思想是將可視化當(dāng)作模型,在保證數(shù)據(jù)不離開數(shù)據(jù)擁有方本地的前提下,加密訓(xùn)練出反映全體數(shù)據(jù)特征的可視化模型。本文使用簡單的實(shí)驗(yàn)驗(yàn)證了聯(lián)邦可視化框架的有效性,即能夠幫助多個(gè)數(shù)據(jù)擁有方打破數(shù)據(jù)壁壘,進(jìn)行協(xié)作分析。
聯(lián)邦可視化的研究仍處于發(fā)展階段。在隱私性方面,本文提出的聯(lián)邦可視化方法能夠有效避免隱私數(shù)據(jù)的泄露;在準(zhǔn)確性方面,當(dāng)需要擬合的特征數(shù)據(jù)小于10 000時(shí),準(zhǔn)確率能在數(shù)千次迭代后過擬合,而更多的特征數(shù)據(jù)則需要更多的迭代次數(shù);在通用性方面,本文的方法只考慮了表格型數(shù)據(jù),可以繪制常見的可視化圖表,比如柱狀圖、餅圖、熱力圖等。聯(lián)邦可視化是聯(lián)邦學(xué)習(xí)在可視化領(lǐng)域的應(yīng)用,具有重要的、前瞻性的實(shí)際意義,是打破數(shù)據(jù)壁壘的有效途徑,具有巨大的應(yīng)用前景,同時(shí),更加復(fù)雜的應(yīng)用場景也值得學(xué)者們進(jìn)一步研究。
聯(lián)系我們:
Tel:010-81055448
? ? ? ?010-81055490
? ? ? ?010-81055534
E-mail:bdr@bjxintong.com.cn?
http://www.infocomm-journal.com/bdr
http://www.j-bigdataresearch.com.cn/
轉(zhuǎn)載、合作:010-81055307
大數(shù)據(jù)期刊
《大數(shù)據(jù)(Big Data Research,BDR)》雙月刊是由中華人民共和國工業(yè)和信息化部主管,人民郵電出版社主辦,中國計(jì)算機(jī)學(xué)會(huì)大數(shù)據(jù)專家委員會(huì)學(xué)術(shù)指導(dǎo),北京信通傳媒有限責(zé)任公司出版的期刊,已成功入選中文科技核心期刊、中國計(jì)算機(jī)學(xué)會(huì)會(huì)刊、中國計(jì)算機(jī)學(xué)會(huì)推薦中文科技期刊,以及信息通信領(lǐng)域高質(zhì)量科技期刊分級(jí)目錄、計(jì)算領(lǐng)域高質(zhì)量科技期刊分級(jí)目錄,并多次被評(píng)為國家哲學(xué)社會(huì)科學(xué)文獻(xiàn)中心學(xué)術(shù)期刊數(shù)據(jù)庫“綜合性人文社會(huì)科學(xué)”學(xué)科最受歡迎期刊。
關(guān)注《大數(shù)據(jù)》期刊微信公眾號(hào),獲取更多內(nèi)容
總結(jié)
以上是生活随笔為你收集整理的虚拟专题:联邦学习 | 联邦可视化:一种隐私保护的可视化新模型的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: jsp的<a>标签中怎么传递参数
- 下一篇: b站电脑客户端_B站(哔哩哔哩) 视频批