【视频学习】VALSE短教程《因果发现与因果性学习》 蔡瑞初教授
1。VALSE短課程
20220505【VALSE短教程】《因果發現與因果性學習》特邀講師：蔡瑞初教授_嗶哩嗶哩_bilibili
首先還是由【因果性≠相關性】和【辛普森悖論】引入
包含因果的新一代人工智能的目標：?
目錄
?發現因果關系的方法：
1.干預實驗（對照試驗）
2.基于觀察數據的方法：
1）基于約束的方法：A1
2）基于因果函數的方法
?3）基于因果機制獨立假設的方法 A2
混合型方法
?目前工作重點：
1.隱變量問題
?TRAD算法：
?三分體方法：
GIN方法
?編輯?FRITL算法：
2. 數據非獨立同分布問題
?3.開源平臺
?因果性學習
基于先驗因果結構的因果性學習方法
?領域自適應問題
?Stable learning:
基于先驗因果的方法
?基于因果發現的因果性學習方法
?發現因果關系的方法：
1.干預實驗（對照試驗）
優：清晰明確
缺：1.難度大 成本高 2.有時候有倫理問題甚至不可行（兩個完全一樣的病人一個吃藥一個不吃藥）
2.基于觀察數據的方法：
觀察數據+因果假設（無法被證明或者證偽，只能基于先驗知識）=>因果模型
常見模型：SCM、因果圖模型（粗粒版SCM）
1）基于約束的方法：A1
假設：
A1因果馬爾可夫假設：與父節點以外節點獨立
A2：因果忠誠性（faithfulness）假設：沒有隱變量
?
PEARL最經典的V結構等……
PC算法：
最經典的有PC算法、IC算法（都在Pearl的書里提及）
優點：簡單清晰
缺點：強烈依賴于忠誠性假設，無法處理隱變量
FCL模型：
?部分解決了隱變量的問題，但是還沒解決馬爾可夫性質問題
因此 需要其他的方法
2）基于因果函數的方法
?假設：
A1獨立噪聲假設：原因變量和噪聲變量是獨立的
A2獨立機制假設：原因和機制函數f是獨立的
模型1：
線性非高斯噪聲可以用于判斷因果方向，例如題目所給的對比，對于型的因果函數產生的數據，噪聲是均勻分布的，當X對Y做回歸的時候，殘差關于X分布是均勻的，而Y對X做回歸的時候，E是有傾斜的。但是如果噪聲E符合高斯分布，那么兩方面回歸沒有明顯差別，因此需要事先假設線性的噪聲分布是非高斯的。
??實例：LiNGAM模型
起源于盲源信號分離，也就是從收到的混雜信號中分離幾個不同的獨立源的信號
?????LiNGAM和ICA的聯系：
?缺點：只能處理線性的、并且要求噪聲分布是非高斯的。
非線性高斯模型（ANM模型）：
發現非線性函數可以部分實現非高斯噪聲的功能。Y表示成X的函數時候（黑線），E是獨立的，X表示成Y的函數的時候（紅線），E是隨著Y變化的。
?缺點：實際上，很多實驗中表明，Y->X, X->Y表現出都是非獨立的……例如：
?原因是（僅針對上例）實際上數據的生成機制是
因此，想要對數據有一個級聯式的分析變化
但是這樣需要對中間的很多節點進行分析 難度很大。
?
CANM模型?
但是分析發現，不需要研究中間變量。通過對AN的分析，沒有觀察到的可以被已知先驗分布的噪聲替代，也就是可以用VAE計算！
?
具體算法， （encoder-decoder）
??
?優點：有很好的可識別性，只有滿足Thm中奇奇怪怪的等式的噪聲才會不可識別?
?應用：用電量、股票市場
?后非線性模型：post-nonlinear model
假設：
?因果可識別性
前三種方法的統一：?
?
?3）基于因果機制獨立假設的方法 A2
非常不嚴謹的變量和函數獨立……
?
因果變量的不對稱性：
?
IGCI
HCR
?主要利用基于函數的方法解決ANM的不足：離散數據不存在加法（男人+女人=？），給個例子：
?把離散數據的因果生成過程建模成一個函數：
?
?這個方法聽起來有一點迷……給的實例是鮑魚，無論長寬高發現的中間變量都是年齡？實際上因為鮑魚要到一定年齡大小才能看出來性別？啥玩意兒啊
?（GES）
其實這一系列方法中還有我很熟悉的GES哈哈，
?優點： 1.保證因果圖收斂性 2.搜索速度較快
缺點： 1.容易陷入局部最優 2.仍未擺脫超指數增長問題
混合型方法
基于獨立性：可以解決高維問題，
基于函數：高維有問題，但是可以處理發現隱變量
綜合：混合型方法
?
?目前工作重點：
1.隱變量問題
measurement model：如何利用觀測數據得到隱變量參數
structural model：獲得隱變量之間的關系
?TRAD算法：
隱變量結構可以通過協變量關系部分表示：【稱為四分體條件】
方法問題在于 只能分辨因果圖里有這個邊，但是不知道這個邊的方向，因此，還需要進一步優化
?發現不對稱性（針對的特殊的三元關系）
?三分體方法：
?限制：可以利用的隱變量個數有限
GIN方法
1.多個可以研究三個，也可以通過X4X5反解L1L2
?
應用：
?
?FRITL算法：
處理含有未知隱變量的問題
?基于局部的因果圖判斷背后是不是有隱變量【例如全連接了還不滿足】
高維的、具有隱變量和觀察變量混合結構的因果關系發現
2. 數據非獨立同分布問題
?
?分成聚類-找共同結構
??共性領域-個性領域-個性領域獨立地刻畫?????問題：基站->?
?3.開源平臺
?
?
?因果性學習
關于因果性而不是相關性……老生常談了放著很清晰了
?泛化性、可解釋性
基于先驗因果結構的因果性學習方法
?領域自適應問題
1.最簡單的情形，只需要對于L函數重新加權就可以了
?
2.important-resampling很難；因此采用基于black-box shift的方法，利用分類器估計target domain的分布和source domain的分布的混淆矩陣進行糾偏
3.
假設：source和target不影響Y。
方法：基于樣本生成，研究變化，認為生成是線性變化的，然后去學習這個矩陣。?
?
?
4.?
?最復雜的情況。方法：粗暴地上述兩個方法結合
?研究隱變量：
CIC&CTC：
共性：將隱變量分為兩類，隨不隨domain變化
?通過生成target domain的數據來學習分布變化
CIC：約束數據 CTC：樣本層面約束樣本的相似性
領域信息（動畫片）+語義上信息（label）
??類似conditional shift！
模型：左邊語義信息，右邊領域信息，實現解耦（推拉？）
?問題：
(a)邊緣分布不一致?(b)overlap support
?具體結構：
?Stable learning:
又見到想要打牌子的崔教授了……
?
觀點：因果層面：去除偽關聯，統計方面：共線性關系?
NICO比賽
基于先驗因果的方法
?張老師，又是你……長尾分布這篇挺有意思
?中科大的馮老師，推薦算法，去除bias，進一步引入來促進推薦平衡
?基于因果發現的因果性學習方法
因果表示學習?
?顏色形狀大小等等……人知道只有七個因素影響，數目很少
構造解耦方法~若干元的線性表示
TCL：非穩態序列上的因果表示
?
?PCL：穩態序列上的因果表示非線性ICA
穩定的持續依賴，依賴T時刻和其他時刻樣本……
開始加速跟不上了
?
?去看這個綜述！！！！
形式化定義、因果和統計模型的區別聯系等
?因果結構遷移
?時間序列上的領域自適應問題
?聯合分布難對齊，因果機制是穩定的，只是強度周期不同
從稀疏到真正因果
?數據影響因素：歷史數據和兩個因素A1A2，利用格蘭杰因果
?協變量-因果條件shift
?
因果上源域和目標域相似度的度量
馬普所 線性的
對的好 收斂快?
?北京和天津，相似（PM2.5）
?其它未覆蓋主題
Causal and Anti-causal Learning
?對半監督學習分析，”半監督很多時候無效的“：P(X)對預測P(Y|X)是無效的
從反因果學習角度來看 是有效的
因果強化學習
?考慮多環境 環境與因果無關 獎勵與環境獨立
?
因果元學習?
?(a)(b)(c)因果也是元學習保障之一
?
?
?
總結
以上是生活随笔為你收集整理的【视频学习】VALSE短教程《因果发现与因果性学习》 蔡瑞初教授的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： TOEFL-Write-课堂笔记
- 下一篇： 川大计算机系导师,川大计算机学院硕士生导