谷歌開源下一代推薦系統模擬器：RecSim NG

一元@煉丹筆記

推薦系統是連接用戶與各種在線內容的主要接口，因此必須克服用戶流行度的問題，這樣可以保證公平地為他們服務。為此，在2019年我們發布了RecSim，這是一個用于創建模擬環境的可配置平臺，希望它可以促進推薦系統中RL算法（解決順序決策問題的標準ML方法）的研究。然而，隨著技術的進步，解決仿真與實際應用之間的差距變得越來越重要，確保模型靈活且易于擴展，實現用戶動態的概率推斷，并提高計算效率。

為了解決這些問題，我們最近發布了RecSim NG，用于推薦系統研究和開發的“下一代模擬器”。RecSim NG是對一組用例的響應，這些用例在將仿真應用于真實世界問題時已成為重要的挑戰。它解決了仿真與實際應用之間的差距，確保了模型的靈活性和易擴展性，支持用戶動態的概率推理，并提高了計算效率。

RecSim NG是一個可擴展的、模塊化的、可微的模擬器，用Edward2和TensorFlow實現。它為agent行為規范提供了一種功能強大的通用概率編程語言。RecSim NG在兩個方面顯著擴展了RecSim的建模能力。

• 首先，StoryAPI允許模擬任意數量的參與者（例如，推薦器、內容消費者、內容生產者、廣告商）相互作用的場景。這使得整個推薦者生態系統的靈活建模成為可能，而不是通常的孤立用戶推薦者交互設置。
• 其次，我們引入了一個行為構建塊庫，它與Keras層非常相似，實現了建模原語，這些原語可以被組裝起來快速構建復雜的模型。遵循面向對象的范例，RecSim NG使用實體模式來封裝控制各種agent行為（如用戶滿意度）的共享參數，并使用模板以抽象代理“individuality”而不復制不變行為的方式簡明地定義大量agents。

除了典型地使用模擬器生成蒙特卡羅樣本外，RecSim NG還直接支持各種其他形式的概率推理。盡管領域知識和直覺是建模任何推薦問題的關鍵，但要彌合所謂的“sim2real”差距，所需的仿真逼真度只能通過將模擬器的模型與觀測數據進行校準來實現。對于數據驅動的仿真，RecSim-NG使得實現各種模型學習算法變得容易，如期望最大化（EM）、生成對抗訓練等。

RecSim NG中還提供了概率推理和latent變量模型學習工具，支持自動微分和跟蹤。RecSim NG公開了一小部分Edward2程序轉換，這些轉換是為特定于仿真的任務定制的。它的對數概率模塊可以根據仿真得到的概率圖形模型來估計軌跡的概率。這與TensorFlow運行時提供的自動微分一起，可以在模擬本身中實現最大似然估計和模型學習。RecSim NG可以很容易地利用張量流概率提供的馬爾可夫鏈蒙特卡羅（MCMC）機制來進行后驗推理和latent變量模型學習。

例如，描述潛在用戶屬性（例如偏好、意圖、滿意度）如何轉化為觀察數據（例如點擊、評分、評論）的模擬模型可以“反向運行”，即，由推薦系統生成的真實觀測數據可用于識別潛在用戶屬性的最可能配置，進而可用于評估用戶體驗的質量。這允許將仿真模型直接集成到完整的數據科學和模型開發工作流中。

評估推薦器生態系統健康，即推薦策略對總體滿意度、集體公平性和安全性等方面的長期影響，需要模擬大型多智能體系統，以便合理地再現生態系統不同參與者之間的相互作用。這與概率推理任務的計算負載一起，需要一個高效的仿真運行時。對于計算性能，RecSim NG提供了一個基于TensorFlow的運行時，用于在加速硬件上運行仿真。該模擬利用了TensorFlow的AutoGraph編譯器提供的所有優化，包括加速線性代數（XLA），模擬將自動利用主機上所有可用的內核以及專用硬件（如果相應地運行），如張量處理單元（TPUs）。核心RecSim NG體系結構是后端獨立的，允許在其他計算框架（如JAX或PyTorch）中開發應用程序。

為了演示RecSim NG的功能，我們在一個風格化的推薦者ecosystem1中提出了一個非常簡化的用戶和內容提供者之間的多agents交互模型。該模擬捕獲了推薦系統的動態，該系統通過向用戶推薦一段時間內用戶和內容提供商的內容項目列表來調解用戶和內容提供商之間的交互。我們采用了一個簡化的用戶模型，其中每個用戶都有一個靜態的、可觀察的“用戶興趣向量”。該向量確定了用戶與推薦商品的親和力，然后將其用作選擇模型的輸入，該選擇模型確定了用戶從推薦列表中選擇的商品。用戶對任何選定商品的效用只是他們對該商品的親和力，可能受到高斯噪聲的干擾。

推薦系統的目標是在一個固定的時間范圍內最大化所有用戶的累積用戶效用。然而，生態系統效應使這非常具有挑戰性，因內容提供商的行為而出現。與用戶一樣，每個提供者都有一個“興趣向量”，它提供的內容項圍繞這個“興趣向量”集中，反映了提供者的一般專業知識或傾向。提供商有自己的激勵機制來提供內容：他們的效用是由最近用戶選擇的商品數量來衡量的。此外，效用更高的提供者生成或提供更多的商品，增加了用戶（和推薦者）可以選擇的“catalog”。

我們在此設置中比較了兩種不同的推薦策略。

標準的“myopic”策略，對于任何用戶，它總是推薦對該用戶具有最大預測親和力的商品。在這樣的政策下，提供商的行為有可能引發“富起來”的現象：最初吸引用戶的提供商在隨后的時期生產更多的商品，這就增加了吸引更多未來參與的可能性。隨著時間的推移，可用商品逐漸集中在“主流”內容提供商周圍，對整體用戶效用產生了負面影響。

第二個推薦策略知道這些提供者動態，它通過提升服務不足的提供者來抵消這些動態。雖然是一個簡單的啟發式策略，但是提供者感知策略在擴展的范圍內增加了總體用戶效用。

模擬中的代理數量很大，我們使用RecSim NG提供的可重用建模塊對用戶和內容提供者進行模板化。

我們希望RecSim-NG能使研究者和實踐者更容易為推薦系統開發、訓練和評估新的算法，特別是用于優化擴展范圍內的系統行為、捕獲復雜的多智能體交互和激勵的算法，或者兩者兼而有之。我們還調查了越來越現實的用戶模型的發布，這些模型可以作為研究社區的基準，以及使用RecSim NG促進“sim2real”傳輸的方法。

谷歌開源下一代推薦系統模擬器-RecSim NG

總結

以上是生活随笔為你收集整理的谷歌开源下一代推荐系统模拟器：RecSim NG的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。