11 月 22 日消息，微軟研究院（Microsoft Research）近日發布新聞稿，推出了相比較主流語言模型更小的 Orca 2 LLM，不過依然可以回答一些復雜問題。

微軟 Orca 2 共有 70 億和 130 億兩種尺寸，部分融合了 Llama 2 LLM 參數，通過融合定制的高質量合成數據，提供更準確、更優秀的合成數據。

微軟表示 Orca 2 使用擴展的、高度定制的合成數據集進行訓練。Orca 2 支持分步處理、回憶然后生成、回憶-原因-生成、提取-生成和直接回答等各種推理技術，同時還能為不同的任務選擇不同的解決方案策略。

Orca 2 模型相比較 Llama 2 和 WizardLM 等大型語言模型，在痛苦理解、常識推理、多步推理、數學問題解決、閱讀理解等方面更為優秀。

微軟表示：“我們的初步結果表明，Orca 2 的性能明顯優于類似尺寸的模型。它還達到了與至少大 10 倍的模型相似或更好的性能水平，展示了為較小模型配備更好推理能力的潛力。”

附上微軟 Orca 2 模型的介紹鏈接，感興趣的用戶可以深入閱讀。

廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考，所有文章均包含本聲明。

總結

以上是生活随笔為你收集整理的70 亿 / 130 亿参数，微软研究院发布 Orca 2 LLM：性能媲美 10 倍参数模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。