阿里达摩院低调上线文本生成视频大模型:仅支持英文输入,已开放试玩
生活随笔
收集整理的這篇文章主要介紹了
阿里达摩院低调上线文本生成视频大模型:仅支持英文输入,已开放试玩
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
感謝網友 大眼夾、打工軌道人、航空先生 的線索投遞!
3 月 22 日消息,近日,阿里達摩院已在 AI 模型社區“魔搭”ModelScope 上線了“文本生成視頻大模型”。
根據官方介紹,目前文本生成視頻大模型,由文本特征提取、文本特征到視頻隱空間擴散模型、視頻隱空間到視頻視覺空間這 3 個子網絡組成,整體模型參數約 17 億,目前僅支持英文輸入。擴散模型采用 Unet3D 結構,通過從純高斯噪聲視頻中,迭代去噪的過程,實現視頻生成的功能。
官方介紹稱,本模型適用范圍較廣,能基于任意英文文本描述進行推理,生成視頻。一些文本生成視頻示例如下:
據了解,模型已經在創空間和 huggingface 上線,可以直接體驗,也可以參考該頁面自行搭建。模型需要硬件配置大約是 16GB 內存和 16GB GPU 顯存。在 ModelScope 框架下,通過調用簡單的 Pipeline 即可使用當前模型,其中,輸入需為字典格式,合法鍵值為 'text',內容為一小段文本。該模型暫僅支持在 GPU 上進行推理。
從試玩的結果來看,目前能生成的視頻長度多在 2-4 秒,生成等候時間從 20 多秒到 1 分多鐘不等。
總結
以上是生活随笔為你收集整理的阿里达摩院低调上线文本生成视频大模型:仅支持英文输入,已开放试玩的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: etc的常见算法_运用机器学习算法研究城
- 下一篇: 给老婆的一篇文章