說(shuō)起來(lái)語(yǔ)音轉(zhuǎn)換文字，openai旗下的whisper很是好用，推理也很快，同時(shí)支持cpu和GPU。

GitHub：GitHub - openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervision

相關(guān)的參數(shù)和內(nèi)存使用如下：

SizeParametersEnglish-only modelMultilingual modelRequired VRAMRelative speed

tiny	39 M	tiny.en	tiny	~1 GB	~32x
base	74 M	base.en	base	~1 GB	~16x
small	244 M	small.en	small	~2 GB	~6x
medium	769 M	medium.en	medium	~5 GB	~2x
large	1550 M	N/A	large	~10 GB	1x

CPU推理會(huì)慢一些，一般機(jī)器使用small模型即可，該模型內(nèi)存占用不是很高

1.安裝

a.直接通過(guò)pip安裝?

pip install -U openai-whisper pip install setuptools-rust

b.通過(guò)git倉(cāng)庫(kù)安裝

pip install git+https://github.com/openai/whisper.git

c.將安裝包升級(jí)到倉(cāng)庫(kù)最新版

pip install --upgrade --no-deps --force-reinstall git+https://github.com/openai/whisper.git

d.安裝 ffmpeg，本次系統(tǒng)是centos8stream，可以通過(guò)下面命令安裝

dnf install -y https://download1.rpmfusion.org/free/el/rpmfusion-free-release-8.noarch.rpm dnf install -y install http://rpmfind.net/linux/epel/7/x86_64/Packages/s/SDL2-2.0.14-2.el7.x86_64.rpm dnf install ffmpeg -y

其他系統(tǒng)可參考如下：

# on Ubuntu or Debian sudo apt update && sudo apt install ffmpeg# on Arch Linux sudo pacman -S ffmpeg# on MacOS using Homebrew (https://brew.sh/) brew install ffmpeg# on Windows using Chocolatey (https://chocolatey.org/) choco install ffmpeg# on Windows using Scoop (https://scoop.sh/) scoop install ffmpeg

2.使用

可以通過(guò)Python進(jìn)行下面操作

import whispermodel = whisper.load_model("small") # 如果模型不存在，會(huì)自動(dòng)下載，默認(rèn)下載路徑 "~/.cache/whisper" result = model.transcribe("temp.wav") print(result["text"])

?

?

總結(jié)

以上是生活随笔為你收集整理的whisper 强大且开源的语音转文字的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。