Linux 中的机器学习：Whisper——自动语音识别系统

本是古典何须时尚 2023-10-15 08:04 112阅读 0赞

Whisper 是一种自动语音识别 (ASR) 系统，使用从网络收集的 680000 小时多语言和多任务数据进行训练，Whisper 由深度学习和神经网络提供支持，是一种基于 PyTorch 构建的自然语言处理系统，这是免费的开源软件。

### 安装Whisper ###

我们用 Ubuntu 22.04 LTS 测试了 Whisper，为避免污染您的系统，我们建议使用 Anaconda 或 Miniconda 安装 Whisper。

使用 wget 下载并安装 Anaconda。

$ wget https://repo.anaconda.com/archive/Anaconda3-2022.10-Linux-x86_64.sh

下载中的截图：

![b7d8cadfff1f7f7a07483e0d016d2200.png][]

运行shell脚本：

$ bash Anaconda3-2022.10-Linux-x86_64.sh

接受 Anaconda 的许可证，然后通过运行 conda init 来初始化 Anaconda3，要使更改生效，请关闭并重新打开当前的 shell。

创建一个 conda 环境，并激活它。

$ conda create --name whisper
    $ conda activate whisper

现在我们准备好使用 pip 安装 Whisper，pip 是 Python 的包管理器。

$ pip install -U openai-whisper

这是运行该命令的输出。

Successfully built openai-whisper
    Installing collected packages: tokenizers, huggingface-hub, transformers, openai-whisper
    Successfully installed huggingface-hub-0.12.1 openai-whisper-20230124 tokenizers-0.13.2 transformers-4.26.1

### 运行whisper ###

whisper 是从命令行运行的，项目中没有花哨的图形用户界面。

该软件带有一系列不同大小的预训练模型，可用于检查 Whisper 的缩放属性：

*  tiny.en
 *  tiny
 *  base.en
 *  base
 *  small.en
 *  small
 *  medium.en
 *  medium
 *  large-v1
 *  large-v2
 *  large

我们可以使用在 MP3 文件（也支持 FLAC 和 WAV）上使用媒体模型试用该软件，第一次使用模型时，会下载该模型。

如果我们不指定带有标志的语言，–language软件会自动检测使用最多前 30 秒的语言。我们可以告诉软件语言，避免自动检测的开销，一共支持 100 多种语言。

我们想要使用媒体模型转录 audio.mp3 文件，我们会告诉软件这个文件是英语语言。

$ whisper audio.mp3 --model medium --language English

下图显示正在进行的转录。

![185ea3c3f35ef95a273cc24ae3b49ef6.png][]

我们验证此转录正在使用我们的 GPU。

![b4143448dbcf3f3a2190fd26386c3881.png][]

你可以看到我们的 GPU 有 8GB 的VRAM，请注意，大型模型无法在此 GPU 上运行，因为它需要超过 8GB 的VRAM。

有大量可用的选项，比如`$ whisper --help`

### 总结 ###

Whisper 还是蛮不错的，从我们的测试来看，转录的准确性非常接近人类水平的稳健性和准确性。

Whisper 没有图形界面，也不能录制音频。它只能获取现有的音频文件和输出文本文件，Whisper 已经积累了超过 25000 个 GitHub 星，还是非常受欢迎的。

代码仓库地址：`https://github.com/openai/whisper`。

![127b0d7e49acdbb02f89cee0f009c5da.png][]

[b7d8cadfff1f7f7a07483e0d016d2200.png]: https://img-blog.csdnimg.cn/img_convert/b7d8cadfff1f7f7a07483e0d016d2200.png
[185ea3c3f35ef95a273cc24ae3b49ef6.png]: https://img-blog.csdnimg.cn/img_convert/185ea3c3f35ef95a273cc24ae3b49ef6.png
[b4143448dbcf3f3a2190fd26386c3881.png]: https://img-blog.csdnimg.cn/img_convert/b4143448dbcf3f3a2190fd26386c3881.png
[127b0d7e49acdbb02f89cee0f009c5da.png]: https://img-blog.csdnimg.cn/img_convert/127b0d7e49acdbb02f89cee0f009c5da.png