Whisper模型

介绍

Whisper是一种通用的语音识别模型。它是在多种音频的大数据集上训练的，也是一个多任务模型，可以执行多语言语音识别以及语音翻译和语言识别。

Whisper模型由OpenAI Whisper训练 https://github.com/openai/whisper

使用方法

1. 安装

请看安装文档。

你可以从 easy，medium，hard 三中方式中选择一种方式安装。

2. 准备输入

这个 demo 的输入应该是一个 WAV 文件（.wav），并且采样率必须与模型的采样率相同。

可以下载此 demo 的示例音频：

wget -c https://paddlespeech.bj.bcebos.com/PaddleAudio/zh.wav

3. 使用方法

命令行 (推荐使用)


# 识别文本
paddlespeech whisper --task transcribe --input ./zh.wav

#选择只支持英文的模型，并且更换不同大小的模型
paddlespeech whisper --lang en --size base --task transcribe  --input ./en.wav

# 将语音翻译成英语
paddlespeech whisper --task translate --input ./zh.wav

使用方法：

paddlespeech whisper --help

参数：

input(必须输入)：用于识别的音频文件。
model：ASR 任务的模型，默认值：whisper-large。
task：输出类别，默认值：transcribe。
lang: 模型语言，默认值：``，使用en选择只支持英文的模型，目前可选择en的模型有[medium,base,small,tiny]。
size: 模型大小，默认值：large，目前支持[large,medium,base,small,tiny]。
language：设定解码语言，默认值：None，强制设定识别出的语言，默认为模型自行判定。
sample_rate：音频采样率，默认值：16000，目前Whisper暂不支持其他采样率。
config：ASR 任务的参数文件，若不设置则使用预训练模型中的默认配置，默认值：None。
ckpt_path：模型参数文件，若不设置则下载解码模型使用，默认值：None。
yes；不需要设置额外的参数，一旦设置了该参数，说明你默认同意程序的所有请求，其中包括自动转换输入音频的采样率。默认值：False。
device：执行预测的设备，默认值：当前系统下 paddlepaddle 的默认 device。
verbose: 如果使用，显示 logger 信息。

Python API

import paddle
from paddlespeech.cli.whisper import WhisperExecutor

whisper_executor = WhisperExecutor()

# 识别文本
text = whisper_executor(
    model='whisper',
    task='transcribe',
    sample_rate=16000,
    config=None,  # Set `config` and `ckpt_path` to None to use pretrained model.
    ckpt_path=None,
    audio_file='./zh.wav',
    device=paddle.get_device())
print('ASR Result: \n{}'.format(text))

 # 将语音翻译成英语
feature = whisper_executor(
    model='whisper',
    task='translate',
    sample_rate=16000,
    config=None,  # Set `config` and `ckpt_path` to None to use pretrained model.
    ckpt_path=None,
    audio_file='./zh.wav',
    device=paddle.get_device())
print('Representation: \n{}'.format(feature))

输出：

Transcribe Result:
Detected language: Chinese
[00:00.000 --> 00:05.000] 我认为跑步最重要的就是给我带来了身体健康
{'text': '我认为跑步最重要的就是给我带来了身体健康', 'segments': [{'id': 0, 'seek': 0, 'start': 0.0, 'end': 5.0, 'text': '我认为跑步最重要的就是给我带来了身体健康', 'tokens': [50364, 1654, 7422, 97, 13992, 32585, 31429, 8661, 24928, 1546, 5620, 49076, 4845, 99, 34912, 19847, 29485, 44201, 6346, 115, 50614], 'temperature': 0.0, 'avg_logprob': -0.23577967557040128, 'compression_ratio': 0.28169014084507044, 'no_speech_prob': 0.028302080929279327}], 'language': 'zh'}

Translate Result:
Detected language: Chinese
[00:00.000 --> 00:05.000]  I think the most important thing about running is that it brings me good health.
{'text': ' I think the most important thing about running is that it brings me good health.', 'segments': [{'id': 0, 'seek': 0, 'start': 0.0, 'end': 5.0, 'text': ' I think the most important thing about running is that it brings me good health.', 'tokens': [50364, 286, 519, 264, 881, 1021, 551, 466, 2614, 307, 300, 309, 5607, 385, 665, 1585, 13, 50614], 'temperature': 0.0, 'avg_logprob': -0.47945233395225123, 'compression_ratio': 1.095890410958904, 'no_speech_prob': 0.028302080929279327}], 'language': 'zh'}

4.6 KiB Raw Blame History Unescape Escape

Whisper模型

介绍

使用方法

1. 安装

2. 准备输入

3. 使用方法

4.6 KiB

Raw Blame History Unescape Escape