You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
PaddleSpeech/paddleaudio/examples/panns
KP ee9972a0d3
Rename to paddleaudio.
3 years ago
..
assets Rename to paddleaudio. 3 years ago
README.md Rename to paddleaudio. 3 years ago
audio_tag.py Rename to paddleaudio. 3 years ago
parse_result.py Rename to paddleaudio. 3 years ago

README.md

Audio Tagging

声音分类的任务是单标签的分类任务,但是对于一段音频来说,它可以是多标签的。譬如在一般的室内办公环境进行录音,这段音频里可能包含人们说话的声音、键盘敲打的声音、鼠标点击的声音,还有室内的一些其他背景声音。对于通用的声音识别和声音检测场景而言,对一段音频预测多个标签是具有很强的实用性的。

在IEEE ICASSP 2017 大会上,谷歌开放了一个大规模的音频数据集Audioset。该数据集包含了 632 类的音频类别以及 2,084,320 条人工标记的每段 10 秒长度的声音剪辑片段来源于YouTube视频。目前该数据集已经有210万个已标注的视频数据5800小时的音频数据经过标记的声音样本的标签类别为527。

PANNs(PANNs: Large-Scale Pretrained Audio Neural Networks for Audio Pattern Recognition)是基于Audioset数据集训练的声音分类/识别的模型。其预训练的任务是多标签的声音识别因此可用于声音的实时tagging。

本示例采用PANNs预训练模型基于Audioset的标签类别对输入音频实时tagging并最终以文本形式输出对应时刻的top k类别和对应的得分。

模型简介

PaddleAudio提供了PANNs的CNN14、CNN10和CNN6的预训练模型可供用户选择使用

  • CNN14: 该模型主要包含12个卷积层和2个全连接层模型参数的数量为79.6Membbedding维度是2048。
  • CNN10: 该模型主要包含8个卷积层和2个全连接层模型参数的数量为4.9Membbedding维度是512。
  • CNN6: 该模型主要包含4个卷积层和2个全连接层模型参数的数量为4.5Membbedding维度是512。

快速开始

模型预测

export CUDA_VISIBLE_DEVICES=0
python audio_tag.py --device gpu --wav ./cat.wav --sample_duration 2 --hop_duration 0.3 --output_dir ./output_dir

可支持配置的参数:

  • device: 选用什么设备进行训练可选cpu或gpu默认为gpu。如使用gpu训练则参数gpus指定GPU卡号。
  • wav: 指定预测的音频文件。
  • sample_duration: 模型每次预测的音频时间长度单位为秒默认为2s。
  • hop_duration: 每两个预测音频的时间间隔单位为秒默认为0.3s。
  • output_dir: 模型预测结果存放的路径,默认为./output_dir

示例代码中使用的预训练模型为CNN14,如果想更换为其他预训练模型,可通过以下方式执行:

from paddleaudio.models.panns import cnn14, cnn10, cnn6

# CNN14
model = cnn14(pretrained=True, extract_embedding=False)
# CNN10
model = cnn10(pretrained=True, extract_embedding=False)
# CNN6
model = cnn6(pretrained=True, extract_embedding=False)

执行结果:

[2021-04-30 19:15:41,025] [    INFO] - Saved tagging results to ./output_dir/audioset_tagging_sr_44100.npz

执行后得分结果保存在output_dir.npz文件中。

生成tagging标签文本

python parse_result.py --tagging_file ./output_dir/audioset_tagging_sr_44100.npz --top_k 10 --smooth True --smooth_size 5 --label_file ./assets/audioset_labels.txt --output_dir ./output_dir

可支持配置的参数:

  • tagging_file: 模型预测结果文件。
  • top_k: 获取预测结果中得分最高的前top_k个标签默认为10。
  • smooth: 预测结果的后验概率平滑默认为True表示应用平滑。
  • smooth_size: 平滑计算过程中的样本数量默认为5。
  • label_file: 模型预测结果对应的Audioset类别的文本文件。
  • output_dir: 标签文本存放的路径,默认为./output_dir

执行结果:

[2021-04-30 19:26:58,743] [    INFO] - Posterior smoothing...
[2021-04-30 19:26:58,746] [    INFO] - Saved tagging labels to ./output_dir/audioset_tagging_sr_44100.txt

执行后文本结果保存在output_dir.txt文件中。

Tagging标签文本

最终输出的文本结果如下所示。
样本每个时间范围的top k结果用空行分隔。在每一个结果中第一行是时间信息数字表示tagging结果在时间起点信息比例值代表当前时刻t与音频总长度T的比值紧接的k行是对应的标签和得分。

0.0
Cat: 0.9144676923751831
Animal: 0.8855036497116089
Domestic animals, pets: 0.804577112197876
Meow: 0.7422927021980286
Music: 0.19959309697151184
Inside, small room: 0.12550437450408936
Caterwaul: 0.021584441885352135
Purr: 0.020247288048267365
Speech: 0.018197158351540565
Vehicle: 0.007446660194545984

0.059197544398158296
Cat: 0.9250872135162354
Animal: 0.8957151174545288
Domestic animals, pets: 0.8228275775909424
Meow: 0.7650775909423828
Music: 0.20210561156272888
Inside, small room: 0.12290887534618378
Caterwaul: 0.029371455311775208
Purr: 0.018731823191046715
Speech: 0.017130598425865173
Vehicle: 0.007748497650027275

0.11839508879631659
Cat: 0.9336574673652649
Animal: 0.9111202359199524
Domestic animals, pets: 0.8349071145057678
Meow: 0.7761964797973633
Music: 0.20467285811901093
Inside, small room: 0.10709915310144424
Caterwaul: 0.05370649695396423
Purr: 0.018830426037311554
Speech: 0.017361722886562347
Vehicle: 0.006929398979991674

...
...

以下Demo展示了一个将tagging标签输出到视频的例子可以实时地对音频进行多标签预测。