PaddleSpeech/paddleaudio/examples/panns

Audio Tagging

声音分类的任务是单标签的分类任务，但是对于一段音频来说，它可以是多标签的。譬如在一般的室内办公环境进行录音，这段音频里可能包含人们说话的声音、键盘敲打的声音、鼠标点击的声音，还有室内的一些其他背景声音。对于通用的声音识别和声音检测场景而言，对一段音频预测多个标签是具有很强的实用性的。

在IEEE ICASSP 2017 大会上，谷歌开放了一个大规模的音频数据集Audioset。该数据集包含了 632 类的音频类别以及 2,084,320 条人工标记的每段 10 秒长度的声音剪辑片段（来源于YouTube视频）。目前该数据集已经有210万个已标注的视频数据，5800小时的音频数据，经过标记的声音样本的标签类别为527。

PANNs(PANNs: Large-Scale Pretrained Audio Neural Networks for Audio Pattern Recognition)是基于Audioset数据集训练的声音分类/识别的模型。其预训练的任务是多标签的声音识别，因此可用于声音的实时tagging。

本示例采用PANNs预训练模型，基于Audioset的标签类别对输入音频实时tagging，并最终以文本形式输出对应时刻的top k类别和对应的得分。

模型简介

PaddleAudio提供了PANNs的CNN14、CNN10和CNN6的预训练模型，可供用户选择使用：

• CNN14: 该模型主要包含12个卷积层和2个全连接层，模型参数的数量为79.6M，embbedding维度是2048。
• CNN10: 该模型主要包含8个卷积层和2个全连接层，模型参数的数量为4.9M，embbedding维度是512。
• CNN6: 该模型主要包含4个卷积层和2个全连接层，模型参数的数量为4.5M，embbedding维度是512。

快速开始

模型预测

export CUDA_VISIBLE_DEVICES=0
python audio_tag.py --device gpu --wav ./cat.wav --sample_duration 2 --hop_duration 0.3 --output_dir ./output_dir

可支持配置的参数：

• device: 选用什么设备进行训练，可选cpu或gpu，默认为gpu。如使用gpu训练则参数gpus指定GPU卡号。
• wav: 指定预测的音频文件。
• sample_duration: 模型每次预测的音频时间长度，单位为秒，默认为2s。
• hop_duration: 每两个预测音频的时间间隔，单位为秒，默认为0.3s。
• output_dir: 模型预测结果存放的路径，默认为./output_dir。

示例代码中使用的预训练模型为CNN14，如果想更换为其他预训练模型，可通过以下方式执行：

from paddleaudio.models.panns import cnn14, cnn10, cnn6

# CNN14
model = cnn14(pretrained=True, extract_embedding=False)
# CNN10
model = cnn10(pretrained=True, extract_embedding=False)
# CNN6
model = cnn6(pretrained=True, extract_embedding=False)

执行结果：

[2021-04-30 19:15:41,025] [    INFO] - Saved tagging results to ./output_dir/audioset_tagging_sr_44100.npz

执行后得分结果保存在output_dir的.npz文件中。

生成tagging标签文本

python parse_result.py --tagging_file ./output_dir/audioset_tagging_sr_44100.npz --top_k 10 --smooth True --smooth_size 5 --label_file ./assets/audioset_labels.txt --output_dir ./output_dir

可支持配置的参数：

• tagging_file: 模型预测结果文件。
• top_k: 获取预测结果中，得分最高的前top_k个标签，默认为10。
• smooth: 预测结果的后验概率平滑，默认为True，表示应用平滑。
• smooth_size: 平滑计算过程中的样本数量，默认为5。
• label_file: 模型预测结果对应的Audioset类别的文本文件。
• output_dir: 标签文本存放的路径，默认为./output_dir。

执行结果：

[2021-04-30 19:26:58,743] [    INFO] - Posterior smoothing...
[2021-04-30 19:26:58,746] [    INFO] - Saved tagging labels to ./output_dir/audioset_tagging_sr_44100.txt

执行后文本结果保存在output_dir的.txt文件中。

Tagging标签文本

最终输出的文本结果如下所示。
样本每个时间范围的top k结果用空行分隔。在每一个结果中，第一行是时间信息，数字表示tagging结果在时间起点信息，比例值代表当前时刻t与音频总长度T的比值；紧接的k行是对应的标签和得分。

0.0
Cat: 0.9144676923751831
Animal: 0.8855036497116089
Domestic animals, pets: 0.804577112197876
Meow: 0.7422927021980286
Music: 0.19959309697151184
Inside, small room: 0.12550437450408936
Caterwaul: 0.021584441885352135
Purr: 0.020247288048267365
Speech: 0.018197158351540565
Vehicle: 0.007446660194545984

0.059197544398158296
Cat: 0.9250872135162354
Animal: 0.8957151174545288
Domestic animals, pets: 0.8228275775909424
Meow: 0.7650775909423828
Music: 0.20210561156272888
Inside, small room: 0.12290887534618378
Caterwaul: 0.029371455311775208
Purr: 0.018731823191046715
Speech: 0.017130598425865173
Vehicle: 0.007748497650027275

0.11839508879631659
Cat: 0.9336574673652649
Animal: 0.9111202359199524
Domestic animals, pets: 0.8349071145057678
Meow: 0.7761964797973633
Music: 0.20467285811901093
Inside, small room: 0.10709915310144424
Caterwaul: 0.05370649695396423
Purr: 0.018830426037311554
Speech: 0.017361722886562347
Vehicle: 0.006929398979991674

...
...

以下Demo展示了一个将tagging标签输出到视频的例子，可以实时地对音频进行多标签预测。