|
|
# Audio Tagging
|
|
|
|
|
|
声音分类的任务是单标签的分类任务，但是对于一段音频来说，它可以是多标签的。譬如在一般的室内办公环境进行录音，这段音频里可能包含人们说话的声音、键盘敲打的声音、鼠标点击的声音，还有室内的一些其他背景声音。对于通用的声音识别和声音检测场景而言，对一段音频预测多个标签是具有很强的实用性的。
|
|
|
|
|
|
在IEEE ICASSP 2017 大会上，谷歌开放了一个大规模的音频数据集[Audioset](https://research.google.com/audioset/)。该数据集包含了 632 类的音频类别以及 2,084,320 条人工标记的每段 10 秒长度的声音剪辑片段（来源于YouTube视频）。目前该数据集已经有210万个已标注的视频数据，5800小时的音频数据，经过标记的声音样本的标签类别为527。
|
|
|
|
|
|
`PANNs`([PANNs: Large-Scale Pretrained Audio Neural Networks for Audio Pattern Recognition](https://arxiv.org/pdf/1912.10211.pdf))是基于Audioset数据集训练的声音分类/识别的模型。其预训练的任务是多标签的声音识别，因此可用于声音的实时tagging。
|
|
|
|
|
|
本示例采用`PANNs`预训练模型，基于Audioset的标签类别对输入音频实时tagging，并最终以文本形式输出对应时刻的top k类别和对应的得分。
|
|
|
|
|
|
|
|
|
## 模型简介
|
|
|
|
|
|
PaddleAudio提供了PANNs的CNN14、CNN10和CNN6的预训练模型，可供用户选择使用：
|
|
|
- CNN14: 该模型主要包含12个卷积层和2个全连接层，模型参数的数量为79.6M，embbedding维度是2048。
|
|
|
- CNN10: 该模型主要包含8个卷积层和2个全连接层，模型参数的数量为4.9M，embbedding维度是512。
|
|
|
- CNN6: 该模型主要包含4个卷积层和2个全连接层，模型参数的数量为4.5M，embbedding维度是512。
|
|
|
|
|
|
|
|
|
## 快速开始
|
|
|
|
|
|
### 模型预测
|
|
|
|
|
|
```shell
|
|
|
export CUDA_VISIBLE_DEVICES=0
|
|
|
python audio_tag.py --device gpu --wav ./cat.wav --sample_duration 2 --hop_duration 0.3 --output_dir ./output_dir
|
|
|
```
|
|
|
|
|
|
可支持配置的参数：
|
|
|
|
|
|
- `device`: 选用什么设备进行训练，可选cpu或gpu，默认为gpu。如使用gpu训练则参数gpus指定GPU卡号。
|
|
|
- `wav`: 指定预测的音频文件。
|
|
|
- `sample_duration`: 模型每次预测的音频时间长度，单位为秒，默认为2s。
|
|
|
- `hop_duration`: 每两个预测音频的时间间隔，单位为秒，默认为0.3s。
|
|
|
- `output_dir`: 模型预测结果存放的路径，默认为`./output_dir`。
|
|
|
|
|
|
示例代码中使用的预训练模型为`CNN14`，如果想更换为其他预训练模型，可通过以下方式执行：
|
|
|
```python
|
|
|
from paddleaudio.models.panns import cnn14, cnn10, cnn6
|
|
|
|
|
|
# CNN14
|
|
|
model = cnn14(pretrained=True, extract_embedding=False)
|
|
|
# CNN10
|
|
|
model = cnn10(pretrained=True, extract_embedding=False)
|
|
|
# CNN6
|
|
|
model = cnn6(pretrained=True, extract_embedding=False)
|
|
|
```
|
|
|
|
|
|
执行结果：
|
|
|
```
|
|
|
[2021-04-30 19:15:41,025] [ INFO] - Saved tagging results to ./output_dir/audioset_tagging_sr_44100.npz
|
|
|
```
|
|
|
|
|
|
执行后得分结果保存在`output_dir`的`.npz`文件中。
|
|
|
|
|
|
|
|
|
### 生成tagging标签文本
|
|
|
```shell
|
|
|
python parse_result.py --tagging_file ./output_dir/audioset_tagging_sr_44100.npz --top_k 10 --smooth True --smooth_size 5 --label_file ./assets/audioset_labels.txt --output_dir ./output_dir
|
|
|
```
|
|
|
|
|
|
可支持配置的参数：
|
|
|
|
|
|
- `tagging_file`: 模型预测结果文件。
|
|
|
- `top_k`: 获取预测结果中，得分最高的前top_k个标签，默认为10。
|
|
|
- `smooth`: 预测结果的后验概率平滑，默认为True，表示应用平滑。
|
|
|
- `smooth_size`: 平滑计算过程中的样本数量，默认为5。
|
|
|
- `label_file`: 模型预测结果对应的Audioset类别的文本文件。
|
|
|
- `output_dir`: 标签文本存放的路径，默认为`./output_dir`。
|
|
|
|
|
|
执行结果：
|
|
|
```
|
|
|
[2021-04-30 19:26:58,743] [ INFO] - Posterior smoothing...
|
|
|
[2021-04-30 19:26:58,746] [ INFO] - Saved tagging labels to ./output_dir/audioset_tagging_sr_44100.txt
|
|
|
```
|
|
|
|
|
|
执行后文本结果保存在`output_dir`的`.txt`文件中。
|
|
|
|
|
|
|
|
|
## Tagging标签文本
|
|
|
|
|
|
最终输出的文本结果如下所示。
|
|
|
样本每个时间范围的top k结果用空行分隔。在每一个结果中，第一行是时间信息，数字表示tagging结果在时间起点信息，比例值代表当前时刻`t`与音频总长度`T`的比值；紧接的k行是对应的标签和得分。
|
|
|
|
|
|
```
|
|
|
0.0
|
|
|
Cat: 0.9144676923751831
|
|
|
Animal: 0.8855036497116089
|
|
|
Domestic animals, pets: 0.804577112197876
|
|
|
Meow: 0.7422927021980286
|
|
|
Music: 0.19959309697151184
|
|
|
Inside, small room: 0.12550437450408936
|
|
|
Caterwaul: 0.021584441885352135
|
|
|
Purr: 0.020247288048267365
|
|
|
Speech: 0.018197158351540565
|
|
|
Vehicle: 0.007446660194545984
|
|
|
|
|
|
0.059197544398158296
|
|
|
Cat: 0.9250872135162354
|
|
|
Animal: 0.8957151174545288
|
|
|
Domestic animals, pets: 0.8228275775909424
|
|
|
Meow: 0.7650775909423828
|
|
|
Music: 0.20210561156272888
|
|
|
Inside, small room: 0.12290887534618378
|
|
|
Caterwaul: 0.029371455311775208
|
|
|
Purr: 0.018731823191046715
|
|
|
Speech: 0.017130598425865173
|
|
|
Vehicle: 0.007748497650027275
|
|
|
|
|
|
0.11839508879631659
|
|
|
Cat: 0.9336574673652649
|
|
|
Animal: 0.9111202359199524
|
|
|
Domestic animals, pets: 0.8349071145057678
|
|
|
Meow: 0.7761964797973633
|
|
|
Music: 0.20467285811901093
|
|
|
Inside, small room: 0.10709915310144424
|
|
|
Caterwaul: 0.05370649695396423
|
|
|
Purr: 0.018830426037311554
|
|
|
Speech: 0.017361722886562347
|
|
|
Vehicle: 0.006929398979991674
|
|
|
|
|
|
...
|
|
|
...
|
|
|
```
|
|
|
|
|
|
以下[Demo](https://bj.bcebos.com/paddleaudio/media/audio_tagging_demo.mp4)展示了一个将tagging标签输出到视频的例子，可以实时地对音频进行多标签预测。
|
|
|
|
|
|
|
