語音頂會Interspeech 論文解讀｜Autoencoder-based Semi-Supervised Curriculum Learning For Out-of-domain Speaker Verification

2019年，國際語音交流協會INTERSPEECH第20屆年會将于9月15日至19日在奧地利格拉茨舉行。Interspeech是世界上規模最大，最全面的頂級語音領域會議，近2000名一線業界和學界人士将會參與包括主題演講，Tutorial，論文講解和主會展覽等活動，本次阿裡論文有8篇入選，本文為Siqi Zheng, Gang Liu, Hongbin Suo, Yun Lei的論文《Autoencoder-based Semi-Supervised Curriculum Learning For Out-of-domain Speaker Verification》

點選下載下傳論文

文章解讀

本文提出了一種基于Denoising Autoencoder的跨信道聲紋識别無監督訓練架構。當聲紋識别模型的訓練資料與測試資料存在信道差異時，識别性能會出現明顯下降。而獲得同信道的精标資料通常較為昂貴。是以，需要我們能夠有效利用線上積累的同信道未标注資料，用無監督的方式訓練模型。

基于Curriculum Learning的思想，本文提出了一套無監督聲紋訓練架構。以家用智能音箱的線上互動資料為訓練集，通過從易到難，層層遞進的方式，讓模型不能學習到解決更複雜任務的能力。從一開始的精标資料、文本相關、同信道資料開始，逐漸增加資料的複雜度，最終讓模型學習到跨信道、文本無關條件下的識别能力。在每一輪的疊代中，不斷通過上一輪疊代的中間模型，去對新的無監督資料進行聚類打标，聚類的結果再篩選進入下一輪的疊代中。

除此以外，在家用智能音箱等遠場聲紋識别場景中，聲音信号采集裝置與聲源的距離和相對位置時刻在發生變化，給聲紋識别帶來了額外的難度。是以，本文引入Denoising Autoencoder，通過将說話人的遠場與近場的語音分别作為input和target，訓練DAE網絡，将遠場的說話人embedding映射到近場的embedding空間中，進而增加了模型在遠場說話人識别中的魯棒性。

文章摘要

This study aims to improve the performance of speaker verification system when no labeled out-of-domain data is available. An autoencoder-based semi-supervised curriculum learning scheme is proposed to automatically cluster unlabeled data and iteratively update the corpus during training. This new training scheme allows us to (1) progressively expand the size of training corpus by utilizing unlabeled data and correcting previous labels at run-time; and (2) improve robustness when generalizing to multiple conditions, such as out-of-domain and text-independent speaker verification tasks. It is also discovered that a denoising autoencoder can significantly enhance the clustering accuracy when it is trained on carefully-selected subset

of speakers. Our experimental results show a relative reduction of 30% − 50% in EER compared to the baseline.

Index Terms: Speaker Verification, Semi-Supervised Learning, Curriculum Learning, Denoising Autoencoder, SSCL

阿裡雲開發者社群整理