高柳健次郎業績賞 2020年受賞者

「音響信号のブラインド音源分離に関する研究」

主な業績内容

我々人間は，多くの人が同時に話をしているパーティ会場のような環境でも，自分の話相手の声をうまく聞き取ることができる。さらに，聖徳太子は一度に10人の声を聞き分けたという伝説がある。このような混ざった音から必要な音を分離する能力をAI（人工知能）として実現できれば，周りが騒がしい状況で遠くにあるマイクロホンに話しかけたとしても音声認識ができ，遠隔地に自分の声だけを伝えることもできる。ブラインド音源分離の技術は，音声言語的な事前知識やその場の音源位置などの情報を用いずに，マイクロホンで観測した音のみから上記のように必要な音を分離するAI技術である。澤田宏氏は，2001年からこの研究に取り組み，現在に至るまで下記に示す多くのブレークスルーを生み出し，世界的な研究コミュニティを牽引してきた。

実環境での初めての成功： 2000年頃までに独立成分分析（ICA）を用いたブラインド音源分離手法が提案されていたが，ICAは統計的な手法であるため，パーミュテーション問題（例えば2人の声が混ざった場合，1番目の分離音はAさんの声かBさんの声かはランダムに決まる）が起こる。パーミュテーション問題は，壁や天井からの音の反射に対処するための周波数領域の手法において，分離結果を不安定にするものであった。同氏は，ICAの結果から推定できる2種類の手がかり（1.音の到来方向，2.周波数毎に音がいつ鳴っているか）を統合した頑健なパーミュテーション解法を提案し，音の反射がある実環境で，4音声の混合を4マイクで観測して分離することに世界で初めて成功した。

マイク2個での3音源以上の分離: 次に本研究コミュニティでは，より現実的かつチャレンジングな課題として，音源数よりも少ないマイク数で行う音源分離に注目した。これは，マイク数が2個である通常のステレオICレコーダーでも，3音源以上の分離を達成するものである。同氏は，時間周波数マスキングによる分離法と上記のパーミュテーション解法をそれぞれ発展させた手法を考案し，国際的な性能評価キャンペーンSiSECで最高性能を達成した。その先駆的な技術と効果が認められ，本手法を発表した2011年の論文がIEEE Signal Processing SocietyBest Paper Awardを受賞した。

音声から音楽へ: この時点までの研究により，音声信号の分離に関しては手法が確立してきたが，より複雑な音楽信号に対しては，まだ困難が残っていた。同氏は，データに内在する頻出パターンを抽出する非負値行列因子分解（NMF）に着目し，これを複数マイクによる音源分離で活用するために「多チャンネルNMF」として拡張した。採録された2013年のIEEEの論文誌では，表紙に多チャンネルNMFの模式図が掲載される形で注目された。

統合手法と日本のプレゼンス: 近年では，国内の大学との共同研究を通じて，別々に発展してきたICAとNMFを独立低ランク行列分析(ILRMA)として統合した。ILRMAは，これまでのブラインド音源分離に関わる一連の研究の集大成を，日本初のオリジナリティとして明確化したものであり，編書や国際会議のチュートリアルやレビュー論文を通じて世界にアピールしている。同氏のこれまでの業績は，日本が信号処理の研究分野で国際的に高いプレゼンスを示す一翼を担っており，今後の信号処理分野の発展にも大きく寄与するものである。