https://www.pravda.ru/news/travel/2145971-whale-song-synthesis/
イゴール・ブッカー著：08/12/2024
国家プロジェクト「科学と大学」のPriority-2030プログラムに参加しているLETIサンクトペテルブルグ電気技術大学は、マッコウクジラの「歌」に似た音を発生させるニューラルネットワークを開発した。この技術は、海洋哺乳類の行動を研究する上でも、音響信号を利用した新しい水中通信方法を開発する上でも可能性を秘めている。これは同大学のプレスオフィスが明らかにした。
この研究は、マッコウクジラの音声信号の分析に基づいている。マッコウクジラは、コミュニケーション、反響定位、水中での方向指示のために、クリック音、ひび割れ音、うめき声を発する。科学者たちは、これらの音がどのように伝達され知覚されるかを理解することで、水中通信、ソナー、ナビゲーションシステムを大幅に改善できると考えている。また、水中環境における音の通信を妨害する干渉を最小限に抑えるのにも役立つだろう。
「我々は、ニューラルネットワークを使ってマッコウクジラの人工音を生成する方法を開発した。この研究の基礎となったのは、マッコウクジラの 「鳴き声 」で、これをスペクトログラム（音の視覚的表現）に変換した。次に、機械学習アルゴリズムを適用して、新しい音データを生成しました」と、SPbGETU LETI青少年研究所のCAD部門准教授で上級研究員のエカテリーナ・コペッツは説明した。
ニューラルネットワークを訓練するために、研究者たちは海洋哺乳類の音のデータベースを使用した。あるマッコウクジラのクリック音を、トーン、音色、スピードを変え、元の素材を歪ませることなくノイズを加えるように処理した。その結果、音データはスペクトログラムに変換され、断片に「スライス」され、新しい音の組み合わせを生成するために混合され、再配列された。
ニューラルネットワークのモデルは、高周波信号（20kHz以上）を扱うためにさらに改良された。その結果、ニューラルネットワークは、オリジナルから10～12％しかずれない音を生成できるようになった。この方法は、鳥類など他の動物にも適用でき、その音声データに合わせてアルゴリズムを最小限の調整で済む。
この研究はStyleGAN2-ADAを用いて行われ、科学雑誌「Big Data and Cognitive Computing」に掲載された。この研究はロシア科学財団の支援を受けており、SPbGETU LETIのPriority-2030開発プログラムの一部である。
