ソケッツ、同期歌詞情報自動生成システムの開発を発表

ソケッツが、平成27年よりおよそ2年程の開発期間を経て、同期歌詞情報自動生成システムを開発したことを発表した。

本システムは、独自の音響物理解析技術と機械学習技術などを組み合わせた国内初の商用の同期歌詞情報自動生成システム。従来手作業で行っていた同期歌詞情報生成を完全自動化したものとなる。

今後、本システムの国内外のサービスプロバイダーへの提供を検討している。

生成フローについて（図1参照）
＜音響物理解析＞
・独自の音響物理解析技術によりオーディオデータからテキストデータを抽出。

＜文字の出現位置特定（タイムスタンプ付与）＞
・上記により抽出した対象データに対楽曲の絶対時間を付与。

＜文字誤認識補正＞
・抽出した対象データの誤認識部分を機械学習による独自技術で修復。

＜改行位置の生成とそのチューニング＞
・推奨改行位置を機械学習を用いて随時動的な改行を行単位の多数決方式にて決定。（推奨改行位置データは定期的なチューニングを行っており、改行位置は随時更新される）
・音響物理解析で得られたタイムスタンプ付対象データに対して複数プロセスにより適切な改行位置を特定し動的に生成することが可能。

＜正規化＞
・上記プロセスによって生成されたデータを元に配布可能なLRCデータ※を再構成し出力します。
※LRCデータとは、音楽と歌詞を同期させるフォーマット

＜技術的な留意点＞
文字化け補正などを機械学習する外部参照ドメインに、情報の確からしさの担保が難しい中華系ドメインなどが学習される場合があり、このため該当する中華系ドメインの機械学習を順次停止するなどの方策が必要となる。
 

＜自社生成ツールによる画像＞
（約1分ほどで同期歌詞が完全自動にて生成される）