大日本印刷（以下、DNP）はNHKテクノロジーズと共同で、映像と音声をAIで解析し、内容や感情に合わせた最適なイメージのフォントで表示する「感情表現字幕システム」のプロトタイプを開発した。
■文章の内容に合ったフォントを自動で判別
同システムは、2018年にDNPが開発した文章の内容に合うフォントを自動で判別して表示する「DNP 感情表現フォントシステム」を活用。これにより、耳の不自由な人や音が出せない環境でも、番組の臨場感を伝えることを可能にした。
■ユニークなフォントは印象深くなる
NHKテクノロジージーズが、聴覚に障害のある人とディスカッションを行った結果、「これまでの字幕放送はフォントに抑揚が無い」、「タイミングがずれることがある」、「発話者がわかりにくい」といった課題があがった。一方、ユニークなフォントは印象深くなるという意見があったことから、「感情表現字幕システム」の共同開発に至った。
■感情の表現に最適なものを12種類から選ぶ
録画やライブの音声を解析して、リアルタイムで字幕を自動的に付与。その際、字幕の内容や発話者の表情を解析して感情を把握し、その感情の表現に最適なフォントを12種類の中から自動で選んで字幕に使用する。例えば、楽しい内容は丸みのあるフォント、怒っている内容は角ばったフォントで表示することで、より直感的に内容を伝える。
■発話者の口元近くに字幕を表示
映像内の発話者を特定して、自動的にその口元の近くに字幕を表示できる。これにより、複数の人物が登場する映像でも、誰が何を話しているかを直感的に伝えることができる。
■実用化に向けて開発を継続
今後、両社は「感情表現字幕システム」の開発を継続し、字幕放送での実用化を目指す。また、音声認識や感情認識のAIの精度を向上させるほか、リアルタイム性の向上も進め、生放送やインターネット同時配信サービスの字幕へと展開する。
