リクルートの研究開発機関であるアドバンスドテクノロジーラボ（以下、ATL）は東北大学大学院医工学研究科（以下、東北大学）との共同研究「リザバーコンピューティングAIとネイルコンダクターを連携した活用に関する取り組み」を2021年12月より開始。人工知能（AI）と爪に装着するデバイスであるネイルコンダクターとの連携により、バイタル情報を活用した新たな入力インターフェースを研究。自身の手をデバイスや家電製品のコントローラーにするなど、複数の活用方法が見いだされる結果となった。
本技術を応用して実現可能な「鼓動で奏でるシンフォニー」イメージ動画を、ATLのYouTubeで公開している。
生活者にとって便利で、豊かさをもたらすデバイスを開発し、提供すること。また、モバイル端末、IoTやメタバース分野などにも利用可能な操作支援技術を目指すことを目的に、今回の共同研究開発はスタートした。
＜研究内容＞
リザバーコンピューティングAIの開発をリクルートのATLが、ネイルコンダクターの開発を東北大学が行った。リザバーコンピューティングとネイルコンダクターの連携概要は以下の通り。
※リザバーコンピューティングとは
AIの高速学習・高速実行を実現したニューラルネットワーク。高速にリアルタイム学習と推論を行うことができる特長も持つ。このAIモデルはコンパクトかつ省電力で実行可能であるため、エッジデバイスやIoT機器などのロースペックなデバイスやスマートフォンでも利用しやすい。
※ネイルコンダクターとは
爪に装着して指先の血流情報を測定するデバイス。この血流情報をリザバーコンピューティングAIに学習させることで、指のいろいろな動きや状態を正確に認識することができる。現在は有線のネイルコンダクターを開発済みで、Bluetooth接続のワイヤレスネイルコンダクターを開発中（2023年頃完成見込み）。
ネイルコンダクターが取得した指先の血流情報を用い、指の状態を判定する研究用アプリケーション上で、Recall（再現率）100%とPrecision（適合率）94.11%の精度を達成した。指の状態を判定することで、現在は「段ボールで簡易的に作製した非ITデバイスをコントローラーにしてゲームで遊ぶ」「何もない空間上で指を動かすだけで入力操作が可能」などができるようになっている。
＜イメージ動画＞
現在、実現可能な技術を用いた「指先の動きで演奏する」イメージ動画を、ATLのYouTubeで公開中。
※画像をクリックすると動画が流れます。
両者は今後、さらに本技術の活用の幅を広げて、ビジネスでの活用に加え、社会課題の解決を図る構想もあるという。
例えば、「VR空間内で物をつかむ、操作する、キー入力の操作支援を行う」、「暗所で手話通訳や文字認識をすることで、コミュニケーションの可能性を広げる」、「遠隔手術に活用することで、医師不足や医療格差の問題に貢献する」「メタバース向けの仮想／拡張空間内コントローラーとしての利用」など、複数の用途が考えられる。
また、リザバーコンピューティング技術単体でも、指先の血流情報以外にも脳波、血圧、脈拍などの情報を学習させることで、効果的な行動支援や事故防止、より高度な健康管理に役立てるなどの用途も考えられる。
