記事詳細

【家電の世界】視線やポーズで誰でも演奏できる 人と協調したNEC「AI楽器」 (1/2ページ)

 NECが独自の人工知能(AI)技術を活用して、誰でも奏でることができる2種類の楽器を開発した。

 一つは、視線の向きによって音を奏でる「ANDCHESTRA TRUMPET(アンドケストラ・トランペット)」である。同社の遠隔視線推定技術を活用することで、画面上に配置された音のアイコンに視線を送るだけで音が鳴る仕組みだ。「視線を移すだけで音が鳴るため、非接触で楽器を奏でることができる」(同社)といい、新型コロナウイルス対策にも適している。

 カメラで撮影した映像を元に、目頭や目尻、瞳などの目の周囲の特徴点の位置を求めて、白目の面積などを分析。それによって、視線の向きを推定することができる技術で、もともとは、小売店舗において、来店客が棚やディスプレーのどこを見ているのかを分析し、マーケティングに生かすといった用途で使われている。

 もう一つは、手の位置や角度などの姿勢を検知して音を奏でる「ANDCHESTRA VIOLINE(アンドケストラ・バイオリン)」。音ごとに定められたポーズを取ることで音が鳴る仕組みだ。

 姿勢推定技術と呼ぶ開発中の技術を活用して、カメラで撮影した映像をもとに、肩や肘などの間接点と、間接点同士の間の中点を抽出。間接点からは人体領域を推定し、中点と人体領域から姿勢を推定することができる。楽器では、車椅子の人でも演奏ができるように、上半身の右腕のポーズだけで、ドレミファソラシドの音階を出すことができ、左手を加えれば、ひとつ高い音階にするといったことができる。

関連ニュース