Japanese / English

研究目的

音楽に基づくインタラクションシステム（Musical-based Interaction System (MbIS)）は演奏者が以下の方法を用いて人間形フルート演奏ロボットとインタラクションを行うことを目的としています

新しい音楽的な表現を行うためのインタラクションを行う
単に楽器を演奏するロボットとしてだけでなく、共に演奏を行うのパートナーとしての役割を果たす（図1）

図 1 - 人間のバンドにおける表現方法は聴き手に良い印象を与える

システムは視覚センサの入力と同様に，外部の音を処理し，それら入力をロボットの演奏に反映することによって構成され，他のインタラクションシステムとの差別化を図ります．

複数の知覚チャンネルによるインタラクション (multi-modal interaction):視覚と演奏音認識システム
人間と同様の演奏を行うことのできる，人間形のロボットによる演奏．
演奏者の身体情報をロボットの演奏にフィードバック．
演奏者の習熟度に合わせたインタラクションシステム．

音楽に基づくインタラクションシステム

演奏システムは様々な状況に合わせた複数のモジュールを持っています．

各タスクには，ロボットのカメラとマイクの入力からのデータを分析し，ロボットの演奏に反映させてインタラクションを実現するモジュールを備えています．
以上のデータからMIDIデータが生成され，ロボットに送られます.
ロボット自身には，MIDIデータに従ってモータ制御を行うモジュールを持っています．
システムは初級者用と上級用の2つの演奏レベルに分けられます．

図 2 - 音楽に基づくインタラクションシステム(MbIS)の概要

図 3 - 演奏システムのハードウェア構成図

初級者レベルのインタラクション

初級者用のインタラクションシステムには以下のような特徴があります

仮想のフェーダとボタンは、ロボットとパートナーミュージシャンの楽器の動きを検出するために使用されます．
センサー処理からロボットコントロールモジュールに送られたデータは、ロボットの動きに反映されます．
ヒストグラムを基にしたオーディオ分析を使用し，意図した結果に従ってロボットが演奏を行っているかを確認します．（図4)

図 4 - 初級者レベルのインタラクションの動作原理

上級者レベルのインタラクション

上級者レベルのインタラクションでは，初級者レベルと比較して，より自由にロボットとインタラクションを行うことを目的としています．

ユーザーが楽器の動作を音楽パターンとリンクするための教育システムを提案しています．
ユーザーが自由に楽器を動かすことが可能なように配慮した結果，このレベルは上級者に有効であることがわかりました．
そのため，パーティクルフィルターを基にした，楽器の動作を認識するシステムの開発を行いました．
楽器の動きと演奏パターンを関連づけるため，ベイズマッピングアルゴリズムを使用しており，演奏フェーズではロボットは与えられた楽器の動作に合わせて自動で最適な演奏を行います．
両方のインタラクションレベル(初級者用と上級者用)において，演奏を始めるタイミングを制御するために，ソフトのコントローラを使用できます．

図 5 - 上級者レベルのインタラクション動作原理

演奏ムービー

	初級者レベルのインタラクションシステム (right-click to download movie)
	上級者レベルのインタラクションシステム (right-click to download movie)

謝辞

本研究は早稲田大学ヒューマノイド研究所で，岐阜県からの委託であるWABOT-HOUSEプロジェクトとRT-GCOE Global Robot Academiaの援助のもと行われました．ここに感謝の意を表します．

WF4-RVは3D-CADソフトウェア "SolidWorks" を用いて設計しました．本ソフトウェアを提供して頂きましたソリッドワークス・ジャパン株式会社にも感謝致します．


Humanoid Robotics Institute, Waseda University	Wabot-House Laboratory, Waseda University	Global Robot Academia RT-GCOE of Waseda University	SolidWorks Japan K.K.