ENGLISH/JAPANESE

研究目的

 高西研究室では,人の心身のメカニズムを追及し,人間とロボットの共生を目指してヒューマノイドロボットの研究開発を行っています. その中で人間と情緒あるいは感性レベルでの交流ができることは,ヒューマノイドロボットにおける重要な機能のひとつであると考えています.
そこで私たちは音楽を用いた感性レベルでの交流の実現を目標とし,これまで人間形フルート演奏ロボットの開発・研究を行ってきました.

これまでの研究・開発ではロボットの演奏音を向上させる研究だけではなく,以下のような人間とロボットのインタラクションに関する研究も行ってきました.
 ・プロフルーティストとの共演を目標とした,センサによる共演者の情報を検知し,
  ロボット演奏時のパラメータを変更させ演奏表現力を向上させるシステム
 ・教育支援を目的とした隠れマルコフ・モデルに基づくメロディーの識別システム
 ・プロフルーティストと初心者の演奏を比較して評価を行うシステム
 ・ViolaとJonesのアルゴリズムに基づいた顔追従システム

 ロボットと人間が相互に働きかけるところを目指すためにはロボット側が人間の演奏音を含めた情報を認識する必要があります. しかし,人間の演奏には感情を含むさまざまな要因が影響してくるため,演奏家のモデルを正確に認識することは難しいと言えます. 一方ロボットの場合を考えますと,ロボットは人間とは異なり,安定した演奏モデルを持つことができます. そこで私たちは人間をロボットに置き換え,ロボット−ロボット間のインタラクション研究を行うための異種楽器演奏ロボットとして, 人間形サキソフォン演奏ロボットの開発を2008年より開始しました. 今後はこのロボットの演奏技術の向上と,ロボット-ロボット間,人間-ロボットのインタラクション研究について進めていきたいと考えています.

robot

↑ Page TOP

WAS-5の概要

人間形サキソフォン演奏ロボットWAS-5(WAseda Saxophonist No.5)は,
サキソフォン演奏に必要な人体各器官の機能のうち,口唇部・舌部・肺部・指部の4つのパーツ,さらに人間とのインタラクションに用いる眼部・腰部・眉部・まぶた部の4つのパーツ(全32自由度)で構成されています.



WAS-5の自由度構成
部位 自由度
口唇部 2
舌部 1
口腔部 1
首部 3
肺部 2
指部 19
眼部 2
腰部 1
眉部 1
まぶた部 2
34

口唇部

口唇部

口唇部機構図

口唇部は吹鳴音に最も大きな影響を与える要素です.セプトンを用いて成型することにより,より人間らしい形状・弾力を持った口唇部となっています. 上唇を上下させることで音圧を,下唇を上下させることで音程を変化させています.

口腔部

口腔部

口腔部機構図

口腔部には口腔内断面積可変機構が取り付けられており,演奏中に上下させることによって音圧を変化させています.この口腔内断面積を変化させる機構はプロ演奏者の演奏中の口腔内断面積を測定し,それを参考にし設計されています.

舌部

舌部

舌部機構図

口腔・舌部も口唇と同くセプトンを用いて一体成形を行い,空気漏れを防いでいます.
 舌部は左図のようにリードの近くに配置し,モータの回転運動をリンク機構を用いて伝える機構となっています. これにより,アタックやレリースなどの技法を行うことができます.また,口腔形状はプロ演奏者の口腔形状を参考に設計されています.

肺部

肺部 エアポンプ

肺部 機構図

エアポンプは小型軽量を目指して製作しました.駆動機構は右図のような,クランクロッドが偏心円盤となっている偏心型クランク機構を採用しています. 偏心円盤に取り付けられたコネクティングロッドが空気室のゴム膜を往復運動させ, 空気を送り出す仕組みとなっています.
このロボットでは,応答性が低く空気のリップル防止に使用されているニードル弁と応答性が高く急速な流量制御に利用する電磁弁の二種類の弁を用いて空気の制御をしており,それにより休符や舌で行うアタックやレリースの補助を行っています.

指部

左手機構図

右手機構図

指は拮抗型ワイヤ駆動方式により,ゴム製の指がキーの開閉を行う機構となっており, 19個のDCモータを用いてA#2〜F#5の運指が可能となっています.

また,各回転軸に角度センサを搭載することから,ワイヤのたるみによる遅れの補償を行っています.これによって, 運指のタイミングを同期させています.

眼部

眼部

眼部機構図

インタラクションのために視覚機構が搭載されています.両眼部に2台のCCDカメラを搭載し.ピッチ軸,ヨー軸の全2自由度を有しています.
また,視野角,眼球の角速度,角加速度を人間の視覚能力に近づく様設計されています.

腰部

腰部

腰部機構図

上半身の動作によって演奏者に演奏開始のタイミングを指示するため,可動腰部を搭載しています.自重補償機構によってロボットの重さをキャンセルし,スムーズな動作が可能です.

表情表出部

表情表出部

表情表出部機構図

表情豊かな演奏を実現するため,眉およびまぶたを有する表情表出機構を搭載しています.眉部は丸ベルトを用いることで,眉を上げる・寄せるといった2つの動作を1自由度で実現しています.まぶた部は左右で1自由度ずつ,タイミングベルトを用いて開閉動作を行います.

首部

首部


首部機構図

演奏能力の向上のため,楽器を咥える深さと角度の調整が可能な首部機構を搭載しています.
本機構は2種の異なる直動機構3つから構成されており,それらを連動させて駆動することで口唇部を回転中心とした咥え込み角度の調整を実現しています.
鉛直方向に動作する直動機構にはウォームギアを組み込むことで,演奏中における頭部機構の無通電保持が可能となっています.

新型筐体

新型筐体


人間はネックホルダーを用いて楽器保持を行っています。しかし前年度までのロボットはサックスのネックとサムフックを 固定することにより楽器保持を行っていた。 そこで音色の改善のため、ネックホルダーを使用して楽器保持を行う筐体の開発を行った。
筐体は、ネックホルダーを吊るす首部と支持部に分かれています。首部でサックスの荷重を支え、 支持部で柔らかくサックスのバランスをとっていいます。

↑ Page TOP

制御システム

 下図はWAS-5のブロックダイアグラムとなります.楽曲を演奏するために,まずMIDI信号を音量,ピッチ,テンポの3つに分解します.そして,その3つのパラメータをそれぞれに適したモデルに入力し,各機構の参照位置が決定されます.
 WAS-5Rは演奏に合わせて表情や体の動きも調整できるため,より豊かな演奏表現が可能となっています.
 さらに,ロボットは聴衆や伴奏者の反復的な動作を検知し,そのリズムに合うよう入力のMIDI信号を調整することで演奏している楽曲のテンポを変化させることができるなど,外部との高度なインタラクションも実現しています.


↑ Page TOP

演奏システム

 人間形サキソフォン演奏ロボットWAS-5は,伴奏用MIDIデータの出力を行うMIDIコントロールパソコンとロボット制御用パソコンにより演奏を行っています.
MIDIコントロールパソコンはMIDI音源への伴奏データを出力し,MIDI信号に同期してロボット制御パソコンがロボットの制御を行います. ロボット制御パソコンはロボットデータと呼んでいるデータを利用して演奏を行います.ロボットデータには各音名に対するロボットの 制御パラメータが記録されています.

↑ Page TOP

インタラクションシステム

 人間形サキソフォン演奏ロボットWAS-5は音楽を人間-ロボットのインタラクションを目的に演奏開始及び演奏終了のタイミングを同期させることができます.演奏者の動作検知のためにCCDカメラ及びIMUを 用いた演奏者の動作検知を行い,それぞれの情報を合わせたデータを元にロボットは最適な制御を行いタイミングを同期させます。

また,ダンサーとの共演においてはCCDカメラとIMUセンサを用いて動作を取得し,ダンサーのパフォーマンスに合わせて演奏するフレーズを変化させることが可能です.

↑ Page TOP

演奏ムービー


演奏者とWAS-4のインタラクション

↑ Page TOP

謝辞

 本研究は早稲田大学ヒューマノイド研究所のもとで行われました.ここに感謝の意を表します.
WAS-5は3D-CADソフトウェア "SolidWorks" を用いて設計しました.本ソフトウェアを提供して頂きましたソリッドワークス・ジャパン株式会社に感謝致します.
制御部分にはNucleo 401REおよびX-Nucleo IHM04A1を利用しています.これらのボードを提供していただきましたSTMicroelectronics社様に感謝致します.

↑ Page TOP