ENGLISH/JAPANESE

研究目的

 高西研究室では,人の心身のメカニズムを追及し,人間とロボットの共生を目指してヒューマノイドロボットの研究開発を行っています. その中で人間と情緒あるいは感性レベルでの交流ができることは,ヒューマノイドロボットにおける重要な機能のひとつであると考えています.
そこで私たちは音楽を用いた感性レベルでの交流の実現を目標とし,これまで人間形フルート演奏ロボットの開発・研究を行ってきました.

これまでの研究・開発ではロボットの演奏音を向上させる研究だけではなく,以下のような人間とロボットのインタラクションに関する研究も行ってきました.
 ・プロフルーティストとの共演を目標とした,センサによる共演者の情報を検知し,
  ロボット演奏時のパラメータを変更させ演奏表現力を向上させるシステム
 ・教育支援を目的とした隠れマルコフ・モデルに基づくメロディーの識別システム
 ・プロフルーティストと初心者の演奏を比較して評価を行うシステム
 ・ViolaとJonesのアルゴリズムに基づいた顔追従システム

 ロボットと人間が相互に働きかけるところを目指すためにはロボット側が人間の演奏音を含めた情報を認識する必要があります. しかし,人間の演奏には感情を含むさまざまな要因が影響してくるため,演奏家のモデルを正確に認識することは難しいと言えます. 一方ロボットの場合を考えますと,ロボットは人間とは異なり,安定した演奏モデルを持つことができます. そこで私たちは人間をロボットに置き換え,ロボット−ロボット間のインタラクション研究を行うための異種楽器演奏ロボットとして, 人間形サキソフォン演奏ロボットの開発を2008年より開始しました. 今後はこのロボットの演奏技術の向上と,ロボット-ロボット間,人間-ロボットのインタラクション研究について進めていきたいと考えています.

robot

↑ Page TOP

WAS-3の概要

 2012年に開発した人間形サキソフォン演奏ロボットWAS-3(WAseda Saxophonist No.3)は,
サキソフォン演奏に必要な人体各器官の機能のうち,口唇部・舌部・肺部・指部の4つのパーツ,さらに人間とのインタラクションに用いる眼部・腰部の2つのパーツ(全28自由度)で構成されています.

WAS-3の自由度構成
部位自由度
口唇部2
舌部1
口腔部1
肺部2
指部19
眼部2
腰部1
28

口唇部

口唇部

口唇部機構図

 口唇部は吹鳴音に最も大きな影響を与える要素です.セプトンを用いて成型することにより,より人間らしい形状・弾力を持った口唇部となっています. 上唇を上下させることで音圧を,下唇を上下させることで音程を変化させています.

口腔部

口腔部

口腔部機構図

 口腔部には口腔内断面積可変機構が取り付けられており,演奏中に上下させることによって音圧を変化させています.この口腔内断面積を変化させる機構はプロ演奏者の演奏中の口腔内断面積を測定し,それを参考にし設計されています.

舌部

舌部

舌部機構図

 口腔・舌部も口唇と同くセプトンを用いて一体成形を行い,空気漏れを防いでいます.
 舌部は左図のようにリードの近くに配置し,モータの回転運動をリンク機構を用いて伝える機構となっています. これにより,アタックやレリースなどの技法を行うことができます.また,口腔形状はプロ演奏者の口腔形状を参考に設計されています.

肺部

肺部 エアポンプ

肺部 機構図

 エアポンプは小型軽量を目指して製作しました.駆動機構は右図のような,クランクロッドが偏心円盤となっている偏心型クランク機構を採用しています. 偏心円盤に取り付けられたコネクティングロッドが空気室のゴム膜を往復運動させ, 空気を送り出す仕組みとなっています.
 また,エアポンプから吐出された空気の流量を流量制御弁を用いて制御しています.

指部

左手機構図

右手機構図

 指は拮抗型ワイヤ駆動方式により,ゴム製の指がキーの開閉を行う機構となっており, 19個のDCモータを用いてA#2〜F#5の運指が可能となっています.

 また,各回転軸に角度センサを搭載することから,ワイヤのたるみによる遅れの補償を行っています.これによって, 運指のタイミングを同期させています.

眼部

眼部

眼部機構図

 インタラクションのために視覚機構が搭載されています.両眼部に2台のCCDカメラを搭載し.ピッチ軸,ヨー軸の全2自由度を有しています.
 また,視野角,眼球の角速度,角加速度を人間の視覚能力に近づく様設計されています.

腰部

腰部

腰部機構図

 上半身の動作によって演奏者に演奏開始のタイミングを指示するため,可動腰部を搭載しています.自重補償機構によってロボットの重さをキャンセルし,スムーズな動作が可能です.

↑ Page TOP

制御システム

 演奏に用いる機構の口唇部・舌部・肺部・指部を,下図の通り制御しています. 特に指部では,角度センサから得られた位置情報を元に,各指ごとの遅れ時間を算出しています. また,運指を同期した圧力・ピッチコントローラー内では,身体を複合的に動かす人間に習い,多入力多出力におけるFF制御を行っています. 口腔内圧力,ピッチ,唇位置,楽譜情報を入力とし,ニューラルネットワークを用いたFB誤差学習よりFF系を構築し, 流量制御弁および下唇位置の指令値を出力します. さらに,1/fゆらぎを付加することでより人間らしい音を吹鳴することが可能です.

↑ Page TOP

演奏システム

 人間形サキソフォン演奏ロボットWAS-3は,伴奏用MIDIデータの出力を行うMIDIコントロールパソコンとロボット制御用パソコンにより演奏を行っています.
MIDIコントロールパソコンはMIDI音源への伴奏データを出力し,MIDI信号に同期してロボット制御パソコンがロボットの制御を行います. ロボット制御パソコンはロボットデータと呼んでいるデータを利用して演奏を行います.ロボットデータには各音名に対するロボットの 制御パラメータが記録されています.

↑ Page TOP

インタラクションシステム

 人間形サキソフォン演奏ロボットWAS-3は音楽を人間-ロボットのインタラクションを目的に演奏開始及び演奏終了のタイミングを同期させることができます.演奏者の動作検知のためにCCDカメラ及びIMUを 用いた演奏者の動作検知を行い,それぞれの情報を合わせたデータを元にロボットは最適な制御を行いタイミングを同期させます。

また,ダンサーとの共演においてはCCDカメラとIMUセンサを用いて動作を取得し,ダンサーのパフォーマンスに合わせて演奏するフレーズを変化させることが可能です.

↑ Page TOP

演奏ムービー


演奏者とWAS-2RIIIのインタラクション

「オレオ」
作曲: Sonny Rollins

↑ Page TOP

謝辞

 本研究は早稲田大学ヒューマノイド研究所のもとで行われました.ここに感謝の意を表します.
WAS-3は3D-CADソフトウェア "SolidWorks" を用いて設計しました.本ソフトウェアを提供して頂きましたソリッドワークス・ジャパン株式会社にも感謝致します.

↑ Page TOP