CGロボットの非言語情報制御

　人間同士のコミュニケーションで重要な視線や手振りなどの非言語情報をロボットと人間のコミュニケーションに利用する方法を検討しています。ロボットで非言語情報を制御するために、まず人間同士の会話を分析し、人間の発話交代時に非言語情報を出力するタイミングを調べました。その結果、非言語情報の種類によって出力のタイミングが違うことがわかりました。この分析結果をもとに非言語情報を利用した人間とCGロボットのコミュニケーション実験の結果、人間同士と同様に、発話開始直後あるいは発話の終了時に非言語情報を出力すると会話が円滑に進むことがわかりました。

顔方向と視線の検出

　人間がロボットに作業を指示したり、協調して作業を行なう場合、人間の意図や注意をロボットに示す方法が必要になります。人間の顔や目の動きは意図や興味を表す重要な情報であるため、この情報を認識することで、人間とロボットのコミュニケーションを円滑に進められることが期待できます。現在までに、顔方向と視線を画像情報から自動検出する研究を行なっています。
　右図はマウスにより顔領域を指定した上で顔方向を認識した結果です。図の右上が切り出した顔領域で、下が認識した顔方向になります。現在、人物によらず方向を認識することが可能です。
　また同時に視線検出を行なっていて、図はその処理に必要な特徴点を抽出している例です。

頭部の動きの認識

　顔領域抽出と顔方向認識を統合し頭部の動きを認識しようという段階にあります。右図は様々な状況下で撮影された画像に対して領域抽出と方向認識を行なった結果です。
　探索には遺伝的アルゴリズムを用いており、右上図に示すように、探索の速度に関しては10世代から20世代でほぼ顔領域を特定でき、右下図に示すように、照明条件や背景の異なる画像からでも精度の高い顔領域抽出と顔方向認識が可能となっています。