[尾下研究室] [English]


研究概要


尾下研究室では、コンピュータアニメーションに関する研究を行っています。
特に、コンピュータアニメーションやコンピュータゲームへの応用を目的とした、仮想人間の動作処理技術の研究を行っています。
仮想的なキャラクタのアニメーションを実現するためには、人体や動作の情報をコンピュータ上で処理するための技術が必要になります。人間の動作データは、高次元の時系列データとなり、動画や音声などの他のメディアデータと比べて、より複雑なデータになります。そのため、コンピュータで動作データを扱うためには、さまざまな工夫が必要になります。
本研究室では、運動学などの人体動作を扱う基礎技術と、数学や情報工学のさまざまな技術(幾何学、統計学、生体力学、機械学習、深層学習など)を、組み合わせたり、発展させたりすることで、人体動作処理に関する問題を解決する研究を行っています。
具体的には、以下のような研究テーマに取り組んでいます。
  • 仮想人間の動作制御・生成
    現在、コンピュータゲームに登場する仮想人間の動きは、基本的に、あらかじめ作成された動作データを再生することで実現されています。そのため、仮想人間は同じ動きの繰り返ししかできず、不自然になってしまう、という問題があります。本研究室では、利用者や環境との相互作用に応じて、仮想人間の自然な動きを動的に生成する技術を開発しています。

  • 仮想人間の操作インターフェース
    コンピュータゲームやアニメーション制作では、仮想人間のさまざまな動きを、利用者が直感的にコントロールできるようなインターフェースが必要となります。本研究室では、ユニークなデバイスを使ったインターフェースや、一般的なデバイスを使った新しい操作方法のインターフェースなどを開発しています。

  • 仮想人間の動作変形・編集
    現在のアニメーション制作システムでは、動作データの直接的な生成・変形しか行えないため、人間の動きに関する専門的な知識を持った制作者でなければ使いこなせない、という問題があります。本研究室では、特別な知識を持たない初心者であっても、簡単にアニメーションを制作できるような手法を開発しています。

  • 動作解析・可視化
    モーションキャプチャ機器を使用して対象者の動作データを取得することで、スポーツやダンスのトレーニングやリハビリテーション等の用途に役立てたい、という要求があります。本研究室では、動作データから重要な特徴を抽出する解析手法や、利用者がその情報を理解できるようにする可視化手法を開発しています。

  • 仮想人間の外観(衣服・髪・皮膚)の物理シミュレーション
    仮想人間の映像を自然に見せるためには、仮想人間の動きだけではなく、仮想人間の衣服・髪・皮膚なども自然な動きを行う必要があります。本研究室では、物理シミュレーションと、衣服・髪・皮膚の擬似的な形状変形モデルを組み合わせることで、これらの動きを高速に生成する手法を開発しています。


研究紹介動画


YouTube に、本研究室の研究紹介の動画 を公開しています。
また、情報工学部のホームページ(YouTubeの九州工業大学チャンネル) にも、本研究室の短い研究紹介の動画 が公開されています。


研究プロジェクト 一覧


仮想人間の動作制御・生成

深層学習を用いた群衆シミュレーション (CASA 2019)
本技術は、深層学習と周辺状況画像を用いることで、各エージェントが周囲の状況に応じて直感的・論理的に周囲のエージェントとの衝突を避けるように移動方向を決定する技術を開発した。
全身の動作からの指の動作の生成 (CAVW 2016, MIG 2014)
一般に、指の動作と全身の動作は別々に作成する必要があるため、指の動作の作成には手間がかかる。本研究では、機械学習を用いることで、全身の動作から指の動作を推定して自動的に生成する技術を開発した。
モーショングラフを用いた回避動作の選択 (MIG 2011)
本技術は、さまざまな攻撃に対して、キャラクタが回避を行うような動作を生成する。アクション映画の俳優のように、さまざまな攻撃を華麗に避けるような動きを実現するため、時間と空間の両方を考慮して高速に動作探索を行う技術を開発した。
操作ログからの動作ルールの学習 (CASA 2010)
プレイヤーの操作ログを解析することで、プレイヤーと同様の動きを実現するような動作ルールを自動的に学習し、再現する。本研究では、パターン認識の一手法であるサポートベクターマシンを応用している。
動力学を考慮した仮想人間の運動制御アルゴリズム (EUROGRAPHICS 2001)
本技術は、キャラクタ同士の衝突などに応じて、仮想人間の自然なリアクション動作を生成する。基本的には入力された動作データに追従しつつ、衝撃などの変化が発生したときには、全身のバランスや関節負荷を考慮して能動的な動的制御を行う。
仮想人間の操作インターフェース

マルチタッチによるキャラクタの操作インターフェース (WSCG 2012, VC 2010)
本研究では、マルチタッチ入力機器を用いて、利用者がキャラクタの体の部位をタッチ・ドラッグすることで、あらかじめ用意された多数の姿勢・動作データをもとに、キャラクタの自然な動作を自在に操作できるシステムを開発した。
動作認識のための学習モデルの自動構築 (ISVC 2010)
本研究では、利用者の動作(ジェスチャ)認識を行うための学習モデルを自動的に構築するための手法を開発した。SOM を用いることで学習データを状態に分割し、状態間の遷移条件を SVM により学習する。
データグローブによるキャラクタ動作制御インターフェース (CGAT 2009)
本技術では、データグローブ・磁器センサを入力機器として用い、利用者の両手の位置・向きや指の屈伸に応じて、キャラクタの動作をリアルタイムに制御するためのインターフェースを開発した。
ペンインターフェースによる群集アニメーションの生成 (SG 2009)
本技術では、利用者が入力した、群集の動きのサンプルとなる数本の線をもとに、群集を制御するための群集パラメタを推定し、群集アニメーションを生成する。利用者は、手間のかかるパラメタ設定の作業を行うことなく、群集の動きを自由に操作できる。
モーションキャプチャによるアバタ動作制御のフレームワーク (ACE 2006)
モーションキャプチャ機器を使って、キャラクタの全身動作を制御するための手法を開発した。キャラクタを、入力動作と生成動作の両方に追従させることで、衝撃に応じたリアクション動作や、足踏み操作による歩行動作を実現する。
ストロークによる仮想人間の直感的な動作指定インターフェース (CASA 2005)
本技術は、ペンストロークにより仮想人間の動作を直感的に指定できるようなインターフェースである。動作の起点(使用部位・物等)を表す点から、終点を表す点(目標位置・対象物等)にストロークを描画することで、適切な動作が決定され、実行される。
ペンデバイスを使った仮想人間の直感的な動作制御インターフェース (SMB 2004, CAG 2005)
本技術は、ペンタブレットを利用することで、仮想人間の動作を直感的に操作できるようなインターフェースである。ペンの位置・傾き・筆圧の情報を仮想人間の動きに直接的にマッピングすることで、利用者がペンを動かすと、その通りの動作が実現される。
仮想人間の動作変形・編集

格子変形にもとづく回避動作の変形 (MIG 2017)
本技術は、指定された障害物や移動物体との衝突を回避するように、入力された動作を変形する。動作空間全体を格子構造により表現し、移動する障害物と接触しないように格子構造を変形することで、動作全体を効率的に変形する技術を開発した。
魅力的な姿勢のルールの解明と姿勢変形への応用 (ArtsIT 2017, CGI 2017)
本研究では、映画・漫画・イラストなどのコンテンツに登場する人物の魅力的な姿勢に注目し、魅力的な姿勢を特徴付けるためのルールを解明した。また、獲得したルールを適用することで、新たな魅力的な姿勢を生成する手法を開発した。
形容詞にもとづく動作補間 (NICOINT 2016)
本研究では、楽しそう・悲しそうといった形容詞をパラメタとして動作生成を行うための手法を開発した。被験者によるアンケート調査にもとづいて形容詞パラメタを決定し、利用者が指定した任意の形容詞の組み合わせによりサンプル動作を補間することで、動作生成を実現する。
能の仕舞のアニメーション合成システムの開発 (CW 2012)
本研究では、我々が開発した半自動動作合成技術を応用することで、利用者が能の仕舞の型付(舞の内容を記述した資料)の情報に従って所作(動作データ)を時間軸上に配置するだけで、日本の伝統芸能である能の仕舞のアニメーションを容易に作成できるシステムを開発した。
動作データベースと自然言語からのアニメーション生成システム (VC 2010, CW 2009)
我々は、脚本や小説などの、自然言語によって記述された文章を入力すると、アニメーションを自動的に生成するようなシステムを開発している。さらに、オブジェクト指向データベースを用い、多数のキャラクタのさまざまな動作を効率的に管理する。
半自動動作合成システム (PG 2008)
本システムでは、利用者が、複数の動作データを時間軸上に配置すると、それらの動作をなめらかに接続して、ひとつの連続的な動作データを生成する。動作データの配置を変えると、対話的に出力動作も変更されるため、長い複雑な動作も簡単に作成できる。
動作特徴量の抽出と適用による動作スタイルの変形 (CASA 2006)
本技術は、動作データのスタイル(楽しそう、悲しそう、疲れたように、等)をさまざまに変化させるための技術である。我々は、それぞれのスタイルを表す特徴量を既存の動作データから学習し、別の動作データに適用可能とするような手法を開発した。
動作解析・可視化

動作特徴の解析と可視化による動作フォーム練習システムの開発 (TVC 2019, CW 2018)
モーションキャプチャ機器を使用して取得した練習者の動作を解析し、動作の問題点や修正方法を可視化することで、動作フォームの練習を行えるシステムを開発した。
仮想人間の外観のシミュレーション

パターンを用いた実時間皮膚変形アニメーション (ArtsIT 2009)
本技術は、人間の皮膚変形が数種類のパターンに分類できることに注目し、あらかじめ人体モデルのどの箇所でどのパターンの皮膚変形ができるかをテクスチャ空間上で指定しておくことで、自然な皮膚変形を容易に実現する。
実時間髪シミュレーション (CASA 2007)
本技術は、衣服シミュレーションと同様のアプローチを髪にも適用し、髪の束の動力学シミュレーションと、運動速度に応じた髪の束の形状変形を組み合わせることで、自然な髪の実時間シミュレーションを実現した。
実時間衣服シミュレーション と 仮想試着システムへの応用 (VC 2003, CA 2001)
衣服シミュレーションは、非常に多くの計算時間を必要とするため、リアルタイム性が要求されるアプリケーションでは利用できなかった。本技術は、動力学シミュレーション技術に、幾何的な形状変形技術を組み合わせることで、この問題を解決した。



尾下研究室、及び、本サイトへのお問い合わせは、以下のアドレスまでお送りください。
e-mail address