Analyzerを始めるにあたり...

Brian Genna -

Faceware AnalyzerはFacewareソフトウェアパイプラインの一番最初の行程になります。効率の良くソフトウェアの能力を最大限引き出す使用方法を学ぶ ことにより、トラッキングの行程の時間を短縮出来、Faceware Regargeterへのベストな状態でのデータを出力することが可能になります。良くある問題点を回避するティップスなどを纏めましたので、御参考にし て頂ければと思います。

 

Less is more

Analyzerにおいて最も多く尋ねられる質問は「どれくらいトレーニングフレームは必要か?」という質問です。残念ながら、「そのシーケンスの 処理が終わるまで」という答えになってしまいます。1000フレーム長でもアクターはほとんど表情を変えないシーケンスの場合、トレーニングフレームは少 なくて済みますし、60フレーム長のシーケンスでもアクターが叫んだり頭を振っていたりするものの場合にはより多くのトレーニングフレームが必要になりま す。 最小限のヒントを与えてそこからスタートする法則で進めていくことがこの問題に対する最良の方法になります。シーケンスを処理しトレーニングフレームを作 成する際に、まず最小限必要と思われる数のトレーニングフレームからスタートし、トレーニングしてトラックします。もしその時点で十分であればトレーニン グの作業は以上になり、足りなかった際は必要だと思うトレーニングフレームを追加しチェックといった流れを繰り返します。トレーニングフレームの数を最小 限に抑えることにより、似ているトレーニングフレームの作成が避けられ、よりスムーズなトラッキングデータを得ることができます。

Consistent placement is key - 首尾一貫した配置

もちろん人それぞれ顔は違う為、それぞれの顔は輪郭、影、眉など異なります。最良のトラッキングデータを得る為にはランドマークを出来るだけ顔の同 じ位置に設定する必要があります。例えば、輪郭がくっきりとした眉の人もいますが、眉毛の薄い人も多くいます。従い、アクターによって判別しやすいポイン トは変わる為、ランドマークはどのシーケンスでもいつも全く同じ位置配置するのでは無く、シーケンス毎に首尾一貫した位置に配置する様心掛けることが一番 重要になります。ただ、あまりにも異なる形にはしないでください。眉のランドマークは眉と同じ様な形にし、位置も大体合う位置に配置して下さい。

つのシーケンス別の眉のランドマークになります。別々のアクター間ではなく、一つのシーケンス内で首尾一貫した位置に配置することが最も重要になります。シーケンスを確認しながら最良のデータを取得して下さい

Ignore the Face - フェイスグループは使用しない

顔のMarkupグループはトラッキングの為のグループではありません。Markupグループは作業の終了しパラメタライズする前にシーケンス全体 をを確認する為にあります。顔全体のグループでトラッキングを行い、それぞれのグループ毎にトラッキングを行うと、良いデータを取得できません。 Analyzerでシーケンスの処理を始める時には直ちに目のグループのみを選択し作業を始めて下さい。

Lock the Nose - 鼻を固定

最初のMarkupグループのトラッキングが終了したら、鼻のランドマークを選択しロック(固定)します(CTRL + L)。ロックするには2点理由があり、一つのグループ内で設定されたトレーニングフレームとその他のグループで設定されたトレーニングフレームとを見た目 上混同するのを避ける為になります。また、鼻のパートは3つ全てのMarkupグループ全てに含まれている為、全てのグループ間の精度を良くする為のアン カー的役割を担っております。従い、目はほとんど位置が動かない為最初のステップとして目のグループからスタートし、眉、口の順で複雑なパートは最後に作 業することをお勧めします。

目のグループの作業が終わり次第、鼻のランドマークをロックする習慣をつけましょう。そうすることにより、その先の行程で多くのトラブルが避けられ、他グループのトラッキングの助けにもなります。

Less is more, part 2

トラッキングモデルをインポート/エクスポートする機能を使用する際には、各シーケンス毎にただエクスポートし続け、エクスポートされたトレーニン グフレームの数をどんどん増やしていくのは簡単です。しかし、インポート/エクスポートの目的はゼロから始めるよりかはより良い出発点として時間の節約を する為であり、多くのトレーニングフレームを積み重ねたからと言ってより良いトラッキングデータが得れるわけでもなく、むしろジッターが乗り有効な手段と は言えません。 処理されエクスポートされたモデルがある場合、必要以上にトレーニングフレームを足さないことをお勧めします。これにより、似たトレーニングフレームが追 加されることやデータ量が増える事を避けることができます。撮影可能な場合は、一般的な動きのROM(レンジ・オブ・モーション)を撮影しモデルをエクス ポートすると、出発点として良いデータになるでしょう。

Drag Intelligently - インテリジェント・ドラッグ

Intelligent DragはAnalyzerのとても便利なツールになります。特にシーケンスを読み込み新規のトレーニングフレームを作成する際に役立ちます。しかし、必 ずしもいつも最適な方法といった訳ではありません。数個のランドマークのみを移動させたい時にはNormalのドラッグを使用し、Intelligent Dragは全体の形を新しく合わせる際に有効なツールになります。 場合によっては全体の形をコピー&ペーストし、数個ランドマークを移動した方が早い時があります。通常はNormalの状態のドラッグモードで作 業しIntelligent Dragを使用する際はShiftキーをホールドしながらドラッグする方が、ずっとIntelligent Dragモードで作業するよりお勧めです。 この方法の方がより簡単に2つのモードを切り替えることが可能です。また、ランドマークはコピー&ペースト可能になります。

メニューバーはNormalモードのままにしておき、Intelligent Dragを使用する際はShiftキーを使用した方がより早く2つのモードの切り替えが可能になります。

Deleting vs Training & Tracking - 削除 vs トレーニング&トラッキング

トラッキングされたデータを確認中にトラッキングが外れているフレームを発見するケースがあるかと思います。同じ形(表情)のフレームでも同様に外 れている際はトレーニングフレームを追加しトレーニング、トラックをし直します。しかし、1フレームのみ外れているだけの場合は、そのフレーム上のランド マークを選択しDeleteキー(タイムライン上選択されたレンジ内すべてに反映させる場合はShift + Deleteキー)を押します。そうすると、Analyzerは任意のフレームもしくはレンジ内のトレーニングフレームを削除し、出力データをスムーズに させます。もちろん手動で修正することも可能ですが、新しいトレーニングフレームを作成する必要があります。その数フレームの為に再びトレーニングしト ラックし直すのは時間がもったいないので、必要のないフレームの場合削除し、データのノイズを埋めて下さい。

Working in sections - 小分けにして処理

長いシーケンスを作業する際にはシーケンス全体を一度に処理するより、シーケンスをパートに区切りながら作業を行った方が便利なケースが多いです。 例えば、単純に300フレームと1000フレームのシーケンスを比較すると300フレームのデータの方が問題のあるフレームを発見し処理しやすく、再びト レーニング、トラッキングする時間もより短く済みます。最初に追加されたトレーニングフレームは最後まで使用される為、パートに区切りながら作業すること をお勧めします。ただ、作業するMarkupグループの順序はそのまま順番通り行ってください。 例えば、目のグループを作業している場合、400フレーム毎にパートを分けながら処理を始め、目のグループ全体のシーケンスの処理が終わるまで繰り返して 下さい。 その後、眉、口のグループを同様の方法で処理して下さい。そうすることにより、長いシーケンス内で処理しなければいけないフレームを見落とすようなことは 起きません。ワークフローに慣れていくにつれて、見逃すことなくより長いパートを一度に処理できるようにはなるかと思います。

タイムライン上でCtrl + 左ドラッグすることによりタイムライン上でレンジを選択することが可能です。

Video quality - ビデオクオリティー

  1. 頭の動き – 極端な頭の動きはシーケンスをトラッキング処理するにあたり少々時間を要します。なぜなら、もし同じアクターで同じセリフ の流れを同じ表情で撮影されていても、カメラから見える顔の角度が異なれば新しいトレーニングフレームを作成する必要があるからです。Head Mounted Cameraを使用する場合は、この様な問題は起きませんが、固定カメラで撮影されたシーケンスに関しては頭の動きを考慮して処理する必要があります。
  2. 照明 – 照明の暗い環境や照明の劇的な変化は通常の撮影環境に比べてより多くのトレーニングフレームを要します。Head Mounted Cameraを使用しHMCの照明を使用する際にはこの様な問題は起こりません。
  3. ひげ – 極端な長さのひげは口グループのトラッキングにノイズが乗る恐れがあります。顎ひげや口ひげは問題なく、下記写真のように口の周りにひげが生えていてもト ラッキング時にランドマークを配置する際に良い参考になり有効です。データ上問題ないひげの判断基準は上下の唇を合わせるように固く閉じた際に唇が見えて いるかどうかで判断します。その際にもしひげが唇を覆っている場合は、唇に被らない様にひげを整える必要があります。
  4. 髪 – ひげと同じく、眉やおでこなどの動きを解析する為に撮影の際は前髪を整えて表情を撮影するにあたって影響の出ないところに纏める必要があります。
唇を覆わない限り、実際ひげは口周りのランドマークを配置する際にとても良いガイドになります。
Have more questions? Submit a request

Comments

this.location="http://support.facewaretech.com"
Powered by Zendesk