Analyzerワークフロー

Brian Genna -

Starting a new shot - 新規シーケンスの処理を始める

下記行程にてAnalyzerで新規ファイルの編集を始めます。

New Jobダイアログボックス
  1. Faceware Analyzerを開きます。
  2. 上記ツールバーNewアイコンもしくはFileメニューからNewを選択します。
  3. New Jobダイアログボックスが表示されます。
  4. Input Video File (a)にトラックするビデオファイルのパスを指定します。また、ファイル自体をこのボックス内に手動でドラックして指定することも可能になります。
  5. Job Details (b)にはJob Name(
  6. 前)とJob Location(ファイルパス)を入力します。デフォルトではJob Nameはビデオファイル名になります。Job Locationは毎回手動で選択する必要があります。
  7. Project Name (c)は現在既に存在するプロジェクト名を選択、もしくは新規プロジェクトをリストに追加します。
  • 重要 - プロジェクト名はプロジェクト全体を通して同じである必要があります。同一プロジェクト内にファイルが存在しない場合は、Retargeter内のShared Poseは正常に動作しません。
  1. Valid Frame Range (d):
    • ビデオ全体を処理する際は、Allを選択しシーン全体を有効化して下さい。
    • Automaticを選択すると、ビデオのコーナーに表示される色付けされたインジケーターで有効化されたフレームをAnalyzer上で自動的に検出します。
    • Manualを選択し、有効なフレームレンジを手入力することも可能です。コンマでレンジを区切り入力します。(200-400,600-800等)
  2. Image Extraction Options (e)を使用しビデオデータを回転させたり、フレーム数をビデオデータ上に表示し焼き込む事が可能です。Retargeter Imagesではビデオシーケンスの解像度や画質を指定することができます。大抵の場合、Auto Resizeに設定してあれば問題ありません。
  3. すべての設定が終了後Createボタンをクリックすると、設定の反映したファイルが作成されます。Analyzerは下記二種類のファイルを作成します。
    • .impdファイル: ビデオからのlow-resのイメージシーケンスと、ビデオからのオーディオ、そして最終的にはRetargeterで使用するトラッキングデータが含まれます。
    • フォルダ: Analyzerのトラッキングに使用するオリジナルの解像度のイメージシーケンスとその他の関連するトラッキングファイ ルが格納されます。このフォルダはJob名と同名で作成され、同じパスに保存されます。この.impdファイルと関連付けられたフォルダは両方とも Analyzerで開き、編集する際に必要になります。
  4. 以上でAnalyzerでのトラッキング作業を開始可能になります。

Faceware Analyzerでの主な目的は、顔の表情を迅速かつ精度良くトラッキングし、Faceware Retargeterでフェイシャルアニメーション生成に使用します。具体的には、数フレームのアクターの表情を関連付けることにより、ソフトウェア側が そのショット全てのシーケンスをトラッキングします。

Import Tracking Models - トラッキングモデルのインポート

Tracking ModelのインポートはエクスポートされたモデルとTraining Frameを新規Jobで使用する際に使用します。

新規ショットへのトラッキングデータのインポート方法は下記になります。

  1. 通常通り新規Jobを作成します。
  2. ウィンドウ左上のFileメニューからImport Tracking Jobを選択します。
  3. データの保存先フォルダを選択します。
  4. 成功した場合、インポートの詳細に関する確認メッセージが現れます。

Markup - マークアップ

アクターの極端な表情や他と異なった表情のフレームをMarkupし、ソフトウェアにアクターのパフォーマンス情報を与えることをTraining Frameを作成すると表現します。そして、これらのフレームをもとにソフトウェア側でシーケンス全体の各フレーム間のデータも自動的に処理します。ユー ザーはAnalyzer内ではLandmarksと呼ばれる点を下記の方法で設定します。

  • 重要 - Faceグループをトラックしないように注意して下さい。このFaceグループはすべてのグループのTrackingが完了した際にプレビューする為にお使い下さい。
  1. Eyeグループをツールバー内のドロップダウンメニューから選択します。これにより目のマークアップグループのみを関連するLandmarkのみを表示します。全てのマークアップグループに鼻のLandmarkは存在します。
Eyes1.jpg

目のランドマークの例

  1. 最初のフレームで目と鼻のLandmarkを上記写真のように大体の位置に合わせます。ここまでの作業はIntelligent Dragを使用すると、とても簡単に合わせることができます。Landmarkをドラッグする際にShiftキーを押したままにしておくとその他の Landmarkも一緒におおよその位置に動く機能になります。その後に、それぞれのLandmarkを細かく移動し調整します。Intelligent Dragは手動で移動していないLandmarkにのみ反映され動きます。手動で移動されたLandmarkは緑色で表示され、その他手動で移動されてい ないLandmarkは青色の状態のままになります。(こちらの色はあくまでもデフォルトであり、オプションメニューより色設定の変更は可能になりま す。)
  2. タイムライン上のLandmarkを設定したフレームに緑色のマーカーが表示されます。この表示はAnalyzerの計算に使用する Training Frameを作成したフレームを意味します。Training Frameは一つのLandmarkを移動し編集した時点で自動的に作成されます。しかし、ソフトウェア上ではTraining Frame上の全てのLandmarkをデータ処理に使用します。
  3. タイムラインをスクラブし、瞬きや大きく開けている時など目が極端な動きをするフレームもしくは瞳の極端な動きのフレームで Training Frameを設定します。もしショットが特別に長い場合、タイムライン上をCtrlキーを押しながらドラッグするとショット内でより小さいセクションを選 択することができます。これは

Training Frameは最低3フレーム必要になりますが、上限はありません。お勧めの方法としましては、最初は少量のTraining Frameでスタートし、必要箇所に応じて足していく方が良いです。Training Frameの必要数は演技やシーケンスの尺、画質もしくはユーザーのレベルによって大きく変わります。

  • Imported Tracking Modelを使用する際は、Training Frameが最低1フレーム必要になります。

If using an Imported Tracking Model, only one training frame is necessary.

Training a Model - モデルをトレーニング

Training Frameの作成が完了後、このTraining Frameの情報を解析する為にソフトウェア側に教えます。作成されたTraining Frameを解析し、統計的に計算されたモデルのパフォーマンスを計算するプロセスを“Training a Model”(モデルをトレーニングする)と呼びます。

  1. Trackメニューから、シーン内の全体もしくは選択された範囲内で設定したTraining Frameを使用しモデルをトレーニングすることができます。ツールバー内のTrainボタンはデフォルトですべてのTraining Frameを使用します。
  2. AnalyzerがTraining Frameの解析を開始します。プロセスが完了し次第、OKをクリックして下さい。
  • Imported Tracking Modelを使用する際は、新規でTraining Frameを追加していない場合トレーニングをする必要はありません。この場合、Trackメニュー内のTrain Model - Allを使用して下さい。

Tracking - トラッキング

Analyzer内での処理全体は総じてTracking(トラッキング)と呼ばれ、Training Frameを設定し作成されてモデルをもとにTraining Frame間のフレームの情報を生成する処理になります。

  1. Trackメニューから、設定されたValid Frame(有効フレーム)のみ、もしくはシーン全てのフレーム、選択されたフレームのみ、Current Frame(現在のフレーム)から前後のTraining Frame間のどの範囲をトラックするか選択します。選択すると、Analyzerが自動的に指定されたフレーム間の処理を始めます。
  2. タイムラインをスクラブ、もしくはプレイバック機能を使用しながら処理されたデータを確認します。Ctrl + Spaceでプレイバックのスタート/ストップすることが可能になります。トラッキングの結果を確認しやすいようなるべく大きくズームして顔の表情を確認 してください。極端にランドマークが飛び跳ねたり滑ったりするシーンを注意深く確認し、そういったフレームがあった際はTracking Frameが足りない事を意味します。修正箇所があった場合、適切なフレームで再度Training Frameを追加し、TrainとTrackし直すといった作業を全体のフレームがスムーズに適切にTrackingするまで繰り返します。
  3. 鼻のランドマークを選択し、Ctrl + Lでロック(固定)します。色が灰色になり、ロックを外さない限り動くことはなくなります。鼻はそれぞれ全てのMarkupグループ内に存在し、それぞれ のグループを関連付けより正確にトラックできるように手助けする役割を担っています。従い、一度一つのグループ内で設定終了後、ロックすることをお勧めし ます。

この時点で、眉グループと口グループの処理を繰り返します。

眉のマーキング時の例。鼻のランドマークは灰色になりロックされています。
口グループのマーキング例。


目、眉、口の全てのグループのトラッキングが完了し次第、メニューよりFaceグループを選択し、全てのグループのトラッキングを確認します。繰り返しま すが、Faceグループはトラッキングする際には使用せず、データを確認する際にのみ使用します。チェック完了後、Parameterize(パラメタラ イズ)を行います。

Parameterization - パラメタライズ

Parameterization(パラメタライズ)はトラッキング処理の最終プロセスになり、Analyzerで処理したデータをFaceware Retargeter内で読み込める形式にファイルをコンバートします。パラメタライズ方法は下記になります。

Parameterizationダイアログボックス
  1. TrackメニューからParameterizeを選択、もしくはF12キーを押します。Parameterizationダイアログボックスが開きます。
  2. お持ちのアカウントのユーザー名とパスワードを入力します。
  3. パラメタライズするフレーム範囲を選択します。
  4. OKをクリックします。
  5. パラメタライズの処理が始まります。この処理時間は処理するデータの尺に依存します。このパラメタライズの処理を行う時のみインターネットに接続されている必要があります。

注意 – 必要に応じて、再パラメタライズすることは可能になります。データは自動的に上書きされ、同じ元ファイルであれば再度課金されることはありません。 パラメタライズの処理が終わり次第、.impdファイルが生成されFaceware Retargeterで読み込む準備完了となります。

Export Tracking Models - トラッキングモデルのエクスポート

トラッキングモデルのエクスポートすることにより、統計的に計算されたモデルとそれぞれのTraining Frame両方を保存し、他のファイルへの再利用することが可能となります。他ファイル内にトラッキングモデルのインポート後、必要に応じて Training Frameを追加しモデルを完成させます。この行程は必ずしも必要なステップではございませんが、同じ役者で多くのショットがある場合にとても有効な機能 になります。 完成したファイルからトラッキングデータのエクスポート方法は下記になります。

  1. 全てのMarkupグループがTrainされている必要があります。
  2. FileメニューよりExport Tracking Modelを選択します。
  3. ファイルの保存先フォルダを選択します。それぞれのアクター毎に別々のフォルダを作成することをお勧めします。
  4. 下記のようにエクスポートの成功を知らせるメッセージが表示されます。
エクスポート完了メッセージ
  • 既にImport Tracking Modelの機能から作成されたファイルをエクスポートする場合、既に存在するファイルを上書きするか聞かれます。Yesを選択することにより、新しいモ デルとTraining Frameがフォルダ内に追加されますが、事前にインポートされた全てのモデル、Training Frame共にフォルダ内には残ります。この様にデータはどんどん追加されより良いモデルになります。
Have more questions? Submit a request

Comments

this.location="http://support.facewaretech.com"
Powered by Zendesk