モーションブラーシェーダ

モーションブラー

はじめに

現実世界のカメラで撮影された現実世界のオブジェクトで、モーションブラーを展開します。mental ray でのレンダー時には、これらのトレードオフを達成するための複数の選択肢があります。主に、次の 3 つの方法があります。

レイトレース 3D モーションブラー
高速ラスタライザ("高速スキャンライン" ともいう) 3D モーションブラー
ポストプロセッシング 2D モーションブラー

それぞれの方法に利点と欠点があります。

レイトレース 3D モーションブラー

これは、最先端の "フル機能" タイプのモーションブラーです。ピクセル内の空間のサンプルごとに、一時的なレイが多数送信されます。レイの数は、オプションブロックに設定された "時間コントラスト" によって定義され、実際の数は、1 / "時間コントラスト" になります(空間サンプルごとに 1 つの一時的なサンプルを送信する空間モード "高速モーションブラー" が有効になっていない場合 ¹)。

各レイはそれぞれ異なる時間に撮影されるため、物理的に正しい方法で、すべてにモーションブラーが適用されます。ミラー平面を移動するフラット移動ミラーでは、エッジにのみブラーが発生します。ミラーの反射そのものは静止した状態です。シャドウ、反射、ボリュームエフェクトには、すべて正しくモーションブラーが適用されます。モーションは複数セグメント化できます。つまり、オブジェクトを回転すると、ラインではなく円弧に入り込むモーションブラー "ストリーク" を作成できます。

しかし、トレードオフはレンダリング時間です。完全なレイトレーシングが一時的なサンプリング場所で複数回実行され、トレースされた各レイは、サンプルの完全なシェーディングモデルを評価するためです。

このタイプのモーションブラーでは、モーションブラーが適用されたオブジェクトのレンダー時間は、一時的なサンプルの数(1/ "時間コントラスト")とともにほぼ直線的に増加していきます。

高速ラスタライザ("高速スキャンライン" ともいう)モーションブラー

ラスタライザは、mental ray 3.4 で導入された新しい "スキャンライン" レンダラであり、シェーディングとサーフェスサンプリングを分離する非常に高度なサブピクセルテッセレーションを実行します。

ラスタライザは、シェーディングサンプルをセットで取得し、少数のシェーディングサンプルが空間サンプルとして再利用されることを許可します。実用上の利点は、高速モーションブラーが(ヘアレンダリングの処理時に一般的にラスタライザが使用される理由となっている非常に高品質のアンチエイリアシングとともに)可能であることです。

トレードオフでは、シェーディングサンプルが再利用されます。これは、前述の例で示したフラットミラーが、実際にはミラーの反射をミラーそのものと一緒に塗り付けることを意味します。ほとんどの実用的事例において、この差異は視覚的に重要なものではありません。

モーションブラーは完全に 3D のままですが、主な利点は、レンダリング時間がピクセルごとのサンプル数とともに直線的に増加しないことです。つまり、ピクセルごとに 64 のサンプルを使用しても、ピクセルごとに 16 のサンプルを使用したときよりも時間が 4 倍遅くなることはありません。レンダー時間により大きな影響を与えるのはは、ピクセルごとのシェーディングサンプル数です。

ポストプロセッシング 2D モーションブラー

最後に、ポストプロセスとしてのモーションブラーについて説明します。このモーションブラーは、レンダリングフェーズで格納されたピクセルモーションベクトルを使用し、これらをモーションブラーのビジュアルシミュレーションに "塗り付ける" ことで機能します。

ラスタライザの使用時と同様に、これは、ミラーイメージのようなフィーチャや、フォアグラウンドの透明オブジェクトを通して見えるオブジェクまでもが、フォアグラウンドオブジェクトと一緒に "ストリーク" することを意味しています。さらに、モーションフレームバッファが 1 つのセグメントのみを格納するため、"ストリーク" は常に直線で、絶対にカーブしません。

この方法の主な利点は、レンダリングの速度です。シーンまたはシェーダの複雑度による影響はありません。ブラーは、メインレンダリングパスの実行後に実行される、mental ray の "出力シェーダ" として適用されます。出力シェーダの実行時間は、ブラーを適用するためにどのくらいのピクセルが必要になるか、また、各ピクセルがどの程度まで "塗り付けられる" 必要があるかによって異なります。

2D モーションブラー使用時の考慮事項

モーションベクトルをレンダリングする

シーンは、モーションベクトル フレームバッファを有効化し、そのフレームバッファを適切なモーションベクトルで満たした状態でレンダーする必要があります。これは、モーションブラーをオンにし、シャッター長をゼロにしたレンダリングで実現できます。

    shutter 0 0
    motion on

"motion on" は、"shutter 0 0" の後に来る必要があります。

mental ray の従来のバージョンでは、次に示すコンストラクションが必要でした。

    motion on
    shutter 0 0.00001
    time contrast 1 1 1 1

これは、以下のことを意味します。

非常に短いがゼロではないシャッター長の設定
1 1 1 1 の時間コントラストの使用

問題が発生し、モーションブラーが表示されない場合は、上記の代替設定を試してみてください。

視覚的な違い: 不透明度とバックグラウンド

3D ブラーは、オブジェクトが時間軸に沿って移動するもので、実際にレンダリングすることにより得られます。2D ブラーは、静止イメージを撮り、それを 2D スクリーン上のモーションベクトルに沿ってストリークすることで、このエフェクトをシミュレーションします。

これにより、見た目上わずかな差異が生じることを理解することが重要です。

たとえば、シャッター間隔に、自身の幅と同じ距離だけ移動するオブジェクトは、その軌跡に沿って、各ポイントを半分の時間で効果的に占有することができます。これは、モーションブラーが適用されたオブジェクトの "ストリーク" が、50 パーセントの透明度で効果的にレンダーされ、その背後にあるバックグラウンドが、その状態に応じて透けて見えることを意味します。

対照的に、2D モーションブラーでレンダーされたオブジェクトは静止位置でレンダーされるため、これらのピクセルは、後でモーションブラーストリークに塗り付けられます。これは、(塗り付けられる前に)オブジェクトが最初に占有していた領域全体が、バックグラウンドが透けて表示されない完全に不透明な状態のままであり、"ストリーク" がこの場所から両方の方向にフェードアウトするため、バックグラウンドを各サイドで透かして表示できることを意味します。

最終的な結果として、2D ブラーを使用した場合は、トゥルー 3D ブラーを使用した場合に比べてわずかに不透明度が増します。ほとんどの場合、および、適度なモーションでは、これが問題と見なされることはありません。これが重大な問題となるのは、極端なモーションブラーの場合のみです。

3D ブラー

2D ブラー

シャッターとシャッターオフセット

mental ray のシャッター間隔の動作を例示するために、静止した状態の円錐のセットと、移動する 2 つのチェック模様のボールのイメージを使用します。これらのボールは、フレーム 0 で最初の円錐の上に、フレーム 1 で 2 番目の円錐の上に、というように移動していきます。

t=0 でのオブジェクト

t=1 でのオブジェクト

3D モーションブラーを使用する場合、mental ray の仮想カメラのシャッターは、"シャッターオフセット" で設定された時間に開き、"シャッター" で設定された時間に閉じます。

シャッターオフセットが 0、シャッターが 0.5 の場合の結果を次に示します。つまり、オブジェクトブラーは t=0 から "始まり"、t=0.5 まで続きます。

シャッターが t=0 で開き、t=0.5 で閉じる 3D ブラー

2D モーションブラーを使用する場合は、その仕組みについて理解することが重要です。フレームは、"シャッターオフセット" 時間にレンダーされ、それらのピクセルは、前方向と逆方向の両方にストリークされ、ブラーエフェクトを作成します。したがって、同じ設定を使用すると、次のようなブラー結果になります。

シャッターオフセット = 0、mip_motionblur シャッター = 0.5 の 2D ブラー

この動作が、3D ブラーの場合と異なることに注目してください。両方の方法で実行したレンダリングを混合する必要がある場合は、ブラーのタイミングを同一にする設定を使用することが重要です。

これは、次に示すように、"シャッターオフセット" の時間を目的とするブラーの中央の時間(ここでは、t=0.25)に変更することで実現できます。

    shutter 0.25 0.25
    motion on

シャッターオフセット = 0.25、mip_motionblur シャッター = 0.5 の 2D ブラー

シャッターオフセットを 0 にすると、3D ブラーの設定に一致することに注目してください。ただし、3D ブラーで、シャッターオフセット 0.25 とシャッター長 0.5 (つまり、"shutter 0.25 0.75" ステートメント)が指定された場合、結果は次のようになります。

シャッターが t=0.25 で開き、t=0.75 で閉じる 3D ブラー

したがって、異なる方法で実行したレンダーを合成する際には、このタイミングの相違を念頭に置くことが非常に重要となります。

mip_motionblur シェーダ

mip_motionblur シェーダは、2.5D ² モーションブラーをポストプロセスとして実行するための、mental ray の出力シェーダです。

    declare shader "mip_motionblur" (
            scalar  "shutter",
            scalar  "shutter_falloff",
            boolean "blur_environment",        
            scalar  "calculation_gamma",
            scalar  "pixel_threshold",
            scalar  "background_depth",
            boolean "depth_weighting",
            string  "blur_fb",
            string  "depth_fb",
            string  "motion_fb",
            boolean "use_coverage"
        )
        version 1
        apply output
    end declare

shutter は、シャッターが "開いている" 時間の長さです。実際は、イメージがレンダーされた後でピクセルが前方向と逆方向の両方でストリークに塗り付けられ、その距離はそれぞれ、シャッター時間にオブジェクトが移動する距離の半分に等しくなります。

shutter_falloff は、塗り付けのドロップオフ速度、つまり、塗り付けがフェードアウトして透明になる速さを設定します。これは、ブラーの "柔らかさ" を微調整するものです。

減衰(falloff) = 1.0

減衰(falloff) = 2.0

減衰(falloff) = 4.0

最初のイメージでは、ハイライトがほぼ均等なラインにストリークされていますが、最後のイメージでは、もっとゆるやかに衰えていきます。

減衰(faloff)を大きくするとモーションブラーの認識できる長さが短くなるため、シャッターの長さをわずかに長くして補正する必要があることが特徴的です。

そのため、減衰(falloff)は、明るすぎるハイライトのエフェクトを納得できるまで "ストリーク" する際に特に役立ちます。シャッターの長さに大きな値(シネマティックの既定である 0.5 より大きな値)を設定し、減衰(falloff)の値を大きくすると、明るすぎるハイライトを納得のいく形で塗り付けることができる可能性があります。

blur_environment は、カメラ環境(つまりバックグラウンド)にカメラの動きによるブラーを適用するかどうかを定義します。オンにすると、環境からのピクセルにブラーが適用され、オフにすると適用されません。カメラの動きによる環境へのブラーの適用は、オプションブロックで "スキャンライン" がオフの場合のみ可能であることに注意してください。

バックグラウンドがシーンのジオメトリによって作成された場合は、この設定は適用されず、バックグラウンドのブラーはそのジオメトリのモーションブラーになります。

calculation_gamma は、ブラーの計算を行うガンマカラースペースを定義します。mental ray 出力シェーダは、書き込み済みのフレームバッファで実行され、これらのバッファ(浮動小数点なし)には既にガンマ補正が適用されているため、ポストエフェクトが適切なガンマで適用されることが重要です。

リニア浮動小数点でレンダーし、後で適切なガンマ補正を行う場合は、calculation_gamma を 1.0 または適切な値に設定します。この設定は、モーションブラーの "外観" を芸術的観点からコントロールするために使うこともできます。ガンマ値を高くすると、ストリークでは、暗さより明るさが優先されます。

さまざまなガンマ

ガンマ値の低いイメージでは、画像が暗くなり、緑のボックスと赤い球の間のブラーが不自然になっていることに注目してください。ガンマ値を高くすると、よりスムーズにブレンドされ、モーションブラーがよりリアルになります。しかし、十分に強調できないため、後にパイプラインでガンマ補正が適用される場合は、calculation_gamma parameter パラメータを 1.0 に維持する必要があります。ただし、芸術的なエフェクトとして、ブラーを明るくする必要がある場合は例外です。

pixel_threshold は、ブラーを追加する前にオブジェクトを移動させる必要のある、最小のモーションベクトル長(ピクセル単位)です。0.0 に設定すると無効になり、サブピクセル移動がある場合も含め、すべてのオブジェクトにわずかにブラーが適用されます。これは技術的には正確であっても、イメージがぼやけ過ぎていると認識されることがあります。

たとえば、地平線上の熱帯の島に向かって低空飛行をしているジェット機のコックピットからのビューでは、動きがほんのわずかでも、地平線上の熱帯の島自体にモーションブラーがいくらか追加されることがあります。同じように、オブジェクトに対する非常にゆっくりとしたパンの場合でも、ブラーが追加されます。このため、わずかに "フォーカスがずれて" 見えるという望ましくない結果になることがあります。これを解決するには、pixel_threshold をたとえば 1.0 に設定すると、すべてのモーションベクトルの長さから 1 ピクセルが差し引かれるため、フレーム間で 1 ピクセル(またはそれ以下)だけ移動するすべてのオブジェクトのモーションブラーが完全になくなります。リアルな表現を求めるなら、この値は非常に低く(1 ピクセル以下)しておく必要がありますが、芸術的なエフェクトのために高い値を設定することもできます。

background_depth は、バックグラウンドまでの距離を設定します。これにより、アルゴリズムはシーンの深度レイアウトを計算できるようになります。値はシーンの深度と同じくらいの大きさに設定する必要があります。つまり、アルゴリズムは、カメラからこの距離を超えるものを "遠い" と見なします。

depth_weighting をオフにすると、ヒューリスティックアルゴリズムを使用して、オブジェクトのブラーで深度ソートが実行されます。既定のアルゴリズムでは、遠くのオブジェクトのブラーが近くのオブジェクトのブラーにかかることがあります。そのため、depth_weighting をオンにして代替アルゴリズムを使用できます。この代替アルゴリズムにより、background_depth よりカメラに近いオブジェクトには、遠くにあるオブジェクトのブラーよりも次第に "不透明" になるブラーがかかります。つまり、近いオブジェクトのブラーは遠いオブジェクトのブラーの上に "上塗り" される傾向が強くなります。カメラに近いオブジェクトには不自然な不透明のブラーがかかるため、既定ではこのオプションはオフになっています。このモードは、移動しているフォアグラウンドオブジェクトと(比較的)静止しているバックグラウンドを明確に区別できる場合に最も便利です。

blur_fb は、ブラーを適用するフレームバッファの ID ³ を設定します。空の文字列("")は、メインカラーフレームバッファを意味します。参照されるフレームバッファは RGBA カラーバッファである必要があり、適切なシェーダによって書き込まれる必要があります。

depth_fb は、深度情報の取得元となるフレームバッファの ID を設定します。空の文字列("")は、メイン mental ray の z 深度フレームバッファを意味します。参照されるフレームバッファは深度バッファである必要があり、適切なシェーダによって書き込まれる必要があります。

motion_fb は、モーションベクトル情報以外は depth_fb と同様に機能し、ここでの空の文字列は、既定の mental ray モーションベクトルのフレームバッファを意味します。参照されるフレームバッファはモーションバッファである必要があり、適切なシェーダによって書き込まれる必要があります。

use_coverage をオンにすると、移動する 2 つのオブジェクト間のアンチエイリアスが適用されたミックスを含むエッジピクセルの使用方法を決定する際に、アルファチャネルではなく "有効範囲" チャネルの情報が使用されます。

mip_motionblur を使用する

前述のとおり、シェーダ mip_motionblur では、シーンはモーションベクトルを使用してレンダーされる必要があります。

    shutter 0 0
    motion on

シェーダ自体も出力シェーダとしてカメラに追加される必要があります。

   shader "motion_blur" "mip_motionblur" (
      "shutter"          0.5,
      "shutter_falloff"  2.0,
      "blur_environment" on
   )
   camera "...."
      output "+rgba_fp,+z,+m" = "motion_blur"
      ...
   end camera

シェーダでは、深度("z")およびモーション("m")フレームバッファが必要となり、これらのフレームバッファは、両方とも補間される("+")か、どちらも補間されない("-")必要があります。このシェーダは、補間されたバッファを使用するために最適化されていますが、補間されていないバッファに対しても同様に機能します。

シェーダが明るすぎるカラー(白よりも白いカラー)を維持し、それをストリークする機能を使用するには、カラーのフレームバッファを浮動小数点数("rgba_fp")にする必要があります。そうでない場合は、単純な "rgba" になります。

複数のフレームバッファとモーションブラー

複数のフレームバッファに書き込みを行うシェーダを使用する場合は、mip_motionblur シェーダの複数のコピーを次々にチェーンし、それぞれに異なる blur_fb を参照させ、一度のレンダリング操作で複数のフレームバッファにブラーを適用できます。ブラーを適用できるのは、カラー フレームバッファのみであることに注意してください。

また、合成操作では、合成の計算が正しく機能しない可能性があるため、1.0 以外の calculation_gamma を使用することは推奨されません。代わりに、合成フェーズで適切なガンマ管理を必ず行うようにしてください。

適切な既定

推奨されるいくつかの既定を次に示します。

ごく標準的な見た目のブラーの場合は、shutter を 0.5、shutter_falloff を 2.0 に設定します。

より "柔らかい" 見た目のブラーの場合は、shutter を 1.0、shutter_falloff を 4.0 まで上げます。

他の mental ray レンダーのブラーに一致させるために、(オプションブロックにある) mental ray のシャッターオフセットを、mip_motionblur に設定されているシャッター長の半分に設定することを忘れないでください。モーションブラーを位置合わせの移動場面(キーフレームがブラーの中央にあることが多い場所)に一致させる場合は、シャッターオフセットを 0 に設定します。

mip_motion_vector シェーダ

モーションブラーを適用する前に合成処理を行う場合や、特定のサードパーティのモーションブラーシェーダを使用する場合があります。こうした理由から mip_motion_vector シェーダが存在します。このシェーダの目的は、カラーとしてエンコードしたピクセル空間(mental ray の標準的なベクトルフォーマットはワールド空間にあります)のモーションを書き出すことにあります。

モーションをカラーとしてエンコードする方法はさまざまありますが、このシェーダは最も一般的な方法をサポートしています。

サードパーティ製ツールの大部分が、モーションベクトルをカラーとしてエンコードするときに、赤を X 軸、緑を Y 軸としています。カラーの制限に合わせるため(特に浮動小数点を使用せず、カラーが黒から白にのみ変化する場合)、モーションは係数(ここでは max_displace と呼びます)でスケールされ、結果として生じる -1 ～ 1 の範囲がカラーチャネル 0 ～ 1 にマップされます。

このシェーダは、いくつかの異なる浮動小数点出力モードもサポートしています。

シェーダは次のように表示されます。

    declare shader "mip_motion_vector" (
            scalar  "max_displace"    default 50.0,
            boolean "blue_is_magnitude",
            integer "floating_point_format",
            boolean "blur_environment",        
            scalar  "pixel_threshold",
            string  "result_fb",
            string  "depth_fb",
            string  "motion_fb",
            boolean "use_coverage"
        )
        version 2
        apply output
    end declare

パラメータ max_displace は、エンコードされたモーションベクトルの最大長を設定し、このピクセル数(またはそれ以上)のモーションベクトルはカラーの制限範囲内で表現できる最大値(たとえば、白または黒)としてエンコードされます。

選択したイメージフォーマットの解像度を最大限に活用するには、一般的に、8 ビットイメージの場合は max_displace を 50 に(実際にはこの目的では推奨されません)、16 ビットイメージの場合は 2000 に設定します。シェーダはフレームに存在する最大モーションベクトルの情報ステートメントを出力するため、このパラメータの調整に役立てることができます。詳細については、使用しているサードパーティのモーションブラーシェーダに関するドキュメントを参照してください。

max_displace が 0 の場合は、モーションベクトルがイメージの解像度を基準にエンコードされます。たとえば、幅 600 ピクセル、高さ 400 ピクセルのイメージの場合、正の X 方向への 600 ピクセルの移動は赤チャネルの 1.0 としてエンコードされ、負の X 方向への 600 ピクセルの移動は 0.0 としてエンコードされます。正の Y 方向への 400 ピクセルの移動は、青チャネルの 1.0 としてエンコードされます ⁴。

blue_is_magnitude をオンにすると、青のカラーチャネルはブラーのマグニチュードを示し、赤と緑のカラーチャネルは 2D 方向のみエンコードします。オフにすると、青のチャネルが使用されず、赤と緑のチャネルが方向とマグニチュードの両方をエンコードします。詳細については、使用しているサードパーティのモーションブラーシェーダに関するドキュメントを参照してください ⁵。

floating_point_format がゼロ以外の場合、シェーダは真の浮動小数点のモーションベクトルを赤および緑のチャネルに書き込みます。max_displace の長さに正規化されていない、またクリップもされていないことから、正の値も負の値も含まれます。このオプションをオンにすると、max_displace も blue_is_magnitude も無効になります。

現在、2 つの異なる浮動小数点出力フォーマットがサポートされています。

1: 実際のピクセル数がそのまま浮動小数点に書き込まれます。
2: ピクセルのアスペクト比が考慮され ⁶、ピクセルが移動した距離の測定は Y 方向のピクセル値で表され、X コンポーネントはピクセルアスペクト比によってスケールされます。

今後は浮動小数点フォーマットがさらに追加される予定です。

blur_environment をオンにすると、カメラの動きにコントロールされる空のバックグラウンド領域に対してモーションベクトルが生成されます。このオプションは、スキャンラインレンダラの使用時は無効になります。

pixel_threshold は、ゼロ以外のベクトルが生成される前にオブジェクトを移動させる必要のある、最小のモーションベクトル長(ピクセル単位)です。実際には、書き出す前にこの長さがモーションベクトルから単純に減算されます。

result_fb は、結果を書き込むフレームバッファを定義します。指定されない場合(空の文字列)、結果は標準のカラーバッファに書き込まれます。ただし、モーションベクトルに個別のフレームバッファを定義し、その ID を指定する方が便利です。そうすると、ビューティレンダーとモーションベクトルレンダーの両方を 1 つのパスで実行できます。ここでは何も含まれていないカラーバッファを指定する必要があります。カラーバッファの内容は、このシェーダによって上書きされてしまうからです。

mip_motion_vector を使用する

モーションベクトルの生成については、mip_motionblur (usingpostblur ページ)を使用する場合と同じ考慮事項が適用されます。また、ポストプロセッシングモーションブラーと完全な 3D ブラーのタイミングの相違については、timing ページの説明と同じ考慮事項が適用されます。

さらに、モーションベクトル用に個別のフレームバッファを作成し、それらをファイルに保存する場合があります。次に疑似 .mi syntax の一部を示します。

   options ...
      ...
      # export motion vectors
      shutter 0 0
      motion on
      ...
      # Create a 16 bit frame buffer for the motion vectors
      frame buffer 0 "rgba_16" 
   end options
   ...
   shader "motion_export" "mip_motion_vectors" (
      "max_displace"     2000,
      "blur_environment" on,
      # our frame buffer
      "result_fb"        "0"    
   )
   ...
   camera "...."
      # The shader needs z, m
      output "+z,+m" = "motion_export"
      # Write buffers
      output "+rgba" "tif" "color_buffer.tif" 
      output "fb0"   "tif" "motion_buffer.tif"
      ...
   end camera

1: "高速モーションブラー" モードは、"時間コントラスト" をゼロに設定し、上と下のイメージのサンプリングレートを同一にする(たとえば "samples 2 2" など)ことで有効にできます。"高速モーションブラー" モードの詳細については、http://www.lamrug.org/resources/motiontips.html を参照してください。
2: オブジェクト間の Z 深度リレーションシップも考慮するため、"2.5D" と呼ばれます。
3: このパラメータは string 型で、mental ray 3.6 で導入された名前付きのフレームバッファをサポートします。名前付きのフレームバッファが使用されない場合、文字列には数字を含める必要があります。たとえば、フレームバッファ番号 3 の場合は、数字の "3" を使用します。
4: 8 ビットイメージには十分な解像度がないため、このモードは 8 ビットイメージでは機能しません。
5: ReVisionFX 社の "Smoothkit" では、blue_is_magnitude を使用するベクトルをオンにする必要がありますが、同社の "ReelSmart Motion Blur" ではオフにする必要があります。
6: Autodesk Toxik に対応しています。

モーション ブラー シェーダ

はじめに

レイトレース 3D モーション ブラー

高速ラスタライザ("高速スキャンライン" ともいう)モーション ブラー

ポスト プロセッシング 2D モーション ブラー

2D モーション ブラー使用時の考慮事項

モーション ベクトルをレンダリングする