クラスタを使用してレンダリングする

VRED 2016 SR1 以降ではレイトレーシング クラスタ設定が、そして VRED 2017 以降ではディスプレイ クラスタ設定が変更されています。古い環境設定を読み込み、新しい形式に変換することができます。

[クラスタ]ダイアログ ボックスで、[ファイル] > [レガシーを読み込み]を選択します。

複数の VRED インスタンスから、同じクラスタ ノードに接続することができます。ただし、これを行うと使用可能なリソースが複数の VREDClusterServer インスタンス間で共有されるため、問題が発生する場合があります。

たとえば、予測できない負荷バランスの発生や、他の VREDClusterServer インスタンスによる CPU 消費などのために、パフォーマンスが低下することが挙げられます。同じクラスタ ノードに二人目のユーザが接続しようとすると、次のメッセージが表示されます。

要求された 1 つまたは複数のクラスタ ノード上で VREDClusterServer が既に実行されています。クラスタ化を開始して、パフォーマンスの問題のリスクを冒しますか?

もう 1 つの問題は、使用可能なメモリ容量です。大規模なモデルを使用している場合、クラスタ ノードのメモリに複数のモデルをロードすることが不可能になる場合があります。VRED は必要とするメモリ容量を予測しようとします。必要なメモリ容量を確保できない場合、次のメッセージが表示されます。

要求された 1 つまたは複数のクラスタ ノード上で VREDClusterServer が既に実行されていて、空きメモリが不足している可能性があります。クラスタ化を開始して、サーバが不安定になるリスクを冒しますか?

VRED がクラスタ サーバを強制的に開始すると、サーバで予測できないクラッシュが発生する可能性があります。

クラスタ レンダリングから個々のホストを無効にすることができます。無効になったホストは、レンダー ノード ライセンスをチェック アウトしません。

1. メニュー バーで[レンダリング] > [レンダリング設定]を選択し、[レンダリング設定]ダイアログ ボックスを開きます。
2. [レンダリング設定]ダイアログ ボックスで、[クラスタ]セクションまでスクロールダウンして、[クラスタを有効化]を選択し、ホスト名を入力します。
3. 無効にするホスト名の後に、[RT=0] を追加します。

VRED は複数のクラスタ ノード間における入れ替え同期をサポートしています。NVidia Quadro Sync などの同期ハードウェアがインストールされ、適切に環境設定され、接続されている必要があります。これらの前提条件をすべて満たしている場合は、ディスプレイ プロパティの[ハードウェアの同期]プロパティを有効にすることができます。接続されているすべてのディスプレイでバッファ入れ替え同期を実行できます。

Linux の VREDCluster のインストーラは、自己解凍バイナリ形式で出荷されています。パッケージのファイル名にバージョン番号とビルド日付が示されています。パッケージの内容を現在のディレクトリに抽出するには、シェル コマンドでインストーラを実行します。

sh VREDCluster-2016-SP4-8.04-Linux64-Build20150930.sh

これにより VREDCluster-8.04 というフォルダが作成され、クラスタ レンダリングに必要なすべてのファイルがそこに抽出されます。各クラスタ ノードに、このディレクトリに対する読み取り許可を与える必要があります。これは各ノードに個別にインストールすることも、共有ネットワーク ドライブにインストールすることもできます。

クラスタ ノードに接続できるようにするには、クラスタ サービスを開始する必要があります。そのためには次のコマンドを手動で入力して呼び出すか、Linux の起動プロセスのスクリプトに追加します。

VREDCluster-8.04/bin/clusterService

Linux では、さまざまな方法でシステムの起動時にプログラムを開始することができます。ただし、それぞれの Linux 配布バージョンによって、その方法はいくらか異なります。可能な解決策の 1 つは、/etc/rc.local に起動コマンドを追加することです。このスクリプトは、起動時と各 runlevel の変更時に実行されます。

インストール ファイルがたとえば /opt/VREDCluster-8.04 に格納されている場合、rc.local ファイルを次のように編集します。

#!/bin/sh -e

killall -9 VREDClusterService

/opt/VREDCluster-8.04/bin/clusterService &

exit 0

このサービスをルートとして実行したくない場合は、たとえば vreduser としてサービスを開始することができます。

#!/bin/sh -e

killall -9 VREDClusterService

su - vreduser '/opt/VREDCluster-8.04/bin/clusterService &'

exit 0

その他に、init スクリプトを /etc/init.d に追加してシステムの起動時に VRED サービスを開始するという方法もあります。まず、init スクリプトをインストール ディレクトリ bin/vredClusterService から /etc/init.d にコピーします。次に、このスクリプトを異なる実行レベルでアクティブにする必要があります。

Redhat または CentOS Linux の場合: chkconfig vredClusterService on

Ubuntu の場合: update-rc.d vredClusterService 既定値

ライセンス サーバのアドレスは、ホーム フォルダにある環境設定ファイル .flexlmrc に保存するか、環境変数 ADSKFLEX_LICENSE_FILE として設定する必要があります。サーバ名が mylicenseserver である場合は、次のように設定します。

~/ .flexlmrc ファイルには、以下の情報が含まれています。ADSKFLEX_LICENSE_FILE=@ mylicenseserver

またはログイン スクリプトに次のように追加します。export ADSKFLEX_LICENSE_FILE=@ mylicenseserver

クラスタ サービスを開始するユーザのための環境を確実に設定してください。

ログ ファイルは /tmp/clusterServer/log ディレクトリに記録されます。ログ ファイルは Web ブラウザで表示する必要があります。トラブルシューティングを行う際には、クラスタ サービスをコンソール モードで開始すると役立ちます。実行中のクラスタ サービスを停止した後、手動で bin/clusterService -e -c と入力して起動します。これですべてのデバッグ メッセージとエラー メッセージがコンソールに書き出されます。

サービスが実行されているかを確認する: ps -C VREDClusterService

クラスタ サービスを停止する: killall -9 VREDClusterService

クラスタ サーバを停止する: killall -9 VREDClusterServer

完全な非ブロッキング ネットワークでは、完全なリンク速度で、すべての接続したノードが相互に通信できます。16 ポートのギガビット スイッチでは、このことはスイッチが 16 のポートのトラフィックの読み込みと書き込みを並行して処理できることを意味します。これは 32 GB/s の内部の帯域幅を必要とします。VRED は非ブロッキング ネットワークで最適に動作します。たとえば、シーングラフの転送は、パイプラインのようにノードからノードにパッケージを送信して行います。これは各ノードにシーン全体を直接送信するより、はるかに速くなります。

可能な場合は、ネットワーク ハブを使用しないでください。ハブは、受信パッケージを接続されたすべてのノードに送信します。これにより、シーングラフの転送速度が非常に遅くなります。

大規模なクラスタでは、完全な非ブロッキング ネットワークを使用するのは非常に高価な場合があります。クラスタ ノードが複数のスイッチに接続されている場合、接続しているスイッチによってレンダリング ノードを単にソートすることで、良好なパフォーマンスを実現できる場合があります。

たとえば、256 個のノードがあるクラスタがあり、それらのノードが 4 つのスイッチに接続されているなどです。最悪の設定は次のようになります。

Node001 Node177 Node002 Node200 Node090 ...

ソートしたリストを使用して、より良い結果を実現できます。

Node001 - Node256

この設定でパフォーマンスの問題が発生する場合は、設定にネットワーク トポロジをモデル化してみます。

Node001 { Node002 - Node064 }

Node065 { Node066 - Node128 }

Node129 { Node130 - Node192 }

Node193 { Node194 - Node256 }

この設定では、スイッチ間で転送されるデータ量が効率的に削減されます。

• ホスト名を PING して、ノードに接続できるかどうかを確認します。
• ホスト名の代わりに IP アドレスを使用してみます。
• ポート 8889 に対してファイアウォールの通過を許可する必要があります。
• VREDClusterService をレンダリング ノードで開始する必要があります。Web ブラウザ上で http://hostname:8889 に接続してみます。

• IP 層なしのインフィニバンドを介した通信は Linux でのみサポートされます。
• インフィニバンド ネットワークは適切に設定する必要があります。ibstat を使用してネットワーク状態を確認する、または ib_write_bw を使用して 2 つのノード間の通信を確認します。
• ulimit -l を確認します。ロックされているメモリの量を無制限に設定する必要があります。
• ulimit -n を確認します。開いているファイル数を無制限または大きい値に設定する必要があります。
• Infiniband 上で VREDClusterServer を実行することができない場合、通常は、Infiniband 上の IP をパフォーマンスがほとんど低下することなく使用できます。

他の高いフレーム レートによってハングするときがある

• ネットワークが他のアプリケーションによって使用されている可能性があります。
• ネットワーク速度を[自動]に変更します。
• イメージの圧縮を低減するか、イメージの圧縮をオフに設定してみます。

• CPU 使用量が高い場合は、レンダリング速度は CPU によって制限されます。フレーム レートは、イメージの画質を低くすることで改善できます。
• CPU 使用量が低く、ネットワーク使用率が高い場合は、圧縮を有効にすることで高いフレーム レートを得ることができる場合があります。
• 非常に複雑なマテリアル プロパティを持つ小さな画面領域によって、レンダリング ノード間の非常に悪い負荷バランスが発生することがあります。その結果、低い CPU 使用量と低いネットワーク使用率となります。この場合の唯一のオプションは、これらのホット スポットを検出してマテリアルの品質を低減することです。

• レンダリング速度が CPU によって制限される場合、ネットワーク使用率は常に 100% 未満になります。この場合、高速ネットワークを使用しても高いフレーム レートを得ることはできません。

• iperf などのツールを使用して、実現可能なネットワーク スループットを確認してみてください。10 GB イーサネット上では、VRED は通信を高速化するために複数のチャネルを使用します。これは、iperf -P4 を使用してシミュレートできます。両方向のスループットを確認します。

• ネットワーク速度は使用するネットワーク カードによって制限され、ネットワーク スイッチおよびハブによっても制限されます。ネットワークが多くのユーザによって使用されている場合、スループットは時によって大きく変動する場合があります。

• テストでは、Windows 上で 10 GB イーサネット カードを 100% を使用するのは非常に困難であることが判明しています。最適化しない場合、50% の使用が期待できます。計測ツールを使用して、ネットワーク カードのパフォーマンス パラメータを調整することができます。レンダリング速度がネットワークによって非常に制限される場合は、イメージ圧縮を「ロスレス」以上に設定する必要があります。

• Intel 10GB X540-T1 イーサネット カードでは、次のオプションによって、Windows 上のネットワーク スループットを向上させることができます。

  • 受信側のスケーリング キュー: Default = 2、4 に変更
  • パフォーマンス オプション / 受信バッファ: Default = 512、2048 に変更
  • パフォーマンス オプション / 送信バッファ: Default = 512、2048 に変更
  • ネットワーク カードを別の PCI スロットにインストールすることで、ネットワーク スループットを向上させることができる場合があります。

• Linux では、/etc/sysctl.conf 内のパラメータ net.ipv4.tcp_rmem、net.ipv4.tcp_wmem、net.ipv4.tcp_mem を引き上げることができます。

• レンダリング速度がネットワークによって制限される場合、CPU 使用率は 100% には到達しません。
• 複数のレンダリング ノード間で作業を分散するために、画面はタイルに分割されます。次に、各ノードでこれらのタイル数のレンダリングをします。ほとんどの場合、各ノードにまったく同じ作業量を割り当てることはできません。これにより、シーンによっては CPU 使用率が低くなることがあります。

• Mellanox 社製の Windows 用 Infiniband ドライバ MLNX_VPI_WinOF を使用し、インフィニバンドを介した TCP を使ってクラスタ ノードに接続することができます。次のネットワーク設定を使用します。

  • ネットワーク: 選択済み
  • ネットワーク タイプ: イーサネット
  • ネットワーク速度: 40 GB
  • 暗号化: 選択なし

• Linux が「接続モード」を使用するように環境設定されている場合、Linux ネットワークに接続することはできません。接続されているすべてのノードの MTU が等しくなっていることを確認してください。