使用群集进行渲染

自 VRED 2016 SR1 起，光线跟踪群集配置已发生更改；自 VRED 2017 起，显示群集配置已发生更改。您可以导入旧配置，并将其转换为新格式。

在“群集”对话框中，选择“文件”>“导入旧版”。

您可以从多个 VRED 实例连接到同一群集节点。但是，这可能会导致问题，因为必须在多个 VREDClusterServer 实例之间共享可用资源。

例如，其中一个问题可能是由于不可预测的负载平衡结果或其他 VREDClusterServer 实例的 CPU 使用率导致的性能不良。当第二个用户尝试连接到同一个群集节点时，将出现以下消息：

一个或多个请求的群集节点上已经有一个 VREDClusterServer 正在运行。是否确实要启动群集并承担可能会出现性能问题的风险？

另一个问题是可用的内存。如果使用大型模型，则可能无法将多个模型加载到群集节点的内存中。VRED 尝试评估需要多少内存。如果请求的内存不可用，则会显示以下消息：

一个或多个请求的群集节点上已经有一个 VREDClusterServer 正在运行，可能没有足够的可用内存。是否确实要启动群集并承担服务器可能会不稳定的风险？

如果强制 VRED 启动群集服务器，则该服务器可能会发生不可预测的崩溃。

您可以禁止单个主机进行群集渲染。禁用的主机不检出渲染节点许可。

1. 在菜单栏中，选择“渲染”>“渲染设置”以打开“渲染设置”对话框。
2. 在“渲染设置”对话框中，向下滚动到“群集”部分，选择“启用群集”，然后输入主机名。
3. 在主机之后添加 [RT=0] 以将其禁用。

VRED 支持在多个群集节点之间交换同步。必须安装、正确配置并连接同步硬件（例如 NVidia Quadro Sync）。如果所有这些前提条件都满足，则可以启用显示器属性的“硬件同步”属性。所有连接的显示器应该使缓冲区交换同步。

Linux VREDCluster 安装程序作为自解压二进制文件提供。该软件包的文件名包含版本号和创建日期。要能够将内容提取到当前目录，请将安装程序作为 shell 命令运行。

sh VREDCluster-2016-SP4-8.04-Linux64-Build20150930.sh

这会创建目录 VREDCluster-8.04，其中包含群集渲染所需的所有文件。每个群集节点必须对此目录具有读取权限。它可以单独安装在每个节点上或共享网络驱动器上。

要能够连接一个群集节点，必须启动群集服务。这可以通过手动调用以下命令或将脚本添加到 Linux 启动进程来完成。

VREDCluster-8.04/bin/clusterService

在 Linux 上，可以使用多种方法在启动系统时启动程序。每个 Linux 发行版的方法略有不同。一种可能的解决方案是，将启动命令添加到 /etc/rc.local。此脚本在每次启动时以及运行级别更改时执行。

例如，如果安装文件存储在 /opt/VREDCluster-8.04 中，则应按如下方式编辑 rc.local：

#!/bin/sh -e

killall -9 VREDClusterService

/opt/VREDCluster-8.04/bin/clusterService &

exit 0

例如，如果不希望以 root 身份运行服务，则可以 vreduser 身份启动服务。

#!/bin/sh -e

killall -9 VREDClusterService

su - vreduser '/opt/VREDCluster-8.04/bin/clusterService &'

exit 0

在系统启动时启动 VRED 服务的另一个选项是将 init 脚本添加到 /etc/init.d。将 init 脚本从安装目录 bin/vredClusterService 复制到 /etc/init.d。然后，您必须为不同的运行级别激活该脚本。

在 Redhat 或 CentOS Linux 上使用：chkconfig vredClusterService on

在 Ubuntu 上使用 update-rc.d vredClusterService 默认值

许可服务器的地址必须存储在主目录 .flexlmrc 下的配置文件中，也可以设置为环境变量 ADSKFLEX_LICENSE_FILE。如果服务器名为 mylicenseserver：

~/ .flexlmrc 应包含：ADSKFLEX_LICENSE_FILE=@ mylicenseserver

或添加到您的登录脚本：export ADSKFLEX_LICENSE_FILE=@ mylicenseserver

确保为启动群集服务的用户设置环境。

日志文件将写入目录 /tmp/clusterServer/log。应使用 Web 浏览器查看日志文件。要进行故障排除，在控制台模式下启动群集服务可能会有帮助。手动停止正在运行的群集服务并启动 bin/clusterService -e -c。现在，所有调试和错误消息都写入控制台。

检查该服务是否正在运行：ps -C VREDClusterService

停止群集服务：killall -9 VREDClusterService

停止群集服务器：killall -9 VREDClusterServer

完全无阻塞网络允许所有连接的节点使用全链路速度彼此通信。对于 16 端口的千兆位交换机来说，这意味着交换机能够处理 16 个端口并行读取和写入的通信流量。这需要 32 GBit/s 的内部带宽。VRED 将以最佳方式与非阻塞网络配合使用。例如，场景图形的传输通过将数据包从节点发送到节点来完成，类似于管线。这远远快于将整个场景直接发送到每个节点。

如果可能，请不要使用网络集线器。集线器会将传入的数据包发送至所有连接的节点。这将导致场景图形传输变得非常缓慢。

对于大型群集，使用完全无阻塞网络可能非常昂贵。如果群集节点连接到多个交换机，则只需按渲染节点所连接的交换机对渲染节点进行排序即可获得良好的性能。

例如，如果您有一个具有 256 个节点的群集，这些节点连接到 4 个交换机。最坏的配置将是：

Node001 Node177 Node002 Node200 Node090 ...

通过排序列表可以实现更好的结果：

Node001 - Node256

如果此配置导致出现任何性能问题，请尝试参照您的网络拓扑进行配置：

Node001 { Node002 - Node064 }

Node065 { Node066 - Node128 }

Node129 { Node130 - Node192 }

Node193 { Node194 - Node256 }

使用此配置可有效减少交换机之间传输的数据量。

• 使用 ping 主机名检查是否可以访问节点。
• 尝试使用 IP 地址，而不是主机名。
• 必须允许端口 8889 通过防火墙。
• 必须在渲染节点上启动 VREDClusterService。尝试通过 Web 浏览器使用 http://hostname:8889 连接。

• 仅 Linux 支持通过没有 IP 层的 InfiniBand 通信。
• 必须正确配置 Infiniband 网络。使用 ibstat 检查您的网络状态或使用 ib_write_bw 检查两个节点之间的通信。
• 检查 ulimit -l。锁定的内存量应设置为无限制。
• 检查 ulimit -n。打开文件的数量应设置为无限制或设置为较大的值。
• 如果无法通过 Infiniband 运行 VREDClusterServer，则在大多数情况下可以使用 IP over Infiniband，而且性能损失很小。

偶而会因较高的帧速率而挂起

• 也许是因为网络被其他应用程序占用。
• 尝试将网络速度更改为“自动”。
• 尝试降低图像压缩或将图像压缩设置为“禁用”。

• 如果 CPU 使用率较高，渲染速度将受 CPU 限制。可以通过降低图像质量来提高帧速率。
• 如果 CPU 使用率较低，而网络使用率较高，则启用压缩可以提供更高的帧速率。
• 包含非常复杂材质属性的小屏幕区域可能会导致渲染节点之间的负载平衡非常差。结果会导致 CPU 使用率和网络使用率都比较低。在这种情况下，唯一的选项是找到这些热点，并降低材质质量。

• 如果渲染速度受 CPU 限制，则网络使用率将始终低于 100%。在这种情况下，提供更快的网络将不会提供更高的帧速率。

• 尝试使用 iperf 等工具检查可达到的网络吞吐量。对于 10 GB 以太网，VRED 使用多个通道来加快通信速度。这可以使用 iperf -P4 模拟。检查双向吞吐量。

• 网络速度不但受使用的网卡限制，而且受网络交换机和集线器限制。如果网络被许多人员使用，则吞吐量在不同时间变化非常大。

• 测试表明，在 Windows 中很难 100% 利用 10 GB 以太网卡。在不进行优化的情况下，只能达到 50%。可以尝试使用测量工具并调整网卡的性能参数。如果渲染速度确实受网络限制，则应将图像压缩设置为“无损”或更高。

• 对于 Intel 10 GB X540-T1 以太网卡，以下选项可以在 Windows 上提高网络吞吐量：

  • 接收侧缩放队列：Default = 2，更改为 4
  • 性能选项/接收缓冲区：Default = 512，更改为 2048
  • 性能选项/传输缓冲区：Default = 512，更改为 2048
  • 有时，将网卡安装到另一个 PCI 插槽可以提高网络吞吐量。

• 在 Linux 上，您可以在 /etc/sysctl.conf 中增加参数 net.ipv4.tcp_rmem、net.ipv4.tcp_wmem、net.ipv4.tcp_mem。

• 如果渲染速度受网络限制，CPU 使用率将达不到 100%。
• 要在多个渲染节点之间分配工作，屏幕将拆分为分片。然后每个节点渲染其中的多个分片。在大多数情况下，不可能为每个节点分配完全相同的工作量。根据场景，这可能导致 CPU 使用率较低。

• 借助适用于 Windows 的 Mellanox MLNX_VPI_WinOF Infiniband 驱动程序，可以使用 TCP over Infiniband 连接群集节点。网络设置如下所示：

  • 网络：已选择
  • 网络类型：以太网
  • 网络速度：40 GB
  • 加密：未选择

• 如果 Linux 配置为使用“已连接模式”，则无法连接到 Linux 网络。请确保所有连接的节点上的 MTU 相等。