클러스터로 렌더링

VRED 2016 SR1 이후부터 레이트레이싱 클러스터 구성이 변경되었고, VRED 2017 이후부터는 Display Cluster 구성이 변경되었습니다. 이전 구성을 가져와서 새 형식으로 변환할 수 있습니다.

클러스터 대화상자에서 파일 > 기존 항목 가져오기를 선택합니다.

VRED의 여러 인스턴스에서 동일한 클러스터 노드에 연결할 수 있습니다. 하지만 여러 VREDClusterServer 인스턴스 사이에서 가용 리소스가 공유되어야 하므로 이 경우 문제가 발생할 수 있습니다.

예를 들어, 예측할 수 없는 부하 분산 결과 또는 다른 VREDClusterServer 인스턴스에 의한 CPU 사용으로 인해 성능이 저하될 수 있습니다. 두 번째 사용자가 동일한 클러스터 노드에 연결하려고 하면 다음 메시지가 나타납니다.

하나 이상의 요청된 클러스터 노드에서 실행 중인 VREDClusterServer가 이미 있습니다. 클러스터링을 시작하고 성능 문제의 위험을 감수하시겠습니까?

또 다른 문제는 사용 가능한 메모리입니다. 큰 모델을 사용하는 경우 여러 모델을 클러스터 노드의 메모리에 로드하지 못할 수 있습니다. VRED는 필요한 메모리 양을 예측하려고 시도합니다. 요청한 메모리를 사용할 수 없으면 다음 메시지가 나타납니다.

하나 이상의 요청된 클러스터 노드에서 실행 중인 VREDClusterServer가 이미 있으며 메모리가 충분하지 않습니다. 클러스터링을 시작하고 불안정한 서버의 위험을 감수하시겠습니까?

VRED에서 클러스터 서버를 강제로 시작하면 서버에서 예상치 못한 충돌이 발생할 수 있습니다.

클러스터 렌더링에서 개별 호스트를 비활성화할 수 있습니다. 비활성화된 호스트는 렌더 노드 라이선스를 체크 아웃하지 않습니다.

1. 메뉴 막대에서 렌더링 > 렌더 설정을 선택하여 렌더 설정 대화상자를 엽니다.
2. 렌더 설정 대화상자에서 클러스터 섹션으로 스크롤하여 클러스터 사용을 선택하고 호스트 이름을 입력합니다.
3. 비활성화할 호스트 뒤에 [RT=0]을 추가합니다.

VRED는 여러 클러스터 노드 간 스왑 동기화를 지원합니다. NVidia Quadro Sync와 같은 동기화 하드웨어를 설치하고 올바르게 구성하고 함께 연결해야 합니다. 이러한 모든 전제 조건이 충족되면 표시 속성의 하드웨어 동기화 속성을 사용할 수 있습니다. 연결된 모든 표시는 버퍼 스왑 동기화를 수행해야 합니다.

Linux VREDCluster 설치 프로그램은 자동 압축 풀림 바이너리로 제공됩니다. 패키지의 파일 이름에는 버전 번호와 빌드 날짜가 들어 있습니다. 현재 디렉토리로 압축을 풀려면 쉘 명령으로 설치 프로그램을 실행합니다.

sh VREDCluster-2016-SP4-8.04-Linux64-Build20150930.sh

이렇게 하면 클러스터 렌더링에 필요한 모든 파일이 들어 있는 VREDCluster-8.04 디렉토리가 생성됩니다. 각 클러스터 노드에는 이 디렉토리에 대한 읽기 권한이 있어야 합니다. 이것은 각 노드 또는 공유 네트워크 드라이브에 개별적으로 설치할 수 있습니다.

클러스터 노드에 연결할 수 있으려면 클러스터 서비스를 시작해야 합니다. 이것은 다음 명령을 수동으로 호출하거나 Linux 시작 프로세스에 이 스크립트를 추가하여 수행할 수 있습니다.

VREDCluster-8.04/bin/clusterService

Linux에서는 시스템을 시작할 때 프로그램을 시작하는 여러 가지 방법이 있습니다. Linux 배포판마다 약간씩 다른 방법이 있습니다. 한 가지 가능한 방법은 /etc/rc.local에 시작 명령을 추가하는 것입니다. 이 스크립트는 시작할 때와 각 실행 수준 변경 시 실행됩니다.

예를 들어, 설치 파일이 /opt/VREDCluster-8.04에 저장되어 있으면 rc.local을 다음과 같이 편집해야 합니다.

#!/bin/sh -e

killall -9 VREDClusterService

/opt/VREDCluster-8.04/bin/clusterService &

exit 0

루트로 서비스를 실행하지 않으려면 예를 들어 vreduser로 서비스를 시작할 수 있습니다.

#!/bin/sh -e

killall -9 VREDClusterService

su - vreduser '/opt/VREDCluster-8.04/bin/clusterService &'

exit 0

시스템 시작 시 VRED 서비스를 시작하는 또 다른 옵션은 /etc/init.d에 init 스크립트를 추가하는 것입니다. 설치 디렉토리 bin/vredClusterService에서 /etc/init.d로 init 스크립트를 복사합니다. 그런 다음 다른 실행 수준에 맞게 스크립트를 활성화해야 합니다.

Redhat 또는 CentOS Linux의 경우: chkconfig vredClusterService on

Ubuntu의 경우 update-rc.d vredClusterService 기본값 사용

라이선스 서버의 주소는 홈 디렉토리 .flexlmrc의 구성 파일에 저장하거나 환경 변수 ADSKFLEX_LICENSE_FILE로 설정해야 합니다. 서버 이름이 mylicenseserver인 경우:

~/ .flexlmrc에는 다음이 포함되어야 합니다. ADSKFLEX_LICENSE_FILE=@ mylicenseserver

또는 로그인 스크립트에 다음을 추가합니다. export ADSKFLEX_LICENSE_FILE=@ mylicenseserver

클러스터 서비스를 시작하는 사용자의 환경이 설정되었는지 확인하십시오.

로그 파일은 디렉토리 /tmp/clusterServer/log에 기록됩니다. 로그 파일은 웹 브라우저를 사용하여 볼 수 있습니다. 문제 해결을 위해 콘솔 모드에서 클러스터 서비스를 시작하는 것이 도움이 될 수 있습니다. 실행 중인 클러스터 서비스를 중지하고 bin/clusterService -e -c를 수동으로 시작합니다. 이제 모든 디버그 및 오류 메시지가 콘솔에 기록됩니다.

서비스가 실행되고 있는지 확인: ps -C VREDClusterService

클러스터 서비스 중지 killall -9 VREDClusterService

클러스터 서버 중지: killall -9 VREDClusterServer

완전한 비차단 네트워크에서는 연결된 모든 노드가 최대 링크 속도로 서로 통신할 수 있습니다. 16포트 기가비트 스위치의 경우 이는 스위치가 16포트 읽기 및 쓰기 트래픽을 병렬로 처리할 수 있음을 의미합니다. 이렇게 하려면 32GBit/s의 내부 대역폭이 필요합니다. VRED는 비차단 네트워크에서 가장 잘 작동합니다. 예를 들어 장면 그래프 전송은 파이프라인처럼 노드에서 노드로 패키지를 전송하는 방식으로 이루어집니다. 이 방법은 전체 장면을 각 노드로 직접 전송하는 것보다 훨씬 더 빠릅니다.

가능한 한 네트워크 허브는 사용하지 마십시오. 허브는 들어오는 패키지를 연결된 모든 노드로 전송하기 때문에. 장면 그래프 전송이 매우 느립니다.

대규모 클러스터에서는 완전한 비차단 네트워크를 사용하는 비용이 매우 클 수 있습니다. 클러스터 노드가 여러 스위치에 연결되어 있는 경우에는 렌더링 노드가 연결된 스위치별로 렌더링 노드를 정렬하기만 하면 양호한 성능을 얻을 수 있습니다.

예를 들어, 256개의 노드가 있는 클러스터를 사용하는 경우 이러한 노드는 4개의 스위치에 연결됩니다. 여기에서 최악의 구성은 다음과 같은 구성입니다.

Node001 Node177 Node002 Node200 Node090 ...

다음과 같이 정렬된 목록을 사용하면 더 나은 결과를 얻을 수 있습니다.

Node001 - Node256

이 구성으로 인해 어떤 성능 문제가 발생하면 네트워크 위상을 다음과 같은 구성으로 모델링해 볼 수 있습니다.

Node001 { Node002 - Node064 }

Node065 { Node066 - Node128 }

Node129 { Node130 - Node192 }

Node193 { Node194 - Node256 }

이 구성을 사용하면 스위치 간에 전송되는 데이터의 양이 효과적으로 줄어듭니다.

• 호스트 이름을 ping하여 노드에 연결할 수 있는지 확인합니다.
• 호스트 이름 대신 IP 주소를 사용해 봅니다.
• 포트 8889가 방화벽을 통과하도록 허용해야 합니다.
• 렌더링 노드에서 VREDClusterService를 시작해야 합니다. http://hostname:8889를 사용해 웹 브라우저를 통해 연결해 봅니다.

• IP 계층 없는 인피니밴드를 통한 통신은 Linux에서만 지원됩니다.
• 인피니밴드 네트워크를 올바르게 구성해야 합니다. ibstat를 사용해 네트워크 상태를 확인하거나 ib_write_bw를 사용해 두 노드 간의 통신을 확인합니다.
• ulimit -l을 확인합니다. 잠긴 메모리의 양이 무제한으로 설정되어 있어야 합니다.
• ulimit -n을 확인합니다. 열려 있는 파일의 수가 무제한 또는 큰 값으로 설정되어 있어야 합니다.
• VREDClusterServer를 통해 Infiniband를 실행할 수 없는 대부분의 경우 약간의 성능 저하를 감수하고 IP over Infiniband를 사용할 수 있습니다.

기타 높은 프레임 속도로 인해 때때로 중단 발생

• 다른 응용프로그램에서 네트워크를 사용하고 있을 수 있습니다.
• 네트워크 속도를 자동으로 변경해 보십시오.
• 이미지 압축률을 줄이거나 이미지 압축을 끄기로 설정해 보십시오.

• CPU 사용량이 많은 경우 렌더링 속도는 CPU에 의해 제한됩니다. 이미지 품질을 낮추면 프레임 속도를 높일 수 있습니다.
• CPU 사용량은 낮은데 네트워크 이용률은 높은 경우에는 압축을 사용하도록 설정하면 프레임 속도가 빨라질 수 있습니다.
• 작은 화면 영역에 매우 복잡한 재질 속성이 있으면 렌더링 노드 간의 부하 분산 효과가 매우 떨어질 수 있습니다. 결국 CPU 사용량과 네트워크 사용량이 낮아집니다. 이러한 경우 유일한 해결 방법은 문제 영역을 찾아 재질 품질을 낮추는 것입니다.

• 렌더링 속도가 CPU에 의해 제한되는 경우 네트워크 이용률이 항상 100%보다 낮습니다. 이러한 경우 네트워크가 더 빨라지더라도 프레임 속도가 빨라지지 않습니다.

• iperf와 같은 도구를 사용하여 사용 가능한 네트워크 처리량을 확인해 보십시오. 10GB 이더넷 VRED는 다중 채널을 사용해 통신 속도를 높입니다. 이러한 경우는 iperf -P4를 사용해 시뮬레이션할 수 있습니다. 양쪽 방향 모두에서 처리량을 확인합니다.

• 네트워크 속도는 사용되는 네트워크 카드뿐만 아니라 네트워크 스위치 및 허브에 의해서도 제한됩니다. 여러 사람이 네트워크를 사용하는 경우 처리량이 때때로 크게 달라질 수 있습니다.

• 테스트에 따르면 Windows에서는 10GB 이더넷 카드를 100% 활용하는 것이 매우 어렵습니다. 최적화 없이는 50% 정도만 기대할 수 있습니다. 측정 도구를 사용해 네트워크 카드의 성능 매개변수를 조정해 볼 수 있습니다. 렌더링 속도가 실제로 네트워크에 의해 제한되는 경우 이미지 압축을 "무손실" 이상으로 설정해야 합니다.

• Intel 10GB X540-T1 이더넷 카드의 경우 다음과 같은 옵션을 통해 Windows에서 네트워크 처리량을 늘릴 수 있습니다.

  • 수신 측 배율 큐: Default = 2, 4로 변경
  • 성능 옵션/수신 버퍼: Default = 512, 2048로 변경
  • 성능 옵션/전송 버퍼: Default = 512, 2048로 변경
  • 경우에 따라 또 다른 PCI 슬롯에 네트워크 카드를 설치하면 네트워크 처리량이 늘어날 수 있습니다.

• Linux에서 /etc/sysctl.conf의 net.ipv4.tcp_rmem, net.ipv4.tcp_wmem, net.ipv4.tcp_mem 매개변수를 늘릴 수 있습니다.

• 렌더링 속도가 네트워크에 의해 제한되는 경우 CPU 이용률이 100%에 도달하지 않습니다.
• 여러 렌더링 노드 간에 작업을 분산시키기 위해 장면이 타일로 분할됩니다. 그런 다음 각 노드가 다수의 타일을 렌더링합니다. 대부분의 경우 각 노드에 정확히 같은 양의 작업을 할당하는 것은 불가능합니다. 이로 인해 장면에 따라 결국 CPU 이용률이 낮아질 수 있습니다.

• Windows용 MLNX_VPI_WinOF 인피니밴드 드라이버를 사용하면 인피니밴드에서 TCP를 사용하여 클러스터 노드를 연결할 수 있습니다. 다음 네트워크 설정을 사용합니다.

  • 네트워크: 선택됨
  • 네트워크 유형: 이더넷
  • 네트워크 속도: 40GB
  • 암호화됨: 선택 안 함

• Linux가 "연결된 모드"를 사용하도록 구성된 경우 Linux 네트워크에 연결할 수 없습니다. 모든 연결된 노드의 MTU가 동일한지 확인하십시오.