詳細変形はキャッシュ サイズ リミットに非常に依存しています。そうでないと、微細テッセレーション結果はキャッシュを流れず、メモリ不足になるまで累積されるからです。mental ray の既定のキャッシュ リミットは 512 MB です。
物理 RAM の半分の量または 32 ビット マシンで 500 ～ 800 MB のどちらか小さい方を選択するのが適当です。大きすぎるとオペレーティング システムの仮想のアドレス スペースが不足する場合があり、小さすぎると mental ray が実行するキャッシュ フラッシュ操作が多くなりすぎます。