MPI-Cluster unter Linux

Anmerkung: Die Informationen in diesem Abschnitt gelten NICHT für die Anwendung Autodesk Simulation Mechanical 360, bei der Analyseaufgaben an einen Cloud-Computing-Service übermittelt und dort gelöst werden.

Verteilte Speicherverarbeitung (über mehrere Computer zum Lösen der Analyse) ist derzeit für die folgenden Analysetypen implementiert, wenn die Analyse auf einem Linux-Cluster mit dem MUMPS-Sparse-Solver gelöst wird (Das Festlegen des Solvers erfolgt im entsprechenden Dialogfeld Analyseparameter):

Zum Durchführen einer solchen Analyse muss MPI (Message Passing Interface) installiert sein.

Die Abbildung unten zeigt einen Systemüberblick über den Linux-Berechnungscluster und einen Windows-basierten entfernten Ausführungs-PC. Es wird empfohlen, dass alle Computer im Linux-Cluster dasselbe Dateisystem gemeinsam nutzen. Wenn diese Bedingung erfüllt ist, sollte die folgende Installation auf diesem freigegebenen Dateisystem durchgeführt werden. Wenn diese Bedingung nicht erfüllt ist, folgen Sie den Anweisungen in den einzelnen Schritten, um die Software auf jedem Knoten zu installieren und einzurichten.

Installation auf dem Linux-Cluster-Berechnungsknoten

  1. Laden Sie das Red Hat Enterprise Linux (RHEL) 6.2-Paket von https://access.redhat.com/downloads/ herunter. (Zum Herunterladen benötigen Sie ein Red Hat-Supportkonto.) Installieren Sie RHEL 6.2 auf dem Linux-PC. Es wird dringend empfohlen, dass der Benutzer bei der Konfiguration der Installation die Software-Entwicklungsoption auswählt/hinzufügt. Dieser Schritt unterstützt den Benutzer bei der Kompilierung des MPICH-Quellcodes und bei der MPD-Ausführung auf dem PC. Wenn die Software-Entwicklungsoption nicht ausgewählt ist oder wenn das System bereits ohne diese Option konfiguriert wurde, muss der Benutzer eventuell mehrere andere Pakete installieren, wie Python, je nach den Meldungen, die während der Installations- und Testing-Schritte angezeigt werden. Es wird auch empfohlen, dass der Benutzer während der Konfiguration der Installation Firewall imd SELinus deaktiviert.
  2. Erstellen Sie ein Nicht-Stammbenutzerkonto, das zum Ausführen der verteilten Prozessoren auf dem Linux-Cluster verwendet wird. In diesem Handbuch wird der Benutzername für dieses Konto als algoruser und das Kennwort als Kennwort bezeichnet.
  3. Laden Sie das MPICH2-Paket von http://www.mpich.org/downloads/ herunter. Eine kurze Installation wird wie folgt durchgeführt: (Weitere Einzelheiten finden Sie im MPICH2-Installations- und Benutzerhandbuch. Diese Dokumente finden Sie auf der Webseite http://www.mpich.org/documentation/guides/.)
    1. Melden Sie sich als root an.
    2. Kopieren Sie die komprimierte MPICH2-Installationsdatei in ein temporäres Verzeichnis, z. B. /tmp. Wechseln Sie in dieses temporäre Verzeichnis, und entzippen Sie es wie folgt:

      tar -zxvf Dateiname.tar.gz, wobei Dateiname der Name des heruntergeladenen Installationsprogramms ist. Nach diesem Schritt wird ein neues Verzeichnis im obigen temporären Verzeichnis erstellt.

    3. Erstellen Sie ein Verzeichnis, in dem der Benutzer MPICH2 installieren möchte, z. B. /opt/mpich2-x.y (wobei x.y durch die MPICH2-Versionsnummer ersetzt wird). Es wird dringend empfohlen, dass der Benutzer dieses Verzeichnis auf einem freigegebenen Dateisystem im Cluster anlegt. Andernfalls muss der Benutzer dieses Verzeichnis nach der Installation an alle Knoten im Cluster kopieren.
    4. Wechseln zu dem neuen Verzeichnis, das durch Entzippen des Installationsprogramms erstellt wurde (in Schritt 2 weiter oben), und konfigurieren und erstellen Sie dann MPICH2 wie folgt:

      /configure -prefix=/opt/mpich2-x.y (geben Sie den tatsächlichen Ordnernamen an, falls er davon abweicht)

      make

      make install

    5. Nach der Installation sieht der Benutzer einige neue Verzeichnisse in /opt/mpich2, wie z. B. bin, include und lib.
  4. In Red Hat Enterprise Linux 6.2: Falls Firewall und SELinux nicht deaktiviert wurden, deaktivieren Sie diese jetzt auf allen Clusterknoten unter System: Verwaltung: Sicherheitsstufe und Firewall. Fortgeschrittene Benutzer können die Firewall aktivieren, es ist jedoch eine weitere Konfiguration erforderlich, sodass der MPD-Dienst die Firewall passieren kann. SELinux führt zu Konflikten für den Samba-Dateifreigabedienst in RHEL 6.2 und sollte deaktiviert werden.
  5. Starten Sie den Samba-Dienst am obersten Knoten des Clusters, um Dateien zwischen Linux- oder Windows-Systemen freizugeben. (Wenn dieser Dienst nicht für den obersten Knoten installiert wurde, finden Sie das Installationspaket unter Anwendungen: Software: Server. Markieren Sie Windows Server, und klicken Sie auf die Schaltfläche Anwenden, um das Paket zu installieren.)
    1. Wechseln Sie zu System: Administration: Server Settings: Services. Aktivieren Sie den SMB-Dienst, und klicken Sie auf die Schaltfläche Start. Stellen Sie sicher, dass der Dienst ausgeführt wird.
    2. Wechseln Sie nach der Installation zu: Verwaltung: Servereinstellungen: Samba. Wählen Sie im Popup-Fenster Preferences: Samba Users. Fügen Sie einen neuen Benutzer hinzu, und wählen Sie algoruser als Samba-Benutzer. Verwenden Sie auch algoruser als Windows-Benutzernamen, und geben Sie ein Kennwort ein.
    3. Erstellen Sie in einem nächsten Schritt auf einem Linux-Terminal ein Verzeichnis, wie z. B. /home/algoruser/shared. Es wird als freigegebenes Samba-Verzeichnis verwendet, und die in Windows erstellten Modelle werden in dieses Verzeichnis für verteilte Verarbeitung in der Linux-Umgebung kopiert. Klicken Sie auf Add Share, um dieses Verzeichnis der Samba-Freigabe hinzuzufügen und Schreibgeschützt und Sichtbar zu aktivieren. Gewähren Sie auf der Registerkarte Zugriff dem Benutzer algoruser Zugriff.
  6. Installieren und starten Sie die xinetd- und rexec-Dienste:
    1. Wechseln Sie zu Applications: Add/Remove Software: Servers: Legacy Network Server. Klicken Sie auf die Schaltfläche Optional packages, und aktivieren Sie das Paket rsh-server. Wenden Sie die Installation anschließend an.
    2. Wechseln Sie zu Applications: Add/Remove Software, klicken Sie auf die Schaltfläche Search, und geben Sie xinetd ein. Führen Sie dann die Suche aus. Aktivieren Sie das xinetd-Paket in den Suchergebnissen, und wenden Sie die Installation an.
    3. Wechseln Sie zu System: Administration: Server Settings: Services. Aktivieren Sie auf der Registerkarte On Demand Services den rexec-Dienst.
    4. Aktivieren Sie auf der Registerkarte Background Services den xinetd-Dienst, und klicken Sie auf die Schaltfläche Restart. Speichern Sie die Einstellungen beim Beenden der Dienstkonfiguration.
  7. Starten Sie den mpd-Daemon (MPD). Es wird empfohlen, dass MPD mit einem normalen Benutzerkonto (in diesem Beispiel algoruser) gestartet wird.
    1. Erstellen Sie auf allen Knoten wie folgt eine.mpd.conf-Datei im Stammverzeichnis des Benutzers:

      cd /home/algoruser

      touch .mpd.conf

      chmod 600 .mpd.conf

    2. Verwenden Sie einen Editor, um .mpd.conf zu öffnen, und fügen Sie die folgende Zeile hinzu:

      MPD_SECRETWORD=yourpassword

    3. Es gibt mehrere Möglichkeiten zum Starten des MPD-Dienstes für den Cluster. MPD verwaltet die Prozesse, die auf jedem der Berechnungsknoten gestartet werden. Die optimale Nutzung hängt auch von der Hardwarekonfiguration des PCs im Cluster ab. Im MPICH2-Dokument können die Benutzer genauere Details erfahren. Wenn z. B. alle K-Knoten im Cluster homogen sind und alle Knoten N Berechnungskerne aufweisen, wäre eine einfache Art und Weise, MPD zu starten, folgende:
      1. Erstellen Sie eine Datei, z. B. /opt/mpich2-x.y/mpd.hosts. In dieser Datei enthält jede Zeile den Namen eines Cluster-Knotens:

        node1.company.com

        node2.company.com

        ......

        nodek.company.com

      2. Starten Sie MPD jetzt mit folgendem Befehl:

        /opt/mpich2-x.y/bin/mpdboot -n K --ncpus=N -f /opt/mpich2-x.y/mpd.hosts

      3. Der Status des aktuellen MPD-Dienstes kann mit dem Befehl mpdtrace im bin-Verzeichnis überprüft werden. Der Befehl mpdallexi kann verwendet werden, um den aktuellen MPD zu beenden. Das Handbuch zum MPICH2-Installationsprogramm enthält auch ein Kapitel für die Fehlerbehebung von MPDs.

    Wenn die Linux-PCs neu gestartet werden, sollte MPD auch manuell neu gestartet werden.

  8. Installieren Sie die Software auf allen Knoten im Cluster. Weitere Informationen finden Sie im Thema Linux-Installation. Es wird auch empfohlen, die Software auf einem freigegebenen Dateisystem im Cluster zu installieren.
  9. Die folgenden Zeilen sollten dem bash-Profil des Benutzers hinzugefügt werden (im Beispiel oben /home/algoruser/.bashrc), um den Pfad von MPICH2 in Autodesk Simulation und die Lizenzen für den verteilten Solver einzurichten.

    export ALGOR_MPICH=/opt/mpich2-x.y

    export MALLOC_TRIM_THRESHOLD_=-1

    export MALLOC_MMAP_MAX_=0

Testen der Autodesk Simulation Mechanical- und MPICH-Installation unter Linux

Nach der Installation der Autodesk Simulation und MPICH-Software auf den Knoten wird empfohlen, die Installation manuell zu testen, bevor Sie eine Analyse aus der Benutzeroberfläche ausführen.

  1. Testen Sie, ob Autodesk Simulation auf einem einzelnen Prozessor optimal funktioniert. Dies kann durch das Erstellen eines kleinen, linearen, statischen Lastmodells auf einem Windows-Computer erfolgen und dann durch
    1. Ausführen des Befehls Analyse: Modell überprüfen.
    2. Kopieren Sie alle Dateien (ds.* und ds.mod\*.*) aus dem Entwurfsszenario-Ordner (beispielsweise my_sample_model.ds_data\1) in ein Verzeichnis auf dem Linux-Computer (beispielsweise /home/algoruser/example/).
    3. Öffnen Sie ein neues Linux-Terminal, wechseln Sie zu dem Ordner, in den das Beispielmodell kopiert wurde, und führen Sie das Beispielmodell von der Befehlszeile wie folgt aus:

      cd /home/algoruser/example/

      /opt/algor/ssap0 ds -run

      Dabei gilt:

      • /home/algoruser/example/ ist das Verzeichnis, in das das Modell kopiert wurde.
      • /opt/algor/ ist das Verzeichnis, in dem die Autodesk Simulation Software auf dem Knoten installiert wird.
      • ssap0 ist der Name der statischen Spannung mit linearem Materialprozessor
      • ds ist der Name des Modells aus dem Entwurfsszenario-Ordner
      • -run ist eine Runtime, die den Prozessor ohne weitere Benutzereingriffe ausführt.
  2. Testen Sie dieses Modell im MPI-Modus mit der zusätzlichen Option ¬ nmpi=N von der Befehlszeile:

    /opt/algor/ssap0 ds -run -nmpi=N

    wobei N die Gesamtanzahl der verteilten Prozesse ausmacht, die gestartet werden.

Ausführen von Analysen auf einem Linux-Cluster

Sobald der Cluster ordnungsgemäß funktioniert, kann auf den Cluster von der Benutzeroberfläche wie auf den folgenden Seiten beschrieben, zugegriffen werden:

  • Erstellen Sie eine Verknüpfung zum Cluster, wie auf der Seite Remotehosts unter Allgemeine Optionen: Verwenden des Pulldown-Menüs Werkzeuge: Dialogfeld Optionen: Registerkarte Analyse im Autodesk Simulation Benutzerhandbuch beschrieben.
  • Senden Sie die Analyse an den Cluster, wie im Absatz Durchführen der Analyse unter dem Linux-Betriebssystem auf der Seite Einrichten und Durchführen der Analyse: Durchführen der Analyse im Autodesk Simulation Benutzerhandbuch. Legen Sie für den ersten Test die Anzahl der Knoten im Analysefenster auf 1 fest, und starten Sie dann die Analyse. Wenn dies funktioniert, wiederholen Sie die Analyse mit mehr als einem Analyseknoten.

Auslagerungsdateien unter Linux

Aufgrund eines hohen Speicherbedarfs für den Solver können Benutzer mehr Auslagerungsspeicher für Ihre Linux-Systeme hinzufügen, wenn der ursprüngliche Auslagerungsspeicher für den Solver nicht ausreichend ist. Auf der Grundlage des Red Hat-Handbuchs kann dies wie folgt geschehen:

  1. Bestimmen Sie die Größe der neuen Auslagerungsdatei in MB, und multiplizieren Sie mit 1024, um die Blockgröße zu bestimmen. Beispielsweise beträgt die Größe für eine 64-MB-Auslagerungsdatei 65536.
  2. Geben Sie an einer Shell-Eingabeaufforderung als root den folgenden Befehl ein, wobei count der Blockgröße entspricht:

    dd if=/dev/zero of=/swapfile bs=1024 count=65536.

  3. Einrichten der Auslagerungsdatei mit dem Befehl: mkswap /swapfile.
  4. Um die Auslagerungsdatei sofort, aber nicht automatisch zur Startzeit zu aktivieren, geben Sie: swapon /swapfile ein.
  5. Um die Auslagerungsdatei zur Startzeit zu aktivieren, bearbeiten Sie /etc/fstab, um Folgendes einzufügen:

    /swapfile swap swap defaults 0 0

  6. Nach dem Hinzufügen der neuen Auslagerungsdatei und ihrer Aktivierung vergewissern Sie sich, dass diese aktiviert ist, indem Sie die Ausgabe des folgenden Befehls anzeigen: cat /proc/swaps oder free.

Übergeordnetes Thema: Linux-Installation