Verfügbare Ressourcen

Bei der Verwendung einer Grafikkarte wird sowohl die Rechenleistung als auch der Arbeitsspeicher der GPU (vRAM) beansprucht. Die Rechenkapazitäten werden über ein Timeslicing-Verfahren aufgeteilt. Sollten also mehrere Nutzende dieselbe Grafikkarte verwenden, werden die Berechnungen immer noch durchgeführt, je nach Auslastung kann dies aber länger dauern.

Diese Garantie gilt nicht für den Arbeitsspeicher der GPU. Pro Grafikkarte stehen insgesamt 48 GB vRAM bereit. Wenn auf der GPU gerechnet wird (z.B. Matrix-Multiplikationen, LLM-Inferenz, Modell-Training), werden die dafür benötigten Daten in den vRAM der Grafikkarte geschrieben. Wenn der vRAM voll ausgeschöpft ist, kann es zu Out-Of-Memory-Fehlern kommen, die abhängig vom verwendeten Framework als Fehlermeldungen signalisiert werden.

Daher gilt nach unserer Fair-Use-Policy: Erkundigen Sie sich bitte wie viel vRAM Ihre Berechnungen bzw. KI-Modelle benötigen. Insbesondere für KI-Modelle gibt es im Internet meist Benchmarks, die eine grobe Schätzung geben. Im Rahmen der Lehre sollten nicht mehr als 6 GB vRAM nötig sein. Sollten Sie weitere Ressourcen benötigen, wäre die Nutzung eines HPC-Systems denkbar. Um die aktuelle Auslastung der Grafikkarte einzusehen, können Sie den Befehl 'nvidia-smi' innerhalb Ihrer JupyterLab-Umgebung im Terminal ausführen. Wir arbeiten bereits an einer visuellen Übersicht der verfügbaren Ressourcen.