NVIDIA MIG erklärt: Eine GPU in mehrere isolierte Instanzen aufteilen

NVIDIA MIG (Multi-Instance GPU) ist eine Tech­no­lo­gie, mit der sich eine einzelne Re­chen­zen­trums-GPU in mehrere von­ein­an­der isolierte GPU-Instanzen aufteilen lässt. Jede Instanz erhält eigene Rechen- und Spei­cher­res­sour­cen und kann un­ab­hän­gig von anderen Workloads genutzt werden. Dadurch lassen sich GPU-Res­sour­cen deutlich ef­fi­zi­en­ter auslasten, ins­be­son­de­re bei kleineren KI-, Analyse- oder Inferenz-An­wen­dun­gen.

Was ist NVIDIA MIG?

NVIDIA MIG (Multi-Instance GPU) ist ein Hardware-Feature von NVIDIA-Re­chen­zen­trums-GPUs, das eine einzelne physische GPU in mehrere von­ein­an­der isolierte GPU-Instanzen aufteilt. Jede Instanz erhält de­di­zier­te Re­chen­ker­ne, Spei­cher­be­rei­che und weitere Hardware-Res­sour­cen, sodass sie sich wie eine ei­gen­stän­di­ge GPU verhält.

Im Gegensatz zu klas­si­schen Vir­tua­li­sie­rungs­tech­ni­ken erfolgt die Trennung nicht aus­schließ­lich auf Software-Ebene, sondern direkt in der Hardware. Dadurch können mehrere An­wen­dun­gen gleich­zei­tig auf derselben GPU aus­ge­führt werden, ohne sich ge­gen­sei­tig zu be­ein­flus­sen. Je nach GPU-Modell lassen sich bis zu sieben un­ab­hän­gi­ge Instanzen erzeugen.

Jede dieser Instanzen verfügt über fest zu­ge­wie­se­ne Res­sour­cen und erhält ga­ran­tier­te Leistung. Das ver­hin­dert, dass ein besonders res­sour­cen­hung­ri­ger Prozess andere User oder An­wen­dun­gen ausbremst. Un­ter­neh­men können dadurch GPU-Ka­pa­zi­tä­ten we­sent­lich feiner aufteilen und mehreren Teams oder Services be­reit­stel­len.

MIG ist vor allem für KI-Inferenz, Ent­wick­lungs­um­ge­bun­gen, Ku­ber­netes-Platt­for­men und Multi-Tenant-Re­chen­zen­tren in­ter­es­sant. Anstatt eine komplette GPU für einen kleinen Workload zu re­ser­vie­ren, können mehrere An­wen­dun­gen dieselbe Hardware effizient gemeinsam nutzen. Das ver­bes­sert die Aus­las­tung und reduziert die Kosten pro Workload erheblich.

Wie funk­tio­niert die Hardware-Isolation von MIG?

MIG un­ter­schei­det sich von vielen anderen GPU-Sharing-Verfahren dadurch, dass die Isolation direkt auf Hardware-Ebene erfolgt. NVIDIA par­ti­tio­niert dabei zentrale Kom­po­nen­ten der GPU fest zwischen den einzelnen Instanzen. Dadurch entstehen ga­ran­tier­te Res­sour­cen, die nicht dynamisch mit anderen Workloads geteilt werden müssen.

Das Ziel besteht darin, den so­ge­nann­ten „Noisy Neighbor“-Effekt zu ver­hin­dern. Dieser tritt auf, wenn ein Workload plötzlich große Mengen an Res­sour­cen be­an­sprucht und dadurch andere An­wen­dun­gen ausbremst.

Streaming Mul­tipro­ces­sors (SMs)

Die ei­gent­li­che Re­chen­leis­tung einer NVIDIA-GPU stammt aus den so­ge­nann­ten Streaming Mul­tipro­ces­sors (SMs). Diese enthalten unter anderem CUDA-Cores, Tensor Cores und weitere Re­chen­ein­hei­ten.

Bei MIG erhält jede Instanz einen fest de­fi­nier­ten Anteil dieser Streaming Mul­tipro­ces­sors. Die Re­chen­ein­hei­ten werden exklusiv zu­ge­wie­sen und können nicht von anderen Instanzen verwendet werden. Dadurch bleibt die ver­füg­ba­re Re­chen­leis­tung konstant und vor­her­seh­bar.

Ein KI-Modell in einer MIG-Instanz kann daher nicht plötzlich zu­sätz­li­che SMs belegen und die Leistung anderer Nut­ze­rin­nen und Nutzer be­ein­träch­ti­gen. Dies ist ins­be­son­de­re für pro­duk­ti­ve Um­ge­bun­gen wichtig, in denen Service-Level-Ver­ein­ba­run­gen ein­ge­hal­ten werden müssen.

Crossbar-In­ter­con­nect

Der Crossbar-In­ter­con­nect verbindet die ver­schie­de­nen Funk­ti­ons­blö­cke innerhalb der GPU mit­ein­an­der. Über diese In­fra­struk­tur werden Daten zwischen Re­chen­ein­hei­ten und Speicher trans­por­tiert.

MIG re­ser­viert auch hier de­di­zier­te Res­sour­cen für einzelne Instanzen. Dadurch wird ver­hin­dert, dass Da­ten­ver­kehr eines Workloads die Kom­mu­ni­ka­ti­on anderer Instanzen be­ein­träch­tigt. Selbst wenn eine Anwendung große Da­ten­men­gen ver­ar­bei­tet, bleiben die Kom­mu­ni­ka­ti­ons­pfa­de anderer Instanzen stabil. Die Per­for­mance wird dadurch deutlich vor­her­seh­ba­rer als bei vielen soft­ware­ba­sier­ten Vir­tua­li­sie­rungs­lö­sun­gen.

Spei­cher­con­trol­ler und L2-Cache

Neben den Re­chen­ein­hei­ten spielt auch der Spei­cher­zu­griff eine ent­schei­den­de Rolle für die Ge­samt­leis­tung einer GPU, da viele KI-Workloads nicht durch die ver­füg­ba­re Re­chen­leis­tung, sondern durch die Spei­cher­band­brei­te und den Da­ten­trans­fer begrenzt werden.

MIG weist jeder Instanz eigene Spei­cher­con­trol­ler, Cache-Bereiche und HBM-Spei­cher­an­tei­le zu. Dadurch entstehen ga­ran­tier­te Spei­cher­band­brei­ten und feste Spei­cher­ka­pa­zi­tä­ten. Greift ein Workload intensiv auf den Speicher zu, be­ein­flusst dies andere Instanzen nicht. Gerade bei Inferenz-Services mit vielen par­al­le­len Anfragen sorgt dies für stabile Ant­wort­zei­ten und eine zu­ver­läs­si­ge Per­for­mance.

Welche GPUs un­ter­stüt­zen NVIDIA MIG?

NVIDIA hat MIG ur­sprüng­lich mit der Ampere-Ar­chi­tek­tur ein­ge­führt. Seitdem wurde die Tech­no­lo­gie in mehreren Re­chen­zen­trums­ge­ne­ra­tio­nen wei­ter­ent­wi­ckelt. Je nach GPU-Modell un­ter­schei­den sich die ver­füg­ba­ren Profile, die maximale Anzahl von Instanzen und die be­reit­stell­ba­ren Res­sour­cen.

• NVIDIA A100: Die A100 un­ter­stützt bis zu sieben MIG-Instanzen mit 40 GB und 80 GB HBM-Speicher; typische Profile reichen von kleinen 1g-Instanzen bis hin zur voll­stän­di­gen Nutzung der GPU durch eine einzelne Instanz.
• NVIDIA A30: Die A30 un­ter­stützt ebenfalls MIG mit bis zu vier Instanzen und eignet sich ins­be­son­de­re für Inferenz-, HPC- und Vir­tua­li­sie­rungs-Workloads mit ge­rin­ge­rem Res­sour­cen­be­darf als eine A100.
• NVIDIA H100: Die NVIDIA H100 erweitert das MIG-Konzept für die Hopper-Ar­chi­tek­tur. Neben höherer Re­chen­leis­tung pro­fi­tie­ren An­wen­den­de von deutlich mehr Spei­cher­band­brei­te.
• NVIDIA H200: Die NVIDIA H200 baut auf Hopper auf und kom­bi­niert MIG mit einer deutlich größeren HBM3e-Spei­cher­ka­pa­zi­tät, wodurch größere KI-Modelle wie LLMs und Da­ten­sät­ze ver­ar­bei­tet werden können.
• NVIDIA B200: Die B200 basiert auf der Blackwell-Ar­chi­tek­tur; auch hier un­ter­stützt NVIDIA die Auf­tei­lung der GPU in bis zu sieben isolierte Instanzen. Die ver­füg­ba­ren Profile können bei NVIDIA ein­ge­se­hen werden.
• NVIDIA GB200: Die GB200 kom­bi­niert Blackwell-GPUs mit Grace-CPUs und un­ter­stützt MIG für die flexible Auf­tei­lung von Res­sour­cen in großen KI- und HPC-Clustern.
• NVIDIA RTX PRO Blackwell: Mehrere RTX-PRO-Blackwell-Modelle un­ter­stüt­zen ebenfalls MIG, wobei je nach Modell zwei bis vier isolierte GPU-Instanzen erstellt werden können.

MIG vs. Time-Slicing vs. vGPU

Un­ter­neh­men können GPUs auf un­ter­schied­li­che Weise mehreren Nut­ze­rin­nen und Nutzern oder An­wen­dun­gen be­reit­stel­len. Die drei wich­tigs­ten Ansätze sind MIG, Time-Slicing und NVIDIA vGPU. Alle drei Verfahren verfolgen un­ter­schied­li­che Ziele und bieten un­ter­schied­li­che Grade an Isolation, Per­for­mance-Garantien und Fle­xi­bi­li­tät.

MIG

MIG par­ti­tio­niert die GPU direkt auf Hardware-Ebene. Jede Instanz erhält de­di­zier­te Rechen- und Spei­cher­res­sour­cen. Dadurch entstehen ga­ran­tier­te Leis­tungs­wer­te und eine sehr starke Isolation zwischen den Workloads. Besonders geeignet ist MIG für pro­duk­ti­ve KI-Workloads mit klar de­fi­nier­ten Res­sour­cen­an­for­de­run­gen.

Time-Slicing

Beim Time-Slicing teilen sich mehrere An­wen­dun­gen dieselbe GPU zeitlich. Der Scheduler weist den einzelnen Prozessen kurze Zeit­fens­ter zur Nutzung der GPU zu. Die Hardware wird dabei nicht physisch par­ti­tio­niert. Dadurch können Leis­tungs­schwan­kun­gen auftreten, wenn einzelne Workloads besonders viele Res­sour­cen be­an­spru­chen.

NVIDIA vGPU

NVIDIA vGPU er­mög­licht die Vir­tua­li­sie­rung von GPUs innerhalb vir­tu­el­ler Maschinen. Die Tech­no­lo­gie wird häufig in VDI-, CAD- und En­ter­pri­se-Um­ge­bun­gen ein­ge­setzt. Je nach Kon­fi­gu­ra­ti­on können Res­sour­cen gemeinsam genutzt oder teilweise re­ser­viert werden. Die Isolation erfolgt primär über die Vir­tua­li­sie­rungs­schicht.

Die Methoden im Überblick

Wirt­schaft­li­che Vorteile und TCO

Viele KI-Workloads benötigen keine voll­stän­di­ge High-End-GPU. Dennoch wird häufig eine komplette GPU für einen einzelnen Dienst re­ser­viert. Dies führt oft zu einer schlech­ten Hard­ware­aus­las­tung.

MIG er­mög­licht eine we­sent­lich feinere Auf­tei­lung vor­han­de­ner Res­sour­cen. Mehrere In­fe­renz­mo­del­le können parallel auf derselben GPU betrieben werden, ohne dass dafür zu­sätz­li­che Hardware an­ge­schafft werden muss. Dadurch steigt die durch­schnitt­li­che Aus­las­tung der GPU deutlich.

Besonders bei kleinen und mit­tel­gro­ßen KI-Modellen lassen sich oft mehrere Services auf einer einzelnen A100- oder H100-GPU kon­so­li­die­ren. Die An­schaf­fungs- und Be­triebs­kos­ten verteilen sich dadurch auf mehrere An­wen­dun­gen. Auch in Cloud-Um­ge­bun­gen können Un­ter­neh­men von kleineren GPU-Slices pro­fi­tie­ren. Anstatt eine voll­stän­di­ge GPU zu re­ser­vie­ren, wird lediglich die tat­säch­lich benötigte Instanz genutzt. Dies reduziert die Kosten pro Anwendung und ver­bes­sert die Res­sour­cen­ef­fi­zi­enz.

Da Strom­ver­brauch, Kühlung und Rack-Ka­pa­zi­tä­ten zu den wich­tigs­ten Kos­ten­fak­to­ren moderner KI-In­fra­struk­tu­ren gehören, kann eine höhere GPU-Aus­las­tung die Total Cost of Ownership (TCO) deutlich senken.

Typische Ein­satz­sze­na­ri­en für NVIDIA MIG

MIG eignet sich besonders für Um­ge­bun­gen, in denen viele kleinere GPU-Workloads parallel betrieben werden. Die Tech­no­lo­gie wird daher häufig in KI-Platt­for­men, Ku­ber­netes-Clustern und Re­chen­zen­tren ein­ge­setzt.

Parallele KI-Inferenz

Viele pro­duk­ti­ve KI-An­wen­dun­gen führen aus­schließ­lich Inferenz durch. Die Modelle be­ant­wor­ten Anfragen, trai­nie­ren jedoch nicht aktiv weiter. Solche Workloads nutzen häufig nur einen Bruchteil einer modernen Re­chen­zen­trums-GPU. Mit MIG können mehrere In­fe­renz­mo­del­le parallel auf derselben Hardware betrieben werden. Jedes Modell erhält ga­ran­tier­te Res­sour­cen und stabile Ant­wort­zei­ten. Dies ist bei­spiels­wei­se für Chatbots, Such­sys­te­me, Emp­feh­lungs­sys­te­me oder Bild­klas­si­fi­zie­rung in­ter­es­sant. Un­ter­neh­men können dadurch deutlich mehr Modelle pro GPU betreiben.

CI/CD-Pipelines für Machine Learning

Ent­wick­lungs- und Test­um­ge­bun­gen benötigen oft nur zeitweise GPU-Res­sour­cen. Eine komplette H100 für jeden Ent­wick­ler bzw. jede Ent­wick­le­rin wäre wirt­schaft­lich kaum sinnvoll. MIG er­mög­licht die Auf­tei­lung einer GPU auf mehrere Teams oder Projekte. Pro­gram­mie­ren­de können Modelle testen, Va­li­die­run­gen durch­füh­ren oder neue Versionen eva­lu­ie­ren, ohne andere Nut­ze­rin­nen und Nutzer zu be­ein­flus­sen. Dadurch lassen sich GPU-Res­sour­cen we­sent­lich ef­fi­zi­en­ter nutzen und Ent­wick­lungs­zy­klen be­schleu­ni­gen.

Multi-Tenant-Ku­ber­netes-Platt­for­men

Viele Un­ter­neh­men betreiben zentrale Ku­ber­netes-Platt­for­men für un­ter­schied­li­che Teams. Dabei greifen zahl­rei­che An­wen­dun­gen gleich­zei­tig auf GPU-Res­sour­cen zu. MIG er­mög­licht die sichere Auf­tei­lung einer GPU zwischen mehreren Usern. Ku­ber­netes kann die einzelnen MIG-Instanzen wie ei­gen­stän­di­ge GPUs behandeln und gezielt Workloads zuweisen. Dies ver­ein­facht das Res­sour­cen­ma­nage­ment erheblich und ver­bes­sert die Plan­bar­keit der ver­füg­ba­ren GPU-Ka­pa­zi­tä­ten.

Tech­ni­sche Vor­aus­set­zun­gen

Vor der Nutzung von MIG müssen einige tech­ni­sche Vor­aus­set­zun­gen erfüllt sein. Dazu gehören passende Hardware, aktuelle Treiber und kom­pa­ti­ble Software-Kom­po­nen­ten.

• NVIDIA-Re­chen­zen­trums-GPU: MIG wird nur von un­ter­stütz­ten Dat­a­cen­ter-GPUs wie A100, H100 oder B200 be­reit­ge­stellt.
• Aktuelle NVIDIA-Treiber: Die ver­wen­de­ten Treiber müssen MIG un­ter­stüt­zen und zur je­wei­li­gen GPU-Ge­ne­ra­ti­on passen.
• CUDA: Moderne CUDA-Versionen un­ter­stüt­zen den Betrieb und die Ver­wal­tung von MIG-Instanzen.
• Linux-Be­triebs­sys­tem: Die meisten pro­duk­ti­ven MIG-De­ploy­ments laufen unter Linux.
• NVIDIA Container Toolkit: Für Docker- und Ku­ber­netes-Um­ge­bun­gen er­mög­licht das Toolkit den Zugriff auf einzelne MIG-Instanzen aus Con­tai­nern heraus.
• Ku­ber­netes Device Plugin: In Ku­ber­netes ver­ein­facht das NVIDIA Device Plugin die au­to­ma­ti­sche Be­reit­stel­lung von MIG-Res­sour­cen.

Mo­ni­to­ring und Ma­nage­ment

Für den pro­duk­ti­ven Einsatz ist eine kon­ti­nu­ier­li­che Über­wa­chung der GPU-Res­sour­cen wichtig. NVIDIA stellt dafür den so­ge­nann­ten Data Center GPU Manager (DCGM) bereit. Das Tool erfasst Leis­tungs­da­ten, Spei­cher­be­le­gung, Tem­pe­ra­tu­ren und weitere Metriken einzelner MIG-Instanzen.

In Ku­ber­netes- und Cloud-Um­ge­bun­gen werden diese Daten häufig über Pro­me­theus gesammelt. Grafana kann an­schlie­ßend Da­sh­boards für Aus­las­tung, Spei­cher­nut­zung und Per­for­mance vi­sua­li­sie­ren. Dadurch lassen sich Engpässe früh­zei­tig erkennen und Res­sour­cen besser planen. Besonders in Multi-Tenant-Um­ge­bun­gen hilft ein zentrales Mo­ni­to­ring dabei, die Aus­las­tung einzelner Instanzen trans­pa­rent nach­zu­voll­zie­hen.

Übersicht typischer MIG-Profile

MIG-Profile de­fi­nie­ren, wie viele GPU-Res­sour­cen einer Instanz zu­ge­wie­sen werden. Die genaue Ver­füg­bar­keit hängt vom je­wei­li­gen GPU-Modell ab. Die folgende Tabelle zeigt typische Profile einer NVIDIA A100 mit 40 GB Speicher.

Die genaue Pro­fil­struk­tur kann sich zwischen A100-, H100- und B200-Systemen un­ter­schei­den. NVIDIA erweitert die ver­füg­ba­ren Profile re­gel­mä­ßig mit neuen GPU-Ge­ne­ra­tio­nen.

NVIDIA MIG ak­ti­vie­ren: Schritt-für-Schritt

Die Ak­ti­vie­rung von MIG erfolgt über das Werkzeug nvidia-smi. Dafür werden Ad­mi­nis­tra­tor­rech­te auf dem System benötigt.

Schritt 1: Ver­füg­ba­re GPUs anzeigen

Prüfen Sie zunächst, welche GPUs im System vorhanden sind.

nvidia-smi

Schritt 2: MIG-Modus ak­ti­vie­ren

Ak­ti­vie­ren Sie an­schlie­ßend den MIG-Modus.

sudo nvidia-smi -i 0 -mig 1

Die Zahl 0 steht dabei für die GPU-ID. Nach der Ak­ti­vie­rung kann je nach System ein Neustart der GPU oder des Servers er­for­der­lich sein.

Schritt 3: Status über­prü­fen

Kon­trol­lie­ren Sie an­schlie­ßend den Status.

nvidia-smi -i 0 --query-gpu=pci.bus_id,mig.mode.current --format=csv

Die Ausgabe sollte für die aus­ge­wähl­te GPU den Status Enabled anzeigen. Al­ter­na­tiv lässt sich der Status auch über die normale Ausgabe von nvidia-smi prüfen: Dort erscheint der MIG-Modus in der Spalte MIG M..

Schritt 4: Instanzen erzeugen

Im nächsten Schritt erstellen Sie eine passende MIG-Instanz. Das folgende Beispiel erstellt eine „1g.5gb“-Instanz, sofern dieses Profil von der ver­wen­de­ten GPU un­ter­stützt wird:

sudo nvidia-smi mig -cgi 1g.5gb -C

Al­ter­na­tiv kann statt des Kurz­na­mens auch die jeweilige Profil-ID verwendet werden. Welche Profile und IDs auf der vor­han­de­nen GPU verfügbar sind, lässt sich mit folgendem Befehl prüfen:

nvidia-smi mig -lgip

Zur Kontrolle der er­stell­ten MIG-Geräte können Sie an­schlie­ßend diesen Befehl verwenden:

nvidia-smi -L

Die Ausgabe listet dann die physische GPU und die darunter an­ge­leg­ten MIG-Devices auf.

Schritt 5: Res­sour­cen zuweisen

Nach der Er­stel­lung er­schei­nen die Instanzen als ei­gen­stän­di­ge GPU-Res­sour­cen. An­wen­dun­gen, Container oder Ku­ber­netes-Pods können diese nun gezielt verwenden.

Schritt 6: Mo­ni­to­ring ein­rich­ten

Ab­schlie­ßend empfiehlt sich die In­te­gra­ti­on von DCGM sowie Pro­me­theus und Grafana. Dadurch erhalten Sie Einblick in Aus­las­tung, Spei­cher­ver­brauch und Per­for­mance jeder einzelnen MIG-Instanz.

Fazit

NVIDIA MIG er­mög­licht die Auf­tei­lung einer einzelnen Re­chen­zen­trums-GPU in mehrere hard­ware­sei­tig isolierte GPU-Instanzen. Durch die hard­ware­ba­sier­te Par­ti­tio­nie­rung erhalten An­wen­dun­gen ga­ran­tier­te Rechen- und Spei­cher­res­sour­cen, ohne sich ge­gen­sei­tig zu be­ein­flus­sen. Besonders für KI-Inferenz, Ent­wick­lungs­um­ge­bun­gen und Ku­ber­netes-Platt­for­men ver­bes­sert MIG die Aus­las­tung teurer GPU-Hardware erheblich. Un­ter­neh­men können dadurch mehr Workloads auf derselben In­fra­struk­tur betreiben und gleich­zei­tig ihre Ge­samt­be­triebs­kos­ten re­du­zie­ren.