Frage ESXi / proxmox / Virtualisierung

HerrRossi

Urgestein
Mitglied seit
Jul 25, 2018
Beiträge
6.771
Bewertungspunkte
2.235
Punkte
113
Ich habe jetzt ein bisschen mit ESXi rumgespielt, das ist leicht zu installieren und zu benutzen, zumindest bei einem ersten oberflächlichen Test.

Die erste VM (Linux MInt 19) war flott installiert, der Start der VM geht ruckzuck (virt. "Festplatte" auf SSD) und es lief auch halbwegs flüssig. Nur wird angezeigt, dass der Software Rendering Modus aktiv sei, obwohl der Treiber für die VMware "Grafikkarte" geladen war, auch die VMware Tools hatte ich installiert.

Verstehe ich das richtig, man zwingend einen zweiten PC braucht, um eine VM ausführen zu können? Direkt auf dem Host ist das nicht möglich?

Falls dem so ist, dann ist EXSi glaube ich nicht das, was ich suche. Oder ist die Verzögerung über das Netzwerk zu vernachlässigen? Außerdem hätte ich dann hier drei PCs laufen: NAS, EXSi-Host und der PC um die VM anzuzeigen, das erscheint mir dann doch overkill.
 
Manchmal klappt es, den SATA-Controller per Passthrough durchzureichen. Dann brauchst du halt ein unabhängiges Speichermedium für die Storage-VM, z.B. eine PCIe SSD (m.2). Not supported, aber läuft wohl regelmäßig.

Mit ESXi kann man grds. auch einzelne Platten in eine VM hängen, ohne gleich einen ganzen Kontroller durchzureichen - nennt sich RDM (raw Device Mapping). Das wird aber nur für Disks an SAS-HBAs/-Controllern offiziell unterstützt und ich glaub geht seit 6.7 nur noch über Umwege mit der Konsole. Würde ich aber auch schwer von abraten (mit Disks an einem SATA-Kontrolle, insb. Onboard Kontrollern).

Mit AMD SATA-Kontrollern habe ich das aber auch noch nicht (bewusst) gesehen oder ausprobiert. Meine eigenen Erfahrungen dazu beschränken sich da auf Intel.
 
Danke für die Info, das ist nicht gut.

Edit: macht es denn Probleme oder bekommen ich gravierende Nachteile, wenn ich eine NAS Software auf so einen VMFS-Datastore setze?
 
So einen SAS-HBA kann man super gebraucht kaufen und kostet nicht die Welt (meist irgendwo zwischen 40-90 Euro). Hab davon selbst drei hier (Dell H200/H310).


Die funktionieren auch quasi in jeder Storage VM.
 
Ich gebe es auf mit ESXi. Nachdem ich eine zweite VM mit GPU passthrough gemacht habe, startet jetzt gar keine VM mit GPU mehr, ich habe sogar nochmal ganz von vorne angefangen und mich sklavisch an die Vorgehensweise gehalten, die beim ersten Mal funktioniert hat. Nix. Es kommt immer die Fehlermeldung "Failed to register the device pciPassthru0 for 11:0.0 due to unavailable hardware or software support" ????
 
Beide GPUs mal aus beiden VMs entfernen und neu hinzufügen.
 
Ich habe ESXi ja schon komplett neu installiert, aber es funktioniert nicht mehr. Echt merkwürdig.
 
Hab mir gestern auch die ganze Nacht mit ESXi und GPU-Passthrough um die Ohren geschlagen.... immerhin auch auf dem X399D8A-2T zum Laufen bekommen, aber mit 6.7x bleibt das VM-Reboot-Problem.

Mit 2 GPUs hab ich das aber auch noch nie versucht.

P.S: In Sachen PCIe-Lanes versteht Du jetzt aber wahrscheinlich so langsam, warum die Consumer-Plattformen als VM-Schleudern nur bedingt Spaß machen... ;)
 
Jo, wenn man das so profimäßig wie du machen will, dann auf jeden Fall.

Ich gebe ESXi noch eine Chance, wenn das jetzt nicht klappt, dann höre ich auf damit, ich bin jetzt schon wieder das halbe Wochenende damit zugange, es ist echt frustrierend, dass es erst läuft und dann nicht mehr. Und dann guckt man Video um Video, leist Anlöeitung um Anleitung, überll läuft es ohne Probleme, nur bei dir selber nicht und man weiß nicht, woran es liegen könnte, weil auch die Fehlermeldung völlig ohne Aussage ist, das macht einfach keinen Spaß.
 
Ich vermute stark, dass du im Reboot-bug hängst. Ich habe die Fehlermeldung je nach Einstellungen, wenn ich die VM rebootet habe und den Host aber nicht.

Welche ESXi-Version, welche Startoption in der VM (BIOS oder EFI) und welche Devices hast Du sonst noch per Passthrough an die VM(s) gegeben?
 
Es klappt zum Verrecken nicht mehr, weiß der Geier warum.

Hier meine Konfiguration:
Konfig1.png

Konfig2.png

Konfig3.png

Konfig4.png

Konfig5.jpg

Im Windowsgast sind die VMWare Tools installiert, der Gerätemanager kennt alle Geräte. Der gesamte Arbeitsspeicher ist zugewiesen, auch "10de ffff bridge false" ändert nichts.

Fehlermeldung:
Fehler.png

Ich habe auch schon das passthrough in der Hardwareconfig ausgeschaltet, ESXi neu gebootet, passtrhough wieder eingeschaltet, neu gebootet, 980ti der VM wieder zugewiesen. Nix, immer diese Fehlermeldung.
 
Die Optionen habe ich noch vergessen:
Konfig6.png



@Besterino ESXi Version ist 6.7 (nicht U2, was aber auch icht funktioniert). Reboot Bug? Ich habe den Host-Rechner schon ein paar Mal heruntergefahren und neu gestartet, kann das dann trotzdem sein?
 
Nach einem Host-Reboot sollte es zumindest 1x funktionieren.

Die zweite Graka ist gerade ausgebaut oder stecken beide drin?

Tröste Dich: ich bekomme es gerade mit 6.5U2 auch nicht hin, dass sich die blöde VM rebooten lässt und die NVIDIA-Graka das „überlebt“. Maximal nervig.
 
Es stecken zwei Grafikkarten drin, einmal eine 7850, die nicht durchgegeben wird und einmal die 980ti die durchgegeben werden soll, daran hatte sich auch nichts geändert, vorher lief es ja so.
Es ist egal was ich mache, ob ich den Host runterfahre und neu starte, es macht alles keinen Unterschied, es kommt IMMER diese Fehlermeldung, die VM startet mit der durchgereichten Grafikkarte nicht.

Edit: wenn ich die Datei /etc/vmware/passthru.map ändere, muss ich dann den host neu starten?
 
Reboot nach passthru.map Änderung: keine Ahnung. :( Ich mach’s immer vorsichtshalber, aber weil eben es nie funzt wie gewünscht (und ich nichts unversucht lassen will).

Mit den GPUs kann das Problem sein, dass die Slots in der gleichen IOMMU-Gruppe sind. Dann wird es ggf. hässlich. Testen kannst du das vielleicht so: pack mal beide GPUs in die gleiche VM und schau mal, was passiert.

Haben die Grakas auch evtl. mehrere Devices (Audio o.ä.)? Wenn ja, Pack mal alle Devices an der gleichen Hardware-Adresse in die gleiche VM.
 
Zu Deinem Problem komme ich gleich zurück!

Muss nur gerade kurz einen ersten Teilerfolg melden: hab immerhin eine reboot-fähige VM mit ESXi auf Threadripper hingefrickelt. Man war das eine schwere Geburt: https://www.igorslab.de/community/threads/threadripper-x399-esxi-gpu-passthrough.1637/

Aber vielleicht funzt das ja auch mit ESXi 6.7 - das will ich nochmal eben ausprobieren...

EDIT... klappt! :D Yay! Weltweit erster erfolgreicher Reboot mit Consumer NVidia GPU ohne Deaktivieren der GPU im Gerätemanager. ;)
 
Zuletzt bearbeitet :
Ich habe auch den Nachmittag gefrickelt, unter Linux meldet mir Qemu/KVM: "vfio: Unable to power on device, stuck in D3"

Ob die Grafikkarte im Eimer ist? Ich habe die Karte jetzt mal in den oberen Slot gesteckt, mal sehen, ob Linux Mint ein Bild ausgibt.

Es könnte auch am Bios vom MB liegen, dass die GPU nicht läuft, merkwürdig ist nur, dass sie ja gestern noch funktioniert hat.
 
So ganz durchschaue ich den PCIe-Bus / IOMMU auch noch nicht... Das Problem könnte sein, dass bei den "kleinen" Chipsätzen mit nur 16 Lanes sich zwei Slots diese ja quasi "teilen" wenn beide belegt sind und sich da irgendwas eben auch so auswirkt, dass sich die nicht separat ansprechenlassen. KÖNNTE.

Der Test dazu wäre halt, für beide GPUs mal passthrough zu aktivieren und dann in die gleiche VM zu hängen.
 
Also an der Grafikkarte liegt es nicht, die läuft ganz normal, auch unter Last.
 
Oben Unten