Userreview Threadripper & Experimente... ;)

Besterino

Urgestein
Mitglied seit
Jul 22, 2018
Beiträge
6.671
Bewertungspunkte
3.266
Punkte
112
Moinsen!

Er ist da, also darf gebastelt werden:

1442

In einem ersten Schritt soll das System aus folgenden Komponenten bestehen:

1. CPU: Threadripper 1920X
2. Board: Asus Prime X399 A
3. RAM: 2x 16GB Kingston Server Premier (KSM29RS4/16HCI - ECC RDIMM)
4. Kühler: Watercool Heatkiller IV Pro
5. GPU: 2080Ti FE
6. Storage: Diverse SSDs
7. Netzwerk: Mellanox Connectx-4 Dual 100Gbit (MCX456A-ECAT)
8. Gehäuse: Thermaltake Core P7

Nr. 1 und 2 sind eigentlich nur als Übergangslösung gedacht, bis die neuen Threadripper rauskommen und das eigentlich gewünschte Mainboard verfügbar ist. Mittelfristig soll nämlich idealerweise ein "Zen2 TR3000" - und dann am liebsten auf dem ASRock Rack X399D8A-2T (mein aktuelles TR4-Traumboard)- einziehen. Dieses Mainboard erklärt auch die sehr ungewöhliche / experimentelle RAM-Auswahl: beim RAM habe ich nämlich höchste Zweifel, ob der laufen wird - in dem Board und mit Threadripper allgemein, weil es sich um registered ECC RAM handelt. Den kann die Plattform eigentlich nicht. Der einzige Grund, warum ich das überhaupt versuche, liegt darin, dass der RAM in der Memory QVL von ASRock Rack zu meinem genannten Traumboard geführt wird. Witzigerweise als einziger 2933 RAM...

Heute kommt dann also schon einmal ein erster Test, ob vielleicht der Speicherkontroller vom TR allgemein mehr kann, als man gemeinhin glaubt... ;) Falls nicht, hab ich hier noch ein paar unbuffered ECC Riegel liegen (allerdings nur 2400er :( ) und dann bleibt nur die (dann noch geringere) Hoffnung, dass es vielleicht mit dem ASRock Rack Board klappt. Wenn mir da nicht der ASRock Rack Support schon vorher mit einer Negativaussage die Illusion raubt... (zurzeit pending).

Wie dem auch sei, jetzt kann erstmal der 1920X ausgetestet werden, wie der sich so im Alltag anfühlt. Ich werde berichten... schau'mer mal, dann seh'ma schon... :p
 
Wie bei einer ganz normalen Installation: GPU und USB sind per PCIe-Passthrough in der VM, so dass die Ein- und Ausgaben daran angeschlossener Geräte (Monitor, Maus, Keyboard, Sound) direkt auf/mit diesen Geräten erfolgt.
 
Ah ok. Ich dachte Du kannst schon von der Ferne zocken. Aber so zockst Du quasi direkt am Server.
 
Genau. Für „Remote-Daddeln“ habe ich noch keine Lösung.

RDP und NoMachine sind jedenfalls keine Lösung.
 
Ja da tut sich wenig. Ich dachte in Zeiten von Internetstreaming kommt da was, aber bisher ist das alles eher geht so. Selbst Steam macht im Homestreaming ja nur RDP. Und das VM-Ware eigene Ding ist ja schon im normalen Betrieb nix.
 
Meh. Passthrough der 660 in eine Solaris VM funzt nicht. Scheint irgendwie ein generelles Problem zu sein, ist laut Internet ein größeres Thema mit NVME+Solaris. Blöd & schade, jetzt extra noch einen HBA und weitere Datenträger für eine Storage VM reinzuhängen hab ich gerade keine Lust zu. Mach ich dann ggf. wenn/falls ein TR3000 System ins Haus kommt. Wobei der Support dafür bei VMware, Solaris & Co. echt noch weit hinter dem für Intel-Kram zurück liegt (TR4 war leider bisher ja auch nur Consumer-grade).

Naja, dann kommt die SSD halt wieder in die Windows VM.

Ansonsten hab ich die Gaming-VM auf 8 Kerne zurückgestutzt. Merke beim Spielen bisher keinen Unterschied zu 20 Cores...
 
Hab inzwischen die 660p wieder in die Windows-VM gehängt. Funktioniert auch soweit und ich kopier' gerade ein paar Sachen von meinen iSCSI-Netzlaufwerken "lokal" auf die PCIe-SSD. Da lohnt sich mal ein flottes Netzwerk bzw. zeigt sich, dass mein Netzwerk-Share aus 4 SATA-SSDs im RaidZ gar nicht so schlecht performed. ;)

2042
 
Mal ein kurzes Update: das System ist ja jetzt etwas verändert, die 2080Ti sowie die komplette WaKü sind rausgeflogen. Außerdem wurde das alles in ein anderes Gehäuse verpflanzt (Nanoxia CoolForce), ein Noctua TR4-Kühler auf die CPU und noch 2 140, die für etwas Durchzug auf PCIE-Slots bzw. Absaugung hinter der CPU sorgen.

Außerdem ist die dedizierte 100Gbit NIC rausgeflogen, die 2 Onboard 10Gbase-T Ports müssen reichen.

Als GPUs sind jetzt zu Testzwecken zwei TitanXp drin und die erste VM läuft auch schon wieder mit einer davon. Streaming funzt Dank Monitor-Dongle auch grundsätzlich. Allerdings hab ich es noch nicht soweit, dass das alles nach einem Reboot ohne Weiteres geht. Dafür muss nämlich jemand angemeldet sein und das geht nicht über RDP - das mag jedenfalls das Streaming nicht (funzt danach nicht). Mal schauen ob’s geht, wenn ich irgendwie eine automatische Anmeldung hinbekomme...
 
Es gibt von Microsoft (Sysinternals) ein Tool, um nach dem Hochfahren automatisch einen vorher angegebenen User anzumelden, das funktioniert auch mit Domain-Usern. Ich benutze es selber am HTPC.
 
Ich krieg die KRÄTZE bei Video. Das einzige was mich aktuell interessiert ist, welchen Hypervisor er nutzt.

Mal davon ab: Epyc ganz andere Baustelle als TR. :(
 
Es ging mir dabei eher um die Verkabelung. Ich würde vermuten, dass Unraid eingesetzt wird.
 
Jo... Unraid. Hab mich zu Minute 6 durchgequält. ;)

Danke trotzdem für den Link. Ich hab’s noch nicht gänzlich aufgegeben. Gibt auch eine neuere ESXi Version als ich zuletzt probiert hab.
 
Ich mag einfach Videos nicht. Das Gesabbel als Text lese ich in 2-5 Sekunden quer und find was ich brauche - das Video kostete mich jetzt min. 6 Minuten (eher 10 weil ich 4 Minuten damit verplempert habe, vergeblich eine Stelle zu suchen, wo er sein Setup mal softwareseitig kurz vorstellt). Aber die Info zum OS - m.E. eigentlich mit die Wichtigste - kam nur mal in nem Nebensatz. Außerdem braucht man Ton, was mich (und die Familie wenn man keine Kopfhörer benutzt) zusätzlich nervt.

Davon ab gehören die LTT-Vids noch zu den erträglichen.

Bin Dinosaurier halt. Ich mags bei Informationsvermittlung irgendwie effizient, matter-of-fact und auf den Punkt (gerne sauber gegliedert) und eben keine Laber-Lehrstunde mit Dönekens inkl. Werbung vom Video-Märchenonkel.
 
Das tut mir leid, mit einer geschriebenen Version kann ich leider nicht dienen. Er verlegt halt lange HDMI-Kabel im Haus und verteilt USB über ein optisches Netzwerk.
 
Zuletzt bearbeitet :
HA!

8 Threadripper 3000 Kerne in der VM? Check.
2080Ti läuft in der VM? Check.
USB3 läuft in der VM? Check.

2786
 
Jupp. ESXi.

Gemacht: Wahlloser Mix aus BIOS-Einstellungen, von denen ich nicht genau weiß, was sie genau bewirken, neue ESXi-Version (6.7U3b) und frische VM aufgesetzt mit 1909 ISO aus dem Media Creation Tool (plus VMware Tools installiert).

Dann old school troubleshooting und zu Testzwecken nur die GPU in die VM gehängt (ohne Audio-, USB- und UCSI-Device) und absolute Minimal-Settings, nämlich: Hypervisors.cpuid.v0 = FALSE

Kein Edit der passthru.map, keine besondere Konfiguration in den erweiterten VM-Einstellungen.

Lief dann komischerweise auf Anhieb.

Vermutlich muss man die Settings jedes Mal für jede Plattform und ggf. auch für die jeweilige ESXi-Version testen/herausfinden. Allein die GPU ist jedenfalls nicht der entscheidende Faktor und nur weil es auf Plattform A mit Settings 123 läuft, funktionieren Settings 123 noch lange nicht auf Plattform B.
 
So langsam komm' ich auch der Sache mit'm Streaming näher. Nachdem es selbst über eine - definitiv sauber funktionierende - 10Gbit Leitung schon mit 1440p nicht so richtig wollte, hab ich mir nochmal die Netzwerkeinstellungen unter ESXi bzw. der VM zur Brust genommen. Hab von dem para-virtuellen VMXNET3 Adapter testweise umgestellt auf SR/IOV (ordentliche NIC sei Dank ;)).

Hab dann in eine andere VM mit einer kleinen Quadro P400 als GPU mal einen GRBreakpoint Benchmark gestreamed - das lief über die 10Gbit Leitung jetzt endlich flüssig ohne spürbare Verluste, Ruckler oder Hänger, wohlgemerkt alles auf 4K (also native Auflösung auf dem Host und Streaming Quali in Moonlight, nur der Client-Monitor hat FullHD). Die Tage teste ich das dann mal mit 1Gbit... sollte aber nun auch locker hinhauen, laut Taskmanager ist das Netzwerk mit nur ca. 55mbit belastet.

Die letztlich spannende Frage wird sein, welche (Grafik)Hardware man beim Client denn nun wirklich braucht.

2792
 
Oben Unten