Frage PCIe SSD Platten im PCIe 16 fach Slot / Adapter

[Alkbert]

Ich möchte hier mal kurz das Thema zusätzliche NVME (kein SATA! nur PCIe) aus meiner Erfahrung skizzieren, vielleicht hat ja jemand Anderes ähnliche Herausforderungen bis zum (potentiellen) Erfolg.
Kurz gesagt geht es darum, dass ich nur 2 NVME SSD´s (hier PCIe 3.0) in meinem System mangels Steckplätzen verbauen konnte. Das war zum einen die
Systemplatte, die ich ansonsten peinlich sauber halte und zum anderen eine der Datenplatten. Ansonsten massig SATA Anschlüsse, aber das kenn man ja,
da ist bei ca. 550 MB/sec. finito.
Das hier verwendete System will ich nur kurz anreißen - ganz trivial ist das nämlich im Zusammenhang nicht.
Was man unter dem Strich benötigt ist eine PCIe (vom Funktionieren her egal ob 3.0 oder 4.0) mit pro SSD jeweils 4 PCIe Lanes.
D.h. für 1 SSD 4, für 2 SSD´s 8, für 3 SSD´s 12 und für 4 SSD´s letztlich 16 Lanes.
Ich will hier nochmals auf das System zurückkommen, denn da ist oft schon ein Knackpunkt. Die üblichen Desktop Systeme haben je nach Board und Prozessor
i.d.R. irgendwas zwischen 20 und 28 Lanes. Davon gehen dann schon mal 16 Lanes für die Graphikkarte weg. Und pro NVME Port (PCIe) dann nochmals je 4 Lanes - entweder vom Prozessor oder vom Chipsatz, wenn ich das korrekt sehe.
Ausgangsbasis für meine Konfiguration war daher ein System mit ausreichend PCIe Lanes - und zwar schon prozessorseitig, das sieht dann wie Folgt aus:

Mainboard: MSI x299 Tomahawk, CPU: 10980Xe (48 Lanes (Die 44 Lanes beziehen sich auf die Skylake Generation, da die Cascade Lake CPU´s zur Drucklegung des Handbuchs noch nicht existiert haben))
"Verbrauch": 16 Lanes: Graphikkarte, 4 Lanes: Asus 10 GBIT Netzwerkkarte, 4 Lanes: SATA Controller (extern), 2x PCIe NVME auf dem Mainboard (da weiß ich allerdings nicht, ob eine davon über den Chipsatz läuft)
Letztlich bleiben unter dem Strich übrig: 20-24 Lanes
Rein auf die PCIe Steckplätze bezogen (das Board ist "groß")


(c) MSI Handbuch zum Mainboard

Die Karte ist ein Billigteil von Amazon um 40 Euro:


das sieht dann so aus (eine SSD fehlt noch, wird erst morgen geliefert), zur Graphikkarte
sind gut 2 cm "Luft" und die Karte ist kurz:



Im BIOS mus PCIe Split/Bifurcation oder VROC für den betreffenden Slot aktivierbar sein,
sonst wird genau eine einzige SSD erkannt, und zwar die ganz Links (Nr. 1)
Wenn man danach Windows hoch fährt, passiert genau nichts. Man sieht aber im Gerätemanager
einen nicht erkannten Raid Controller. Hier muss jetzt für das Mainboard oder zumindest
den Chipsatz das passende RST Treibermodul von Intel für die entspr. Windows Version installiert werden.
Danach Reboot und danach sieht man in der Windows Datenträgerverwaltung Folgendes:

Die Plattennamen sind natürlich jetzt willkürlich, alle Platten GPT und als Basispartition.
Wie gesagt, eine Platte fehlt noch.
Performance Tests hänge ich noch an, sobald ich dazukomme.
Physikalisch sind das dann am Ende 2x Kingston NV2 und 2x Fanxiang s500 pro (TLC !!)

 

[Besterino]

Die Alternative wäre eine Adapterkarte mit PLX-Chip, dann muss das Board nicht Bifurcation unterstützen und theoretisch müsste das auch mit weniger Lanes funzen (bei auf die jeweiligen verfügbaren Lanes eingeschränkter Performance).

Sowas z.B.:

Sonnet M.2 4x4 Silent PCIe Card ab € 355,99 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Sonnet M.2 4x4 Silent PCIe Card ✔ Produktinfo ⇒ Wandlung: PCIe -> M.2 PCIe • Host: 1x PCIe 3.0 x16 (male) • Ziel: 4x M.2/M-Key (PCIe 3.0 x4, 2280, female… ✔ Adapter/Konverter ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Die Mehrkosten für diese Karte sind im Hinblick auf die Mehrkosten für eine gesamte neue/moderne Plattform (mindestens Board + CPU) mit mehr Lanes sogar überschaubar. Zumindest, wenn man sie nicht schon hat (Threadripper FTW ).

 

[Alkbert]

Die Alternative wäre eine Adapterkarte mit PLX-Chip, dann muss das Board nicht Bifurcation unterstützen und theoretisch müsste das auch mit weniger Lanes funzen (bei auf die jeweiligen verfügbaren Lanes eingeschränkter Performance).

Sowas z.B.:

Sonnet M.2 4x4 Silent PCIe Card ab € 355,99 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Sonnet M.2 4x4 Silent PCIe Card ✔ Produktinfo ⇒ Wandlung: PCIe -> M.2 PCIe • Host: 1x PCIe 3.0 x16 (male) • Ziel: 4x M.2/M-Key (PCIe 3.0 x4, 2280, female… ✔ Adapter/Konverter ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Die Mehrkosten für diese Karte sind im Hinblick auf die Mehrkosten für eine gesamte neue/moderne Plattform (mindestens Board + CPU) mit mehr Lanes sogar überschaubar. Zumindest, wenn man sie nicht schon hat (Threadripper FTW ).

Das wäre in der Tat eine Idee für mein X570 System mit dem 5950x - man sieht hier halt schon grundlegend und vom Aufbau her die "Consumer" Orientierung im Vergleich zu einem HEDT System. Was gut zum Zocken ist, taugt unter manchem Gesichtspunkt halt nur bedingt zum Arbeiten - natürlich je nachdem, was man braucht.

 

[Besterino]

…oder wie man zocken will. Ich stehe ja auf Enterprise-Infrastruktur und träume immer noch vom fetten Server im Keller und irgendwelchen doofen Thinclients in den anderen Räumen an die im Prinzip nur Bildschirm, Maus, Keyboard, Sound angeschlossen werden. Dafür braucht man vor allem aber ein schnelles Netz mit min. 10Gbit - das kommt aber leider immer noch nicht im Consumer-Bereich an. Stattdessen darf sich dieser 2,5/5Gbit Müll verbreiten, zu dem nichtmal Intel anfangs saubere onboard-NICs hinbekommen hat… ich könnt heulen.

Naja. Streaming funzt aber selbst mit wirklich schnellen Netzen immer noch nicht wie ich mir das vorstelle (vor allem nicht komfortabel), und ich hab echt schon einiges ausprobiert/investiert.

 

[Alkbert]

Ich hatte vor gut 25 Jahren mal einen "fetten" Compaq Pro Liant Server im Keller stehen. Mit SAS und SCSI (Adaptec) und allem Drum und Dran.
Ein Stromfresser vor dem Herren und laut und netzwerktechnisch irgendwo zwischen 10 Mbit Coax (4 fach Karte) und 100 Mbit RJ 45.
NT 4.0 lief da zum Schluss drauf. Die ECC Rams waren größer als der heutige Bling-Scheiß mit LED drauf und als Unterbau war das ein Pentium Pro DUAL System mit 233 MHZ mit jeweils 1 MB Cache und einem "quadratmeter" großen Mainboard gefühlt. Von den Prozessoren habe ich heute noch ein halbes Dutzend rumliegen.
10 Gbit ist wirklich nicht bezahlbar. Ich habe hier ein Qnap 2104 2T, damit habe ich meine 2 Hauptarbeitsrechner auf 10 Gbit zusammenschlossen (einer mit 10 Gbit ASUS Karte) und der andere mit einem USB 3.2 5-Gbit Qnap Adapter, der Rest hängt dann über 2,5 Gbit dran sowie ein Uplink auf meine 24fach TP Link mit 1Gbit.
Selbst wenn man jetzt SPF+ mit einer großen Cisco Lösung oder dergleichen hat, aber im Haus überall CAT 7 Verkabelung, dann braucht man für gefühlte 1000 Euro wieder die Adapter zum Dranstecken. Andererseits, wenn man natürlich "neu" baut, kann man sich Glasfasern durchs ganze Haus ziehen und auf RJ 45 verzichten, soweit man kein POE braucht. Aber das sind alles Investionssummen - für privat ? Nein Danke.

 

[Besterino]

So’n Dual Pentium1 (Pro) hatte ich auch mal! Geerbt ausm RZ als glaub der Pentium3 aktuell war und wenn ich mich richtig erinnere waren da zwei 266er Pentiums drauf. Trotzdem: Was ein geiles Teil! War bei mir ne Linux-Box, die mir damals als „Router im promiscuous Mode“ vor dem Gaming-Rechner unter RedHat 6.2 den Netzwerkstream von Everquest aufgebrochen/analysiert hat und daraus live-maps mit allen Spawns, Playern usw. der ganzen Zone generiert hat. Übles Gecheate natürlich und irgendwann hat Sony dann den Traffic (endlich) verschlüsselt und aus war’s. EQ-Atlas hieß das Tool glaub ich. Hach, grossartige Zeiten…

Ansonsten: 10gbit ist schon günstiger geworden als noch 2016 als ich so richtig mit dem Unsinn angefangen hab, gerade Glas aber 10GBase-T. Aber das ist ja erst der Anfang…

Ich hab zwischen Keller und Arbeits…äh…Spielzimmer 100Gbit anliegen (theoretisch 200 aber gibt Storage/Rest eh nicht her), weil ich irgendwann mal günstig 2 ConnectX-4 für glaub 150 bei EBay schiessen konnte (Dell-Dinger, die sich crossflashen ließen). Bis ich da auf auch nur annähernd den Max. Durchsatz kam brauchte es sowohl beim Server als auch Client diverse „Folgekosten“… naja, immer mal wieder günstig was bei Amazon, Mindstar & Co. geschossen und inzwischen hab ich nen recht sauberen 10Gbit Netzwerk-Backbone im Keller für Kupfer wie Glas, die 100gbit-Strecke ist allerdings nur Punkt-zu-Punkt ohne Switch, das war mir der Spaß dann doch nicht wert (noch nicht, schiele immer mal wieder bei EBay…). Irgendein Hobby braucht der Mensch ja…

Das Hauptproblem sind aber immer noch hinreichend „freie PCIE Lanes“, die es bei den blöden Consumer-Plattformen einfach nicht gibt. Bei den sonstigen PCs stecken halt die NICs entweder in nem verkrüppelten x4 Slot von Chipsatz oder klauen der Graka die berühmten 8 Lanes. Nur ein Board bei mir im Haus - außer meinem geliebten TRX40D8-2N2T und den Servern - hat 10Gbit onboard, das ist aber von Gigabyte und nervt ansonsten nur tierisch rum (daher mein persönliches Fazit: nie wieder Gigabyte).

Aber (halbwegs) zurück zum Thema: schneller Storage ist was Feines, aber mehr als ca. 1GB lesen/schreiben braucht am Ende kein Mensch: ich hab im Server so eine ähnliche Karte wie Du mit 4x2TB NVME quasi im „Raid0“, die u.a. meine 100gbit befeuern, und zugleich der Games-Storage für mich und alle anderen PCs im Haus sind (inkl. Deduplication, was übrigens bei mir weniger Platz spart, als erhofft…). Beim Starten der Games von diesem Storage merkt man im Alltag keinen Unterschied, ob das lokal (~14GB/s), über 100gbit (~10GB/s) oder per 10Gbit (~1GB/s) angebunden ist. Selbst mit 1Gbit (~100MB/s) ist das erstaunlich gut nutzbar. Zu einem Raid0 aus 2 4TB SATA-SSDs (theoretisch auch ca. 1GB/s) merkt man auch real keinen Unterschied. Ich würde für grossen Storage daher grds. eher ein RAID0 oder RAID10 aus SATA-SSDs empfehlen - ist zwar nicht ganz so Pr0n wie NVME-RAID, aber viel einfacher überall realisierbar und als ich mich (vor längerer Zeit) damit beschäftigt hatte, waren z.B. 4TB SATA-SSDs noch deutlich günstiger als ihre NVME-Schwestern. Drum stecken in meinem Server auch 2x4TB SATA- SamsungSSDs quasi im RAID0 - die 16TB SSD-Storage reichen erstmal als Basis für alle Games für alle Rechner, und lokal brauche ich jetzt immer nur noch irgendwas um 500MB-1TB als Boot-Disk. Wichtige Daten liegen eh auf parity-Pools.

Nur mal nebenbei: auch der theoretisch vorhandene Unterschied von 4x PCIE3 vs. 4x PCIE4 NVME kommt in der Praxis nicht wirklich an. Ich wollte es wissen und hab dem Server noch 4 980 Pro quasi im RAID0 auf einer weiteren so’ner Adapter-Karte gegönnt (Epyc mit 128 Lanes macht’s möglich, verbrate insgesamt allein 40 Lanes nur für NVME-SSDs)… die theoretisch denkbaren 28GB/s (vs. die 14GB/s vom PCIE3-RAID) merkt man weder lokal (z.B. Starten von VMs) noch übers Netz…

Das gilt alles aber nur für halbwegs „normale“ Use-Cases, eine Render-Box oder Monster-VM-Schleuder z.B. mag eher von Extrem-Storage-Lösungen profitieren.

Bekloppt, macht (mir) aber Spaß.