Grundlagenartikel Der 10-Gigabit Laberthread

Besterino

Urgestein
Mitglied seit
Jul 22, 2018
Beiträge
6.736
Bewertungspunkte
3.329
Punkte
112
Weil es in einem anderen Thread aufkam, hier mal eine kurze Einführung in die 10-Gigabit (hier kurz: 10G) Netzwerk-Welt. Wird über die Zeit gerne ergänzt, hier zunächst nur mal ein paar Basics.

Disclaimer: Es soll in diesem Posting nur um den allerersten Einstieg gehen für jemanden, der sich quasi noch nie mit der 10G-Welt beschäftigt hat. Ich habe mich daher bemüht, mich möglichst einfach und verständlich auszudrücken und insbesondere einen Überblick zu vermitteln, wie man eine 10G-Glasfaserverbindung zu Hause hinbekommen kann. Damit gehen natürlich erhebliche Abstriche einher, was die Vollständigkeit angeht und es sind je nach Rahmenbedingungen natürlich zig Varianten möglich bzw. sogar besser / sinnvoller.

Hier geht's übrigens ausschließlich um 10G, mit so einem Unsinn wie NBase-T mit 2,5G oder 5G beschäftige ich mich aus Prinzip nicht. Wer glaubt, dass er zu Hause schlechte Leitungen hat, der darf sich da gerne mit auseinandersetzen. In Zeiten wo neue 10GBase-T NICs für weniger als 150 Euro oder gebrauchte 10G Glasfaser NICs für unter 50 Euro zu haben sind... nein danke.

Nun aber los!

Es gibt zwei grundsätzliche Verbindungsmöglichkeiten, um zwei Rechner mit 10G Geschwindigkeit zu verbinden: a) mit der aus der 1 Gigabit-Welt bekannten Kupfertechnik und den bekannten RJ45 Steckern und b) mit der aus dem Enterprise-Umfeld stammenden Glasfasertechnik.

Zu a) gibt es eigentlich nicht viel zu erklären: Es gibt nur einen Stecker/Buchsen (RJ45) und diese Stecker/Buchsen sind die gleichen wie in der 1G-Welt, die 10G-Technik ist zu 1G abwärtskompatibel und je nach Kabellänge klappt 10G sogar mit den vorhandenen 1G Kabeln (ab CAT 5E, was anderes bekommt man heutzutage ja quasi gar nicht mehr). Kurzum: mit etwas Glück steck' ich zwei 10G-Netzwerkkarten in Rechner A und Rechner B, verbinde mit den eh schon liegenden Kabeln und habe meine 10G Direktverbindung. Schlimmstenfalls muss ich halt ein neues CAT6A Kabel kaufen.

Zu b) - also Glasfaser - wird's etwas komplizierter:

Eine vollständige "Verbindung" sieht in der Glasfaserwelt grds. (Ausnahme folgt gleich in einem Exkurs) so aus:

Netzwerkkarte (NIC) oder Switch oder sonstiges "Endgerät" --> Transceiver --> Kabel --> Transceiver --> Switch / NIC /sonstiges

Auf einige Einzelheiten zu den einzelnen Komponenten will ich nun etwas näher eingehen:

1. Kabel
An dieser Stelle wollen wir ein paar neue Begriffe bzw. Abkürzungen kennenlernen: was bei Kupfer "CAT" ist, ist bei Glasfaser "OM" bzw. "OS". Und so wie CAT6 besser ist als CAT5, ist OM4 besser als OM3 usw. Und "OS" ist nochmal "besser" bzw. anders als "OM"...aber OS1/OS2 interessiert uns nicht wirklich, denn 10km werden wir zu Hause wohl kaum überbrücken müssen...

Auf weitere Feinheiten wie Wellenlängen, verschiedene Steckertypen, Multimode & Co. will ich hier auch mal nicht weiter eingehen. Wir merken uns am besten an dieser Stelle nur einmal: mit OM3-Multimode-Duplex-Kabeln und LC-Steckern machen wir für Direktverbindungen (inkl. Switch) nichts falsch (und sind meine Empfehlung wenn man anfängt / keine Ahnung hat) - jedenfalls wenn man nicht im Hinterkopf bereits über 40G, Unterputzdosen und sonstige Spielereien nachdenkt...

Beispiel: https://www.fs.com/de/products/50110.html - ich sach' mal, 10m für EUR 6,56 (inkl. MwSt) sind doch recht erträglich...

2. Transceiver
Dem aufmerksamen Leser ist oben bereits aufgefallen, dass es im Gegensatz zur Kupferwelt bei Glas nicht nur Kabel und Netzwerkkarte (NIC) gibt, sondern dazwischen so Dinger kommen, die Transceiver genannt werden. Kurz und vereinfacht: die Transceiver übersetzen das Lichtsignal in elektrische Impulse und umgekehrt. Warum sind die Transceiver so spannend? Von ihnen (plus Typ des Glasfaser-Kabels) hängt ab, wie lang eine Verbindung zwischen zwei Geräten (Rechner<-->Rechner, Rechner<-->Switch usw.) sein darf und ob überhaupt eine funktionierende Verbindung zustande kommt.

Für den Einstieg reicht zunächst mitzunehmen: ein 10GBASE-SR-Transceiver (kurz: SR) ist mit am günstigsten und langt fürs Homelab allemal, denn die stemmen mit den billigsten Kabeln (OM1) bereits entspannte 30m, und mit gängigen und durchaus erschwinglichen OM3-Kabeln schon mal entspannte 300m. Reicht.

Beispiel: https://www.fs.com/de/products/74668.html - kostet mit 16 Euro nun auch nicht die Welt.

Exkurs: Es gibt auch spezielle Kabel, in die ein Transceiver quasi direkt integriert ist bzw. die gar nicht Glasfaser für die Übertragung nutzen, sondern das Ganze direkt über Kupfer machen. Diese Kabel werden auch DAC-Kabel genannt. Logischerweise ist dann aber auch die Kabellänge vorgegeben und die Verbindung ist wie aus der Kupferwelt bekannt:

Endgerät (NIC, Switch usw.) --> DAC-Kabel --> Endgerät
Bis zu einer Entfernung von ca. 3m können DAC-Kabel eine günstigere Verbindung als mit Kabel und 2 Transceivern sein.

Jetzt haben wir also schonmal zwei Komponenten (Kabel+Transceiver) verbunden. Hurra!

3. Endgeräte (NIC/Switch)
Dummerweise funktioniert aber auf der nächsten Ebene noch lange nicht, was physisch passt. Soll heißen: nur weil ein Transceiver physisch in ein Endgerät passt, einrastet usw., funktioniert das noch lange nicht:

Die entsprechenden Ports sehen zwar von außen bisweilen gleich aus, sind es aber nicht. Für 10G (in der Einstiegsklasse) merken wir uns: wir wollen SFP+. Nicht SFP (ohne +), denn das ist der Standard für 1G. Auch nicht QSFP oder QSFP28. Wir wollen hier nur SFP+, denn selbst wenn es Möglichkeiten gibt, alles bis auf SFP (ohne +) zur Zusammenarbeit mit 10G zu bewegen, zahlen wir da nur unnötig drauf.

Aber es kommt noch schlimmer. Nur weil wir nun einen 10G (SFP+) Transceiver und ein Endgerät mit SFP+ Port(s) haben, heisst das leider noch lange nicht, dass diese sich beliebig kombinieren ließen. Geräte von manchen Herstellern spielen nämlich nur mit den Transceivern eben dieser Hersteller. Oder vielleicht auch noch einigen bestimmten anderen. Aber eben nicht mit allem und jedem. Schöner Mist? Genau.

Darum habe ich oben im Beispiel für den Transceiver auch einen "Generic" von fs.com verlinkt - die haben bisher in allen meinen NICs (Broadcom/Emulex, Intel, Fujitsu, Chelsio, Mellanox) und Switches (D-Link, TP-Link, Mikrotik) funktioniert. Aber eine Garantie übernehme ich natürlich nicht.

Und was soll man jetzt als NIC nehmen? Der günstigste Einstieg für eine Direktverbindung von 2 Rechnern ist im Zweifel die Kombination aus zwei Mellanox COnnectx-2 oder Connectx-3 NICs, die mit einem 3-Meter DAC-Kabel verbunden werden. Bei Ebay findet man bisweilen schon entsprechende Kits für <100 Euro: https://www.ebay.de/itm/10G-Netzwer...414888?hash=item215de821e8:g:62MAAOSwr~lYnZG3

M.E. ist das aber nicht die beste Lösung, denn u.a. müssen dann z.B. IP-Adressen im 10G-Netz manuell konfiguriert werden und es haben genau nur die 2 Kisten etwas davon. Reicht aber z.B. für die schnelle Anbindung einer Workstation an einen (Storage)Server natürlich völlig aus.

4. Ausgewählte Besonderheiten / Wissenswertes
4.1 Immerhin: Endgeräte bzw. SFP+ Ports sind meistens abwärtskompatibel zu SFP (ohne Plus), so dass sich eine 10G NIC auch grds. zur Zusammenarbeit mit einem 1G Switch überreden lässt. Aber Achtung: Auch wenn Endgeräte es regelmäßig sind, Transceiver sind häufig NICHT abwärtskompatibel, d.h. der gleiche Typ Transceiver muss auf beiden Seiten des Kabels stecken! Will ich also eine 10G NIC mit einem 1G Switch (mit SFP Port ohne +) verbinden, muss ich auch auf beiden Seiten jeweils 1G-Transceiver verwenden.

4.2 Während ein Kupfer-Port nicht (sinnvoll) auf Glasfaser umgerüstet werden kann, geht es umgekehrt sehr wohl mit speziellen Transceivern: so kann eine NIC oder ein Switch, der selbst über keine RJ45-Anschlüsse verfügt trotzdem relativ einfach (aber nicht ganz billig) mit einer herkömmlichen Kupfer-Infrastruktur (oder einer 10Gbase-T NIC) verbunden werden.
Beispiel 1G: https://www.fs.com/de/products/75322.html
Beispiel 10G: https://www.fs.com/de/products/74680.html

4.3 Das "Gute" an 10G-Glasfaser: Das ist alles Server- und damit Enterprise-Zeug. Soll heißen: das ist alles von Hause aus auf Stabilität, Zuverlässigkeit, Kompatibilität (Software), Dauerbetrieb und lange Laufzeiten ausgelegt. Deshalb kann man sowas m.E. auch gut gebraucht kaufen, denn die Unternehmen mustern die voll funktionsfähigen Server/Komponenten bereits aus, wenn sie aus den (bezahlbaren) Supportzeiträumen fallen (ca. 3-5 Jahre), und zwar selbst wenn sie noch voll funktionsfähig sind. Und sowas landet dann eben u.a. bei Ebay. Da die Komponenten bei uns zu Hause im Zweifel auch weit unter ihrem Maximum belastet werden, werden sie in ihrem Alter also auch quasi "geschont", was ihre Lebenszeit wohl eben auch noch einmal verlängert (im Vergleich zum Einsatz im Unternehmen) - selbst wenn sie vielleicht nicht nach Spezifikation eingesetzt werden (die NICs erwarten z.B. regelmäßig einen gewissen Luftstrom, den ein Consumer-Gehäuse schlicht nicht hinbekommt). Ich habe jedenfalls fast alle meine NICs gebraucht gekauft und musste bisher keinen einzigen Ausfall verzeichnen.

Soweit ein erster Zwischenstand. Vielleicht interessiert es ja den ein oder anderen. Bilder, weiterführende Links usw. liefere ich bei Gelegenheit nach.
 
Zuletzt bearbeitet :
Siehe oben. ;)

Wobei: mit HDDs und Redundanz bist Du da auch schnell bei 10 HDDs, wenn Du 1GB/s zusammenbekommen willst: bei ~150MB/s pro Disk netto-Speed heisst das schonmal mindestens 7 HDDs im Raid0 (best case), mit Redundanz MINDESTENS 8 Disks (Raid5/Z), eher 9 (Raid6/Z2). Und da Raid mit Parity auch wieder Performance frisst, kannst Du da bestimmt gleich wieder eine Disk drauflegen.... ohne Parity bleibt nur Raid10 und Du bist bei 14 Disks oder 8 für die Hälfte des Platzes.... hihihihi... (wobei ich grade nicht im Kopf habe, wie die Performance bei Raid10 genau skaliert).

Ist aber eher eine Milchmädchenrechnung. Die Details hängen total von der eingesetzten Software und Hardware ab. =)

EDIT: gerade gefunden: https://wintelguy.com/raidperf.pl
 
Zuletzt bearbeitet :
Prinzipiell ja, wird aber anders umgesetzt:

Bei ZFS besteht ein Pool (das, was vom Filesystem benutzbar ist) aus sogenannten vdevs. Ein vdev besteht dann aus den Datenträgern und auf Ebene des vdevs wird auch die Redundanz festgelegt: simple (Raid0), mirror (Raid1) oder eben Z1-3 (quasi Redundanzlevel, wie viele Disks ausfallen dürfen, also quasi Z=1 (Raid5), Z2=2 (Raid6) und Z3=3 (da hamse nix mehr)).

Im Pool kann man nun fröhlich (sogar verschieden konfigurierte) vdevs zusammenfassen, wobei dann grds. über mehrere vdevs eben keine Redundanz aufgebaut wird: Ist ein vdev (komplett) verloren, sind alle Dateien darauf (oder mit Teilen darauf) verloren. Grundsätzlich werden die Daten gleichmäßig über alle vdevs innerhalb eines Pools verteilt.

Ein Raid0 baut man daher einfach aus mehreren mirror-vdevs in einem Pool.

Neue vdevs können einem Pool übrigens auch nachträglich hinzugefügt werden, wobei existierende Daten dann nicht direkt neu verteilt werden, sondern eben erst bei (erneuten) Schreibvorgängen.

Ich habe das aber bisher immer so gehalten, dass ich pro Pool auch nur ein vdev mit entsprechendem Redundanzlevel nutze. Mehr als 8 Platten hatte ich bisher noch nicht nötig und da kommt man mit einem RaidZ2-vdev prima aus...

Die nachträgliche Veränderung von vdevs ist übrigens deutlich schwieriger und hängt wieder extrem von der konkreten ZFS-Umgebung ab.
 
Also funktioniert das mit dem raid10 unter ZFS im Prinzip genauso wie bei anderen Filesystems auch? Ich mache aus zwei vdevs ein raid1, aus den zwei raid1 dann ein raid0 und das ganze ist dann der nutzbare zpool!?
 
Joah, am Ende total simpel: Pool erstellen, 2 mirror-vdevs hinzufügen, fertig.
 
Damit käme ich dann auf theoretisch 480MB/s... Wie war das bei EXSi, interne SATA-Ports kann man nicht durchreichen?

Und wenn ich eh alles neu mache, wie wäre es denn dann mit SAS-Laufwerken?
 
Onboard-Controller durchreichen ist ein bisserl Glückssache. Bei Intel geht’s oft. Zu AMD fehlt mir die Erfahrung.

SAS-Laufwerke sind nett, haben verschiedene Vorteile. Braucht’s das - hängt davon ab. An welche Kapazität netto hast Du denn gedacht?
 
8-10 TB sollten schon dabei rauskommen. Aber SAS ist wahrscheinlich wirklich übertrieben, mich stört im Moment eigentlich nur der lahme "download" von Server. Woran liegt das? Schreiben geht mit >100MB/s.
 
Puh, das kann alles sein. Wie ist denn die read Speed Lokal?
 
Welches OS?
 
Lesen ohne Cache: 201 MB/s

Jetzt gerade ist aber auch der Upload zum Server superlahm, als wäre es nur noch ein 100Mb-Netz...
 
Damit solltest Du 1Gbit jedenfalls ausgelastet bekommen.

Spricht in der Tat einiges dafür, dass das Problem nicht die Platten sind. Netz bietet sich an...

Was sagen iperf3, ping usw.?
 
Es lag wohl am Router. Trotzdem ist es total verrückt, jetzt habe ich als Upload nur noch 80MB/s dafür aber als Download >110MB/s o_O Verstehen muss man das nicht... Allerdings ist das jetzt der Rechner mit dem MSI MB, dem Realtek 1Gb Chip und einer normales SSD anstatt der NVMe SSD.
 
hmmm. Eigentlich dürfte ein (DSL-/Kabel-)Router da nix bremsen, es sei denn der ist physisch ein zwingender Durchgangsposten. Sowas vermeide ich aus Prinzip, indem ich immer einen gescheiten Switch davor klemme, in dem dann der Router halt mit einem Kabel angebunden ist. Für die Verbindung ins Netz reicht so‘n Router-interner Switch dann allemal.

Oder routest Du wirklich z.B. zwischen Subnetzen oder hast da noch eine größere Firewall dazwischen mit packet inspection & co.? Da brauchst Du für gbit schon etwas mehr Bumms als du bei AVM & Co. kaufen kannst oder eine Linux-VM mit einem Kern und 1-2GB RAM liefert... ;)
 
Ich hab einen Router, der am DSL hängt, von dem geht ein Kabel zu einem zweiten Router an dem dann die Rechner hängen.
 
Was ist denn der 2. Router für einer, also der an dem die Rechner hängen?
 
Oben Unten