Frage Rechenknecht mit möglichst vielen hoch taktenden Kernen

[Thy]

Guten Abend zusammen,

ich bin gerade auf der Suche nach der optimalen Zusammenstellung für einen Rechenknecht mit möglichst vielen hoch taktenden Kernen. Auf dem Rechner sollen gleichzeitig mehrere Simulationsläufe (8-10) mit je 3-4 Kernen durchgeführt werden können. Der RAM-Verbrauch ist relativ unkritisch (einige GB pro Lauf) und es wird auch kein ECC benötigt, da die Simulationen nicht kritisch sind und bei Problemen wiederholt werden können. Die Anzahl der Kerne des Systems sollte möglichst hoch sein, da die betreffenden Softwarelizenzen nur auf Anzahl der Maschinen und nicht auf Kernanzahl berechnet werden (ist noch ein kulanter Anbieter). Die GTX 1660 Super habe ich hinzugefügt, da eine Darstellung der Simulationsergebnisse- und strukturen in 3D glüssig möglich sein soll.

Ich habe mal ein vorläufiges System zusammengestellt: https://geizhals.de/?cat=WL-1564659

Vielleicht könnten die Experten hier noch mal ihren Senf dazu geben, was noch verbesserungswürdig ist, bzw. ob ich völlig auf dem falschen Dampfer bin.

 

[Besterino]

@Thy: einfach eingefroren. Keine Fehlermeldung, keine Eingaben mehr möglich. Fehler im System würde ich eher ausschließen, da Windows und ESXI im Dauerbetrieb keine Probleme hatten.

 

[Thy]

Von welcher ominösen CAE Software ist hier eigentlich die Rede?

Silvaco TCAD.

Mir war wichtig den Finger in die Wunde zu legen, damit du bei wissenschaftlichen Berechnungen nicht blind in die Temperaturfalle rennst.

Generell sind die Noctua Kühler unter den Luftkühlern schon ne Klasse für sich, allerdings würde ich dann eher zur Cooler Master greifen, aber tendiere eh immer zur Wasserkühlung am besten Custom...

Genau deswegen habe ich den Build ja hier zur Diskussion eingestellt, um Meinungen dazu zu erhalten. Ich werde mir die Wasserkühlungskonzepte nochmal ansehen und vergleichen.

@Thy: einfach eingefroren. Keine Fehlermeldung, keine Eingaben mehr möglich. Fehler im System würde ich eher ausschließen, da Windows und ESXI im Dauerbetrieb keine Probleme hatten.

Knifflig. Da muss ich dann mal schauen, ob ich nicht lieber doch eine CPU von der Support-Liste nehme.

 

[Thy]

Ich habe hier noch einen Benchmark gefunden, wo der 3970X unter anderem auf einem CentOS 8 - System läuft: https://www.phoronix.com/scan.php?page=article&item=3970x-windows-linux&num=1

Gut, eine Garantie ist das nicht, dass alle Programme problemlos laufen, aber schonmal ein Lichtblick.

 

[Besterino]

Hab zu Centos 8 auf die Schnelle keine Live CD gefunden. Wenn’s da was gibt, her mit dem Link.

 

[hansdampf]

Bezüglich Kühlung habe ich nur einen Epyc 7301 als Vergleich mit einem NH 14US für SP3

Ansaugluft:
23,8 °C

Drehzahl
3000 rpm

Watt
141 W

CPU
31 °C

dT
7,2 K

Entspricht dann bei 300 W einen dT von 15,3 K.

Ob ein TR mit dem externen CCD und IO genauso gut performt weiß ich nicht, aber bezüglich dem Eypc braucht man keine Wasserkühlung und würde ich bei einem Server auch niemals machen.

 

[Besterino]

Thy: ich glaube, ich habe die Ursache fuer den Haenger gefunden. Habs jetzt gerade mal mit Ubuntu versucht und da killt der oom-killer prime, weil der sich offenbar zu viel Memory genehmigt. Mit small FFTs gehts. Vermute mal, dass CentOS 7 sowas wie den oom-killer noch nicht hat und da einfach aufgrund der suboptimalen Konfig der Speicher vollgelaufen ist.

Wenn Du noch einen anderen Test hast, lass es mich wissen. Prime laeuft jetzt seit ein paar minuten auf Ubuntu Live und ich schreibe das hier auch gerade mit diesem Ubuntu. =)

 

[Jesus84]

Bezüglich Kühlung habe ich nur einen Epyc 7301 als Vergleich mit einem NH 14US für SP3

Ansaugluft:
23,8 °C

Drehzahl
3000 rpm

Watt
141 W

CPU
31 °C

dT
7,2 K

Entspricht dann bei 300 W einen dT von 15,3 K.

Ob ein TR mit dem externen CCD und IO genauso gut performt weiß ich nicht, aber bezüglich dem Eypc braucht man keine Wasserkühlung und würde ich bei einem Server auch niemals machen.

Grade im Serverbereich werden auch Wasserkühlungen genutzt, was auch Sinn machen kann, je nach Platzverhältnissen etc...
Sind das bei dir Last Temparaturen, 31 Grad erscheinen mir doch sehr gering...

 

[Jesus84]

Silvaco TCAD.


Genau deswegen habe ich den Build ja hier zur Diskussion eingestellt, um Meinungen dazu zu erhalten. Ich werde mir die Wasserkühlungskonzepte nochmal ansehen und vergleichen.

Knifflig. Da muss ich dann mal schauen, ob ich nicht lieber doch eine CPU von der Support-Liste nehme.

Ich kann es nur empfehlen sich das nochmal anzuschauen, wenn Luftkühlung dann auf jeden Fall der Noctua mit zweitem Lüfter, die Alternativen Luftkühler kommen nicht an die Leistung ran...

 

[hansdampf]

@Jesus84
siehe Screenshoot

 

[Jesus84]

@Jesus84
siehe Screenshoot

Sorry, denn hatte ich wohl übersehen, kann mir kaum vorstellen das die Werte stimmen, Temperatursensoren spinnen ja auch gerne mal, kommt natürlich auch noch auf deine Gehäusebelüftung aber wenn die Werte echt sind ist das der Hammer, auch wenn der Epyc ja nur 16 Kerne a 2,2 Ghz hat und damit eine deutlich geringere Wärmeentwicklung als der Threadripper...

 

[hansdampf]

Warum sollten die Werte nicht stimmen und das gleichzeitig bei zwei CPUs, wie kommt man auf sowas?
Der Epyc hat 2,8 GHz, siehe Screenshoot.

 

[Jesus84]

Warum sollten die Werte nicht stimmen und das gleichzeitig bei zwei CPUs, wie kommt man auf sowas?
Der Epyc hat 2,8 GHz, siehe Screenshoot.

Die Spezifikationen:

Sockel	SP3
Bauform	FC-LGA4
Kern	Bezeichnung	AMD EPYC™ 7xxx
	Anzahl	16 Kerne
	Threads	32
	Mikroarchitektur	Zen
	Strukturgröße	14 nm
	Taktfrequenz	2200 MHz
	Turbo-Modus	bis maximal 2700 MHz

Dein Turbo rennt mit bis zu 2,79 laut Screen, aber da ist nicht ersichtlich auf wie vielen Kernen...
Weil die Temperatur ein Traum wäre, zu schön um war zu sein, solche Temperaturen kenne ich nur von Fehlerhaften Sensoren und oder ner Extrem guten Wasserkühlung eher nen Chiller, ich gönne dir ja dass das System so kühl läuft, wenn es das tut, deswegen spielte ich ja auch noch auf die mir unbekannte, deine Gehäusebelüftung an, aber sogar wenn da alles Pur auf Leistung getrimmt ist sind 31 Grad bei bis zu 170 Watt TDP extrem wenig...

Mach mal bitte nen Screnn, mit Prime auf allen Kernen mindestens 5min laufen lassen, wie dann die Temperaturen sind, der Screnn wurde ja, auch laut Auslastungskurve, kurz nach dem Start der Auslastung gemacht, weswegen der so nicht wirklich respräsentativ ist und was auch die geringen Temperaturen erklärt...

 

[Besterino]

Also ich hab ja sowohl den 3960X als auch den 1920X unter Wasser gesetzt: unter Volllast sind die bei 78 Grad - wenn's im Keller was wärmer geworden ist, kratzt der 3960X auch an den 80 Grad. 30 Grad haben die beide nichtmal im idle.

Der 4108 Silver (ebenfalls unter Wasser) ist allerdings gerade bei entspannten 22 Grad, hat aber momentan auch nicht wirklich was zu tun.

 

[Jesus84]

Also ich hab ja sowohl den 3960X als auch den 1920X unter Wasser gesetzt: unter Volllast sind die bei 78 Grad - wenn's im Keller was wärmer geworden ist, kratzt der 3960X auch an den 80 Grad. 30 Grad haben die beide nichtmal im idle.

Der 4108 Silver (ebenfalls unter Wasser) ist allerdings gerade bei entspannten 22 Grad, hat aber momentan auch nicht wirklich was zu tun.

Und das im Keller ganz schöne Heizungen hast du da , also ja nicht verwunderlich, das ich mich wunderte, über die 31 Grad von hansdampf...

 

[hansdampf]

Jesus84
schaue Sreenshoot, das System, läuft schon seit 31 Tagen @100% auf allen Kerne mit 2,8 GHz, man kann einem Epyc nicht selektiv pro Kern takten. Wozu Prime, man erkennt das im Schnitt die 138 W schon vor HW Start anlagen. Mehr geht auch nicht mit Prime, da nur 0,925 Volt.
Langsam wird es mit deinen nicht glauben übrigens albern.

Das System läuft immer noch, siehe Anhang, Temperatur hat sich nach mehreren Stunden @100% kaum geändert, wer hätte das gedacht.

 

[Jesus84]

@hansdampf Weil es thermisch fast unmöglich ist, wenn ich dir nen Screen von meiner CPU auf 10Ghz zeige würdest du es doch auch nicht einfach so glauben...
Ich habe mir deinen Screenshoot genau angeschaut, beim ersten mal nicht muss ich zugeben, da hatte ich aber auch keine Zeit, das deine Werte aber nicht repräsentativ sind zeigt jeder andere Screenshot und Tests eines Threadrippers um den es hier geht, deswegen ist die Diskusion auch überflüssig...
Und auch wenn es so rüberkam, es war nie ein Angriff gegen dich, und auf nen Scrennshot kann man vieles darstellen, deiner hat zu wenig Infos, man sieht die Betriebszeit aber nicht wie lange er davon auf Volllast läuft, das ganze lässt genug Interpretationsspielraum zu!
Ich habe grad wie blöd nach Temperaturwerten der Epycs im Netz gesucht ohne Erfolg...
Von mir aus stimmen die Werte, aber ich glaube halt nicht alles was mir die Sensoren oder ein Programm anzeigen und erst recht nicht jedem Screenshot!
Deswegen hinterfrage ich, was denke ich erlaubt sein sollte!

 

[Chiara]

Bei mir sieht das so aus Da geht theoretisch noch mehr, aber ich will nicht zu viel Spannung draufgeben.

ist natürlich mit Wakü, ein Luftkühler würde das nicht schaffen.

Mit etwas Untertaktung und Untervoltung ist das gleich viel effizienter und sicherlich auch mit Luft kühlbar.
12% mehr Takt für 66% höhere Leistungsaufnahme lohnt sich meiner Meinung nach nicht.

@Thy falls ich irgendwelche Benchmarks unter Windows 10 machen soll, einfach melden.

 

[hansdampf]

@Jesus84

Da hast Du noch viel zu lernen, es ging hier um Rechenknechte als Server und die laufen wie die Supercomputer in einem Rechenzentrum immer auf Vollast, rund um die Uhr, ansonsten macht so eine Hardware keinen Sinn.
Warum unterstellt man hier das man was falsches bzw. die Screenshoots manipulieren sollte? Das kann doch echt nicht das Niveau das Forum hier sein oder doch?
Das tolle Programm liest übrigens nichts anderes als die Temperatursensoren der CPU aus und diese sind wegen den Sicherheitsmechanismus redundant. Da muss man entweder schon sehr naiv zu sein um zu glauben das die einen vollkommenden falschen Wert bei einem normalen Betrieb (keine übertriebenden Minustemperaturen) anzeigen oder sehr viel Pech haben. Dann würde ich die CPU aber sofart als RMA einsenden, da es sonst wie früher passieren kann das die Dinger einfach abrauchen. Außerdem zeigen die Temperatursensoren auf beiden CPUs fast die selben Werte an, das ist a schon eindeutig ein Beweis genug das die Werte plausibel sind, da diese zumal 7 K überhalb der Raumtemperatur liegen.
Richtig, Zen1 ist nicht für Zen2 repräsentativ. Zeigt aber auf was für geringe Temperaturdifferenzen erreicht wenn die Wärme auf einer sehr großen Fläche abgeführt wird und SP3 hat mit Abstand die größe Fläche, das macht enorm viel aus. Siehe z.B: wassergekühlte GPUs mit Differenzen von nur 10 - 15 K, eben auch wegen der großen Fläche.

Chiara

Bei Dir fehlt die Angabe der Wassertemperatur, ansonsten kann man so mit den Angaben nichts anfangen.

 

[Jesus84]

@Jesus84

Da hast Du noch viel zu lernen, es ging hier um Rechenknechte als Server und die laufen wie die Supercomputer in einem Rechenzentrum immer auf Vollast, rund um die Uhr, ansonsten macht so eine Hardware keinen Sinn.
Warum unterstellt man hier das man was falsches bzw. die Screenshoots manipulieren sollte? Das kann doch echt nicht das Niveau das Forum hier sein oder doch?
Das tolle Programm liest übrigens nichts anderes als die Temperatursensoren der CPU aus und diese sind wegen den Sicherheitsmechanismus redundant. Da muss man entweder schon sehr naiv zu sein um zu glauben das die einen vollkommenden falschen Wert bei einem normalen Betrieb (keine übertriebenden Minustemperaturen) anzeigen oder sehr viel Pech haben. Dann würde ich die CPU aber sofart als RMA einsenden, da es sonst wie früher passieren kann das die Dinger einfach abrauchen. Außerdem zeigen die Temperatursensoren auf beiden CPUs fast die selben Werte an, das ist a schon eindeutig ein Beweis genug das die Werte plausibel sind, da diese zumal 7 K überhalb der Raumtemperatur liegen.
Richtig, Zen1 ist nicht für Zen2 repräsentativ. Zeigt aber auf was für geringe Temperaturdifferenzen erreicht wenn die Wärme auf einer sehr großen Fläche abgeführt wird und SP3 hat mit Abstand die größe Fläche, das macht enorm viel aus. Siehe z.B: wassergekühlte GPUs mit Differenzen von nur 10 - 15 K, eben auch wegen der großen Fläche.

Chiara

Bei Dir fehlt die Angabe der Wassertemperatur, ansonsten kann man so mit den Angaben nichts anfangen.

Ich glaub ich hab genug gelernt, in meiner Ausbildung vor 15 Jahren hatte ich schon Server zusammengebaut, das hat auch nichts mit diesem Forum zu tun ich bin hier noch neuer als du, also halblang, ich glaube nur nicht alles was man mir zeigt, der Threadripper hat die selbe Fläche und nichtmal der 8 Kerner bleibt so kühl, also darf man sich schon wundern bezüglich der geringen Temperatur, wenn du das als Angriff nimmst und meine Aussage auch gleich als Unterstellung siehst, ist das sagen wir mal merkwürdig, für mich ist die Diskusion an dieser Stelle beendet, das hilft eh keinem weiter!

 

[hansdampf]

@Jesus84

Der Threadripper Zen1 mit 8 Kernen besteht auch nur aus zwei Chiplets.
Der Epyc besteht aus vier Chiplets, das macht eine gesamt Fläche von 833 mm², das ist mehr als eine 2080 Ti mit 754 mm². Bei 150 W sind das nur 0,18 W/mm². Zum Vergleich ein 9900K kommt bei 125 W auf 0,71 W/mm². Mal eben und Faktor drei mehr.
Ein weiterer Grund niemals einen TR zu kaufen. Habe nämlich vergessen dass der TR zwei Chiplet Dubletten hat, und dabei noch nicht mal signifikant günstiger ist.
So und wer nun ein wenig Ahnung hat, braucht nur von Threadripper Zen2 die gesamte Chipletfläche zu ermitteln und kann dann einfach von diesem Epyc über die Wärmestromdichte die Werte umrechnen. Oder sich an @Chiara richten, wenn er dann mal die Wassertemperatur mit angibt. Aber man sieht ja hier schon das keine Wasserkühlung von nöten ist. 3000 rpm Industrielüfter darauf, fertig. Der Büroraum ist sowie so klimatisiert.