Server Festplattennutzung

[int_42]

Hallo Leute,
mein Onkel hat mir mal erzählt, dass in Serverzentren (jedenfalls bei ihm in der Firma) nur 20% (ich bin mir aber nicht ganz sicher, ob es 20% waren) des Festplattenspeichers genutzt wird, da der Server sonst zu langsam laufen würde (die Server dort werden hauptsächlich für Datenbankabfragen im größeren Stil genutzt).
Als ich kürzlich im Leibniz Rechenzentrum war, hab ich da auch mal gefragt, ob die das auch so machen und da hieß es, dass das keinen Sinn machen würde, höchstens in "Spezialfällen" .
Ich bin da jetzt ehrlich gesagt etwas unsicher (mein Onkel hat Elektrotechnik studiert, also glaube ich, dass er schon Ahnung hat - von den Qualifikationen des Referenten weis ich nichts) .
An sich könnte ich mir vorstellen, dass eventuell ein schnellerer Speicherzugriff möglich ist, wenn man die Daten so abspeichert; aber der Referent meinte, dass er noch nie davon gehört hätte.
Was stimmt denn nun also (würde mich wirklich interessieren) ?
Vielen Dank

 

[bitmuncher]

Mir wäre auch neu, dass Server langsamer werden, wenn die Platten ausgenutzt werden. Natürlich muss genug Platz für temporäre Daten bleiben und es gibt Systeme wie OSX, bei denen eine Belegung >80% zu Geschwindigkeitsverlusten führt, weil die On-the-fly-Defragmentierung dann nicht mehr funktioniert. Aber nur 20% des Plattenplatzes zu nutzen macht in den allerwenigsten Fällen Sinn. Da müssten dann schon sehr viele temporäre Daten anfallen.

 

[int_42]

, weil die On-the-fly-Defragmentierung dann nicht mehr funktioniert

Das kann gut sein, bei der T-Systems haben sie ja ne menge großer Kunden, ich könnte mir vorstellen, dass da oft umgelagert werden muss (kann auch sein, dass man mir damals 40% als Zahl nannte -würde eher sinn machen) .
Beim SuperMUC liegt der Schwerpunkt eher auf der schnellen Berechnung und weniger auf der Abspeicherung .... trotzdem frage ich mich, warum der Referent das dann nicht wusste (die haben ja immerhin auch ein "normales" Netzwerk für einfachere Kunden) ?

 

[bitmuncher]

Weil dein Referent vermutlich Theoretiker ist, so wie die meisten von denen. Ich hab in 15 Jahren als Sysadmin jedenfalls solche Einschränkungen noch nicht erlebt, auch bei sehr grossen Netzwerken nicht, wo sich ständig die Daten ändern.

 

[int_42]

Weil dein Referent vermutlich Theoretiker ist

Ich bin mir nicht mal sicher, ob der überhaupt irgendwas ist.
Die Führung durch die Serverräume hat dann ein Informatik Doktor (!!!!!), der anscheinend Teamleiter im VR Bereich dort ist, und der konnte detailliert den Aufbau sowie das Lüftungssystem erklären konnte.

 

[Sentrax]

Moin

mein Onkel hat mir mal erzählt, dass in Serverzentren (jedenfalls bei ihm in der Firma) nur 20% (ich bin mir aber nicht ganz sicher, ob es 20% waren) des Festplattenspeichers genutzt wird, da der Server sonst zu langsam laufen würde

Wenn man das letzte aus einem Festplattensubsystem herausholen will, kann man das tatsächlich machen, in dem man nur die äußeren Bereiche der HDD-Platter verwendet.

Je weiter innen ein Zugriff stattfindet, desto langsamer werden die Festplatten.
Beispiel: Platter Transfer Rate Profile


Sentrax

 

[bitmuncher]

Wenn man das letzte aus einem Festplattensubsystem herausholen will, kann man das tatsächlich machen, in dem man nur die äußeren Bereiche der HDD-Platter verwendet.

Voraussetzung dafür ist aber, dass man ein System bzw. Dateisystem verwendet, das genau das auch unterstützt. Und da dürfte man mit den meisten Dateisystemen wohl auf ziemliche Probleme stossen, denn nur bei den wenigsten wird der Plattenplatz tatsächlich so angesprochen.

Ausserdem leben wir heutzutage in einer Welt, in der man die Performance durch Verteilung auf mehrere Platten/Systeme herausholt. Da gerade in grossen Netzwerken auch die Kosten ein nicht unbeträchtlicher Faktor sind, den es zu beachten gilt, wäre ein RZ, das nur 20% seines Plattenplatzes nutzt, äußerst ineffizient, weil es mit erheblichen Mehrkosten verbunden wäre.

 

[int_42]

das genau das auch unterstützt.

Ja, beim SuperMUC verwenden sie (wenn ich richtig zugehört habe) 5 verschiedene Prozessortypen und bei Anschaffungskosten in Höhe mehrerer Millionen Euro ist das nötige Kleingeld für Festplatten auch da ....
Trotzdem bleibt das Gefühl, dass die Antwort die ich da bekam ("Das ist falsch, höchstens in Außnahmen") ziemlich unqualifiziert (ja schon fast "dumm") war,
zum einen hätte man ja trotz falscher Prozentzahl auf Fragmentierung kommen können und zum anderen liegt da ja anscheinend tatsächlich ein physikalischer Zusammenhang dahinter .... Wenn jemand 15 Jahre lang an Supercomputern arbeitet (anscheinend aber trotzdem wenig zu melden hat), dann sollte man sowas ja eigentlich wissen

 

[Sentrax]

Moin

Voraussetzung dafür ist aber, dass man ein System bzw. Dateisystem verwendet, das genau das auch unterstützt.

Nein. Es reicht die Platte nur teilweise zu partitionieren.

Da gerade in grossen Netzwerken auch die Kosten ein nicht unbeträchtlicher Faktor sind, den es zu beachten gilt, wäre ein RZ, das nur 20% seines Plattenplatzes nutzt, äußerst ineffizient, weil es mit erheblichen Mehrkosten verbunden wäre.

Ist je nach Anforderung kein Problem. (s.a.u.)

Wenn jemand 15 Jahre lang an Supercomputern arbeitet (anscheinend aber trotzdem wenig zu melden hat), dann sollte man sowas ja eigentlich wissen

Nicht unbedingt.

Ich habe schon einige Speziallösungen gesehen, bei denen ich zuerst auch gedacht habe, das ist totaler Nonsens.
Manchmal muss man über sowas halt etwas nachdenken um herauszufinden, das es eben doch Gründe gibt, bestimmte Probleme anders zu lösen.

Probleme mit Hardware zu lösen ist eine weit verbreitete Methode. Egal wie viel das kostet. Das kommt meistens billiger als eine Speziallösung entwickeln zu lassen, bzw. die Kosten werden aus einem anderen Topf bezahlt.

Sentrax

 

[int_42]

Also ich geh auch davon aus, dass die dort Hardware als Lösung nutzen, da a) die nötige Kohle da ist und b) das Teil dort eher auf möglichst schnelle Berechnungen ausgelegt ist und weniger auf effizientes Speichern .

Zu sagen "Nein, das stimmt nicht", nur weil man von einer Technik, von der man nie gehört hat (und das gibt es ja anscheinend wirklich ...), ist letztendlich aber auch dumm, man muss ja nicht gleich eingebildet reagieren

 

[GrafZahl]

mir fällt spontan genau ein fall ein wo die 20% sinn ergeben ... Datenbanken

Datenbanken mit einer großen anzahl an Inserts

die sortiert man sich in der regel am besten so, dass alle einzel Pages die in so einem db file liegen zu 20% ausgelastet sind... kommen dann inserts kann man meist recht lange einfügen bis so eine Page voll ist ... erst dann muss die mal reorganisiert werden, was die zeitkritisch teure aktion hierbei ist, die man sich durch den vielen freien platz quasi weg kauft ...

macht natürlich nur sinn bei systemen die seitenorientiert arbeiten ... man kann also wie üblich das problem aus vielen richtungen mit geld bewerfen ... mehr platten ... anderer logischer aufbau... komplette DBs in RAM ... RAID 0 SSD Verbände... etc

hat alles seine vor und nachteile ... was man im einzelfall tun sollte hängt wie so oft vom einzelfall selbst ab ...

 

[justj]

Beim LRZ musst du die verschiedenen Anwendungsbereiche auf jeden Fall trennen. Es gibt einmal den SuperMUC, der für die großen Berechnungen da ist. Bei diesem System fallen recht große Datenmengen an, so dass es dort nicht in einem sinnvollen Verhältnis von Geschwindigkeitsgewinn zu Kosten steht, wenn man so wenig Plattenplatz verwenden würde. Zudem kommt es dort nicht auf den extrem schnellen Zugriff von gespeicherten Daten an, alles was für die Berechnungen benötigt wird, ist in den Arbeitsspeicher geladen.

Der andere Teil des LRZ bietet diverse Netzdienste für die Nutzer (Universitätsmitglieder in München und Bayern) an. Die Maildienste basieren auf einem Exchangesystem, dort ist mit mehr RAM wesentlich mehr Geschwindigkeit zu gewinnen, als mit einem Speichersystem, auf welchem nur ein Teil des Speichers verwendet wird.

Die weiteren Webdienste, welche vom LRZ angeboten werden, haben an sich keine so extremen Performanceanforderungen, dass ein solches Speichersystem sinnig wäre. Die Homepages, welche dort gehostet werden, sind zwar auch dynamisch, aber es sind alles Instituts/Lehrstuhlhomepages, also nicht so extrem frequentiert. Die Systeme für die Studierenden wäre die einzigen Systeme, bei denen es für mich eventuell Sinn ergäbe, ein solches System einzusetzen.

Das Backupsystem ist von solchen Überlegungen komplett ausgenommen, da hier mit einer Kombination aus Festplatten und Magnetbändern gearbeitet wird.

Allgemein lässt sich wahrscheinlich mit einer geschickten Auswahl von RAID-Controllern, RAID-Modi und entsprechenden Festplatten bzw. SSDs ein ähnlicher Geschwindigkeitsvorteil bei gleichzeitiger besserer Ausnutzung des vorhandenen Speicherplatzes und einer Erhöhung der Datensicherheit erreichen, wie bei einem Einsatz von Systemen, bei welchen nur ein Bruchteil der vorhandenen Speicherkapazität verwendet wird.

mfg
justj