Synchronisierung von vielen Files

[treo]

Hallo,
Wir haben hier 2 Fileserver auf die jeweils die gleichen files kommen, falls nun einer ausfällt bekommt er neue Files nicht mehr. Sobald das problem dabei behoben ist sollte nun eine Synchronisation gemacht werden.
Mir käme da zwar rsync in den Sinn jedoch stirbt es nach einigen stunden scheinbar, warscheinlich verträgt es die 5,5 Mio Files in einem Verzeichniss nicht.
Gibt es da noch andere Methoden um da Sinnvoll ein Sync zu machen?

 

[Serow]

Ich würde entweder ein RAID 1 benutzen oder selber ein kleines Programm schreiben. Du könntest ja einen kleinen Service auf beiden laufen lassen, der ohne viel Ressourcen zu verbrauchen die Hashs der File berechnet und irgendwo ablegt. Ein anderes Programm vergleicht dann die Hashs und wenn sie nicht übereinstimmten wird es rüberkopiert. Klingt für mich nach ner soliden Lösung.

 

[Gulliver]

Schau dir rsync optionen an..da ist einiges zu optimieren.

ich habe ein komplettes backup/restore system ueber rsync mit hardlinks realisiert und da gehts um +*2TB an nutzdaten die taeglich synchronisiert werden.

ohne probleme

 

[treo]

@Serow:
Raid 1 und änliches bringt es nicht so ganz, es geht dabei ja um einen abgleich zwischen 2 Servern, nicht nur um eine Backup Lösung.

@Gulliver:
Was für eine Laufzeit hast du dabei?
und wie lange erstellt rsync dabei seine dateilisten?