Frage Übertragen Sie 10 TB Dateien von den USA in das britische Rechenzentrum


Ich migriere meinen Server von den USA nach Großbritannien von einem Rechenzentrum zum anderen. Mein Gastgeber sagte, ich sollte 11 Megabyte pro Sekunde erreichen können.

Das Betriebssystem ist Windows Server 2008 an beiden Enden.

Meine durchschnittliche Dateigröße beträgt ca. 100 MB und die Daten werden auf fünf 2-TB-Laufwerke aufgeteilt.

Was wäre der empfohlene Weg, um diese Dateien zu übertragen?

  • FTP
  • SMB
  • Rsync / Robocopy
  • Andere?

Ich kümmere mich nicht um die Sicherheit, da es sich ohnehin um öffentliche Dateien handelt, aber ich möchte nur eine Lösung, die die volle Transferrate von 11 MB / s pushen kann, um die gesamte Übertragungszeit zu minimieren.


91
2017-10-03 20:03


Ursprung


11 MB / s oder 11 MB / s? - wim
Übertragen Sie die Daten auf binäre Lochkarte und verwenden Sie eine Brieftaube :) - enterzero
Sie sollten Details bereitstellen. Wie viele Brieftauben würden Sie brauchen? Zeigen Sie Ihre Arbeit. - Evik James
@Evik Europäisch oder Afrikanisch? - wim
Nebenbei bemerkt ist Wolfram Alpha der bequemste Weg, um die Berechnung "10 TB bei 11 MB / s" durchzuführen. wolframalpha.com/input/?i=10+TB+at+11MB%2Fs - pufferfish


Antworten:


Schicke stattdessen Festplatten über den Ozean.

Mit 11 MBit / s bei voller Auslastung sehen Sie nur knapp 90 Tage, um 10 TB zu übertragen.


11 Mbps = 1,375 MBps = 116.015 GB / Tag.

10240 GB / 116.015 GB / Tag = ~ 88,3 Tage.


171
2017-10-03 20:14



+1 für Sneaknet. Außerdem haben Sie den TCP / IP-Overhead vergessen. Es ist mehr als ~ 100 Tage unter idealen Umständen. - Chris S
Ein weiser Mann sagte einmal: "Unterschätze nie die Bandbreite eines Kombiwagens voller Bänder, die über den Highway rasen". Diese Gleichung ist sehr wahr und wird durch den Wechsel des Kombis für ein Boot nicht wesentlich verändert. (bpfh.net/sysadmin/never-underestimate-bandwidth.html) - Rob Moir
Es ist besser, Bänder oder Blueray-Laufwerke als Laufwerke zu versenden. Wenn Sie mit Laufwerken fahren, stellen Sie sicher, dass die Originale sicher und verfügbar für alle Fälle aufbewahrt werden. Ich würde für die Laufwerke selbst gehen (es sei denn, ich hatte Ultrium 4-Laufwerke), weil 10 TB = 410 Single-Layer-Blueray-Festplatten! - Allen
Ich habe gerade gemerkt, dass ich 11Mbps tippte, aber das, was ich eigentlich meinte, war 11MB / s. Ich nehme an, das macht einen ziemlich großen Unterschied, meine Berechnungen haben es ungefähr 11-14 Tage in etwa ... ist das korrekt? - Paul Hinett
glauben Sie immer noch, dass das Versenden eines Mannes mit dem 10TB-Backup überwacht wird, während die offizielle Festplatte noch funktioniert, und sobald das Setup abgeschlossen ist, können Sie ein rsync zu Mittag essen, um den neuen Server für jede Änderung zu aktualisieren. Sie würden Ihre Maschine an ungefähr einem Tag laufen lassen. - Loïc Faure-Lacroix


Ich würde sagen rsync, bei 11 MB / s werden Sie 10-14 Tage betrachten und selbst wenn Sie unterbrochen werden, wird rsync leicht dort starten, wo es das letzte Mal aufgehört hat.

Bei 11 Mbps würde ich die Festplatten wie oben vorgeschlagen versenden :)


25
2017-10-03 22:00



Ihre Schätzung unterscheidet sich sehr deutlich von dem, was andere geschrieben haben (und ich weiß nicht, wer richtig ist). Können Sie Ihre Methode angeben, um zu diesen Zahlen zu gelangen? - John Gardeniers
Der Unterschied ergibt sich aus dem OP, der 11 Mbps falsch ausgibt, obwohl er tatsächlich 11 Mbps bedeutete - was acht Mal schneller ist. Übrigens wird das Neustarten eines 10 TB rsync im Falle einer Unterbrechung wahrscheinlich eine Weile dauern, oder? Stunden oder länger? - Frank Farmer
@FrankFarmer: Ich würde mir keine Sorgen über Rsync-Neustart machen; Ich halte eine externe Kopie von ~ 20 TB über eine 30 Mbps-Drahtlosleitung, und das Neustarten ist im Sekundenbereich. Die erste Kopie dauerte ein paar Wochen, aber das nächtliche Update dauert in der Regel ein paar Stunden. - Javier
@FrankFarmer - rsync scheint sehr gut zu skalieren. Ich habe eine ~ 2TB über eine ländliche ADSL1-Leitung, die mit Sneakernet initialisiert wurde, aber dauert ~ 5 min, um jede Nacht rsync zu sein, wenn sich nichts geändert hat. - Flexo
Rsync Neustart Zeit skaliert mit der Anzahl der Dateien (hauptsächlich von stat Zeit, nach meiner Erfahrung), nicht mit Gesamtdaten. Ich würde kein nennenswertes Warten erwarten (höchstens einige Minuten). Obwohl meine Erfahrung mit rsync bei etwas unter 5 TB liegt. - derobert


Rsync natürlich.

Zumindest kannst du nach einer Pause jederzeit weitermachen und es ist ohne Schmerzen.


14
2017-10-03 20:07



3+ Monate zum Kopieren bei 100% Auslastung. Entschuldigung, aber das ist eine schreckliche Art, so viele Daten zu übertragen. - Chris S
Ich muss @ChrisS zustimmen mit rsync nur große Dateien zu kopieren ist nicht effizient. Für meine Sachen habe ich am Ende benutzt tarÜber netcat oder ssh für die erste Übertragung. Es ist viel schneller und beginnt sofort zu übertragen, während rsync scannt zuerst alle Dateien, was Zeit kostet. Wenn dies unterbrochen wird, können Sie immer noch verwenden rsync danach. Tatsächlich mache ich das manchmal nach tar um sicherzustellen, dass alle Berechtigungen, Socket-Dateien usw. korrekt sind. - Martin Scharrer
Nachdem das OP korrigiert hat, dass er ~ 100Mb Verbindung hat, nicht 11Mb, macht rsync viel mehr Sinn. +1 für die erste Erwähnung. - Chris S


Unterschätzen Sie nie die Bandbreite eines Kombi-Kombis

- Trad.

In Ihrem Fall, Platten oder Bänder per Kurier gesendet, aber das Prinzip gilt immer noch. Wenn Sie sich keine Gedanken über die Latenz machen, ist dies erheblich billiger als die Netzwerkbandbreite, um 10 TB Daten in einer vernünftigen Zeitspanne zu übertragen.


11
2017-10-04 11:32



Jeff Atwood hat die Zahlen in einem seiner alten Coding Horror Posts angezeigt. codinghorror.com/blog/2007/02/the-economics-of-bandwidth.html - tardate


Sie sollten rsync verwenden. Es wird komprimieren die Daten und duplizieren es vor dem Senden. Es kann auch teilweise Übertragungen fortsetzen, was für große Übertragungen sehr wichtig ist.

Es ist wahrscheinlich, dass es 10 TB nicht überträgt; wenn es sich um Protokolle und Text handelt, könnte es durchaus unter 1 TB liegen; vielleicht weit unter 1 TB.

Es gibt Tools, die eine bessere Komprimierung als Rsync durchführen und wahrscheinlich mehr Übereinstimmungen finden. Du könntest benutzen lrzip, usw.

Es gibt bestimmte Datentypen, die nicht gut komprimierbar sind und keine literalen Duplikate enthalten, z. B. Videos und andere Medien. In diesen Fällen tun FTP und rsync die gleiche Anstrengung.


9
2017-10-04 08:02



RSync dedupliziert Daten? Ich denke, dass dies nur auf Dateiebene geschieht, was bedeutet, dass die Deduplizierung in diesem Fall meistens nutzlos ist. - devicenull


Ich weiß, dass dies bereits akzeptiert ist, aber haben Sie in Betracht gezogen, Ihre Datenträger zu einem Rechenzentrum / Provider / Host zu bringen, wo Sie mehr Bandbreite bekommen können? Es wird wahrscheinlich etwas Geld kosten, aber das Kopieren von 10240 GB auf Backup-Disketten und das Versenden kostet ebenfalls Zeit und Geld (2 x Geld).

Sie werden auch sicher sein, dass Ihre Festplatten nicht im Transport kaputt gehen.


5
2017-10-04 07:13



Wie unterscheidet sich diese Antwort von der angenommenen Antwort? - Chris S
@Chris Diese Antwort schlägt vor, die Festplatten zu einem größeren Rohr auf dem gleichen Kontinent zu transportieren. - Alex Jasmin


11Mbps? Das ist eine Einschränkung, die Sie hier haben. In Ihrer Situation würde ich einfach:

  • Klonen Sie die Daten
  • Komprimiere es
  • Mieten Sie Server an beiden Enden mit mindestens 10-mal mehr Bandbreite (in denselben Rechenzentren oder an Ihrem Ende in einem Rechenzentrum in Ihrer Nähe).
  • Übertragen Sie die Dateien
  • Übernehmen Sie die Daten auf dem neuen Server.

Wenn Sie wirklich keine Lösung haben, um die Bandbreite zu erhöhen ... Dann ist der Versand eines physischen Laufwerks viel schneller.

Aus meiner schmerzlichen Erfahrung neigen Festplatten dazu, in der Post zu brechen ... USB-Flash-Laufwerke sind eine bessere Lösung für häufige Datenübertragungen. In Ihrem Fall würde es ein paar von ihnen erfordern :) So senden Sie 2 Kopien Ihrer Daten auf mehreren Festplatten.

Unter Berücksichtigung der Datenmenge, die Sie haben, können Sie auch Laufwerke von einem RAID 5- oder RAID 6-Array senden, wenn Sie die gleiche Hardware / Software auf der anderen Seite haben, um Ihre Laufwerke anzuschließen. Beachten Sie in diesem Fall jedoch die Reihenfolge Ihrer Laufwerke und ihre Seriennummern, wenn sie neu konfiguriert werden, werden sie nicht durcheinandergebracht.


4
2017-10-04 00:15



Entschuldigung, die 11Mbps war ein Tipp, es ist 11MB / s ... ich habe in einem der obigen Kommentare erwähnt. - Paul Hinett


Während ich mir in diesem Fall auf die Antwort "Versende mit Festplatte" einigen muss, hier eine Kopierlösung, die ich benutze, wenn ich zum ersten Mal große Dateien kopieren muss:

Während rsync Es ist gut, zwei Datenspeicher synchron zu halten, es bringt ziemlich viel unnötigen Overhead für die anfängliche Übertragung mit sich. Ich dachte, dass der schnellste Weg ist tar was überströmt wird netcat. Auf der Empfängerseite können Sie auch verwenden netcat im Hör mal zu Modus, der die eingehenden Daten zu einem Extrahieren leitet tar. Der Vorteil ist, dass tar beginnt sofort zu senden und netcat sendet es als einfachen TCP-Stream ohne zusätzlichen Protokoll-Overhead auf höherer Ebene. Das sollte so schnell wie möglich sein. Es ist jedoch nicht einfach möglich, eine unterbrochene Übertragung an der letzten Position neu zu starten.

Es ist auch leicht möglich, die Daten für die Übertragung unter Verwendung des Rechts zu komprimieren tar Optionen oder fügen Sie ein Komprimierungswerkzeug in den Rohren hinzu. Beachten Sie, dass netcat sendet das Datum unverschlüsselt. In Fällen, in denen dies keine Option ist, wird eine Verschlüsselung verwendet ssh Verbindung kann stattdessen verwendet werden (tar <options> | ssh <target> -c 'tar -x <options>').

Wenn alle Daten übertragen werden rsync kann verwendet werden, um sicherzustellen, dass alle Dateien, die in der Zwischenzeit aktualisiert wurden, synchronisiert werden. Auch IIRC tar erstellt keine Sockets, die sonst verloren gehen, aber sie werden sowieso nicht wirklich für Datencenter-Daten verwendet.


3
2017-10-04 07:36



Der Nachteil ist, dass es keine Unterbrechungen toleriert - Joel Coel


Hast du darüber nachgedacht? IPoAC?

Eine einzelne Taube könnte in der Lage sein, zehn Gigabyte Daten in etwa einer Stunde zu übertragen, was auf einer durchschnittlichen Bandbreitenbasis sehr günstig zu den derzeitigen ADSL-Standards ist, selbst wenn verlorene Laufwerke berücksichtigt werden.


2
2017-10-04 02:08



Tauben würden Signalverlust in der vom OP beschriebenen Entfernung erleiden. - Roy Tinker
@RoyTinker Cleared IPoAC muss mithilfe eines Fensterprozesses implementiert werden. - JamesBarnett


Auch hier ist der erste Vorschlag, die Laufwerke zu versenden.

Der zweite Vorschlag ist, rsync zu rsyncd zu verwenden, nicht zu SSH. Ich habe viele Dinge ausprobiert und meistens ist es am schnellsten. Denken Sie daran, die Komprimierung einzuschalten. Sehen Sie sich auch an Erhöhen oder Verringern der Rsync-Puffergröße um die optimale Übertragungsrate zu erhalten. Es kann auch helfen Erhöhen Sie Ihre MTU-Größe. Dies hilft nur, wenn Router unterwegs Ihre Pakete nicht fragmentieren. Es gibt Möglichkeiten zu bestimmen, ob sie es tun.

Leider gibt es keine Einstellung, die immer die beste ist. Sie müssen experimentieren, um herauszufinden, was in Ihrer Situation am besten funktioniert.


2
2017-10-05 02:17





Sie haben erwähnt, dass auf den Servern Windows 2008 ausgeführt wird Microsoft DFS geeignet sein? Es gibt etwas Magie am unteren Ende, die versucht, so viel Bandbreite wie möglich aus der Verbindung zu bekommen, und hat auch Kompression und Deduplizierung (IIRC).

Wohlgemerkt, Festplatten, DVDs oder BluRays wären schneller ... Meine Berechnung ist 11 Tage bei vollen 11 MB / s ...


1
2017-10-05 11:47