Frage Wie sichert man 20 + TB Daten?


Wir haben einen NAS-Server in der Firma, für die ich arbeite, um Fotosessions zu speichern. Jede Sitzung ist ungefähr 100 GB. In den letzten Jahren hat dieser Server mehr als 10 TB Daten gesammelt, und wir erhöhen die Anzahl der Fotoshootings exponentiell. Ich schätze, dass wir bis Ende nächsten Jahres mehr als 20 TB auf diesem NAS haben werden. Wir unterstützen diesen Server derzeit mithilfe von LTO-5-Bändern mit Symantec BackupExec auf Band. Da die Größe dieses Servers gewachsen ist, werden vollständige Sicherungen dieses Servers nicht über Nacht abgeschlossen. Hat jemand Vorschläge, wie Sie diese Datenmenge sichern können? Sollten wir es auf Band sichern? Gibt es andere Möglichkeiten, die vielleicht besser sind?


81
2017-12-12 03:50


Ursprung


Warum führst du jede Nacht Full Backups durch? Warum nicht einmal pro Woche eine vollständige Sicherung ausführen und die restlichen 6 Tage pro Woche inkrementelle Sicherungen ausführen? - joeqwerty
Das tun wir, tut mir leid, dass ich das nicht erwähnt habe ... das wöchentliche voll ist das, das nicht vollendet. - Jesus Fidalgo
Muss eine wöchentliche Vollzeit über Nacht abgeschlossen werden? Es ist nicht ungewöhnlich, dass Wochenzeitungen für einen ausreichend großen Datensatz mehr als 24 Stunden benötigen. - Stefan Lasiewski
Welche Art von NAS verwenden Sie? - ewwhite
Bist du sicher, dass die Zunahme an Fotoshootings ist? exponentiell? - gerrit


Antworten:


Du musst einen Schritt zurück machen und aufhören zu denken "Ich habe 20 TB auf meinem NAS, den ich sichern muss!" und entwickeln Sie eine Speicherstrategie, die die Art Ihrer Daten berücksichtigt:

  • Woher kommt es und wie viele neue Daten bekommen Sie? (Sie haben das in Ihrer Frage)
  • Wie werden die Daten verwendet, sobald Sie sie haben? Bearbeiten die Leute die Bilder? Behalten Sie die Originale bei und erstellen Sie bearbeitete Versionen?
  • Wie lange müssen Sie alle Daten behalten? Nehmen die Leute noch Änderungen an Bildern vor 2 Jahren vor?

Abhängig von den Antworten auf die letzten beiden Fragen benötigen Sie wahrscheinlich mehr Archivierungssystem als ein radikal anderes Backup-System.

Daten, die statisch sind (z. B. 2 Jahre alte Bilder, die Sie "nur für den Fall" behalten) müssen nicht jede Nacht oder sogar jede Woche gesichert werden, sie müssen archiviert werden. Was Sie tatsächlich tun, könnte komplexer sein, aber konzeptionell können alle alten Bilder auf Band (mehrere Kopien!) Abgeschrieben und nicht mehr gesichert werden.

Aufgrund Ihrer Kommentare, einige zusätzliche Gedanken:

  • Da Sie die Originale jedes Drehs unberührt lassen und an einer Kopie arbeiten, und davon ausgehen, dass mindestens einige der Originalbilder Blindgänger sind, können Sie möglicherweise die Menge der Daten, die gesichert werden müssen, halbieren.

  • Wenn Sie immer noch nicht in der Lage sind, ein vollständiges Backup innerhalb eines beliebigen Zeitfensters zu erstellen, besteht die gängigste Methode darin, zuerst ein Disk-zu-Disk-Backup durchzuführen und dann das Backup-Set später auf Band zu kopieren.


110
2017-12-12 04:19



Das ursprüngliche Shooting wird unverändert gespeichert. Anschließend wird eine weitere Kopie des Fotoshoots zum Bearbeiten verwendet. Die Daten müssen etwa 2 Jahre aufbewahrt werden. - Jesus Fidalgo
+1 Gut gesagt. Ich bin überrascht, wie der Unterschied zwischen Backup und Archiv im Allgemeinen schlecht verstanden wird. Ich mache vollständige und inkrementelle Backups von meinem System und ephemeren Daten wie E-Mails und Dokumente, aber archiviere meine Fotografie (1,2 TB und wächst :-). Ich wünschte, ich könnte einen weiteren +1 für den Disk-to-Disk-Vorschlag geben. - Ex Umbris
+1 Ich würde wetten, dass 80% der Daten auf dem NAS nie mehr als einmal verwendet werden. - Stefan Lasiewski
+1 Die beste Option ist, tägliche und sogar stündliche Datenträger-zu-Datenträger-Delta- Übertragungen durchzuführen, um Änderungen festzuhalten und dann die vollständigen oder inkrementellen Sicherungen wöchentlich oder halbwöchentlich an einen Archiv- oder externen Anbieter / Standort zu senden. Früher haben wir alle 15 Minuten Deltasicherungen unserer SQL-Dateien durchgeführt, um den Datenverlust in einem DR-Szenario zu reduzieren. - Brent Pabst


Sie haben zwei Möglichkeiten:

Option 1:

  1. Kaufen Sie ein anderes NAS
  2. Geben Sie Ihren Benutzern RO-Zugriff auf das new_NAS
  3. Verschieben Sie alle Dateien, die älter als 2 Jahre sind, nach new_NAS
  4. Sichern Sie wie gewohnt alt_NAS
  5. Alle 6 Monate verschieben Sie Dateien, die älter als 2 Jahre sind, nach new_NAS

Option 2:

  1. Kaufen Sie ein anderes NAS
  2. Lauf rsync jede Stunde: old_NAS -> new_NAS

    oder, besser, benutze sowas rdiff-Sicherung welches rsync + behält Deltas bei Dateiänderungen (Sie können ältere Versionen der Dateien wiederherstellen)

    rdiff-backup  user1@old_NAS::/source-dir    user2@new_NAS::/dest-dir
    
  3. Alle 6 Monate werden alte Dateien gelöscht, die wie folgt aussehen:

    rdiff-backup --remove-older-than 2Y    old_NAS::/dest-dir
    

12
2017-12-12 15:07





Warum müssen Ihre Backups über Nacht abgeschlossen sein? Fileserver-Leistung? Sie können möglicherweise die Bandbreite Ihrer Sicherungssoftware begrenzen, um die Auswirkungen während des Tages zu begrenzen. Oder richten Sie eine Schnittstelle auf Ihrem NAS ein, um mit dem Bandlaufwerk zu kommunizieren, um die Auswirkungen auf anderen Datenverkehr zu begrenzen.

Können Sie am Wochenende Volldumps ausführen und nur Inkremente während der Woche machen? Wenn das Problem Bänder am Wochenende ändert, wenn niemand in der Nähe ist, kostet eine billige Bandbibliothek / ein Autowechsler viel weniger als jemand, der Bänder auswechselt.

Können Sie Ihre Daten in mehrere Gruppen segmentieren, die klein genug sind, um sie in Ihrem Backup-Fenster zu vervollständigen?

Wir haben ungefähr 50 TB Daten auf einem unserer NAS und es dauert mehr als eine Woche, um einen vollständigen Speicherauszug des gesamten Dings mit 2 Bandlaufwerken zu erhalten (ein Laufwerk dauert selbst fast eine Woche, weil es viele kleine Dateien enthält). Was wir tun, ist unsere Daten auf ein zweites NAS zu replizieren. Unser sekundäres NAS ist vor Ort (aber in einem anderen Datencenter als das primäre NAS). Daher spulen wir Daten immer noch auf Band für Off-Site-Backup. Wir führen Backups von diesem sekundären NAS aus, so dass Backups niemanden verlangsamen.

Wenn Sie Ihr sekundäres NAS weit genug voneinander entfernt lagern können, kann es Ihr Backup sein, es werden keine Bänder benötigt.


2
2017-12-12 18:47





Ich habe nur Zweifel über die Größe der einzelnen Aufnahmen, ist es wirklich 100 GB / Sitzung? Wie viele Sitzungen macht Ihr Unternehmen jeden Monat?

Da Sie hauptsächlich alte Sitzungen speichern, die nicht häufig verwendet werden usw., und diese Informationen wahrscheinlich nicht häufig wiederherstellen müssen, empfehle ich Ihnen, die Dienste eines Unternehmens zu verwenden, um sich um diese Aufgabe zu kümmern .

Zum Beispiel würde das Speichern dieser 20 TB mit einem Online-Dienst wie Amazon Glacier ein bisschen mehr als $ 200 / Monat kosten. Wenn Sie diese Archive häufig abrufen oder sogar vollständig wiederherstellen müssen, würde dies eine gewisse Zeit- / Kostenbeschränkung zur Folge haben. Wenn Sie diese Dinge nur aufbewahren, "um sicher zu gehen, dass sie aufbewahrt werden", könnte die Verwendung eines dritten Teils Ihr Leben erleichtern (und sogar billiger als der Kauf eines anderen NAS, Tapes usw.).


1
2017-12-12 12:15



100 GB pro Sitzung klingt für mich etwas hoch, aber nicht unvernünftig. Wir hatten normalerweise 32+ GB Session, in der ich früher gearbeitet habe, und unsere Ausrüstung war Mittelstufe. - Tom Marthenal


full backups of this server are not completing overnight
Dann versuchen Sie inkrementelle Backups? Eine vollständige Sicherung alle xx Tage, inkrementell den Rest.

Festplatten sind kostengünstig, schneller als Bänder und können für Backups verwendet werden.

Außerdem gibt es jetzt gute Alternativen für Cloud-Backups, so dass nicht mehr und schnellere Bänder hinzugefügt werden müssen.
Zum Beispiel:


1
2017-12-12 13:47



Sieh dir die Kommentare an - es sind die wöchentlichen Fulls, die nicht abgeschlossen werden. Darüber hinaus Cloud-Backups für 20 TB Daten ... keine gute Idee. Die "billige" Option von Amazon Glacier wird ~ 2500 / Jahr kosten und das Abrufen all dieser Daten wird ~ 36.000 $ kosten. - HopelessN00b
Das ist nicht wirklich viel. - Sirex
Ich denke, es ist eine Frage der Meinung, wenn $ 2400 / Jahr für 20 TB relativ sicher und vollständig wartungsfrei ist. Kein Stromverbrauch, keine Kühlung, keine ausfallende Hardware, kein SLA, beansprucht keinen Platz im Rack. Und wie bei den meisten Systemen sollten Sie ungefähr 0 vollständige Wiederherstellungsoperationen erwarten. Und wenn Sie eine Wiederherstellung benötigen, ist der Preis mehr wie $ 1800 als $ 36000 (nicht sicher, wo Sie diese Nummer erhalten haben). - Tedd Hansen
Für Gletscher sind die $ 36K ziemlich nah. Ich kalkuliere es grob als $ 42K für Rückholkosten auf 20TB. Es ist immer noch nicht viel. Die Bandbreite ist eher ein Problem. - Sirex


Ich denke, die beste Lösung dafür ist, was wir mit unseren Gehaltsabrechnungsdaten tun, die nur mit minimalem Aufwand implementiert werden können.

  • Anfangs wird es mit den übrigen Serverdaten aufbewahrt, die täglich gesichert werden. Unsere Aufbewahrungsfrist für diese Backups beträgt 13 Monate.

  • Sobald wir nicht mehr erwarten, dass die Daten geändert werden müssen (zwei Abrechnungsperioden später, IIRC), werden die Daten (per Skript) auf einem Archiv-Volume gespeichert, das von den regulären Backups ausgeschlossen ist.

  • Das Archivvolumen wird jährlich auf Band gesichert, und die Bänder werden zur unbegrenzten Speicherung an Cintas gesendet.

Dies ermöglicht uns einen einfachen Online-Zugriff auf diese unveränderlichen Daten (so müssen wir nicht jedes Mal ein Band aufrufen, wenn ein Buchhalter etwas sehen möchte), während unbestimmte Offsite-Archive von Daten aufbewahrt werden, die wir für immer behalten müssen und ohne unser Backup-System zu zerstören. Klingt, als könnte die gleiche Art von Setup für Sie arbeiten, obwohl Sie möglicherweise die Menge der online gespeicherten Daten anpassen möchten, abhängig von Ihren Anforderungen, um rechtzeitig auf diese Daten zugreifen zu können - 20 TB Speicher für Unternehmen sind viel teurer als Archivierung auf zwei oder drei LTO5-Bänder, die Sie in Off-Site-Tresoren ablegen.


1
2017-12-12 16:58





Vielleicht kannst du dein eigenes bauen Backblaze Pod: 135Tb zum 7384 $
Klicken Sie hier für weitere Informationen: Backblaze Pod Bau Info

Sie können die benötigten Teile kaufen und selbst bauen.

Vielleicht kannst du 3 davon bauen und 2 vor Ort und 1 außerhalb behalten. Dann können Sie einen Pod als "Online-Daten", den zweiten Pod vor Ort als Backup des ersten Pods und den dritten externen Pod als Notfall-Offsite-Backup verwenden.

Mit 135Tb Speicher für jedes Pod können Sie sogar daran denken, etwas über die Geschichte zu schreiben ...
135Tb / 20Tb = 19 vollständige Sicherungskopie.
Alternativ können Sie 10 vollständige Sicherung und eine lächerliche Menge an differenziellen Backups behalten.

Wenn Sie ein externes Backup wünschen, benötigen Sie natürlich eine große Bandbreite ... :-)


0
2017-12-18 08:28



Wenn Ihre Daten und Ihr Job für Sie wichtig sind, sollten Sie nicht versuchen, Ihren eigenen Backblaze-Pod von Grund auf neu zu erstellen. Es scheint eine gute Idee zu sein, bis du merkst, dass du all deine Eier in einen wirklich großen Korb legst. Schlimmer noch, dieser Korb wurde nicht gründlich als integriertes Ganzes getestet. Die Backblaze-Secret-Soße ist die Software-Replikation über viele Pods hinweg, wodurch ganze Pods nahtlos ausfallen können. Ich würde stattdessen einen Supermicro Speicherserver, Centos, xfs und rdiff-backup empfehlen. - bugaboo


Mein Kollege kaufte ein Synology NAS mit 8 Festplatten. Es läuft ein Hybrid-RAID. Er kaufte vor einigen Wochen acht 3TB Seagate Barracuda von NewEgg für je 89 US-Dollar. Sie könnten Rsync Mirror vom Produktions-NAS zu diesem neuen NAS über GigaBit. Da Sie nur die Differenzen übertragen, dauert die Übertragung kürzer. Dann können Sie den Backup-NAS für vollständige oder inkrementelle Backups verwenden. Kosten für Sie wären unter $ 2000 für einen Backup-NAS raus.


-1
2017-12-12 16:38