Frage Was ist der maximale theoretische Datentransferdurchsatz von NTFS?


Kürzlich war ich bei einem lokalen Benutzergruppenmeeting, bei dem der Präsentator bemerkte, dass der maximale Durchsatz des NTFS-E / A-Stacks 1 GB / s betrug. Er begründete seine Behauptung, indem er gleichzeitig zwei große Dateien vom gleichen logischen Datenträger auf verschiedene logische Datenträger kopierte (dh [a] ist die Quelle, [b] ist Ziel 1 und [c] ist Ziel 2) und notiert die Übertragungsraten um 500 herum MBs. Er wiederholte diesen Test einige Male und stellte fest, dass das zugrunde liegende Speichersubsystem Flash war (um sicherzustellen, dass wir keine langsame Speicherung vermuteten).

Ich habe versucht, diese Behauptung zu überprüfen, kann aber nichts dokumentiert finden. Ich vermute, dass ich nach den falschen Suchbegriffen suche ("1GBps NTFS-Durchsatz", "NTFS-Durchsatz maximal"). Ich bin daran interessiert, ob der IO-Stack tatsächlich auf 1 GBPS Durchsatz beschränkt ist.

BEARBEITEN

Zur Klarstellung: Ich glaube nicht, dass der Präsentator implizieren wollte, dass NTFS war absichtlich begrenzt (und es tut mir leid, wenn ich das auch angedeutet habe). Ich denke es war implizierte, dass es eine Funktion des Designs des Dateisystems war.


28
2017-08-19 17:19


Ursprung


1GB / s ist ziemlich schnell sogar für Flash-Laufwerk (en) - TheFiddlerWins
@TheFiddlerWins 1 GB / s! = 1 Gbps - Kermit
Ich stimme zu, aber seine Frage lautet: "Der maximale Durchsatz des NTFS IO-Stacks betrug 1 GBps", soweit ich weiß, B = Bytes und b = Bits - TheFiddlerWins
Einfaches Experiment - Kopieren Sie die Datei über RAM-Disketten? Nicht schwer, in diesen Tagen 16 * 2 = 32 GB RAM zu bekommen. - kizzx2
JamesRyan - FTP als Übertragungsmechanismus verwendet, ändert nicht plötzlich das Dateisystem. Verwechseln Sie SMB nicht mit NTFS. - mfinni


Antworten:


Selbst wenn du es meinst GBps und nicht Gbps...

Ich kenne kein Dateisystem, das tatsächlich vorhanden ist throughput limit. Dateisysteme sind einfach Strukturen zum Speichern und Abrufen von Dateien. Sie verwenden Metadaten, Struktur, Namenskonventionen, Sicherheitskonventionen usw., aber die tatsächlichen Durchsatzbeschränkungen werden durch die zugrunde liegende Hardware selbst definiert (typischerweise eine Kombination aus vielen beteiligten Hardwareeinheiten).

Vergleichen verschiedener Dateisysteme und wie diese aussehen beeinflussen die Leistung der zugrunde liegenden Hardware kann durchgeführt werden, aber wiederum ist dies keine Einschränkung, die direkt vom Dateisystem auferlegt wird, sondern eher eine "Variable" in der Gesamtleistung des Systems.

Die Entscheidung, ein Dateisystem gegenüber einem anderen zu implementieren, hängt normalerweise damit zusammen, was das zugrunde liegende Betriebssystem ist, was der Server / die Anwendung sein wird, was die zugrunde liegende Hardware ist und weich Faktoren wie die Fachgebiete und Vertrautheit des Admins.

================================================= ====================================

TECHNISCHE RESSOURCEN UND ZITATIONEN


NTFS optimieren

NTFS-Leistungsfaktoren

Sie bestimmen viele Faktoren, die sich auf NTFS-Volumes auswirken.   Performance. Sie wählen wichtige Elemente wie ein NTFS-Volume aus   Typ (z. B. SCSI oder IDE), Geschwindigkeit (z. B. die Drehzahl der Festplatten) und   Anzahl der Datenträger, die das Volume enthält. Neben diesen wichtigen   Komponenten beeinflussen die folgenden Faktoren signifikant ein NTFS   Volumenleistung:

  • Die Größe des Clusters und der Zuordnungseinheit
  • Die Position und Fragmentierungsebene von Dateien, auf die häufig zugegriffen wird, z. B. die Master File Table (MFT), Verzeichnisse, spezielle Dateien   enthält NTFS-Metadaten, die Auslagerungsdatei und häufig verwendete Benutzerdaten   Dateien
  • Ob Sie das NTFS-Volume von Grund auf neu erstellen oder es von einem vorhandenen FAT-Volume konvertieren
  • Gibt an, ob das Volume NTFS-Komprimierung verwendet
  • Ob Sie unnötige NTFS-Verhalten deaktivieren

Die Verwendung von schnelleren Laufwerken und mehr Laufwerken in Multi-Disk-Volumes ist offensichtlich   Möglichkeit, die Leistung zu verbessern. Die anderen Leistungsverbesserungsmethoden   sind obskurer und beziehen sich auf die Details eines NTFS-Laufwerks   Aufbau.


Skalierbarkeit und Leistung in modernen Dateisystemen

Leider ist es unmöglich, direkte Leistungsvergleiche durchzuführen   der Dateisysteme in der Diskussion, da sie nicht alle verfügbar sind   auf derselben Plattform. Ferner, da verfügbare Daten notwendig sind   von unterschiedlichen Hardware-Plattformen, es ist schwierig, das zu unterscheiden   Leistungsmerkmale des Dateisystems von der der   Hardware-Plattform, auf der es läuft.


NTFS-Optimierung

Neues Whitepaper mit Anleitungen zur Dimensionierung von NTFS-Volumes

Was ist neu in NTFS?

Konfigurieren des NTFS-Dateisystems für die Leistung

https://superuser.com/questions/411720/how-does-ntfs-compression-effect-performance

Best Practices für die NTFS-Komprimierung in Windows


36
2017-08-19 17:42



Trotzdem konnte ich ein Symposium mit nur 802.11g auf allen Geräten geben und schwören, dass die Durchsatzgrenze von NTFS <54 Mbps ist, indem man immer wieder eine Kopie zwischen den Geräten demonstriert. - TheCleaner
Könnte sein, aber sagen "NTFS hat eine harte Grenze" vs. "NTFS ist Langsamer als Ext4 auf <x> Hardware "ist ein großer Unterschied. Er hat vielleicht falsch verstanden, Sie könnten falsch interpretiert haben, egal ... da gehen Sie. - TheCleaner
Auch hier wird NTFS im Dateisystem keine solche Beschränkung haben, aber ein gegebener NTFS-Treiber könnte dies tun. - mfinni
Denk nicht an eine Grenze, sondern an einen logischen Overhead. Das beinhaltet auch den Treiber, da ein "Set" -Grenzwert ein im Code des Treibers definierter Definitionswert sein müsste. Allerdings verstehe ich Sie Gedankenprozess <- (@mfinni) ... harte Grenzen sind im Durchsatz auf Festplatte Fähigkeit definiert, Read / Write IO und auch die technischen Beschränkungen des Transportmediums zu verarbeiten. - AngryWombat
Nice fügt hinzu, @TheCleaner - mfinni


Ich bezweifle sehr, dass es einen Engpass bei der Datenübertragung gibt, der mit einem Dateisystem, da Dateisysteme diktiere nicht Implementierungsdetails das wäre schwer zu begrenzen Performance. Ein gegebenes Treiber Für ein Dateisystem auf einer bestimmten Hardware-Konfiguration wird es natürlich Engpässe geben.


10
2017-08-19 17:41



Ich dachte nicht, dass es absichtlich begrenzt war, aber dachte, dass es vielleicht eine Beschränkung des Designs war - swasheck
Danke für die Fokussierung von "Dateisystem" zu "Treiber". - swasheck
Sie können nicht die Geschwindigkeit eines Buches erhöhen - Sie können die Geschwindigkeit des Lesers und Dinge, von denen der Leser abhängt, erhöhen. - mfinni
Limits und Flaschenhälse sind zwei verschiedene Dinge ... Da ein Dateisystem Overhead verursachen kann, ist es theoretisch möglich, einen Engpass zu erzeugen, aber es wird kein Hard-Set-Limit definiert, was meiner Meinung nach die beabsichtigte Absicht in diesem Post war. - AngryWombat


Ich würde sehr überrascht, wenn das wahr ist. Schauen wir uns alles an, was ein Dateisystem verlangsamen kann:

  • Die physischen Medien (Festplatte, SSD)
  • Verbindung zu diesen Medien (sas, sata, fcal)
  • Zersplitterung
  • Schlechte Sperralgorithmen oder andere Code-Probleme
  • CPU- und Speichergeschwindigkeit

Der häufigste limitierende Faktor sind Ihre physischen Medien. Rotierender Rost ist SCHLEPPEND. Nimm zum Beispiel diese wirklich neue Scheibe Das hat eine maximale Geschwindigkeit von 6 Gbps (das ist Gbps, nicht GBps!). Natürlich wird die Verwendung eines RAID 1-Setups dies beschleunigen. Natürlich wirst du das niemals erreichen, da deine Leistung durch Töten zerstört wird. Also lass uns benutzen eine SSD du sagst? Oh, sieh dir das nochmal an, 6Gb.

Dann gibt es die Verbindung: sas (der schnellste lokale Speicher) geht bis zu 6 Gbps, FC geht jedoch bis zu 16 Gbps.

Sind Sie sicher, dass Ihre Demo solch eine High-End-Hardware auf dem neuesten Stand der Technik verwendet?

Wenn du interessant bist! Möglicherweise haben Sie Fall 3 erreicht und Ihr Dateisystem muss optimiert werden. Oder wahrscheinlicher ist, dass Ihre Treiber und Anwendungen Ihre CPU verbrauchen (5). Wenn keines von beiden vorhanden ist, haben Sie möglicherweise ein tatsächliches Leistungsproblem in NTFS festgestellt. Melden Sie es bitte an Microsoft.

Und selbst dann: Das ist keine künstliche Grenze, um dein Leben elender zu machen. Dateisysteme begrenzen nicht absichtlich die Übertragungsgeschwindigkeit, sondern sind begrenzt durch die Hardware, die Ihnen von der Hardware zur Verfügung gestellt wird.


7
2017-08-19 17:47





Ich glaube nicht, dass es ein Maximum gibt. Aber ich weiß, dass es mehr als 1 GB / s ist, weil die Leute bei Samsung 2121,29 MB / s gelesen haben und 2000,195 MB / s mit ihrem 2009-Rig mit 24 SSD-Laufwerken geschrieben haben http://www.youtube.com/watch?v=96dWOEa4Djs

Sie glauben, dass sie diese Grenze erreicht haben, weil dies die gesamte Hardware-Bandbreite der Controller-Karten war, an die die SSDs angeschlossen waren.

Auch diese Seite http://blog.laptopmag.com/faster-than-an-ssd-how-to-turn-extra-memory-into-a-ram-disk zeigt eine mit NTFS formatierte RAM-Disk mit 5 bis 7 GB / s an. Probieren Sie es mit einem der RAMdisk-Titel aus http://en.wikipedia.org/wiki/List_of_RAM_drive_software


7
2017-08-20 07:52





Der einzige logische Weg, um Dateisystemgrenzen zu vergleichen, wäre dies über Systeme hinweg zu machen, wo die Konstante das Dateisystem ist und die Variablen die anderen Faktoren wie Geräte, Verbindungen usw. sind. Die Verwendung eines Systems zum Vergleichen von Übertragungsgeschwindigkeiten über mehrere Iterationen beweist nur, dass bestimmtes System war begrenzt, nicht dass das Dateisystem begrenzt war.


3
2017-08-19 21:59





Es gibt keine Notwendigkeit zu theoretisieren, ob es ein 1-GBps-Limit für NTFS gibt--Moderne SSDs übertreffen dies bereits. Der Prüfstand ist ein Windows-Desktop.

enter image description here


3
2017-11-18 20:09





In NTFS gibt es kein integriertes Durchsatzlimit. Die einzige Einschränkung für die Geschwindigkeit sind die Leistungsmerkmale der zugrunde liegenden Hardware.


1
2017-08-19 17:41



Ich dachte nicht, dass es absichtlich begrenzt war, aber dachte, dass es vielleicht eine Beschränkung des Designs war. - swasheck
@swasheck Ich glaube nicht, dass es möglich ist, ein Dateisystem zu entwickeln, das die Daten nicht doppelt so schnell überträgt, wenn Sie einen Prozessor doppelt so schnell haben und die Festplatte doppelt so schnell lesen können und doppelt so schnell suchen können. Sogar das ineffizienteste mögliche Design kann schneller gemacht werden, indem alles schneller verwendet wird. - Random832