Abschnitt 7 · Lektion 6
Synthese: die große Datei
Bei ein paar Gigabyte Protokoll dauert die Auswertung eine Weile. Ein Programm, das dabei zehn Minuten schweigt, sieht aus wie ein abgestürztes. Und eines, das seinen Fortschritt mitten ins Ergebnis schreibt, macht das Ergebnis unbrauchbar. Gesucht ist ein Programm, das unterwegs Bescheid sagt und am Ende sauber liefert, ohne die Datei je ganz im Speicher zu haben.
Dafür kommen die Teile dieses Abschnitts zusammen. Ein lesbarer Stream liefert die Daten in Stücken, und dein Code verarbeitet jedes Stück und lässt es los. Ein schreibbarer Stream nimmt das Ergebnis entgegen. Und ein Emitter meldet zwischendurch, wie weit es ist.
Wohin der Fortschritt gehört
Die Regel dazu kommt aus Lektion 4.3. Auf stdout gehört das Ergebnis, auf stderr alles über den Ablauf. Bei einer großen Datei wird daraus eine Fortschrittsanzeige.
import { writeFileSync, createReadStream } from "node:fs";
writeFileSync("werte.txt", Array.from({ length: 5000 }, (_, i) => i + 1).join("\n"));
let summe = 0;
let gelesen = 0;
for await (const stueck of createReadStream("werte.txt", { encoding: "utf8", highWaterMark: 4096 })) {
gelesen += 1;
summe += stueck.length;
console.error(`Stück ${gelesen} verarbeitet`);
}
console.log(`Gesamtlänge: ${summe}`); Auf stdout landet hier eine einzige Zeile, das Ergebnis. Die sechs Fortschrittsmeldungen gehen auf stderr, und deshalb stehen sie im Terminal in Rot.
import { writeFileSync, createReadStream } from "node:fs";
writeFileSync("werte.txt", Array.from({ length: 5000 }, (_, i) => i + 1).join("\n"));
let summe = 0;
let gelesen = 0;
for await (const stueck of createReadStream("werte.txt", { encoding: "utf8", highWaterMark: 4096 })) {
gelesen += 1;
summe += stueck.length;
console.log(`Stück ${gelesen} verarbeitet`);
}
console.log(`Gesamtlänge: ${summe}`); Jetzt sind es sieben Zeilen, und rot ist nichts mehr. Auf einer Kommandozeile fiele selbst das nicht
auf, denn dort laufen beide Kanäle unbeschriftet über denselben Bildschirm. Und darin liegt die
Falle. Der Unterschied zeigt sich erst, wenn jemand die Ausgabe weiterverwendet und mit
> ergebnis.txt hinter dem Befehl in eine Datei umleitet.
Beim ersten Beispiel steht in der Datei eine Zeile. Beim zweiten stehen sieben, davon sechs überflüssige, und wer die Datei weiterverarbeitet, stolpert darüber. Bei einer Datei mit Millionen Zeilen sind es dann nicht sechs Zeilen zu viel, sondern tausende.
Die Fortschrittsmeldung ist außerdem für einen Menschen gedacht, der gerade zuschaut. Dafür ist stderr da. Du siehst es weiter auf dem Bildschirm, auch wenn die eigentliche Ausgabe längst woandershin umgeleitet wurde.
Melden statt schreiben
In beiden Beispielen schreibt die Schleife selbst. In einem größeren Programm steckt das Lesen aber in einer Klasse oder Funktion. Dann stellt sich die Frage, wer den Fortschritt ausgibt. Schreibt die Auswertung ihn selbst auf stderr, steht er dort für immer, auch in einem Test, der Ruhe braucht, oder auf einem Server, der ihn lieber an eine Webseite schicken würde.
Meldet sie ihn als Ereignis, entscheidet der Listener, wohin er geht. Heute ist das eine Zeile im Terminal, morgen ein Balken im Browser. An der Auswertung ändert sich dafür nichts. Es ist derselbe Gedanke wie bei der Küche vom Anfang des Abschnitts, nur mit einer Zahl statt einer Bestellung.
Wie viel Speicher ein Stream braucht
Wie viel Speicher ein Stream braucht, hängt an der Stückgröße und nicht an der Dateigröße. Ein
Deckel von 32 MB reicht deshalb auch für ein Protokoll, das größer ist, solange es Stück für Stück
durchläuft. Mit readFile am Stück gelesen, bricht derselbe Lauf ab, wie im ersten Beispiel von
Lektion 7.4.
Und selbst ohne Deckel hat readFile eine harte Grenze. Bei einer Datei über 2 GiB steigt es mit
ERR_FS_FILE_TOO_LARGE aus, bevor es überhaupt liest. Ein Stream kennt diese Grenze nicht. Ihm ist
es egal, wie viele Stücke noch kommen.
Das Zeilenlesen mit dem Rest an der Stückgrenze kennst du aus den beiden Lektionen davor, und neu schreiben musst du es nicht jedes Mal. Einmal in eine kleine Funktion verpackt, nimmt es einen Stream entgegen und gibt Zeilen heraus. Der Code drumherum kümmert sich dann nur noch um die Zeilen.
Für die Aufgabe liegt diese Funktion schon fertig in zeilen.js, und du baust die Auswertung
drumherum.
Zum Mitnehmen
Eine große Datei geht Stück für Stück durch, und der Speicher richtet sich nach der Stückgröße statt nach der Datei. Den Fortschritt meldet ein Emitter, geschrieben wird er auf stderr, damit auf stdout nur das Ergebnis steht.
Jetzt du
Basis Konto, kostenlosZu dieser Lektion gehört eine Aufgabe. Du schreibst den Code selbst, und nach jedem Lauf sagt dir eine Prüfliste, was schon stimmt.
Dafür brauchst du das Basis Konto. Es kostet nichts, und ein Passwort gibt es auch nicht.
In diesem Kurs läuft dein Code auf einem Server. Dafür hat das Basis Konto 1 Stunde im Monat, mehr Zeit gibt es mit dem Premium Konto.
Was in dieser Lektion steckt
-
Artikel mit 2 Beispielen zum Ausprobieren
Steht hier, ohne Konto lesbar.
-
Aufgabe, dein Code läuft auf einem Server
Öffnet sich mit dem Basis Konto.