Skip to content
< Vorheriger Eintrag | Nächster Eintrag >

Samstag, 14. Juli 2018, 09:18

Praxis-Tipp: tar beschleunigen

Ein kleiner Tipp aus unserem Maschinenraum, da wir ja nicht selten mit großen Datenmengen zu tun haben: Wer tar beschleunigen will, kann neben einem anderen Verfahren als gz oder bzip2 oder xz ggf. auf die jeweils parallelen Varianten umstellen.

Dazu braucht man dann pigz (der Name ist in der Tat seltsam), pbzip2 oder pxz - die Varianten der drei o.g. Kompressionsprogramme als "Parallel"-Version.

Was bisher dann z.B.

tar -cJvf foo.tar.xz bar1 bar2 bar3
war, könnte nun z.B.

tar -I pxz -cvf foo.tar.xz bar1 bar2 bar3
sein, gleiches gilt dann für

tar -I pigz ...
oder

tar -I pbzip2...
oder

Der Geschwindigkeitszuwachs ist (auf aktuellen Systemen) enorm.

Kommentare

Ansicht der Kommentare: Linear | Verschachtelt

Josef

Wenn man nicht Kompatibilität mit den entpackern braucht lohnt es sich noch viel mehr einfach Zstandard zu nehmen.

ERODysfuct

(Kommentar entfernt)

Peter G.

Cool :-)

Sebastian

Wo ich es gerade wieder sehe. Was kommen den in letzter Zeit für elendig lange Spam Kommentare durch. Und das sogar trotz Googles grausamen Recaptcha. Sehr ungewöhnlich.

Tarry McTarface

Der Geschwindigkeitszuwachs ist sicher beeindruckend, allerdings sind die erzeugten Dateien größer. Zumindest bei maximaler Kompressionsstufe. Wem also "weniger Platz" wichtiger ist als "weniger Zeit", der sollte bei den bisherigen Tools bleiben.

Misel

Um wie viel Prozent mehr Speicherplatzverbrauch geht es denn so?

FXP

https://vbtechsupport.com/1576/
https://vbtechsupport.com/1614/

Toll dieses Google ... falls es jemand noch nicht kennt.

Engywuck

manchmal muss man halt auch erstmal auf die korrekte Frage an Google kommen - ansonsten sucht man Stunden. Außerdem könnte es ja sein, dass jemand der sowas schreibt auch ein paar Zahlen im Hinterkopf hat...

Till

Mag sein, dass ich jetzt einen Denkfehler mache, aber diese Benchmarks widerlegen die Aussage von Tarry McTarface doch eher.

Wenn ich mir zum Beispiel die blaue Tabelle im 2. Link anschaue, schneiden dort die parallelen Varianten meist (marginal) besser ab als die Originale. Eine geringere Compression Ratio ist ja besser, weil „weniger von der Ursrungsgröße übrig bleibt“; siehe auch die Dateigröße nach der Kompression in der letzten Spalte.

Dennis

Sehe ich auch so. Interessant ist auch die Spalte mit der CPU Verwendung. Es scheint, als ob die Parallelversionen multithreading beherrschen (im Gegensatz zu gzip, bzip2 etc.) und daher dieser ernorme Geschwindigkeitszuwachs kommt.

Kommentar schreiben

Umschließende Sterne heben ein Wort hervor (*wort*), per _wort_ kann ein Wort unterstrichen werden.
Standard-Text Smilies wie :-) und ;-) werden zu Bildern konvertiert.
Die angegebene E-Mail-Adresse wird nicht dargestellt, sondern nur für eventuelle Benachrichtigungen verwendet.

Um maschinelle und automatische Übertragung von Spamkommentaren zu verhindern, bitte die Zeichenfolge im dargestellten Bild in der Eingabemaske eintragen. Nur wenn die Zeichenfolge richtig eingegeben wurde, kann der Kommentar angenommen werden. Bitte beachten Sie, dass Ihr Browser Cookies unterstützen muss, um dieses Verfahren anzuwenden.
CAPTCHA

BBCode-Formatierung erlaubt
Formular-Optionen