Låg cpu och disk utilization vid uppackning av komprimerade filer

Vid komprimering av filer kan du välja hur många trådar du ska använda, hur aggressiv komprimering (normal, fast, ultra etc) och word size. Detta lagras väl som meta-data i arkivet och sen vid upp-packning så gör datorn en "Best effort"?

Att packa upp grejor är uppenbarligen inte helt straight forward att parallellisera så det kan ju vara så att din låga cpu användning är att pga det bara används en tråd för uppackning och en stackars core jobbar så hårt den kan, och ändå blir bottlenecken.

Du kan testa att packa upp mha flera trådar i commandline versionen av 7zip med -mmt [antaltrådar],
tex "7z.exe e -mmt=18 c:\blah.7z", tror dock att det bara funkar på bzip2 komprimerade grejor så ymmv.

Ja precis, läste du mitt inlägg?

att packa och packa upp är tungdrivet och parallellism ger oväntat låg förbättring då det är för många sekventiella delar som inte kan paralleliseras som tar upp tiden

en lista jag hittade

Algorithm     Compressed size        Compression          Decompression

lzop           398MB    20.8%      4.2s    455.6MB/s     3.1s    617.3MB/s
lz4            416MB    21.7%      4.5s    424.2MB/s     1.6s   1181.3MB/s
brotli (q0)    307MB    16.1%      7.3s    262.1MB/s     4.9s    390.5MB/s
brotli (q1)    234MB    12.2%      8.7s    220.0MB/s     4.9s    390.5MB/s
zstd           266MB    13.9%     11.9s    161.1MB/s     3.5s    539.5MB/s
pigz (x4)      232MB    12.1%     13.1s    146.1MB/s     4.2s    455.6MB/s
gzip           232MB    12.1%     39.1s     48.9MB/s     9.2s    208.0MB/s
lbzip2 (x4)    188MB     9.9%     42.0s     45.6MB/s    13.2s    144.9MB/s
pbzip2 (x4)    189MB     9.9%    117.5s     16.3MB/s    20.1s     95.2MB/s
bzip2          189MB     9.9%    273.4s      7.0MB/s    42.8s     44.7MB/s
pixz (x4)      132MB     6.9%    456.3s      4.2MB/s     7.9s    242.2MB/s
xz             132MB     6.9%   1027.8s      1.9MB/s    17.3s    110.6MB/s
brotli (q11)   141MB     7.4%   4979.2s      0.4MB/s     3.6s    531.6MB/s

gzip är fortfarande 'allround' och med pigz som kan köra gzip multicore vilket ger anständig fartökning med 4 kärnor vid kompression men mindre förbättring vid uppack.

lz4 är vanlig för filsystems-kompression vilket ofta görs i typisk 128K-block vilket gör att det kan delas upp mellan core och där är prio snabb uppackning

skall man packa maximalt så kostar det i kompressionsarbete och Googels brotli så är det väldigt asymmetrisk med prio på uppackhastighet och stor kostnad för kompression, och fungerar bäst för just texter...