Страница 1 из 1

Всякое про архиваторы

Добавлено: Чт ноя 08, 2018 1:55 am
arxont
Тестил сегодня архиваторы. На своих, вполне конкретных данных - дано C#-скомпилированный проект - вся папка 33 мегабайта. В нём и картинок, и документации, и всяких xml полно. Всего помаленьку

Архивировалась целиком папка Release
  • Сама папка - 34 163 566
  • TAR - просто контейнер, без сжатия 34 269 696
  • Zip (winZip последней версии) - настройка "Best" - 10 488 500
  • RAR (WinRar последней версии) - настройка "Метод сжатия - Максимальный" - 8 160 296
  • 7Zip (7Zip последней версии) Настройка "Ультра" - 7 330 746

    А вот потом я охуел
  • paq8px (Последняя версия с гита) - Настройка "-9" (это типа максимальное сжатие) - 4 747 264
PS: Собственно вся затея из-за инсталлятора. Который по умолчанию жмётся зипом. А выигрыш по размеру получается двукратный.

PS2: Время архивации у paq8px пиздецовое - на моём компе делалось
Time 6331.88 sec, used 4593 MB (4816620175 bytes) of memory
Да-да. Это про 33 мегабайта.

Re: Всякое про архиваторы

Добавлено: Чт ноя 08, 2018 3:52 am
hades
И стоит потраченное время такого сжатия? По мне так - нет. Седьмой зип пока вне конкуренции.

Re: Всякое про архиваторы

Добавлено: Чт ноя 08, 2018 10:44 am
arxont
hades писал(а): Чт ноя 08, 2018 3:52 am И стоит потраченное время такого сжатия? По мне так - нет. Седьмой зип пока вне конкуренции.
Так скажем - есть разные кейсы и разные задачи. Если у тебя такой задачи не стояло, то конечно не стоит. Как архиватор общего назначения не подойдёт. А вот как специализированное решение конкретной задачи - вполне.

PS: Читал про китайцев которые под это дело делают асики. Скорость на два порядка выше. Но правда в свободной продаже так и не нашел.

Re: Всякое про архиваторы

Добавлено: Сб ноя 10, 2018 4:29 pm
b0r1sus
arxont писал(а): Чт ноя 08, 2018 1:55 am PS2: Время архивации у paq8px пиздецовое - на моём компе делалось
paq8px по времени на примере твоего архива долго распаковывался?

Вижу юзкейс по использованиию при аплоаде в формы на страницах и в демосцене. Там все силы бросают на то чтоб ужаться в лимиты.

Парочка советов по улучшению упаковки сырых блочных устройств (RAW дисков виртуалок):
  • Свободное место заполняем нулями. Путем создания файла состоящего только из нулей.
  • Используем дельту если архив не единственный в серии.

Re: Всякое про архиваторы

Добавлено: Пн ноя 12, 2018 12:33 am
arxont
b0r1sus писал(а): Сб ноя 10, 2018 4:29 pm paq8px по времени на примере твоего архива долго распаковывался?

Вижу юзкейс по использованиию при аплоаде в формы на страницах и в демосцене. Там все силы бросают на то чтоб ужаться в лимиты.

Парочка советов по улучшению упаковки сырых блочных устройств (RAW дисков виртуалок):
  • Свободное место заполняем нулями. Путем создания файла состоящего только из нулей.
  • Используем дельту если архив не единственный в серии.
1. Распаковывается раза в два быстрее чем запаковывается - то есть всё равно дохера

2. Аплоад в формы не вариант - не проходит по требованиям проц+память. Выделять по 4Гига на один процесс закачки и давать доступ к файлу через (10 мегабайт * полчаса) это странненько.
Демосцена так-же не вариант - у них совсем другой тип упаковки и требования к этому всему. Никакой архиватор там не поможет.

3. По упаковке равов - а зачем нулями забивать? Быстрее запустить в стрим напрямую "только данные" и их налету жать. Ещё минус забивки нулями, это то, что очень легко сделать непреднамеренную зипбомбу

4. Не рекомендую. Лучший напрямую юзать librsync - зачем пользовать обёртку, коей xdelta и является? Но на самом деле всё зависит от требований, и дифы это не про архивацию совсем.

Re: Всякое про архиваторы

Добавлено: Пн ноя 12, 2018 5:25 pm
arxont
Более реалистичные архиваторы для реального мира -

zpaq102 - 6 597 497 - 140 секунд

RAZOR 6 742 127 - 42 секунды

paq9a - 6 821 170 - 30 секунд

PS: Вообще надо смотреть по необходимому сету - ибо часть архиваторов жмёт хорошо картинки-музыку, часть БД, часть текста, часть бинарники. Поэтому мои таблицы для конкретного кейса могут совершенно не подойти.

PS2: Ибо мне нужны бинарники, то только сжатие без потери, только хардкор.

Re: Всякое про архиваторы

Добавлено: Пн ноя 12, 2018 7:48 pm
arxont
Воот http://squeezechart.com сайт с тем, что я делал. Только архиваторов под сотню и куча всяких типов данных.

Re: Всякое про архиваторы

Добавлено: Вт фев 12, 2019 10:37 pm
arxont
Ещё один из плюсов использования "нестандартных" архиваторов, это то, что можно добавить достаточно прозрачно, информацию для восстановления - через тот-же par2. Что позволит достаточно легко разовые потери восстановить. ХЗ насколько это нужно, но для сведения оставлю тут.

Re: Всякое про архиваторы

Добавлено: Вт окт 22, 2019 3:03 pm
arxont
Тут от прошлого заказчика пришли - ещё другой софт так же настроить CI с этими архиваторами.

Даже учитывая время, даже учитывая память, даже учитывая что пиздец с распаковкой - людям нужно.

PS: Как я понял для спутниковых каналов, где мегабайт стоит 5 рублей это всё окупается. И скорость в районе старых добрых 33,6 :D

PS2: В моём случае софт, таблички для всяких контейнеровозов, для заполнения таможенных табличек - грубо говоря иногда приходится обновляться без захода в порт и посреди окияна)

Re: Всякое про архиваторы

Добавлено: Сб апр 10, 2021 8:47 am
arxont
Сжатие файлов в многоядерную эру
https://habr.com/ru/post/53217/