Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Эксперимент с использованием SQLite в качестве контейнера для архивирования файлов, opennews (??), 25-Мрт-24, (0) [смотреть все] А почему бы не исолпльзовать tar с zstd Ну и для 7z где-то были эксперименты с , Guest (??), 12:51 , 25-Мрт-24, (1) +4 // Степени сжатия 7z можно достичь, используя xz, который по-умолчанию обычно уже е, Lui Kang (?), 19:07 , 25-Мрт-24, (56) +2 // tar умеет создавать всё и всегда tar -c 124 xz file txz - , _oleg_ (ok), 13:46 , 26-Мрт-24, (95) +1 // тем временем -J, --xz c mode only Compress the resulting arch, гыгы (?), 14:00 , 28-Мрт-24, (105) Что ты этим хотел сказать , _oleg_ (ok), 15:16 , 28-Мрт-24, (106) а ты догадайся подсказка tar 1 означает что скопировано из General Commands Ma, гыгы (?), 13:34 , 03-Апр-24, (109) FACEPALM Возьми с полки пирожок Дальше-то что Раскрой свою мысль Или тебя п, _oleg_ (ok), 13:40 , 03-Апр-24, (110) Похвали, конечно Трудно что ли , Аноним (111), 15:26 , 03-Апр-24, (111) Да что это я, действительно Молодец , _oleg_ (ok), 15:39 , 03-Апр-24, (112) мысль проста вые ся нужно уметь ты - не умеешь хотя, если ты из банды cat som, гыгы (?), 11:19 , 04-Апр-24, (113) Аха - Мда Скопировал кусок man а, выдал какую-то невероятную мысль Что хоте, _oleg_ (ok), 12:59 , 16-Апр-24, (114) Это тоже самое , anonymous (??), 21:01 , 31-Мрт-24, (108) Победил 7z Пофиг, что затратил 54 2 с, зато сильнее всех пожмакал , Аноним (2), 12:55 , 25-Мрт-24, (2) +5 // В современных реалиях быстрее будет чуть больше скачать, но быстрее распаковать, Аноним (28), 14:07 , 25-Мрт-24, (28) +8 // Да не факт Вы что, из америки где везде есть интернет, электричество и паркинг, Аноним (53), 18:21 , 25-Мрт-24, (53) –9 // Мы из России Тут интернет плохой в небольших удаленных поселках Но 1МБ с -- эт, tty0 (?), 23:23 , 25-Мрт-24, (75) +1 Сомнительное соотношение скорости сжатия к размеру файла и скорости скачивания , Аноним (42), 17:11 , 25-Мрт-24, (42) +2 Тогда уж xz Только там еще дольше , Аноним (60), 20:06 , 25-Мрт-24, (60) // Там тот же lzma только в формате потока, поточные компрессоры всегда будут дават, Аноним (62), 20:11 , 25-Мрт-24, (62) 7z не дедуплицирует данные, поэтому годится только для маленьких и скучных набор, Аноним (62), 20:08 , 25-Мрт-24, (61) –1 // Ему это не надо, он это умеет на уровне алгоритма словаря с параметром qs Если , fuggy (ok), 22:46 , 25-Мрт-24, (72) // Если словарь достаточного размера Типичный архив в него не влезает, кроме того,, Аноним (62), 22:50 , 25-Мрт-24, (73) Джипеги же жали, да , Аноним (3), 12:58 , 25-Мрт-24, (3) rar одного размера с zip Подозрительно rar обычно лучше сжимает , GhostX (?), 13:00 , 25-Мрт-24, (4) // Разный же 253 и 235 Мб, ануснимус (?), 13:14 , 25-Мрт-24, (10) +5 В отрыве от возможностей в мейнстриме это всё весело, но довольно бессмысленно О, Аноним (3), 13:04 , 25-Мрт-24, (5) // С одной стороны соглашусь, с другой нет SQLite поставляется во всех массовых ди, человек (??), 13:19 , 25-Мрт-24, (14) +2 // Скулайт он как питон, второй лучший вариант в любой сфере Только тут задачи при, Аноним (18), 13:35 , 25-Мрт-24, (18) +1 Отлично, давайте использовать везде pickle, зачем нам какие-то JSON, CBOR, npy, , Аноним (84), 02:38 , 26-Мрт-24, (84) –1 Тут нечего смотреть Бенчи Сыкулита будут 177 1 от того архиватора, который п, Аноним (53), 18:27 , 25-Мрт-24, (54) Вообще они немножко опоздали, таких штук было уже наваломhttps github com phir, Аноним (3), 13:06 , 25-Мрт-24, (6) –1 // Душнила Весь кайф поломал D, YetAnotherOnanym (ok), 13:10 , 25-Мрт-24, (9) –1 В новости речь про воссоздание архиватора на базе SQLite, а sqlite-zstd - дополн, Аноним (13), 13:17 , 25-Мрт-24, (13) +3 Ну раз пошла такая пьянка https codeberg org KOLANICH-libs Cache py, Аноним (27), 13:47 , 25-Мрт-24, (27) жду реализации для http-статики в духе времени будет, Аноним (7), 13:09 , 25-Мрт-24, (7) // Для веб-архивирования Как раз есть аддон SingleFile, который выгружает все ресу, Алкоголизм (?), 15:02 , 25-Мрт-24, (37) +1 https wiki openzim org wiki ZIM_file_format со сжатием, есть просмотрщики При, fuggy (ok), 15:41 , 26-Мрт-24, (97) // Только нет вменяемых средств создания , merv (?), 21:59 , 26-Мрт-24, (102) Подозреваю, первым замерили скорость zip, и файлы он читал с диска, а после него, YetAnotherOnanym (ok), 13:09 , 25-Мрт-24, (8) +6   // То, что Pack оказался настолько быстрее Zip-а, конечно, подозрительно, но пусть , Аноним (86), 09:06 , 26-Мрт-24, (86)   тест с zip был запущен при холодном кэше, а остальные тесты при прогретом Серьё, Аноним (11), 13:15 , 25-Мрт-24, (11) +5 // Чтобы дропнуть кэши надо записать 1 байт в специальный файл, очень сложно Да и , Аноним (62), 13:27 , 25-Мрт-24, (16) +1 Это очень важный пункт эксперимента Он наглядно демонстрирует, насколько стоит д, тоже Аноним (ok), 13:44 , 25-Мрт-24, (25) +2 // Не на то смотришь Если в намеренных данных не указаны ни доверительные интервал, Аноним (-), 14:15 , 25-Мрт-24, (30) Хорошо хоть что сами дали себе явную оценку в тестах Хотя по результата и так я, Аноним (44), 17:22 , 25-Мрт-24, (44) Скрыто модератором, Аноним (12), 13:16 , 25-Мрт-24, (12) Разве это не просто альтернативная реализация идеи https www sqlite org sqlar , Аноним (15), 13:24 , 25-Мрт-24, (15) +2 Скулайт итак мало для чего пригоден, так он теперь ещё и плохой архиватор , Аноним (18), 13:32 , 25-Мрт-24, (17) –4 // в докер надо засунуть, тогда будет норм, Аноним (12), 13:35 , 25-Мрт-24, (19) +1 // libsql, Алексей (??), 14:32 , 25-Мрт-24, (31) // systemd-sqlited, НяшМяш (ok), 14:44 , 25-Мрт-24, (32) +1 SQLite by design умеет исполнять произвольный код, поэтому даже просто открывать, Аноним (20), 13:37 , 25-Мрт-24, (20) // Извините, но что это за uдuотская фича - исполнять код Это в смысле брешь в , Аноним (53), 18:19 , 25-Мрт-24, (52) // Споткнулся и выполнил, Прадед (?), 21:29 , 25-Мрт-24, (64) Штатная фича - https www sqlite org lang_createview html VIEW - эта такая ти, Аноним (84), 22:32 , 25-Мрт-24, (71) // Вы меня пугаете Программные хуки в SQLite выполняются софтом , tty0 (?), 23:27 , 25-Мрт-24, (77) Хромому они не помогли , Аноним (84), 23:52 , 25-Мрт-24, (79) Напоминаю - zip -это контейнер, и туда могут быть добавлены произвольные компрес, Аноним (27), 13:40 , 25-Мрт-24, (21) // даже PPMD очень не везде поддерживается В качестве реализации рекомендую https , Аноним (27), 13:44 , 25-Мрт-24, (24) // ppmd уже давно поддерживается в 7z Или ты смешивает ppmd и zstd , fuggy (ok), 14:10 , 25-Мрт-24, (29) // в 7z - да, а вот во многих других реализациях помимо store и zlib в лучшем случа, Аноним (33), 14:45 , 25-Мрт-24, (33) По скорее бы завезли zstd в info-zip, уже много лет как zip поддерживает zstd в, Аноним (62), 19:59 , 25-Мрт-24, (59) Мне плевать на тормозной до тех пор, пока замедление адекватно сжатию У lzma2, Аноним (84), 21:53 , 25-Мрт-24, (68) Чего не хватает в 7z так это больше фильтров для разных типов файла как в winrar, fuggy (ok), 22:55 , 25-Мрт-24, (74) Так у 7z тот же brunsli для картинок есть уже много лет Как по мне, главная фич, Аноним (62), 23:24 , 25-Мрт-24, (76) Я хочу это чтобы было в стандартной поставке Стратегии это по сути и есть препр, fuggy (ok), 23:34 , 25-Мрт-24, (78) А где сравнение с утилитой zstd , Аноним (22), 13:41 , 25-Мрт-24, (22) Есть такой проект, Pigz называется, тотже gzip, но распаралленый Быстро работае, Аноним (23), 13:42 , 25-Мрт-24, (23) // Плохо, что всё время забываешь -I pigz к tar подкидывать Его уже надо бы по-умо, НяшМяш (ok), 14:49 , 25-Мрт-24, (34) // Сделай его системным , Аноним (36), 15:01 , 25-Мрт-24, (36) pbzip2 тоже, но чуть лучше жмёт и при распаковке контрольную сумму проверяет m, Аноним (40), 16:44 , 25-Мрт-24, (40) Лучше пользоваться https github com mhx dwarfs И сжимает мощно, и вместо расп, topin89 (ok), 14:56 , 25-Мрт-24, (35) +1 // Эксперимент с использованием SQLite в качестве контейнера дл..., Аноним (38), 15:21 , 25-Мрт-24, (38) Прежде всего тем, что может вытащить ЛЮБОЙ файл за минимальное время , Аноним (47), 17:54 , 25-Мрт-24, (47) +1 // Не, нужно так писать, Аноним (44), 18:11 , 25-Мрт-24, (51) А этот dwarfs в качестве хранилки библиотеки сойдет , непонятка (?), 06:26 , 27-Мрт-24, (104) // В целом да Но если данные сами по себе плохо сжимаются, то проще как есть в пап, topin89 (ok), 13:04 , 17-Апр-24, (115) Давно ищу архиватор способ чтоб в архиве сохранялась дата создания через stat эт, Аноним (-), 16:44 , 25-Мрт-24, (39) +1 // Если сам формат файла хранит только ОДНУ дату, вряд ли ты сможешь туда засунуть , Аноним (47), 17:53 , 25-Мрт-24, (46) Это в какой именно более продвинутой А то у лапчатых например Birth был долго, Аноним (48), 18:00 , 25-Мрт-24, (48) // Тьфу, 4 там лишняя Но пингвинячий stat таки традиционно не поддерживает b_tim, Аноним (48), 18:06 , 25-Мрт-24, (50) Не так и давно, поддержку birth иноды не столь и полезная для архивации информа, Аноним (62), 19:54 , 25-Мрт-24, (57) // Неужели вы до сих пор путаете архиватор с компрессором Использую для архивации , Аноним (66), 21:49 , 25-Мрт-24, (66) –1 // Обрати внимание на быстрый произвольный доступ к сжатым данным , Аноним (70), 22:09 , 25-Мрт-24, (70) Я тут уже лет 10 пишу, что с появлением твердотельников будущее за файловыми сис, Аноним (42), 17:09 , 25-Мрт-24, (41) +2 Это имеет смысл только на конкретных юзкейсах имеем один большой архив и период, Аноним (47), 17:51 , 25-Мрт-24, (45) Оверинженеринг, Аноним (49), 18:02 , 25-Мрт-24, (49) // Прелестный эксперимент Чтоб подумать над результатом , Аноним (58), 19:57 , 25-Мрт-24, (58) +1 Здравствуйте,I am the author of Pack, and I am happy to see you all interested i, O (?), 18:56 , 25-Мрт-24, (55) +8 // https www blackhat com docs us-17 wednesday us-17-Feng-Many-Birds-One-Stone-Ex, Аноним (84), 21:23 , 25-Мрт-24, (63) // And forgot to add For the purpose of this paragraph let s assumme that SQLite , Аноним (84), 21:32 , 25-Мрт-24, (65) // All are an will be statically linked They are not considered a shared library t, O (?), 00:55 , 26-Мрт-24, (80) Noone sane uses statically-linked libs and sane distros would never accept anyth, Аноним (84), 02:21 , 26-Мрт-24, (82) –3 Ты просто не пользовался скулайтом, он примерно всегда бандлится Или не заметил, Аноним (62), 10:43 , 26-Мрт-24, (87) У неадекватов всё подряд бандлится, причём с обоснованием уровня а вот я тут гл, Аноним (89), 13:07 , 26-Мрт-24, (89) Дело не в этом Лучше смотри на это с позиции когда мейнтенеры не будут возиться, Аноним (62), 13:24 , 26-Мрт-24, (93) Да, есть такая проблема И это проблема в том числе самого SQLite Слишком много, Аноним (96), 14:40 , 26-Мрт-24, (96) HeyI am sorry that you think like that Not much tracking, rather shared with me, O (?), 13:12 , 26-Мрт-24, (90) I can give you a simple advice that will fix all issues in your format just adm, Аноним (89), 13:30 , 26-Мрт-24, (94) Some moar things I forgot to add If this format gets adoption, insecure implem, Аноним (84), 02:33 , 26-Мрт-24, (83) // Thank you for the interest - As long as they use the official work, it will be s, O (?), 13:24 , 26-Мрт-24, (92) The fast variant doesn t guarantee cleanup The slow one results in additional I, Аноним (98), 15:58 , 26-Мрт-24, (98) Предпочитаю squashfs для архивирования У него встроенное сжатие, но главное мож, BrainFucker (ok), 21:52 , 25-Мрт-24, (67) // Рекомендую dwarfs, он лучше, Аноним (100), 18:13 , 26-Мрт-24, (100) // Ок, подождём лет десять, как появится в репах дистрибутивов и если проект не буд, BrainFucker (ok), 20:33 , 26-Мрт-24, (101) 128077 прект наебалго, разница скорости между Ним и 7zip zstd примрено 15 , DZgas (?), 11:39 , 26-Мрт-24, (88) –1 // File hierarchy is implemented using recursive ID In Item table, every Item gets, O (?), 13:17 , 26-Мрт-24, (91) +1 В 7z мне не хватает CRC , Аноним (103), 06:15 , 27-Мрт-24, (103) некорректный дизайн теста паскаль no comments, mumu (ok), 16:01 , 28-Мрт-24, (107) 1,2,3,4,5,6,7,8,11,15,17,20,21,22,23,35,39,41,45,49,55,67,88,103,107

Сообщения

[Сортировка по времени | RSS]

8. "Эксперимент с использованием SQLite в качестве контейнера дл..."	+6 +/–
Сообщение от YetAnotherOnanym (ok), 25-Мрт-24, 13:09
> При сжатии каталога с 81 тысячей файлов, общим размером 1.25 ГБ, pack оказался быстрее утилиты ZIP в 112 раз, выполнив операцию за 1.3 секунды против 146 секунд у ZIP Подозреваю, первым замерили скорость zip, и файлы он читал с диска, а после него запустили pack и файлы он брал из кэша. Ничем другим такую разницу объяснить невозможно.
Ответить | Правка | Наверх | Cообщить модератору

	86. "Эксперимент с использованием SQLite в качестве контейнера дл..."	+/–
	Сообщение от Аноним (86), 26-Мрт-24, 09:06
	То, что Pack оказался настолько быстрее Zip-а, конечно, подозрительно, но пусть (разные алгоритмы сжатия с многопоточность ю в Zstd и т.п.). Но то, что tar.gz с Deflate оказался в несколько раз быстрее, чем Zip с таким же Deflate (размер тарболла оказался даже несколько меньше, т.е. дело явно не в разных степенях сжатия), лично для меня является более серьёзным аргументом в пользу неправильно проведённого теста.
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема