forum.opennet.ru

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Оглавление

Эксперимент с использованием SQLite в качестве контейнера для архивирования файлов, opennews (??), 25-Мрт-24, (0) [смотреть все]

А почему бы не исолпльзовать tar с zstd Ну и для 7z где-то были эксперименты с , Guest (??), 12:51 , 25-Мрт-24, (1) +4 //

Степени сжатия 7z можно достичь, используя xz, который по-умолчанию обычно уже е, Lui Kang (?), 19:07 , 25-Мрт-24, (56) +2 //

tar умеет создавать всё и всегда tar -c 124 xz file txz - , _oleg_ (ok), 13:46 , 26-Мрт-24, (95) +1 //

тем временем -J, --xz c mode only Compress the resulting arch, гыгы (?), 14:00 , 28-Мрт-24, (105)

Что ты этим хотел сказать , _oleg_ (ok), 15:16 , 28-Мрт-24, (106)

а ты догадайся подсказка tar 1 означает что скопировано из General Commands Ma, гыгы (?), 13:34 , 03-Апр-24, (109)

FACEPALM Возьми с полки пирожок Дальше-то что Раскрой свою мысль Или тебя п, _oleg_ (ok), 13:40 , 03-Апр-24, (110)

Похвали, конечно Трудно что ли , Аноним (111), 15:26 , 03-Апр-24, (111)

Да что это я, действительно Молодец , _oleg_ (ok), 15:39 , 03-Апр-24, (112)

мысль проста вые ся нужно уметь ты - не умеешь хотя, если ты из банды cat som, гыгы (?), 11:19 , 04-Апр-24, (113)

Аха - Мда Скопировал кусок man а, выдал какую-то невероятную мысль Что хоте, _oleg_ (ok), 12:59 , 16-Апр-24, (114)

Это тоже самое , anonymous (??), 21:01 , 31-Мрт-24, (108)

Победил 7z Пофиг, что затратил 54 2 с, зато сильнее всех пожмакал , Аноним (2), 12:55 , 25-Мрт-24, (2) +5 //

В современных реалиях быстрее будет чуть больше скачать, но быстрее распаковать, Аноним (28), 14:07 , 25-Мрт-24, (28) +8 //

Да не факт Вы что, из америки где везде есть интернет, электричество и паркинг, Аноним (53), 18:21 , 25-Мрт-24, (53) –9 //

Мы из России Тут интернет плохой в небольших удаленных поселках Но 1МБ с -- эт, tty0 (?), 23:23 , 25-Мрт-24, (75) +1

Сомнительное соотношение скорости сжатия к размеру файла и скорости скачивания , Аноним (42), 17:11 , 25-Мрт-24, (42) +2
Тогда уж xz Только там еще дольше , Аноним (60), 20:06 , 25-Мрт-24, (60) //

Там тот же lzma только в формате потока, поточные компрессоры всегда будут дават, Аноним (62), 20:11 , 25-Мрт-24, (62)

7z не дедуплицирует данные, поэтому годится только для маленьких и скучных набор, Аноним (62), 20:08 , 25-Мрт-24, (61) –1 //

Ему это не надо, он это умеет на уровне алгоритма словаря с параметром qs Если , fuggy (ok), 22:46 , 25-Мрт-24, (72) //

Если словарь достаточного размера Типичный архив в него не влезает, кроме того,, Аноним (62), 22:50 , 25-Мрт-24, (73)

Джипеги же жали, да , Аноним (3), 12:58 , 25-Мрт-24, (3)
rar одного размера с zip Подозрительно rar обычно лучше сжимает , GhostX (?), 13:00 , 25-Мрт-24, (4) //

Разный же 253 и 235 Мб, ануснимус (?), 13:14 , 25-Мрт-24, (10) +5

В отрыве от возможностей в мейнстриме это всё весело, но довольно бессмысленно О, Аноним (3), 13:04 , 25-Мрт-24, (5) //

С одной стороны соглашусь, с другой нет SQLite поставляется во всех массовых ди, человек (??), 13:19 , 25-Мрт-24, (14) +2 //

Скулайт он как питон, второй лучший вариант в любой сфере Только тут задачи при, Аноним (18), 13:35 , 25-Мрт-24, (18) +1
Отлично, давайте использовать везде pickle, зачем нам какие-то JSON, CBOR, npy, , Аноним (84), 02:38 , 26-Мрт-24, (84) –1

Тут нечего смотреть Бенчи Сыкулита будут 177 1 от того архиватора, который п, Аноним (53), 18:27 , 25-Мрт-24, (54)

Вообще они немножко опоздали, таких штук было уже наваломhttps github com phir, Аноним (3), 13:06 , 25-Мрт-24, (6) –1 //

Душнила Весь кайф поломал D, YetAnotherOnanym (ok), 13:10 , 25-Мрт-24, (9) –1
В новости речь про воссоздание архиватора на базе SQLite, а sqlite-zstd - дополн, Аноним (13), 13:17 , 25-Мрт-24, (13) +3
Ну раз пошла такая пьянка https codeberg org KOLANICH-libs Cache py, Аноним (27), 13:47 , 25-Мрт-24, (27)

жду реализации для http-статики в духе времени будет, Аноним (7), 13:09 , 25-Мрт-24, (7) //

Для веб-архивирования Как раз есть аддон SingleFile, который выгружает все ресу, Алкоголизм (?), 15:02 , 25-Мрт-24, (37) +1
https wiki openzim org wiki ZIM_file_format со сжатием, есть просмотрщики При, fuggy (ok), 15:41 , 26-Мрт-24, (97) //

Только нет вменяемых средств создания , merv (?), 21:59 , 26-Мрт-24, (102)

Подозреваю, первым замерили скорость zip, и файлы он читал с диска, а после него, YetAnotherOnanym (ok), 13:09 , 25-Мрт-24, (8) +6 //

То, что Pack оказался настолько быстрее Zip-а, конечно, подозрительно, но пусть , Аноним (86), 09:06 , 26-Мрт-24, (86)

тест с zip был запущен при холодном кэше, а остальные тесты при прогретом Серьё, Аноним (11), 13:15 , 25-Мрт-24, (11) +5 //

Чтобы дропнуть кэши надо записать 1 байт в специальный файл, очень сложно Да и , Аноним (62), 13:27 , 25-Мрт-24, (16) +1
Это очень важный пункт эксперимента Он наглядно демонстрирует, насколько стоит д, тоже Аноним (ok), 13:44 , 25-Мрт-24, (25) +2 //

Не на то смотришь Если в намеренных данных не указаны ни доверительные интервал, Аноним (-), 14:15 , 25-Мрт-24, (30)
Хорошо хоть что сами дали себе явную оценку в тестах Хотя по результата и так я, Аноним (44), 17:22 , 25-Мрт-24, (44)

Скрыто модератором, Аноним (12), 13:16 , 25-Мрт-24, (12)
Разве это не просто альтернативная реализация идеи https www sqlite org sqlar , Аноним (15), 13:24 , 25-Мрт-24, (15) +2
Скулайт итак мало для чего пригоден, так он теперь ещё и плохой архиватор , Аноним (18), 13:32 , 25-Мрт-24, (17) –4 //

в докер надо засунуть, тогда будет норм, Аноним (12), 13:35 , 25-Мрт-24, (19) +1 //

libsql, Алексей (??), 14:32 , 25-Мрт-24, (31) //

systemd-sqlited, НяшМяш (ok), 14:44 , 25-Мрт-24, (32) +1

SQLite by design умеет исполнять произвольный код, поэтому даже просто открывать, Аноним (20), 13:37 , 25-Мрт-24, (20) //

Извините, но что это за uдuотская фича - исполнять код Это в смысле брешь в , Аноним (53), 18:19 , 25-Мрт-24, (52) //

Споткнулся и выполнил, Прадед (?), 21:29 , 25-Мрт-24, (64)
Штатная фича - https www sqlite org lang_createview html VIEW - эта такая ти, Аноним (84), 22:32 , 25-Мрт-24, (71) //

Вы меня пугаете Программные хуки в SQLite выполняются софтом , tty0 (?), 23:27 , 25-Мрт-24, (77)

Хромому они не помогли , Аноним (84), 23:52 , 25-Мрт-24, (79)

Напоминаю - zip -это контейнер, и туда могут быть добавлены произвольные компрес, Аноним (27), 13:40 , 25-Мрт-24, (21) //

даже PPMD очень не везде поддерживается В качестве реализации рекомендую https , Аноним (27), 13:44 , 25-Мрт-24, (24) //

ppmd уже давно поддерживается в 7z Или ты смешивает ppmd и zstd , fuggy (ok), 14:10 , 25-Мрт-24, (29) //

в 7z - да, а вот во многих других реализациях помимо store и zlib в лучшем случа, Аноним (33), 14:45 , 25-Мрт-24, (33)

По скорее бы завезли zstd в info-zip, уже много лет как zip поддерживает zstd в, Аноним (62), 19:59 , 25-Мрт-24, (59)

Мне плевать на тормозной до тех пор, пока замедление адекватно сжатию У lzma2, Аноним (84), 21:53 , 25-Мрт-24, (68)

Чего не хватает в 7z так это больше фильтров для разных типов файла как в winrar, fuggy (ok), 22:55 , 25-Мрт-24, (74)

Так у 7z тот же brunsli для картинок есть уже много лет Как по мне, главная фич, Аноним (62), 23:24 , 25-Мрт-24, (76)

Я хочу это чтобы было в стандартной поставке Стратегии это по сути и есть препр, fuggy (ok), 23:34 , 25-Мрт-24, (78)

А где сравнение с утилитой zstd , Аноним (22), 13:41 , 25-Мрт-24, (22)
Есть такой проект, Pigz называется, тотже gzip, но распаралленый Быстро работае, Аноним (23), 13:42 , 25-Мрт-24, (23) //

Плохо, что всё время забываешь -I pigz к tar подкидывать Его уже надо бы по-умо, НяшМяш (ok), 14:49 , 25-Мрт-24, (34) //

Сделай его системным , Аноним (36), 15:01 , 25-Мрт-24, (36)

pbzip2 тоже, но чуть лучше жмёт и при распаковке контрольную сумму проверяет m, Аноним (40), 16:44 , 25-Мрт-24, (40)

Лучше пользоваться https github com mhx dwarfs И сжимает мощно, и вместо расп, topin89 (ok), 14:56 , 25-Мрт-24, (35) +1 //

Эксперимент с использованием SQLite в качестве контейнера дл..., Аноним (38), 15:21 , 25-Мрт-24, (38)
Прежде всего тем, что может вытащить ЛЮБОЙ файл за минимальное время , Аноним (47), 17:54 , 25-Мрт-24, (47) +1 //

Не, нужно так писать, Аноним (44), 18:11 , 25-Мрт-24, (51)

А этот dwarfs в качестве хранилки библиотеки сойдет , непонятка (?), 06:26 , 27-Мрт-24, (104) //

В целом да Но если данные сами по себе плохо сжимаются, то проще как есть в пап, topin89 (ok), 13:04 , 17-Апр-24, (115)

Давно ищу архиватор способ чтоб в архиве сохранялась дата создания через stat эт, Аноним (-), 16:44 , 25-Мрт-24, (39) +1 //

Если сам формат файла хранит только ОДНУ дату, вряд ли ты сможешь туда засунуть , Аноним (47), 17:53 , 25-Мрт-24, (46)
Это в какой именно более продвинутой А то у лапчатых например Birth был долго, Аноним (48), 18:00 , 25-Мрт-24, (48) //

Тьфу, 4 там лишняя Но пингвинячий stat таки традиционно не поддерживает b_tim, Аноним (48), 18:06 , 25-Мрт-24, (50)

Не так и давно, поддержку birth иноды не столь и полезная для архивации информа, Аноним (62), 19:54 , 25-Мрт-24, (57) //

Неужели вы до сих пор путаете архиватор с компрессором Использую для архивации , Аноним (66), 21:49 , 25-Мрт-24, (66) –1 //

Обрати внимание на быстрый произвольный доступ к сжатым данным , Аноним (70), 22:09 , 25-Мрт-24, (70)

Я тут уже лет 10 пишу, что с появлением твердотельников будущее за файловыми сис, Аноним (42), 17:09 , 25-Мрт-24, (41) +2
Это имеет смысл только на конкретных юзкейсах имеем один большой архив и период, Аноним (47), 17:51 , 25-Мрт-24, (45)
Оверинженеринг, Аноним (49), 18:02 , 25-Мрт-24, (49) //

Прелестный эксперимент Чтоб подумать над результатом , Аноним (58), 19:57 , 25-Мрт-24, (58) +1

Здравствуйте,I am the author of Pack, and I am happy to see you all interested i, O (?), 18:56 , 25-Мрт-24, (55) +8 //

https www blackhat com docs us-17 wednesday us-17-Feng-Many-Birds-One-Stone-Ex, Аноним (84), 21:23 , 25-Мрт-24, (63) //

And forgot to add For the purpose of this paragraph let s assumme that SQLite , Аноним (84), 21:32 , 25-Мрт-24, (65) //

All are an will be statically linked They are not considered a shared library t, O (?), 00:55 , 26-Мрт-24, (80)

Noone sane uses statically-linked libs and sane distros would never accept anyth, Аноним (84), 02:21 , 26-Мрт-24, (82) –3

Ты просто не пользовался скулайтом, он примерно всегда бандлится Или не заметил, Аноним (62), 10:43 , 26-Мрт-24, (87)

У неадекватов всё подряд бандлится, причём с обоснованием уровня а вот я тут гл, Аноним (89), 13:07 , 26-Мрт-24, (89)

Дело не в этом Лучше смотри на это с позиции когда мейнтенеры не будут возиться, Аноним (62), 13:24 , 26-Мрт-24, (93)

Да, есть такая проблема И это проблема в том числе самого SQLite Слишком много, Аноним (96), 14:40 , 26-Мрт-24, (96)

HeyI am sorry that you think like that Not much tracking, rather shared with me, O (?), 13:12 , 26-Мрт-24, (90)

I can give you a simple advice that will fix all issues in your format just adm, Аноним (89), 13:30 , 26-Мрт-24, (94)

Some moar things I forgot to add If this format gets adoption, insecure implem, Аноним (84), 02:33 , 26-Мрт-24, (83) //

Thank you for the interest - As long as they use the official work, it will be s, O (?), 13:24 , 26-Мрт-24, (92)

The fast variant doesn t guarantee cleanup The slow one results in additional I, Аноним (98), 15:58 , 26-Мрт-24, (98)

Предпочитаю squashfs для архивирования У него встроенное сжатие, но главное мож, BrainFucker (ok), 21:52 , 25-Мрт-24, (67) //

Рекомендую dwarfs, он лучше, Аноним (100), 18:13 , 26-Мрт-24, (100) //

Ок, подождём лет десять, как появится в репах дистрибутивов и если проект не буд, BrainFucker (ok), 20:33 , 26-Мрт-24, (101)

128077 прект наебалго, разница скорости между Ним и 7zip zstd примрено 15 , DZgas (?), 11:39 , 26-Мрт-24, (88) –1 //

File hierarchy is implemented using recursive ID In Item table, every Item gets, O (?), 13:17 , 26-Мрт-24, (91) +1

В 7z мне не хватает CRC , Аноним (103), 06:15 , 27-Мрт-24, (103)
некорректный дизайн теста паскаль no comments, mumu (ok), 16:01 , 28-Мрт-24, (107)

Сообщения [Сортировка по времени | RSS]

2. "Эксперимент с использованием SQLite в качестве контейнера дл..." +5 +/–

Сообщение от Аноним (2), 25-Мрт-24, 12:55

Победил 7z. Пофиг, что затратил 54.2 с, зато сильнее всех пожмакал.

Ответить | Правка | Наверх | Cообщить модератору

28. "Эксперимент с использованием SQLite в качестве контейнера дл..." +8 +/–

Сообщение от Аноним (28), 25-Мрт-24, 14:07

В современных реалиях быстрее будет чуть больше скачать, но быстрее распаковать

Ответить | Правка | Наверх | Cообщить модератору

53. "Эксперимент с использованием SQLite в качестве контейнера дл..." –9 +/–

Сообщение от Аноним (53), 25-Мрт-24, 18:21

Да не факт! Вы что, из америки где "везде есть интернет, электричество и паркинг"?? Люди могут и на 8Мбит сидеть - им не нужны ГИГАБАЙТЫ инфы, которую кто-то никак не может сжать.

Ответить | Правка | Наверх | Cообщить модератору

75. "Эксперимент с использованием SQLite в качестве контейнера дл..." +1 +/–

Сообщение от tty0 (?), 25-Мрт-24, 23:23

Мы из России. Тут интернет плохой в небольших удаленных поселках. Но 1МБ/с -- это вообще вполне сносно и не напряжно в рамках дачного поселка в 30км от города.

Ответить | Правка | Наверх | Cообщить модератору

42. "Эксперимент с использованием SQLite в качестве контейнера дл..." +2 +/–

Сообщение от Аноним (42), 25-Мрт-24, 17:11

Сомнительное соотношение скорости сжатия к размеру файла и скорости скачивания. У меня 100 мегабит етхернета быстрее работает чем большинство флешек лет 10 назад.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

60. "Эксперимент с использованием SQLite в качестве контейнера дл..." +/–

Сообщение от Аноним (60), 25-Мрт-24, 20:06

Тогда уж xz. Только там еще дольше)

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

62. "Эксперимент с использованием SQLite в качестве контейнера дл..." +/–

Сообщение от Аноним (62), 25-Мрт-24, 20:11

Там тот же lzma только в формате потока, поточные компрессоры всегда будут давать результат хуже архиватора и иметь меньшую гибкость, но например они позволяют сжать тарбол со всеми атрибутами в него сохранёнными. Конечно, 7z/rar тоже позволяют запаковать тарбол, но они являются архиваторами со своей по-файловой логикой и тут стоит проверить здоровье.

Ответить | Правка | Наверх | Cообщить модератору

61. "Эксперимент с использованием SQLite в качестве контейнера дл..." –1 +/–

Сообщение от Аноним (62), 25-Мрт-24, 20:08

7z не дедуплицирует данные, поэтому годится только для маленьких и скучных наборов (без расширенных атрибутов, тегов, времени изменения/доступа и прочего подобного). А результат на пару килобайт лучше достигается совершенно дефективным форматом файла.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

72. "Эксперимент с использованием SQLite в качестве контейнера дл..." +/–

Сообщение от fuggy (ok), 25-Мрт-24, 22:46

Ему это не надо, он это умеет на уровне алгоритма словаря с параметром qs. Если словарь достаточного размера. Умеет атрибуты NTFS потоки. С атрибутами файла есть недостатки, потому что 7z не совсем из мира unix way.

Ответить | Правка | Наверх | Cообщить модератору

73. "Эксперимент с использованием SQLite в качестве контейнера дл..." +/–

Сообщение от Аноним (62), 25-Мрт-24, 22:50

Если словарь достаточного размера. Типичный архив в него не влезает, кроме того, ресурсов намного больше необходимо (и для упаковки и для распаковки) и в многопотоке прогрессия там не очень приятная.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

2. "Эксперимент с использованием SQLite в качестве контейнера дл..."	+5 +/–
Сообщение от Аноним (2), 25-Мрт-24, 12:55
Победил 7z. Пофиг, что затратил 54.2 с, зато сильнее всех пожмакал.
Ответить \| Правка \| Наверх \| Cообщить модератору


	28. "Эксперимент с использованием SQLite в качестве контейнера дл..."	+8 +/–
	Сообщение от Аноним (28), 25-Мрт-24, 14:07
	В современных реалиях быстрее будет чуть больше скачать, но быстрее распаковать
	Ответить \| Правка \| Наверх \| Cообщить модератору


	53. "Эксперимент с использованием SQLite в качестве контейнера дл..."	–9 +/–
	Сообщение от Аноним (53), 25-Мрт-24, 18:21
	Да не факт! Вы что, из америки где "везде есть интернет, электричество и паркинг"?? Люди могут и на 8Мбит сидеть - им не нужны ГИГАБАЙТЫ инфы, которую кто-то никак не может сжать.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	75. "Эксперимент с использованием SQLite в качестве контейнера дл..."	+1 +/–
	Сообщение от tty0 (?), 25-Мрт-24, 23:23
	Мы из России. Тут интернет плохой в небольших удаленных поселках. Но 1МБ/с -- это вообще вполне сносно и не напряжно в рамках дачного поселка в 30км от города.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	42. "Эксперимент с использованием SQLite в качестве контейнера дл..."	+2 +/–
	Сообщение от Аноним (42), 25-Мрт-24, 17:11
	Сомнительное соотношение скорости сжатия к размеру файла и скорости скачивания. У меня 100 мегабит етхернета быстрее работает чем большинство флешек лет 10 назад.
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	60. "Эксперимент с использованием SQLite в качестве контейнера дл..."	+/–
	Сообщение от Аноним (60), 25-Мрт-24, 20:06
	Тогда уж xz. Только там еще дольше)
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	62. "Эксперимент с использованием SQLite в качестве контейнера дл..."	+/–
	Сообщение от Аноним (62), 25-Мрт-24, 20:11
	Там тот же lzma только в формате потока, поточные компрессоры всегда будут давать результат хуже архиватора и иметь меньшую гибкость, но например они позволяют сжать тарбол со всеми атрибутами в него сохранёнными. Конечно, 7z/rar тоже позволяют запаковать тарбол, но они являются архиваторами со своей по-файловой логикой и тут стоит проверить здоровье.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	61. "Эксперимент с использованием SQLite в качестве контейнера дл..."	–1 +/–
	Сообщение от Аноним (62), 25-Мрт-24, 20:08
	7z не дедуплицирует данные, поэтому годится только для маленьких и скучных наборов (без расширенных атрибутов, тегов, времени изменения/доступа и прочего подобного). А результат на пару килобайт лучше достигается совершенно дефективным форматом файла.
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	72. "Эксперимент с использованием SQLite в качестве контейнера дл..."	+/–
	Сообщение от fuggy (ok), 25-Мрт-24, 22:46
	Ему это не надо, он это умеет на уровне алгоритма словаря с параметром qs. Если словарь достаточного размера. Умеет атрибуты NTFS потоки. С атрибутами файла есть недостатки, потому что 7z не совсем из мира unix way.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	73. "Эксперимент с использованием SQLite в качестве контейнера дл..."	+/–
	Сообщение от Аноним (62), 25-Мрт-24, 22:50
	Если словарь достаточного размера. Типичный архив в него не влезает, кроме того, ресурсов намного больше необходимо (и для упаковки и для распаковки) и в многопотоке прогрессия там не очень приятная.
	Ответить \| Правка \| Наверх \| Cообщить модератору