>[оверквотинг удален]
> приходят новые, иначе совсем узкий случай), или отдельная вспомогательная сущность.  
> С первым как раз в случае потоковой обработки _всего_ массива более-менее
> эффективная реализация просматривается (поскольку можно идти окошком по данным, пополняя
> словарик и зная, что при записи сперва пополнялся он, затем значения
> использовались в потоке).  А вот при хвалёном произвольном доступе --
> что-то сходу не соображу, как выкрутиться.  Если же держать эту
> сущность отдельно, то gzip уже не получается, а получается нечто с
> набором тайных знаний в пузе о том, где эти отдельности искать,
> или с ключами, которые надо обязательно задать (или же фолбэк с
> первого на второе, не суть).

Вы правы - это тайный набор знаний. Его специально выделяют в отдельную сущность с доступом через API.

Опять же grep не имеет произвольного доступа - только прямое чтение. И плакальщики из этого треда уверяют, что это самый лучший вариант. Так что меняя plain-text на потоковый файл, где общие сущности живут в пополняемых словарях, получаем ускорение потокового чтения и записи (данные уже сжаты). Сам принцип сохраняется.