Система ProtecTIER сжимает на лету с коэффициентом 25х

Там, в блоге упоминается их конкурент Data Domain с аналогичным продуктом. Только как ехидно заметили посетители блога, у Data Domain уже есть клиенты ;) http://www.datadomain.com/products/cos.html

"Cистема архивации работает на битовом уровне, и потому для нее нет никакой разницы, какие форматы данных сжимать: почтовые архивы, базы данных, mp3-файлы, зашифрованные данные и т.д. Чем больше архив — тем выше вероятность нахождения совпадений, и, как результат, тем выше уровень сжатия."

Вопиющая некомпетентность

"То есть на винчестер емкостью 100 ГБ можно записать 4 ТБ информации".
Если сжимает в 25 раз, то всего лишь 2,5 ТБ, а не 4. Поясняю: если 100 умножить на 25, будет 2500, а не 4000.

Насчёт совпадений в архиве - это, конечно, басня.

Надо не умножать на 25, а делить, т.к. при сжатии объем уменьшается в 25 раз. 4ТБ как раз уместятся в 100ГБ. Поясняю: 4 ТБ поделить на 25, будет 100ГБ. Так что все правильно в статье.

Фигню написал, извиняюсь. Психотерапевт прав.

Ага .. десятилетия разработки архиваторов - под хвост.. все делается на лету, мгновенно а DVD влезает на 256Мб флешку без потери качества.

Песня, конечно.

Раз уж она работает на "битовом уровне", я так понимаю, что если поставить два таких сервера последовательно, сожмёт в 625 раз... А если три... ;)

Не вижу ничего удивительного, что при объеме хранимых данных в несколько десятков терабайт, получим сжатие в 25 раз.
я думаю всем очевидно, что отдельно взятый файл в несколько байт длиной в 25 раз сжать не получится. И двд на флешку тоже не сожмет. А вот совокупность миллионов файлов - вполне.
В общем взяли обычный архиватор и научили быстро работать со значительными объемами данных и фактически неограниченным размером словаря.

Dia:

Возьмите 100 гигов MP3 (~20000 файлов).
Или столько же JPEG (~100000 файлов?)
Сожмите их с помошью 7zip алгоритмом LZMA с максимальными размерами слова и словаря (необходимая память для сжатия ~1.9Гб) и в режиме Solid компресии.
Засеките время.
Расскажите про получившийся объем.

Также говорится о битовом потоке. Тогда интересно зачем тот же RAR использует разные алгоритмы для разных типов данных, а Stuffit вообще позволяет сжимать без потерь JPEG на 25-30%.

В памяти надо держать не только индекс, но и сжимаемые данные, причем индекс надо хранить попутно на хардах и обновлять его в соответствии с новыми залитыми файлами. Значит большие аппаратные ресурсы и снижение производительности.

"Ага .. десятилетия разработки архиваторов - под хвост.. все делается на лету, мгновенно а DVD влезает на 256Мб флешку без потери качества. "
В этом то и обман - сжать можно в 25 раз данные, когда на флешке имеется 100Г данных! А вот описаная вами операция невозможно, т.к. не будет образцов. Другими словами суть метода - не иметь свое слово и словарь, как делают известные архиваторы, а использовать в качестве словаря уже имеющиеся данные на диске. Итог феноминальный, а вот с практической точки зрения... Надо иметь огромнейший архив данных, что бы иметь такой выигрыш. И суть идеии именно в неординарных алгоритмах, которые позволяют это сделать на лету...

Отчасти это достигается так называемым Solid сжатием - когда используются именно уже сжатые данные. Тогда прирост действительно серьезный.
Всеже мне кажется, что революционного тут не много а больше PR.
И хранить в таком сторидже можно специфические данные - результаты расчетов или логи какие-нибудь.

Я думаю это не предел. пределом будет когда мы на жесткий диск запишем описание всей нашей вселенной. а сделать это можно я дума. архивом будет служить описание начальных условий нашей вселенной перед большим взрывом и описание законов по которым произошел взрыв и по которым происходило дальнейшее развитие вселенной. прцессом разорхивации будет вычисление параметров вселенной через какоето время.
это мы уже сейчас можем сделать, но в связи с тем что мы не знаем всх законов вселенной, сжатие произойдет с очень большой потерей информации.
Сейчас в евросоюзе приняли закон по которуму провайдеры должны хранить несколько лет(в разных странах по разному) информацию о том что посещал клиент, какую почту получал и так далее. на создание таких архивов провайдеры потратят миллиарды евро. по этому на рынке архивации данных началось такое оживление.