Вебпланета - Система ProtecTIER сжимает на лету с коэффициентом 25х - Comments

Re:

Roman — Fri, 07 Apr 2006 11:56:31 +0400

Я думаю это не предел. пределом будет когда мы на жесткий диск запишем описание всей нашей вселенной. а сделать это можно я дума. архивом будет служить описание начальных условий нашей вселенной перед большим взрывом и описание законов по которым произошел взрыв и по которым происходило дальнейшее развитие вселенной. прцессом разорхивации будет вычисление параметров вселенной через какоето время.
это мы уже сейчас можем сделать, но в связи с тем что мы не знаем всх законов вселенной, сжатие произойдет с очень большой потерей информации.
Сейчас в евросоюзе приняли закон по которуму провайдеры должны хранить несколько лет(в разных странах по разному) информацию о том что посещал клиент, какую почту получал и так далее. на создание таких архивов провайдеры потратят миллиарды евро. по этому на рынке архивации данных началось такое оживление.

Re:

Короб — Fri, 07 Apr 2006 11:29:48 +0400

Отчасти это достигается так называемым Solid сжатием - когда используются именно уже сжатые данные. Тогда прирост действительно серьезный.
Всеже мне кажется, что революционного тут не много а больше PR.
И хранить в таком сторидже можно специфические данные - результаты расчетов или логи какие-нибудь.

Re:

Андрей Денисюк — Fri, 07 Apr 2006 06:51:42 +0400

"Ага .. десятилетия разработки архиваторов - под хвост.. все делается на лету, мгновенно а DVD влезает на 256Мб флешку без потери качества. "
В этом то и обман - сжать можно в 25 раз данные, когда на флешке имеется 100Г данных! А вот описаная вами операция невозможно, т.к. не будет образцов. Другими словами суть метода - не иметь свое слово и словарь, как делают известные архиваторы, а использовать в качестве словаря уже имеющиеся данные на диске. Итог феноминальный, а вот с практической точки зрения... Надо иметь огромнейший архив данных, что бы иметь такой выигрыш. И суть идеии именно в неординарных алгоритмах, которые позволяют это сделать на лету...

Re:

Короб — Thu, 06 Apr 2006 20:05:10 +0400

Dia:

Возьмите 100 гигов MP3 (~20000 файлов).
Или столько же JPEG (~100000 файлов?)
Сожмите их с помошью 7zip алгоритмом LZMA с максимальными размерами слова и словаря (необходимая память для сжатия ~1.9Гб) и в режиме Solid компресии.
Засеките время.
Расскажите про получившийся объем.

Также говорится о битовом потоке. Тогда интересно зачем тот же RAR использует разные алгоритмы для разных типов данных, а Stuffit вообще позволяет сжимать без потерь JPEG на 25-30%.

В памяти надо держать не только индекс, но и сжимаемые данные, причем индекс надо хранить попутно на хардах и обновлять его в соответствии с новыми залитыми файлами. Значит большие аппаратные ресурсы и снижение производительности.

Re:

Dia — Thu, 06 Apr 2006 19:27:04 +0400

Не вижу ничего удивительного, что при объеме хранимых данных в несколько десятков терабайт, получим сжатие в 25 раз.
я думаю всем очевидно, что отдельно взятый файл в несколько байт длиной в 25 раз сжать не получится. И двд на флешку тоже не сожмет. А вот совокупность миллионов файлов - вполне.
В общем взяли обычный архиватор и научили быстро работать со значительными объемами данных и фактически неограниченным размером словаря.

Re:

Колян — Thu, 06 Apr 2006 17:00:19 +0400

Песня, конечно.

Раз уж она работает на "битовом уровне", я так понимаю, что если поставить два таких сервера последовательно, сожмёт в 625 раз... А если три... ;)

Re:

Короб — Thu, 06 Apr 2006 16:18:45 +0400

Ага .. десятилетия разработки архиваторов - под хвост.. все делается на лету, мгновенно а DVD влезает на 256Мб флешку без потери качества.

Re:

арифметик — Thu, 06 Apr 2006 15:47:42 +0400

Фигню написал, извиняюсь. Психотерапевт прав.

2 сетевой психотерапевт

арифметик — Thu, 06 Apr 2006 15:42:42 +0400

Надо не умножать на 25, а делить, т.к. при сжатии объем уменьшается в 25 раз. 4ТБ как раз уместятся в 100ГБ. Поясняю: 4 ТБ поделить на 25, будет 100ГБ. Так что все правильно в статье.

Re:

сетевой психотерапевт — Thu, 06 Apr 2006 15:03:41 +0400

"То есть на винчестер емкостью 100 ГБ можно записать 4 ТБ информации".
Если сжимает в 25 раз, то всего лишь 2,5 ТБ, а не 4. Поясняю: если 100 умножить на 25, будет 2500, а не 4000.

Насчёт совпадений в архиве - это, конечно, басня.

Re:

Вадим — Thu, 06 Apr 2006 14:03:30 +0400

"Cистема архивации работает на битовом уровне, и потому для нее нет никакой разницы, какие форматы данных сжимать: почтовые архивы, базы данных, mp3-файлы, зашифрованные данные и т.д. Чем больше архив — тем выше вероятность нахождения совпадений, и, как результат, тем выше уровень сжатия."

Вопиющая некомпетентность

Re:

lastmile — Thu, 06 Apr 2006 13:44:05 +0400

Там, в блоге упоминается их конкурент Data Domain с аналогичным продуктом. Только как ехидно заметили посетители блога, у Data Domain уже есть клиенты ;) http://www.datadomain.com/products/cos.html

Система ProtecTIER сжимает на лету с коэффициентом 25х

admin — Thu, 06 Apr 2006 13:29:14 +0400

На выставке Storage Networking World в Сан-Диего представлена система хранения, способная сжимать стандартные данные более чем в 25 раз. То есть на винчестер емкостью 100 ГБ можно записать 4 ТБ информации.