Система ProtecTIER сжимает на лету с коэффициентом 25х

комментарии (12)
версия для печати

На выставке Storage Networking World в Сан-Диего представлена система хранения, способная сжимать стандартные данные более чем в 25 раз. То есть на винчестер емкостью 100 ГБ можно записать 4 ТБ информации. О своей, без преуменьшения, революционной разработке заявила компания Diligent Technologies.

Для стандартных алгоритмов компрессии считается нормальным уровень сжатия до 2х. Речь идет о сжатии в реальном режиме времени на стандартном наборе данных. В то же время фирма Diligent Technologies продвигает на рынке бэкап-платформу ProtecTIER, которая «увеличивает емкость систем хранения в 25 раз или больше», как заявляется на их корпоративном сайте. Впервые система ProtecTIER была представлена на отраслевой выставке в Сан-Диего. Об этом рассказывает блог StorageMojo — независимый обзор систем хранения данных.

Ведущий этого блога Робин Харрис лично побывал на выставке и побеседовал там с техническим директором фирмы Diligent Technologies. Как эксперт в области алгоритмов компрессии Харрис, естественно, крайне скептически отнесся к заявлениям фирмы о сжатии 25х. Однако он попытался разузнать все подробности.

Главный метод, благодаря которому система ProtecTIER демонстрирует рекордный уровень компрессии — это сравнение поступающего битового потока с уже хранящимся архивом данных. Данная технология получила название HyperFactor. Система ищет похожую последовательность данных на диске, а потом записывает только различия между ними. Поиск данных а архиве происходит в поисковом индексе, который находится в оперативной памяти устройства, без обращения к диску. Поисковый индекс может адресовать до 1 петабайта данных, физически занимая при этом всего 4 ГБ оперативной памяти на сервере ProtecTIER.

В системе реализован ряд неординарных алгоритмов, чтобы осуществлять все операции в реальном режиме времени на стандартном сервере под управлением Linux. При этом скорость обработки должна соответствовать скорости передачи данных на дисковый массив. Одновременно со сжатием данных сервер выполняет в каком-то смысле криптографическую функцию. Ведь прочитать информацию на дисковом архиве, не имея доступа к серверу-посреднику ProtecTIER, будет невозможно. Собственно, с этим связано «защитное» название этого продукта, созвучное с русским словом «протектор».

Система архивации работает на битовом уровне, и потому для нее нет никакой разницы, какие форматы данных сжимать: почтовые архивы, базы данных, mp3-файлы, зашифрованные данные и т.д. Чем больше архив — тем выше вероятность нахождения совпадений, и, как результат, тем выше уровень сжатия. Разработчики позиционируют систему ProtecTIER главным образом для крупных дата-центров.

Другие