LTO, как основа систем длительного хранения больших объемов данных.

Новые публикации

RSS News

Информация

Статьи

LTO, как основа систем длительного хранения больших объемов данных.

Автор: Владимир Мартыш

29.05.2009 13:40

LTO, как основа систем длительного хранения больших объемов данных.

Linear Tape-Open (LTO), безусловно, является лидером стриммерных решений. Лидерство проявляется в скорости чтения/записи, объемах, стоимости. Исходя из этого, LTO не может не привлекать «цифрового телевизионщика»,когда характеристики скорости, объемов и цены играют главную роль.

Да, да, Вы не ослышались относительно характеристики скорости. Казалось бы, стример – медленное, неповоротливое и тормозящее рабочий процесс устройство, но это ошибочное мнение,
Если рассматривать автоматическую стримерную систему в комплексе (библиотеку), будь то LTO либо любая иная, то она состоит из трех основных частей:
-   считыватель (привод) для чтения/записи на ленточные носители;
-   ячейки для хранения носителей;
-   робот, который автоматически передвигает носители с ячеек в считыватель и наоборот;
В один момент, один считыватель может записывать или читать один носитель. Это и является основным минусом такой библиотеки. При запросе данных, находящихся на носителе, который в момент запроса не установлен в привод, пользователю придется ждать некоторое время, пока робот установит этот носитель в привод и отмотает носитель на необходимую позицию для начала считывания (до 60 секунд, если привод свободный). Но благодаря использованию современных приводов с технологией LTO, считывание данных с носителя производится с огромной скоростью, до 240 мегабайт в секунду. Ни одному самому быстрому и дорогому HDD диску не достижимы такие высокие скорости. Вы, наверно, хотите спросить, куда записывать данные в момент их считывания с такой скоростью, если HDD диск неспособен обеспечить необходимую пропускную способность? Для этого мы используем несколько жестких дисков, объединенных в логические RAID группы. Скорости всех дисков суммируются, и мы получаем пул, способный выдержать необходимые нагрузки, называемый «кешем» между пользователем и библиотекой.

После того, как данные перенесены на дисковый пул, пользователь работает с ними, как с обычными файлами на жестком диске, а привод освобождается для считывания других данных. Такая схема работы свойственна для телевизионного производства, где мы имеем относительно мало запросов при огромных объемах данных. Особенно если учесть, что данные, хранящиеся на такого рода носителях, зачастую являются архивными данными и обращение к ним производится еще реже. Более подробное описание работы с видеоархивом выходит за рамки данной статьи, целью которой является показать технологию LTO как привлекательную для сферы телевидения, но в будущем мы, конечно, расскажем подробнее о роботе с видеоархивом.

Технология LTO постоянно развивается, и каждое новое поколение обеспечивает удвоение объема элементарного носителя, а также удвоение скорости чтения/записи. Сейчас LTO претерпело смену четырех поколений: LTO Ultrium 1, LTO Ultrium 2, LTO Ultrium 3, LTO Ultrium 4. В будущем планируется LTO Ultrium 5 и даже 6.

На данный момент мы имеем возможность использовать Ultrium 4 с объемом носителя 800 ГБ без сжатия и 1600 ГБ со сжатием. Сжатие производится по принципу, по которому работает обычный RAR архиватор, но на аппаратном уровне, что не налагает дополнительные требования к процессору сервера. Естественно, даже если мы используем сжатие, записать 1600 ГБ данных на один носитель невозможно, особенно учитывая характер контента с которым мы работаем. Но для примера, если мы работаем с видео в формате DV, то при включенной опции сжатия, на один носитель умещается около 1000 ГБ.
Также как я уже писал выше, скорость чтения записи в четвертом поколении равна 200-240 МБ/с. Очень «красивый» и существенный показатель для нас, телевизионщиков.    Проведем небольшой экономический анализ и сравнение между LTO и самыми распространенными методами хранения архивного материала.
Носитель   носитель минут   стоимость за еденицу, у.е.   кол-во носителей на 1000 часов   стоимость носителей на 1000 часов, у.е.

Приведенная таблица говорит сама за себя и не требует комментариев. Но остановлюсь на позиции LTO к DVD+R, он все же является самым распространенным хранителем архивов на наших просторах. Кроме того, что этот битовой носитель, и поэтому самый ненадежный, подвержен царапинам и просто потере данных, так для хранения 1000 часов материала вам придется где-то хранить 2400 единиц носителей данного типа. Это требует выделения соответствующей площади и ресурсов для слежения за этим хозяйством, одна ошибка может привести к необратимому хаосу в изобилии дисков, на каждом из которых записано всего лишь по 25 минут видео. Безусловно, это неудобное, непрактичное и дорогое решение.

Один минус использования LTO - относительная дороговизна устройств чтения/записи LTO носителей, поскольку это является профессиональным оборудованием повышенной надежности. Но это несущественный минус, поскольку через год, или два, система себя окупит.

Выпускают «железо» данного класса в основном IBM, HP, Quantum, Seagate.
Неплохие экземпляры есть у IBM:

IBM TS2900 Tape Autoloader

Малобюджетный автоматический загрузчик на 9* носителей с одним приводом

IBM TS3100 Tape Library Express Model

Небольшой автозагрузчик на 24* носителя с 1-м или 2-я приводами. Имеются инсталляции этих библиотек в Украине.

IBM TS3200 Tape Library Express Model

Более серьезная версия предыдущей модели, рассчитана на 48* носителей и на установку от одного до четырех приводов.

IBM TS3310 Tape Library

Библиотека корпоративного класса. Особенностью этого загрузчика является наращиваемость по мере необходимости в процессе производства. Основой является главный блок с управляющей электроникой и способностью обслуживать 30* носителей. По мере надобности есть возможность докупать расширительные блоки, каждый из блоков добавляет пространства на 92* носителя, таких блоков может быть четыре. Все они соединяются вместе с главным блоком и работают как единая система. Мы уже имеем две инсталляции в Украине с библиотеками этого типа.

IBM TS3500 Tape Library

Библиотека промышленного класса. Также наращиваемая, только не в высоту как предыдущая модель, а в длину. Основной блок имеет вид стандартной рэковой стойки, как и дополнительные блоки. Каждый блок поддерживает установку до 12-и приводов и обслуживает до 192* носителей, эта библиотека наращивается до 16 таких блоков («рэковых стоек»). Можете себе представить масштабы информационного пространства! Имеется наша инсталляция на территории Украины с использованием этой библиотеки. Замечу, что российский канал «НТВ» также использует данный тип библиотек для своих архивов.

* - это количество носителей означает то количество, которое данная библиотека может обслуживать интерактивно, но вы можете извлекать заполненные носители и устанавливать вместо них чистые для последующей записи, в случае если пользователь запросит данные, находящиеся на носителе который вы извлекли, система попросит об установке этого носителя в библиотеку по его номеру.