Хранение информации на ленточных накопителях
+7 (495) 514-70-07
Главная » Технологии » Стандарт LTFS выводит магнитную ленту на новый уровень
Стандарты
дата картриджей
Наиболее распространенные стандарты дата картриджей
Производители дата картриджей
Наиболее распространенные стандарты дата картриджей
  • Дата картриджи LTO Ultrium
  • Дата картриджи IBM 3592/ IBM 3590
  • Дата картриджи 4mm / DDS / DAT72
  • Дата картриджи AIT / SAIT
  • Дата картриджи 8mm / ЕXABYTE
  • Дата картриджи QIC 1/4 Inch / TRAVAN
  • Дата картриджи DLT / SUPER DLT / S4
  • Дата картриджи SLR / TANDBERG
Стандарт LTFS выводит магнитную ленту на новый уровень

Появление стандарта LTFS с разбиением магнитной ленты на логические разделы является настоящим прорывом в технологии доступа к данным на ленте и позволяет использовать этот носитель в приложениях, где ранее это считалось нецелесообразным.

Введение

С самого момента их изобретения накопители на магнитной ленте были устройствами последовательного доступа. Последовательный доступ был удобен для приложений, работающих с потоками данных, однако считывать данные в произвольном порядке для поиска конкретного файла либо объекта было невозможно физически. С появлением файловой системы для магнитных лент LTFS способы доступа к данным изменились. Формат LTFS Single Drive Edition предоставляет возможность разбивать магнитную ленту на логические разделы. Данная функция была впервые заявлена 12 апреля 2010 года и представлена на ежегодной выставке-ярмарке Национальной ассоциации телевизионных и радиовещательных организаций (NAB). Спецификация формата и реализации файловой системы LTFS поддерживаются компаниями IBM, HP, Quantum, а также консорциумом LTO, в сетевом графике которого определены будущие спецификации для семейства накопителей на магнитной ленте формата LTO. Формат LTFS разработан на основе стандарта магнитных лент LTO-5 для совместимости картриджей с ленточными библиотеками и накопителями формата LTO-5. Первоначально разбиение на разделы было реализовано для накопителей формата LTO-5, а сегодня поддержка файловой системы LTFS добавлена и для новейших накопителей корпоративного класса от IBM и Oracle, что ещё более повышает ценность данной разработки. С внедрением системы LTFS традиционный медленный последовательный поиск данных на магнитных лентах уступает место знакомым по работе с дисковыми накопителями способам с использованием операций drag-and-drop.

Принципы работы файловой системы LTFS

Спецификация LTO-5 LTFS является открытым форматом, в котором магнитная лента делится на два раздела. Первый, меньший по объёму раздел используется для хранения индексной информации и метаданных, относящихся к содержимому второго, большего по объёму раздела с пользовательскими данными. Метаданные - это информация, описывающая пользовательские данные, хранящиеся на картридже. Метаданные нужны для поиска и доступа к файлам во втором разделе через графический пользовательский интерфейс, предоставляемый операционной системой. Файловая система LTFS создаёт самоописываемую магнитную ленту, для определения содержимого которой не требуется специальных приложений, поскольку данные из второго раздела описаны индексом и метаданными, хранящимися в первом разделе. Сервер с запущенным программным обеспечением LTFS, отображает каждый картридж, хранимый в ленточной библиотеке, в виде подпапки в графическом пользовательском интерфейсе. В случае ленточной библиотеки на сервере хранится виртуальный индекс данных для всех картриджей, находящихся в данное время или когда-либо находившихся в библиотеке. Такой подход даёт пользователям возможность поиска информации без физического перемещения и монтирования носителей, что существенно сокращает время доступа. При монтировании нового картриджа или при изменении данных на ранее записанной ленте сначала обновляется индекс LTFS, хранящийся на сервере, затем этот индекс копируется и записывается на картридж.

Система LTFS представляет собой долгожданный прорыв в технологиях доступа к данным на магнитной ленте.

  • Файловая система реализована для поддерживающих разбиение на два раздела накопителей и ленточных библиотек формата LTO-5.
  • Доступ к файлам на лентах LTO-5 осуществляется аналогично доступу к файлам на жёстких дисках, оптическим дисках и на устройствах USB:
    a) файлы и папки отображаются в рабочей области в виде дерева каталогов;
    b) файлам можно присваивать теги с произвольным текстом, что позволяет осуществлять интуитивный поиск информации на лентах и в ленточной библиотеке;
    c) для перемещения файлов на ленту формата LTFS и обратно используются привычные операции перетаскивания;
    d) многие приложения, рассчитанные на работу с дисковыми файлами, теперь могут использовать и накопители на магнитной ленте;
    e) поддерживается обмен данными между пользователями и системами;
    f) поддерживается выполнение команд открывания, закрывания, записи, чтения, дополнения, удаления и закрывания файлов из приложений.
  • Поддерживаются различные операционные системы (доступны драйвера для ОС Apple McIntosh OS X, Windows 7.0, Windows Server 2008 R2 и Linux). Примечание: ОС для мейнфреймов (System Z) в настоящее время не поддерживает LTFS.
  • Поддерживаются накопители на магнитной ленте корпоративного класса (IBM TS1130, IBM TS1140, Oracle T10000C).

Файловая система LTFS для ленточных библиотек и накопителей корпоративного класса

Изначально система LTFS была предназначена для управления отдельными лентами. 12 июля 2011 года компания IBM объявила о выходе версии системы LTFS для ленточных библиотек Library Edition V2.1. В ней, по сравнению с более ранней версией для одиночных накопителей LTFS Single Drive Edition, была добавлена поддержка библиотек, таких как TS2900, TS3310, TS3100, TS3200, а также крупномасштабной библиотечной системы TS3500, использующих накопители стандарта LTO-5. Система LTFS Library Edition позволяет смонтировать в качестве файловой системы целую ленточную библиотеку, а файловый менеджер осуществляет все автоматические операции и предоставляет доступ ко всему содержимому библиотеки на уровне операционной системы. Поскольку версия LTFS Library Edition основана на спецификации формата LTFS, записанные в ней картриджи на 100% взаимозаменяемы с картриджами, записанными версиями LTFS для одиночных накопителей. Важной функцией данной версии является кэширование индексов лент, что позволяет выполнять операции поиска, запросов и отображения содержимого для любых носителей из ленточной библиотеки IBM без их физического монтирования. 8 ноября 2011 года IBM представила версию системы LTFS Library Edition V2.1.1 для ленточных библиотек IBM LTO-5 с поддержкой накопителя корпоративного класса IBM System Storage TS1140 в составе ленточной библиотеки IBM TS3500. Было также заявлено о поддержке хранения метаданных на диске, о наличии функции восстановления пути к данным (Data Path Failover) для некоторых операционных систем, а также о дополнительных инструментах LTFS. На данный момент IBM является единственным производителем, обеспечивающим совместимость своих ленточных библиотек с форматом LTFS. Сейчас систему LTFS поддерживают такие накопители корпоративного класса, как IBM TS1130, IBM TS1140 и Oracle T10000C. Данные усовершенствования говорят о растущей популярности технологии LTFS, которая распространяется и на корпоративный сегмент хранения данных.

Для удовлетворения запросов корпоративных пользователей в версии LTFS Library Edition предусмотрено следующее:

  • управление метаданными как основная функция, упрощающая отображение метаданных, описывающих содержимое ленточной библиотеки;
  • распознавание картриджей во время монтирования библиотеки и создание папки в файловой системе для каждого картриджа, находящегося в библиотеке;
  • выполнение запланированных заданий и доступ к картриджам с помощью нескольких накопителей, входящих в состав библиотеки 3;
  • предварительное заполнение папок файловой системы информацией о картриджах из кэшированного индекса во время монтирования библиотеки, что позволяет выполнять поиск информации на всех известных системе лентах без физической загрузки картриджей в накопитель.

Краткие сведения о системе LTFS

Запрос содержимого картриджа для ускорения доступа и поиска После первоначальной инвентаризации библиотеки не требуется повторно монтировать картриджи для считывания индексов и основной информации о носителе (метка тома, его серийный номер и т.п.).
Стоимость программного обеспечения LTFS Версия для одиночного накопителя распространяется бесплатно и с открытым исходным кодом. Стоимость и детали поставки версии для библиотек LTFS Library Edition следует уточнять у производителя конкретной ленточной библиотеки.
Где получить программное обеспечение LTFS Загрузить с веб-сайта производителя.
Возможность обновления разделов Доступ к разделам с индексом и с данными, а также их обновление осуществляются независимо. Существенно усовершенствован доступ к небольшим сегментам данных на ленте.
Защита индексного раздела В версии 2 формата LTFS копия индексного раздела периодически создаётся в разделе с данными на той же ленте, на тот случай, если оригинальный индексный раздел окажется нечитаемым.
Совместный доступ к данным Данные, хранимые на ленте, могут быть совместно использованы несколькими приложениями.
Поддержка предыдущих и будущих версий формата LTO Разбиение ленты на разделы было введено в формате LTO поколения 5, поэтому накопители предыдущих поколений, таких как LTO-3 и LTO-4, не поддерживают систему LTFS. В сетевом графике развития формата LTO заявлена поддержка разбиения ленты на разделы для всех будущих накопителей стандарта LTO.
Поддерживаемые операционные системы Apple McIntosh OS X, Windows 7.0, Windows Server 2008 R2 и Linux.
Поддерживаемые ленточные накопители LTO-5, IBM TS1130, IBM TS1140, Oracle T10000C.
Программное обеспечение для управления лентами Дополнительное программное обеспечение и утилиты не требуются.

Источник: Horison, INC.

Приложения, работающие со сверхбольшими объёмами данных, и рост объёмов цифровой информации

Эпоха сверхбольших объёмов данных уже наступила. Ежегодный прирост новых цифровых данных составляет более 40%, а сами данные создаются не только в дата-центрах, как раньше, но и миллионами индивидуальных пользователей, что требует ещё более развитой информационной инфраструктуры. По приблизительной оценке, около 75% всех цифровых данных создаётся частными лицами, а не крупным бизнесом. Однако в конце концов значительная часть этих данных попадает к крупным корпорациям и провайдерам. Кроме того, широкое использование бизнес-аналитики существенно повышает ценность информации, сохраняемой долгое время (цифровых архивов). Значительная часть подобной информации хранится на магнитных лентах, по причине более низкой совокупной стоимости владения и других многочисленных преимуществ ленты над диском. Группа ESG (Enterprise Strategies Group) провела комплексное исследование совокупной стоимости владения для систем резервного копирования, в котором сравнивались ленточная библиотека формата LTO-5 и виртуальная ленточная библиотека на основе дисков SATA с функцией дедупликации. Оказалось, что в отдельных случаях при использовании дисков с дедупликацией совокупная стоимость владения оказывается в 2–4 раза выше, чем при резервном копировании на магнитную ленту. Другие исследования, в которых сравнивалось использование для архивирования дисков и лент, показали, что совокупная стоимость владения для диска может оказаться в 15 раз выше, чем для ленты. Ожидается, что в обозримом будущем этот разрыв увеличится ещё сильнее. («Сравнительное исследование совокупной стоимости владения: виртуальные ленточные библиотеки и реальные магнитные ленты». Марк Петерс, ESG, февраль 2011 г.) Потребность в архивировании и долговременном хранении данных возрастает ежегодно более чем на 60%, и многие компании встают перед выбором стратегии хранения архивов: на дисках, на лентах или на комбинации обоих носителей. В любом случае рост объёмов цифровых данных становится основным стимулом для развития систем хранения класса Tier 3, в особенности для ленточных носителей. Согласно последним исследованиям IDC, опубликованным на сайте Digital Universe в июне 2011 года, объём цифровой информации в мире удваивается менее чем за два года. В 2011 году будет создано, скопировано и растиражировано примерно 1,8 зеттабайт, а к 2015 году объём информации может достичь 7,9 зеттабайт (1x1021). В соответствии с данным исследованием, объём данных в 1,8 зеттабайт эквивалентен тому, что каждому жителю нашей планеты ежедневно делали бы более 215 миллионов снимков ЯМР-томографии с высоким разрешением.

Приложения, работающие со сверхбольшими объёмами данных - ключевой стимул для развития ленточных носителей и хранилищ класса Tier 3

Цифровые ресурсы

Традиционное резервное копирование и восстановление

Архивы электронной почты; примерно 80% объёмов электронной почты составляют вложения

Архивные данные - юридические документы, предназначенные для долгосрочного хранения

Медицинские истории болезни, файлы, изображения

Страховые требования и копии, транзакции на фондовых биржах, банковские записи

Веб-контент, статические изображения, цифровые фотографии

Социальные сети, википедии

Документы, печатные материалы, книги, контракты

Интерактивные видеофайлы (3D, многомерные)

Безопасность / цифровое видеонаблюдение / криминалистика

Цифровое аудио и видео (iPods, MP3, YouTube), спортивное видео

Игры, музыка, кинофильмы, интернет-магазины, наложенные подвижные изображения

Медицинские изображения (трёхмерные ЯМР-томограммы, компьютерные томограммы, распознавание лиц, криминалистика)

Геофизика, геопространственные данные, ГИС, сейсмография, Google Earth и пр.

Постоянный контент и новые возможности архивирования

Автоматические многоярусные хранилища для лент и дисков (программное обеспечение для иерархического управления носителями, основанное на политиках)

Усовершенствованное разбиение ленты на разделы для более быстрого доступа к файлам

Облачные архивные службы с использованием магнитных лент для снижения стоимости и повышения надёжности хранения

Источник: Horison, INC.

Для многих приложений срок хранения данных стал бесконечным (это означает, что данные не будут удалены никогда), что ведёт к дальнейшему увеличению необходимого объёма цифрового архива.

Всё больше и больше правительственных, нормативных и правовых документов по всему миру регламентируют способы управления и защиты данных, а также предписывают сроки хранения информации, повышая требования к хранилищам. Например, некоторую медицинскую информацию, такую как рентгенограммы и ЯМР-томограммы, следует хранить на протяжении всего срока жизни пациента, хотя обращаться к данной информации будут крайне редко или вообще никогда. Система LTFS изначально вызвала интерес у работников индустрии развлечений для хранения, редактирования и доступа к видеозаписям, фильмам, трансляциям и аудиофайлам, однако это лишь начало. Независимые производители программного обеспечения и конечные пользователи могут использовать API (прикладной программный интерфейс) системы LTFS для оптимизации последовательности выполняемых действий под самые разные приложения. Заказчики и разработчики программного обеспечения используют систему LTFS самыми разными способами, что продемонстрировано в следующих примерах.

Пример использования LTFS - хранение видео в облачном архиве с использованием LTFS Компания Thought Equity Motion с штаб-квартирой в Денвере, Колорадо расширяет видеохостинг, чтобы предоставить возможности хранения видео корпоративного класса в облаке. Компания применила ленточную библиотеку IBM System Storage TS3200 с системой LTFS в качестве экономичного, совместимого, гибкого и эффективного решения для архивирования. Проект включает в себя сканирование более чем 150 миллионов отдельных файлов в формате DPX (цифровой формат обмена изображениями) и запись их на носители LTO-5 в формате LTFS. Данный видеоролик является хорошим примером предоставления услуг по хранению данных в облаке на магнитной ленте. Подобная технология получит ещё более широкое распространение в будущем. Это приложение более подробно описано по приведённой ниже ссылке:

Thought Equity Motion now T3Media

Пример поддержки LTFS производителем оборудования - Crossroad Systems представляет новую модель устройства для недорогого архивного хранения файлов

Компания Crossroads Systems, Inc. со штаб-квартирой в Остине, Техас представила архитектуру StrongBox с использованием системы LTFS, которая поднимает на новый уровень хранение информации на магнитных лентах как для конечных пользователей, так и для провайдеров облачных систем. Система StrongBox была разработана для экономичного и высоконадёжного долговременного хранения данных и представляет собой традиционное сетевое хранилище NAS, однако реализована на ленточных накопителях с файловой системой LTFS. Для доступа к файлу на магнитной ленте ранее в некоторых случаях приходилось копировать его на диск и лишь затем передавать данные на запрашивающий компьютер. При использовании хранилища Crossroads StrongBox с файловой системой LTFS доступ к файлам осуществляется непосредственно с ленточного носителя. Не требуетоя вносить никаких изменений в приложения, а также появляется возможность обзора всех файлов, хранящихся на лентах в библиотеке. Система StrongBox удачно сочетает функциональность дисковых хранилищ с экономической эффективностью ленточных библиотек.

http://www.crossroads.com/

Направления дальнейшего развития хранилищ на магнитных лентах

Развитие магнитной ленты продолжается. Начиная со стандарта LTO Ultrium поколения 3, появились ленты WORM («однократная запись, многократное считывание»), удовлетворяющие требованиям безопасности и нормативно-правовым документам. Начиная со стандарта LTO поколения 4, для обеспечения безопасности и защиты конфиденциальной информации было введено шифрование информации на ленточных носителях. Начиная со стандарта LTO поколения 5, формат LTFS открывает новые возможности и позволяет пользователям разрабатывать экономически высокоэффективные решения для самых разных применений.

Ключевые факторы, определяющие будущее носителей на магнитной ленте

Лента становится более надёжной, чем диск

BER (частота появления ошибочных битов) - отношение количества аппаратных ошибок чтения к количеству считанных битов
T10000x
TS11xx
LTO-5
Корпоративные FC/SAS
Корпоративные SATA
Настольные SATA
1x1019 бит
1x1019 бит
1x1017 бит
1x1016 бит
1x1015 бит
1x1014 бит
BER лент



BER дисков
Ёмкость и скорость передачи данныхРазработано уже пятое поколение приобретающего всё большую популярность семейства ленточных накопителей LTO, и ещё три будущих поколения описаны в сетевом графике развития формата LTO. Носители формата LTO-5 имеют нативную ёмкость 1,5 ТБ (3,0 ТБ с компрессией 2:1) и скорость передачи данных 140 МБ/с (280 МБ/с с компрессией). На сегодняшний день более 85% всех производимых накопителей относятся к семейству LTO.
Перспективы увеличения ёмкостиВ пользу лент по сравнению с дисками говорит разработка носителей ёмкостью 35 ТБ, продемонстрированных компаниями Fujifilm и IBM.
Безопасность Для повышения уровня безопасности и защиты данных ленточные накопители LTO-5 оснащены функцией однократной записи/многократного считывания WORM и функцией шифрования.
Срок службы носителейДолговечность хранения всех новых ленточных носителей и носителей LTO-5 корпоративного класса определена в 30 лет и более. Срок службы диска до замены обычно составляет 3-5 лет.
Минимизация операций поиска файла на лентеНакопитель с системой LTFS разбивает магнитную ленту на два отдельных, индивидуально адресуемых, неравных раздела. Первый быстро считываемый раздел содержит описательные метаданные, предназначенные для ускоренного поиска данных, содержащихся во втором разделе (аналог произвольного доступа).
Энергонезависимое хранение данных (экологичность)Большинство дата-центров, предоставляющих услугу архивного хранения данных, следуют принципу: «Когда данные не используются, на их хранение не должна расходоваться электроэнергия». В этом вопросе магнитная лента имеет неоспоримое преимущество перед диском.
Совокупная стоимость владенияСовокупная стоимость владения для ленты по сравнению с диском в 4 раза меньше при использовании для резервного копирования и в 15 раз меньше при использовании для архивного хранения данных.

Источник: Horison, INC.

С ростом ёмкости картриджей и количества файлов на одной магнитной ленте всё большее значение приобретают усовершенствованное управление лентами и ускоренный доступ к файлам, которые и обеспечивает файловая система LTFS. Компании Fujifilm и IBM уже продемонстрировали возможность создания картриджа ёмкостью 35 ТБ с лентой на основе феррита бария, что открывает долговременные перспективы для хранения данных на магнитных лентах. Кроме того, в результате совместных разработок было получено несколько интересных новых технологий, в том числе улучшенный прецизионный контроль положения магнитной головки чтения-записи, более чем 25-кратное увеличение количества дорожек, новые методы детектирования для более точного чтения и новая головка чтения-записи с пониженным трением. Эти усовершенствования стали заметными шагами к достижению плотности записи на ленте 100 миллиардов бит на квадратный дюйм и выше.

Заключение

За последние годы магнитная лента укрепила свои позиции как предпочтительный носитель для хранилищ класса tier 3. С появлением файловой системы LTFS лента по функциональности приближается к диску, однако остаётся более экономически эффективной. Отличительными особенностями ленты по сравнению с дисками являются существенно меньшая совокупная стоимость владения, более высокая надёжность, более продолжительный срок службы носителей, лучшая производительность при обработке потоков данных и существенно меньшее энергопотребление. В результате прогресса за последние 10 лет индустрия магнитных лент агрессивно завоёвывает растущий сегмент рынка носителей для хранилищ класса tier 3, в которых в настоящее время хранится более 65% мирового объёма цифровых данных, и эта доля постоянно увеличивается. Последние технологические достижения в индустрии магнитных лент доказывают, что лента является и в будущем останется более экономически эффективным решением, чем диск, для хранения сверхбольших объёмов архивных данных и контента, как в локальных хранилищах, так и в облаке. На протяжении своей истории магнитные ленты совершенствовались в направлении увеличения скорости передачи данных и ёмкости носителей, однако все усовершенствования были основаны на архитектуре последовательного доступа. С появлением файловой системы LTFS традиционные направления развития ленточных технологий кардинально изменились. Новый способ доступа к файлам открыл невиданные ранее перспективы в построении недорогих и эффективных хранилищ для больших объёмов данных.

Хранение информации на ленточных накопителях.

DITAPE.RU
© 2009-2017
Проект компании DILARIS