Хранение информации на ленточных накопителях
+7 (495) 514-70-07
Главная » Технологии » Международный перспективный план развития систем хранения на магнитной ленте. Часть 1
Стандарты
дата картриджей
Наиболее распространенные стандарты дата картриджей
Производители дата картриджей
Наиболее распространенные стандарты дата картриджей
  • Дата картриджи LTO Ultrium
  • Дата картриджи IBM 3592/ IBM 3590
  • Дата картриджи 4mm / DDS / DAT72
  • Дата картриджи AIT / SAIT
  • Дата картриджи 8mm / ЕXABYTE
  • Дата картриджи QIC 1/4 Inch / TRAVAN
  • Дата картриджи DLT / SUPER DLT / S4
  • Дата картриджи SLR / TANDBERG
Международный перспективный план развития систем хранения на магнитной ленте. Часть 1

Оглавление

Международный перспективный план развития систем хранения на магнитной ленте. Часть 1

Международный перспективный план развития систем хранения на магнитной ленте. Часть 2

Международный перспективный план развития систем хранения на магнитной ленте. Часть 3

Международный перспективный план развития систем хранения на магнитной ленте. Часть 4

Международный перспективный план развития систем хранения на магнитной ленте. Часть 5



1.0 ПРИЛОЖЕНИЯ И СИСТЕМЫ

Участники

Барри Шехтман (Barry Schechtman), INSIC (заведующий отделом)

Дон Петерсон (Don Peterson), Symantec

Уилл Куоллс (Will Qualls), Imation

Молли Ректор (Molly Rector), Spectra Logic

Пол Шоэр (Paul Scheuer), IBM

Бет Уокер (Beth Walker), Spectra Logic

Род Уайдман (Rod Wideman), Quantum

Том Вултич (Tom Wultich), Oracle

Дейв Войто (Dave Woito), Hewlett-Packard

1.1 Введение

Несмотря на получившие некоторое распространение предсказания скорого заката накопителей на магнитных лентах в результате конкурентного давления со стороны индустрии дисковых накопителей, ленточные ЗУ способны еще на многое. Поэтому восстановление для них статуса подходящей среды для хранения информации может принести в будущем значительную выгоду, особенно в контексте длительного хранения информации. Роль ленточных накопителей сместилась от исторически сложившегося использования в качестве среды, главным образом предназначенной для кратковременного резервирования, к среде, выполняющей гораздо более широкий спектр задач хранения данных. К таким задачам относятся: создание активных архивов (самый многообещающий в плане роста сегмент рынка), соблюдение требований регулирующих органов (около 20% - 25% генерируемых в процессе деятельности коммерческих данных необходимо хранить в течение определенного, часто длительного, промежутка времени, с целью выполнения требований регулирующих органов) [1], а также аварийное восстановление, которое традиционно требует применения ленточных накопителей информации. С наступлением эпохи облачных вычислений и присущей ей консолидации данных в крупные системы, используемые облачными хранилищами, появляется еще одна функция магнитной ленты – транспортная, т.е. двухстороннее перемещение данных в среду удаленных вычислений для организаций, работающих с крупными объемами информации.

Пригодность и привлекательность магнитной ленты для более широкой области применения (помимо резервного копирования), включая, наряду с обеспечением соответствия требованиям регулирующих органов и аварийного восстановления, пожалуй, наиболее важную функцию активного архивирования, обеспечивается такими свойствами ЗУ на магнитных лентах, разработанными в последнее время, как шифрование и технология LTFS (файловая система с доступом к ленточным накопителям с линейной записью) [2, 3], облегчающая доступ к файлам. Более того, как среди производителей оборудования для хранения, так и в кругу пользователей постепенно растет понимание того факта, что задачи архивирования и резервного копирования не являются одним и тем же: они имеют перед собой разные цели и потому предъявляют различные требования к используемым системам хранения данных.

Оптимальное применение ленточных накопителей требует адаптации системы хранения данных к различным сценариям использования и подбора к обрабатываемым данным соответствующего типа носителя. К преимуществам магнитной ленты в этом плане относятся: низкая первоначальная стоимость, низкие эксплуатационные расходы (энергоснабжение, охлаждение и кадровое обеспечение [4, 5, 6]), высокая надежность данных, долговечность хранения информации, переносимость данных и высокая скорость потоковой передачи. Для некоторых типов данных, таких как информация, сохраняемая в целях соответствия требованиям регулирующих органов, или информация, обрабатываемая в определенных вычислительных средах, магнитная лента может стать наилучшим хранилищем, даже в качестве основной памяти.

Важным элементом правильной конфигурации системы хранения данных является обеспечение «ярусности» информации, т.е. разделение хранимых данных по категориям использования и сопоставление выделенным категориям определенного типа носителя. Такой подход позволяет оптимизировать соотношение цена/производительность для системы путем размещения данных, требующих быстрый доступ, на более дорогих ярусах, а данных, не требующих быстрый доступ, - на самый малозатратный ярус, соответствующий магнитной ленте. Дисковые накопители также могут использоваться в качестве буфера для оптимизации производительности системы, т.е. данные могут сначала записываться на диск, а затем переносится с дисков на магнитную ленту. Способ, с помощью которого накопители на магнитной ленте интегрируются в систему многоуровневого хранения информации, зависит от используемых функций ленты. Нижеприведенные примеры применения магнитной ленты предполагают реализацию мультиплатформенной архитектуры системы хранения данных, включающей в себя как носители на магнитной ленте, так и дисковые накопители:

  • Для задач резервного копирования и восстановления информации магнитная лента располагается главным образом на третьем ярусе с реализованной архитектурой перемещения данных "диск-диск-лента". Аналитические исследования показывают, что 95% задач по восстановлению данных возникают в течение первых двух недель после создания этих данных [7], что делает дисковые накопители идеальной средой кратковременного хранения информации, учитывая возможность произвольного доступа к данным, хранящимся на диске. Магнитная лента при этом является экономичной и высоконадежной средой хранения данных, не требующих частого к ним доступа.
  • При выполнении задач аварийного восстановления (DR) магнитная лента является источником первичных данных, что до сих пор считается одной из традиционных областей применения ленты. В ярусной системе хранения данных DR обычно реализуется как функция третьего яруса. Как уже было сказано выше, магнитная лента представляет собой экономичную и высоконадежную среду для хранения редко используемых данных и обладает преимуществом высокой мобильности, что позволяет держать одну копию в месте, удаленном от центра обработки данных. Более того, магнитная лента обладает возможностью скоростной потоковой передачи больших объемов информации, что делает ее наиболее подходящей для аварийного восстановления, обычно требующего перемещения значительных объемов данных.
  • При активном архивировании, когда данные перемещаются с основного диска, копия на магнитной ленте служит в качестве основной, что позволяет обеспечить постоянный доступ ко всем данным. Обычно информация переводится на ленту на 2 или 3 ярусе. Такой подход отражает тенденцию роста применения магнитной ленты для полуоперативного получения информации, используемой не так часто, как данные, хранящиеся на дисках. Магнитная лента является более надежным носителем, чем диск, и обладает более длительным сроком архивного хранения наряду с меньшими требованиями к энергоснабжению и охлаждению. При получении данных время ожидания составляет всего несколько минут – в современных автоматических системах две минуты или менее.
  • Магнитная лента также является лучшим выбором для обеспечения соответствия требованиям регулирующих органов, задействующего два яруса в иерархии системы хранения данных, которые соответствуют записи на дисковые накопители, перед перемещением информации на ленту на третичном ярусе. Принимая во внимание высокую надежность и возможность долгосрочного хранения данных, наряду с низкой стоимостью, магнитная лента может считать идеальной средой для хранения данных в течение длительного периода времени для обеспечения соответствия нормативным требованиям.

Ленточные накопители играют существенную роль в облачных вычислениях. С практической точки зрения, копия всех или большей части данных, хранимых в удаленной среде на дисках, обычно перемещается на магнитную ленту, если принимать во внимание случаи, когда данные, хранящиеся исключительно на дисках, ставятся под угрозу потери. Другой причиной использования магнитной ленты в облачных средах хранения информации являются расходы на поставщика услуг хранения данных, так как лента является менее затратной, чем диски, в плане первоначальных капитальных вложений и текущих операционных расходов. Малое энергопотребление магнитной ленты является значительным фактором, дающим преимущество в цене, важность которого возрастает со временем.

Кроме того, многочисленные рынки с вертикальной структурой, для которых как нельзя лучше подходят свойства систем хранения данных на ленточных накопителях, в настоящее время активно развивают возможности архивирования для защиты информации. К таким рынкам относятся, например, радио и телевидение, а также индустрия развлечений, здравоохранение, геологоразведка, видеонаблюдение и уголовное судопроизводство.

За последние несколько лет развитие технологии хранения информации на ленточных носителях показало впечатляющие результаты. Несмотря на прогнозы некоторого снижения доходов от поставок ленточных накопителей, доля магнитной ленты в мировом сегменте хранения информации будет оставаться довольно значительной. Непрерывный процесс роста объемов генерируемых цифровых данных хорошо зафиксирован документально. Являясь частью этого процесса, объемы данных, хранимых на ленточных накопителях, будут увеличиваться в период с 2010 по 2015г. со среднегодовым темпом роста (CAGR) 45 % (см. Рисунок 1).

График, представленный на Рисунке 1, взят из исследования, проведенного лабораторией Enterprise Strategy Group (ESG) [8]. Согласно этому графику, по меньшей мере, одна копия данных в среде удаленных вычислений хранится на магнитной ленте. Обеспечение непрерывности оказания услуг клиентам в передовой практике подразумевает создание нескольких копий данных. При этом, по меньшей мере, одна копия должна храниться в автономном режиме (т.е. на магнитной ленте). Принимая во внимание данное правило, поставщики услуг удаленного хранения данных могут выделить под хранение на магнитной ленте более одной копии данных. Ключевым моментом здесь является тот факт, что в свете любых обоснованных предположений магнитная лента, благодаря преимуществу в цене, будет играть основную роль в облачном хранилище данных.

Прогнозируемый рост объема данных, хранимых на ленточных накопителях

Рисунок 1: Прогнозируемый рост объема данных, хранимых на ленточных накопителях [8].

Будущий успех хранения данных на ленточных носителях очень сильно зависит от поддержания низкой стоимости среды хранения и непрерывного совершенствования технологии в области, как плотности записи данных, так и скорости передачи информации. Недавние лабораторные исследования показывают, что потенциал дальнейшего совершенствования технологии измеряется десятикратным множителем и, в отличие от дисковых накопителей, все еще далек от достижения технологических пределов по плотности записи [9, 10]. Более того, способы получения больших плотностей записи информации, достигающих 100 Гбит/кв.дюйм, уже обсуждались и были признаны вполне многообещающими [11]. При этом, развитие технологии записи на магнитную ленты потребует обращения к различным трудным в обработке материалам и преодоления сложных задач проектирования аппаратной части, что в свою очередь говорит о необходимости непрерывных капиталовложений индустрии в научно-исследовательские разработки. Детально эти задачи рассматриваются в следующих разделах данной работы.

В дополнение к проектному совершенствованию лежащей в основе аппаратной части технологии ожидается, что поставщики автоматических систем хранения данных на ленточных накопителях продолжат уделять достаточно внимания растущим требованиям пользователей к емкости записи. К важнейшим аспектам относятся:

  • Высокая доступность данных на магнитной ленте: благодаря возможности хранить больше метаданных, осуществлять навигацию по данным, записанным на ленту, становится проще и быстрее.
  • Переход от форматов ленты, заказываемых под конкретное приложение (используемых, к примеру, многими приложениями резервного копирования), к устройствам с более обобщенными файловыми системами (такими как LTFS) позволяет считывать данные с магнитной ленты так же, как с диска.
  • Упрощение процессов миграции данных к новым поколениям развития технологии.

В данной работе детально рассмотрены рыночные тенденции, анализ и результирующее ценовое преимущество магнитной ленты при долгосрочном хранении данных, сценарии использования и примеры, в которых магнитная лента играет ключевую роль, а также системные возможности, позволяющие наилучшим образом воспользоваться преимуществами ленточных накопителей, и сравнение с конкурирующими технологиями.

1.2 Тенденции рынка

Рыночные тенденции, относящиеся к хранению информации на ленточных носителях или к хранению данных в целом, достаточно трудно проанализировать без учета ошеломительного роста объемов генерируемой информации. Проще говоря, рост объемов данных продолжает представлять такую важность, что будущее количество обрабатываемой информации практически не поддается описанию в единицах емкости, используемых для характеристики сегодняшних систем хранения данных.

Данный феномен подтверждается недавними исследованиями. В частности, в опубликованных результатах исследования Университета Южной Калифорнии [12] проводится оценка «мировой технологической емкости для хранения, передачи и обработки информации» за период с 1986 по 2007 год. В данном отчете не учитывается уникальность информации, но предполагается, что все данные «представляют некоторую важность для того или иного пользователя». Процесс хранения определяется в работе как «ведение информации в течение некоторого значительного промежутка времени для последующего извлечения ее в первоначальном виде…». При этом в отчете делается акцент на доступной емкости для хранения данных (а не на возможных объемах самой информации). Прогнозируемая емкость хранения также основана на «оптимально сжимаемом» объеме (т.е. наиболее подходящий вид сжатия выбирается на основе типа информации и временного интервала для хранения).

На рисунке 2 представлена общая статистика по данному отчету. Анализируя диаграмму, можно сделать следующие наблюдения: в 1986 году менее 2% мировой емкости для хранения информации, достигающей 2,64 миллиарда MB (или 2,64 EB), приходилось на цифровые носители, Тогда как в 1007 году это соотношение сместилось в пользу цифровых носителей и составило 94% при емкости 295 миллиардов MB. Другим наблюдением является общий рост емкости хранения более чем на два порядка, что представляет невероятную цифру, превышающую 11,000%.

Более детальное изучение материалов исследования показывает, что выбор емкости подмножества жестких дисков и ленточных накопителей также демонстрирует потрясающий рост ёмкости хранения, как показано на Рисунке 3. Только для 2007 года авторы работы рассчитали, что доли мировой емкости хранения информации на всех типах жестких дисков и магнитной ленте с цифровой записью составляют 52% и 11% соответственно.

Мировая технологическая установленная емкость для хранения информации

Рисунок 2: Мировая технологическая установленная емкость для хранения информации [12].

Мировая технологическая установленная емкость для хранения информации – подмножество (в MB)

Рисунок 3: Мировая технологическая установленная емкость для хранения информации – подмножество (в MB) [12].

Согласно исследованию, проведенному IDC при финансовой поддержке EMC и опубликованному в мае 2010 года, общий аккумулированный объем генерируемой и копируемой информации в период с 2009 по 2020 год вырастет в 44 раза, составив в 2020 году величину, равную 35 ZB (1 ZB = 1021 байт или триллион гигабайт) [13].

Более того, в отчете показано, что за упомянутый период времени будет увеличение разрыва между объемом генерируемых цифровых данных и доступной для хранения емкостью цифровых ЗУ. При этом разрыв достигнет такой степени, что доступной емкости хватит на хранение меньше половины сгенерированных данных (см. рисунок 4).

Разрыв, образовавшийся между объемом цифровой информации и доступной емкостью цифровых запоминающих устройств

Рисунок 4: Разрыв, образовавшийся между объемом цифровой информации и доступной емкостью цифровых запоминающих устройств [13].

Несмотря на то, что работу [13] можно подвергнуть критике, поскольку в ней не учитываются собственные выводы Университета Калифорнии о том, что «преобладающие объемы генерируемых данных не попадают в область коммерческих отношений» [14], уже ясно, что объемы данных растут беспрепятственно.

Рисунок 5 демонстрирует рост емкости цифровых архивов, спрогнозированный лабораторией Enterprise Strategy Group (ESG). На диаграмме несложно увидеть почти 20-кратное увеличение емкости за период времени с 2008 по 2015 год, достигающей отметки в 303,000 PB [15].

Несмотря на то, что упомянутые отчеты разнятся в своих оценках и прогнозах (например, согласно прогнозу IDC на 2015 год емкость цифровых накопителей будет составлять от 5,000,000 и 10,000,000 PB, тогда как, по оценке ESG данная величина составит только 303,000 PB), общая тенденция остается довольно ясной: мы имеем дело с исключительным ростом.

Мировая емкость цифровых архивов, 2008-2015

Рисунок 5: Мировая емкость цифровых архивов, 2008-2015 [15].

Еще одним поразительным выводом из проведенных исследований, помимо простого увеличения объема данных, является скорость роста объема данных, темпы увеличения которой превосходят все сделанные ранее прогнозы. Например, сравнивая данные Рисунка 5 с аналогичным прогнозом, сделанным в 2007 году [16] (см. Рисунок 6), можно заметить, что «фактическая» емкость в 2010 году (т.е. 33,217 PB) превышает прогнозное значение, данное в 2007 году (около 27,000 PB), приблизительно на 23%. Таким же образом различаются значения, данные для 2009 года (превышение фактического значение приблизительно на 50% превышает прогнозное) и 2008 года (превышение реального значение на 88% больше данного ранее прогноза). Это говорит о том, что темпы роста в период с 2008 по 2010 год наблюдались гораздо выше, чем ожидалось, несмотря на тот факт, что указанный период отмечен достаточной тяжелым для мировой экономики положением. Если тенденция сохранится, то прогнозы, сделанные на 2011 год, также могут оказаться значительно заниженными, что означает гораздо более раннее появление устройств огромной емкости для хранения данных.

Мировая емкость цифровых архивов, 2006-2010

Рисунок 6: Мировая емкость цифровых архивов, 2006-2010 [16].

Процесс хранения данных и выбор лежащей в основе данного процесса технологии должны иметь перед собой три независимые друг от друга задачи: (1) кратковременное копирование/восстановление данных, (2) долгосрочное хранение/восстановление, и (3) аварийное восстановление. Как результат такого разделения, указанные задачи хранения информации предъявляют различные требования к тому, как данные должны использоваться и управляться. Например, в отношении копирования/восстановления, на Рисунке 7 представлены результаты недавнего исследования, проведенного лабораторией ESG среди 510 респондентов. Согласно полученным выводам, 95% респондентов отметили, что возраст восстановленных данных для них составляет менее двух недель, а более половины (58%) указали, что их восстановленная информация не старше двух дней [7].

Стандартный возраст восстановленных данных

Рисунок 7: Стандартный возраст восстановленных данных [7].

Далее, согласно результатам того же исследования, почти три четверти (73%) резервных данных хранится на диске в течение шести месяцев или менее перед истечением срока хранения или перемещением на долгосрочное сохранение (см. рисунок 8). Таким образом, несмотря на то, что 95% запросов на восстановление появляются, когда данные имеют возраст менее двух недель, 68% респондентов сохраняют резервные данные в течение одного месяца или дольше, включая 20% тех, кто хранит данные более года. Очевидно, что такой долгий срок хранения информации существует не по необходимости, а просто потому, что так стало удобно. Фактически, как видно из исследования лаборатории ESG, проведенного двумя годами ранее, 66% респондентов в 2008 году держали резервные данные у себя на диске только в течение одной недели, что указывает на то, что с тех пор более продолжительное время хранения информации на диске сильно увеличилось, благодаря таким экономичным технологиям резервного копирования на базе дисковых накопителей, как дедупликация данных.

Такой тип хранения фактически является более ярким примером архивирования, чем резервное копирование. Многие пользователи не имеют формальной архитектуры для создания архива, поэтому в качестве решения для архивирования они продолжают полагаться на свои старые резервные копии. Также следует отметить, что изначально дедупликация была разработана исключительно для резервных копий, но при этом существует несколько примеров, когда данный процесс применяется для сокращения первичных данных для хранения. Однако, время, требуемое для восстановления данных перед использованием их приложением, делает такой поход неприемлемым во многих средах обработки информации.

Длительность хранения резервных данных

Рисунок 8: Длительность хранения резервных данных (следует отметить, что круг респондентов в данном исследовании был ограничен компаниями, стремившимися заменить ленточные накопители на дисковые, поэтому полученные результаты не представляют весь спектр IT-менеджеров) [7].

Запись на диск или магнитную ленту является функцией программного приложения и иногда также частью сетевой конфигурации, используемой для подготовки и управления потоком данных. Приложения, предназначенные для кратковременного резервирования информации, в последнее время рассматривают дисковые накопители в качестве целевых устройств для хранения. С другой стороны, приложения, специально разработанные для архивного хранения данных, поддерживают и ленточные накопители в качестве целевого устройства, используя, таким образом, преимущества магнитной ленты.

Неправильные методы управления данными и дисковыми накопителями также вносят свой вклад в долю объема информации, записываемой на диски. Исследования показывают, что правильно используются около 30% данных, хранящихся на дисках, в то время как «около 40 процентов данных являются неактивными… 15 процентов информации обнаруживается, но не используется; и 10 процентов данных являются потерянными, что означает, что владельцы данных больше не работают в организации. Еще 5 процентов данных используются неправильно» [17]. Графически эти результаты представлены на Рисунке 9.

Использование дисковых накопителей для хранения различных категорий данных

Рисунок 9: Использование дисковых накопителей для хранения различных категорий данных [17].

Хранение информации на ленточных накопителях.

DITAPE.RU
© 2009-2017
Проект компании DILARIS