Термин «миграция данных в облако» обозначает процесс перемещения существующих локальных данных в новое облачное хранилище. Большинству приложений в процессе перемещения в облако потребуются носители данных.
При миграции хранилища обычно следуют одному из трех подходов, но некоторые организации могут использовать все три подхода одновременно.
Перемещение за одну операцию.
Этот тип перемещения может потребоваться перед запуском новых рабочих нагрузок в облаке.
Гибридная модель со смещением к локальным ресурсам.
Хранилища устаревших данных при таком подходе можно переносить в облако постепенно.
Гибридная модель со смещением к облаку.
Гибридный подход обычно возникает в результате создания новых облачных проектов в сочетании с устаревшими локальными данными.
Для большинства проектов перспектива переноса данных выглядит довольно устрашающе. Как быстро и аккуратно перенести данные из текущего местоположения в новое облако с минимальными сбоями, финансовыми и временными затратами? Есть ли оптимальный способ переноса гигабайтов, терабайтов или петабайтов данных?
Основной вопрос заключается в том, какой объем данных можно перенести, на какое расстояние и за какое время. Для расчета оптимистичного варианта воспользуйтесь следующей формулой:
Количество дней = (Общее кол-во байт)/(Мегабиты в секунду * 125 * 1000 * Использование сети * 60 секунд * 60 минут * 24 часа)
Например, при наличии подключения T1 (1,544 Мбит/с) и необходимости перемещения 1 ТБ данных (1024 * 1024 * 1024 * 1024 байт) в облако AWS или из него минимальное время загрузки данных с помощью этого сетевого подключения теоретически составит 82 дня при 80 % использовании сети.
Не переживайте. Мы это уже делали. Мы обнаружили, что клиенты применяют два основных подхода: используют очень простые неуправляемые средства миграции для перемещения данных или выбирают один из пакетов Amazon.
В качестве общего правила мы рекомендуем следующее.
| Соединение | Объем данных | Инструменты |
| Менее 10 Мбит/с | Менее 500 ГБ | Неуправляемые |
| Более 10 Мбит/с | Более 500 ГБ | Управляемые |
Существуют простые инструменты для быстрого перемещения небольших объемов данных из вашего хранилища в облачное хранилище Amazon.
- rsync. Клиенты используют этот инструмент с открытым исходным кодом для копирования данных непосредственно в корзины S3.
- Интерфейс командной строки (CLI) S3. Клиенты используют интерфейс CLI сервиса Amazon S3 для написания команд перемещения данных в корзины S3.
- Интерфейс командной строки Glacier. Клиенты используют интерфейс CLI сервиса Amazon Glacier для переноса данных в хранилища Glacier.
Пакет сервисов для миграции, созданный компанией Amazon, включает множество различных инструментов, которые помогают эффективно выполнить данную задачу. Их можно разделить на две категории.
- Оптимизация или замена Интернета. Нельзя недооценивать пропускную способность мчащегося по шоссе грузовика, до отказа забитого дисками. Эти способы идеальны для перемещения больших архивов, озер данных или в случаях, когда пропускная способность или объемы данных делают перемещение невозможным.
- Дружественные интерфейсы для сервиса S3. Эти инструменты упрощают использование сервиса S3 с существующими собственными приложениями. Вместо переноса больших наборов данных за один раз они помогают интегрировать существующие процессы, такие как резервное копирование и восстановление или непрерывные потоки данных Интернета вещей, непосредственно с облачным хранилищем.
| Вам требуется: | Рекомендуем: |
|---|---|
| Оптимизация или замена подключения к Интернету для: |
|
прямого подключения к региональному центру обработки данных AWS |
AWS Direct Connect |
Пакетный перенос в облако петабайтов данных |
AWS Import/Export Snowball |
Миграции повторяющихся заданий с инкрементными изменениями на большие расстояния |
Amazon S3 Transfer Acceleration |
| Дружественный интерфейс подключения к S3 для |
|
кэширования данных локально в гибридной модели (в целях оптимизации производительности) |
Шлюзы (от компании AWS или партнеров) |
переноса резервных копий и архивов в облако с минимальными сбоями |
Технологическое партнерство |
сбора данных из различных источников потоковой передачи |
Amazon Kinesis Firehose |
Для оптимального результата можно комбинировать эти сервисы. Например:
несколько запущенных параллельно заданий Snowball;
Direct Connect и технологическое партнерство;
Direct Connect и Transfer Acceleration;
Transfer Acceleration и Storage Gateway или технологическое партнерство.
Нужна помощь в вашем конкретном случае? Мы готовы помочь.
Эти инструменты миграции оптимизируют или заменяют использование Интернета при одноразовом переносе данных из текущего местоположения непосредственно в центры обработки данных Amazon. Они не поддерживают API или возможность разработки, а передача данных может повлиять на существующие локальные процессы.
Узнайте о пакетах партнеров Direct Connect, которые помогут распространить локальные технологии в облако.
Клиенты выбирают выделенное физическое подключение Direct Connect для ускорения передачи данных по сети между собственными и нашими центрами обработки данных.
AWS Direct Connect позволяет установить выделенное сетевое соединение между вашей корпоративной сетью и одним из местоположений AWS Direct Connect. Использование стандартных виртуальных локальных сетей 802.1q позволяет разбить такое выделенное соединение на несколько виртуальных интерфейсов. Это дает возможность использовать одно и то же соединение как для доступа к публичным ресурсам (например, объектам Amazon S3) с использованием пространства публичных IP-адресов, так и к частным ресурсам (например, инстансам Amazon EC2), работающим в Amazon Virtual Private Cloud (VPC), с использованием пространства частных IP-адресов, и при этом поддерживать разделение сети на публичную и частную среду. Виртуальные интерфейсы в любое время можно перенастроить в соответствии с вашими меняющимися потребностями.
Подробнее о сервисе Direct Connect.
Snowball – это решение для перемещения данных в масштабе нескольких петабайтов, в котором используются безопасные средства передачи больших объемов данных в облако AWS и из него. Использование Snowball решает целый ряд проблем, связанных с передачей больших объемов данных, в том числе проблему высокой стоимости передачи данных по сети, длительной передачи, а также проблемы безопасности. Передача данных посредством Snowball выполняется просто, быстро, безопасно и приблизительно в пять раз дешевле, чем при использовании скоростного Интернета.
Подробнее о сервисе Snowball.
|
|||||||||||||||||
Сервис Amazon S3 Transfer Acceleration ускоряет передачу данных из публичного Интернета в Amazon S3. Вы можете максимально увеличить доступную вам пропускную способность независимо от расстояния и качества связи в Интернете, не используя специальные клиенты и проприетарные сетевые протоколы. Просто смените URL сервера, используемый вашей корзиной S3, и ускорение будет применено автоматически.
Сервис идеально подходит для повторяющихся заданий с переносом данных по всему миру, таких как загрузка мультимедиа, резервное копирование и задачи по обработке локальных данных, регулярно пересылаемых в центральное местоположение.
Подробнее о Transfer Acceleration
Иногда сбои просто неприемлемы. Данные сервисы прекрасно подойдут в случаях, когда хранилища устаревших данных планируется перемещать поэтапно со временем или когда новые данные собираются из нескольких источников вне облака. Эти сервисы для миграции могут использовать или дополнять текущие установки, например ПО для резервного копирования и восстановления или сети хранения данных (SAN). Кроме того, вы можете внедрить сервис AWS Firehose в собственные приложения.
Шлюз располагается локально и соединяет вашу среду с облаком AWS. Это идеальное решение для гибридных сценариев, когда некоторая часть хранилища нужна локально для оптимальной производительности или соответствия требованиям, а другая часть может быть выгружена в сервис S3.
Комбинация сервиса AWS Direct Connect и вашего шлюза обеспечит оптимальную производительность.
Сервис AWS Storage Gateway упрощает локальное внедрение хранилища AWS. Ваши существующие приложения используют стандартные протоколы хранения для подключения к программному средству, хранящему ваши данные в сервисах Amazon S3 и Amazon Glacier.
- Данные сжимаются и передаются в облако AWS в защищенном виде.
- Конфигурации сети хранения данных (SAN) предлагают сохраненные или кэшированные устройства с резервным копированием на момент времени в виде снимков состояния Amazon EBS.
- Конфигурация виртуальной ленточной библиотеки (VTL) работает с существующим ПО для резервного копирования, реализуя низкозатратное резервное копирование в сервис Amazon S3 и долгосрочное архивирование в сервисе Amazon Glacier.
Подробнее о сервисе AWS Storage Gateway.
Компания AWS сотрудничает со многими отраслевыми поставщиками физических шлюзов, которые соединяют традиционное резервное копирование с облаком. Свяжите существующие локальные данные с облаком Amazon, чтобы выполнить перемещение, не влияя на производительность и сохраняя существующие каталоги резервных копий.
- Легко встраивается в существующую инфраструктуру.
- Может предлагать дедупликацию, сжатие, шифрование или ускорение сети WAN.
- Кэширует недавние резервные копии локально, хранит все в облаке AWS.
Подробнее о партнерах по шлюзам.
Компания Amazon сотрудничает с отраслевыми поставщиками для упрощения миграции резервных копий и архивов в облако. Самым простым способом перемещения данных может быть использование связующей библиотеки S3, встроенной в ваше существующее ПО для резервного копирования. Явным преимуществом такого подхода является то, что каталог резервных копий сохраняет единообразие. То есть вы поддерживаете видимость и сохраняете управление над задачами, которые охватывают диск, ленту и облако.
Подробнее о технологических партнерствах и встроенной возможности подключения.
Amazon Kinesis Firehose – это самый простой способ загрузки потоковых данных в AWS. Этот инструмент позволяет захватывать и автоматически загружать потоковые данные в Amazon S3 и Amazon Redshift, а затем выполнять анализ с помощью уже имеющихся средств бизнес-аналитики и информационных панелей практически в режиме реального времени. Этот полностью управляемый сервис автоматически масштабируется в зависимости от пропускной способности и не требует постоянного администрирования. Кроме того, Amazon Kinesis Firehose позволяет создавать пакеты данных, а также сжимать и шифровать данные перед загрузкой, что сокращает объем памяти, используемый в целевом расположении, и повышает уровень безопасности. Всего за несколько минут с помощью консоли управления AWS можно создать поток доставки данных Firehose, настроить его несколькими щелчками мыши и запустить передачу данных из сотен тысяч источников, которые будут последовательно загружены в AWS.
Подробнее о сервисе AWS Kinesis Firehose.
