雲端資料遷移是指將現有現場部署資料移到新雲端儲存位置的程序。大多數應用程式轉移到雲端期間都需要資料儲存體。
儲存遷移通常使用下列三種方法的其中一種,但組織可以同時執行全部三個方法。
單一「搬遷」動作。
組織在雲端中開始新的工作負載前,可能需要使用這種移動方式。
著重現場部署的混合模式。
在這個情況中,一段時間後傳統資料存放區會移往雲端。
著重雲端的混合模式。
混合方法通常是因為新架構的雲端原生專案與傳統現場部署資料相結合所造成的。
大部分專案都要面對資料傳輸的棘手問題。如何在中斷服務時間最短、費用最低與最省時間的前提下,從容地從目前位置移到雲端的新位置?實際移動 GB、TB 或 PB 資料最聰明的方法是什麼?
這是最基本的潛在問題:可移動多少資料、移到多遠及多快?為了取得最佳的案例情況,請使用下列公式:
天數 = (總位元組數)/(每秒百萬位元數 * 125 * 1000 * 網路使用率 * 60 秒 * 60 分鐘 * 24 小時)
例如,如果您使用 T1 連線 (1.544 Mbps) 將 1 TB (1024 * 1024 * 1024 * 1024 位元組) 資料移入或移出 AWS,理論上,透過網路連線 (80% 網路使用率) 載入該資料所需的最短時間為 82 天。
放心。我們之前已試過。我們發現客戶會以兩種方式進行這項操作:使用最基本的未受管遷移工具移動資料,或選取其中一個 Amazon 服務套件。
根據一般經驗法則,取得最佳結果的建議如下:
| 連線 | 資料擴展 | 方法 |
| 低於 10 Mbps | 低於 500 GB | 未受管 |
| 高於 10 Mbps | 高於 500 GB | 受管 |
您可以使用簡單及一次性方法,將小規模資料從網站移到 Amazon 雲端儲存。
- rsync。客戶使用此開放原始碼工具將資料直接複製到 S3 儲存貯體。
- S3 命令列界面。客戶使用 Amazon S3 CLI 撰寫命令,將資料移到 S3 儲存貯體。
- Glacier 命令列界面。客戶使用 Amazon Glacier CLI 將資料移到 Glacier 文件庫。
Amazon 建立的遷移服務套件包含多種不同方法,可協助您更有效率地管理此任務。可將其視為兩大類:
- 優化或替代網際網路。不要低估滿載磁碟在高速公路上奔馳的大貨車頻寬。這些方法很適合用來移動大型存檔、資料湖,或者在頻寬和資料量不切實際的情況下。
- S3 易用界面。這些方法可讓您在現有的原生應用程式輕鬆使用 S3。不是一次搬遷大型資料集,而是協助您整合現有的處理流程,像是備份和復原或與雲端儲存直接進行持續的物聯網串流。
| 如果您需要: | 考慮: |
|---|---|
| 已優化或替代的網際網路連線: |
|
直接連線到 AWS 區域資料中心 |
AWS Direct Connect |
以批次方式 將 PB 規模的資料遷移到雲端 |
AWS Import/Export Snowball |
透過長距離傳輸遞增變更來遷移重複任務 |
Amazon S3 Transfer Acceleration |
| 直接連接 S3 的易用界面: |
|
使用混合模式在本機快取資料 (基於效能原因) |
閘道 (AWS 或合作夥伴) |
在中斷服務時間最短的情況下將備份或存檔推送到雲端 |
技術合作夥伴關係 |
收集和導入多個串流資料來源 |
Amazon Kinesis Firehose |
您也可以結合多種服務以達到最佳結果。思考下列範例:
平行執行多個 Snowball
Direct Connect 與技術合作夥伴關係
Direct Connect 與 Transfer Acceleration
Transfer Acceleration 與 Storage Gateway 或技術合作夥伴關係
需要協助處理特定案例嗎?讓我們協助您。
這些遷移方法可增強或替代網際網路,將資料從目前的位置直接搬遷到 Amazon 資料中心。不支援任何開發工作或 API,而且傳輸可能影響現有的現場部署程序。
探索我們的 Direct Connect 合作夥伴服務包,以協助您將現場部署技術延伸到雲端。
客戶選擇 Direct Connect 專用實體連線加快客戶資料中心和我們資料中心之間的網路傳輸速度。
您可利用 AWS Direct Connect 在您的網路與其中一個 AWS Direct Connect 位置之間建立專用網路連線。使用產業標準的 802.1q VLAN 可將這個專線分割成多個虛擬界面。這可讓您利用同一個連線存取公有資源 (例如:存放在使用公有 IP 地址空間的 Amazon S3 中的物件) 和私有資源 (例如:使用私有 IP 空間在 Amazon Virtual Private Cloud (VPC) 中執行的 Amazon EC2 執行個體),同時又能在公有和私有環境之間保持網路區隔。您可隨時重新配置虛擬界面,滿足不斷變化的需求。
進一步了解 Direct Connect 服務。
Snowball 是 PB 級資料傳輸解決方案,使用安全設備將大量資料傳入和傳出 AWS。使用 Snowball 可克服大規模資料傳輸的常見挑戰,包括昂貴的網路費用、冗長的傳輸時間以及安全方面的考量。使用 Snowball 傳輸資料非常簡單、快速、安全,而且只需要高速網際網路費用的五分之一。
進一步了解 Snowball 服務。
|
|||||||||||||||||
Amazon S3 Transfer Acceleration 讓公有網際網路到 Amazon S3 的傳輸變得更快速。無論距離長短或各種網際網路氣象,您都可以最大化可用的頻寬,而且不需要特殊用戶端或專有網路協定。只需變更 S3 儲存貯體所使用的終端節點,就會自動套用加速。
對於跨全球傳輸的重複任務,如媒體上傳、備份及定期傳送到中央位置的本機資料處理任務,它是理想的選項。
進一步了解 Transfer Acceleration
有些時候,並不允許發生中斷的情況。當傳統資料存放區可隨著時間逐步遷移,或當從許多非雲端來源彙總新資料時,這些服務很實用。這些遷移服務可利用或輔助現有的備份和復原軟體安裝或 SAN,您也可以設計 AWS Firehose 服務的程式,將其整合至自己的應用程式。
閘道位於現場部署,將您的環境連接至 AWS 雲端。這是非常適合混合案例的解決方案,某些儲存基於效能或合規原因必須置於本機,而有些儲存則可卸載至 S3。
考慮將閘道和 AWS Direct Connect 服務結合起來,以確保優化的效能。
AWS Storage Gateway 服務可簡化現場部署採用 AWS 儲存的程序。您現有的應用程式使用產業標準儲存協定連接到將資料存放至 Amazon S3 和 Amazon Glacier 的軟體設備。
- 資料壓縮後安全地傳輸到 AWS。
- 存放區域網路 (SAN) 組態為存放或快取的裝置提供 Amazon EBS 快照形式的時間點備份。
- 虛擬磁帶櫃 (VTL) 組態與您現有的備份軟體搭配使用,以取得經濟實惠的 Amazon S3 備份和 Amazon Glacier 長期存檔。
進一步了解 AWS Storage Gateway。
AWS 針對消除傳統備份和雲端之間隔閡的實體閘道設備與多個業界廠商合作。將現有的現場部署資料連結到 Amazon 雲端,以避免移動時影響效能,並保留現有的備份型錄。
- 無縫整合至現有基礎設施
- 可提供複製、壓縮、加密或 WAN 加速
- 將最近的本機備份、文件庫等所有項目快取至 AWS 雲端
進一步了解閘道合作夥伴關係。
Amazon Kinesis Firehose 是將串流資料載入 AWS 的最簡單方式。它可以擷取串流資料並自動載入 Amazon S3 和 Amazon Redshift,再使用現有的商業智慧工具以及您目前正在使用的儀表板進行接近即時的分析。這是一項全受管的服務,可自動擴展以因應資料的輸送量,而且不用全程管理。它也可以在載入資料之前先進行批次處理、壓縮及加密,以大幅減少目的地所需的儲存體數量及提高安全性。您可以從 AWS 管理主控台輕鬆地建立 Firehose 傳送串流,按幾下按鍵進行設定,然後開始從數十萬個要載入 AWS 的資料來源,持續將資料傳送至串流,而這整個程序只需要幾分鐘而已。
進一步了解 AWS Kinesis Firehose。