ข้อมูลเป็นสิ่งสำคัญในการใช้งานระบบคลาวด์ที่ประสบความสำเร็จ กระบวนการประเมินและวางแผนของคุณอาจช่วยเน้นย้ำในข้อจำกัดทางกายภาพในการย้ายข้อมูลจากในองค์กรไปยังระบบคลาวด์ Amazon มีชุดเครื่องมือต่างๆ มากมายที่ช่วยให้คุณสามารถย้ายข้อมูลผ่านเครือข่าย เส้นทาง และคู่ค้าด้านเทคโนโลยีต่างๆ ได้
ความเป็นจริงที่น่ากังวลใจในการย้ายข้อมูลต่างเกิดขึ้นกับโพรเจกต์ทั้งหลาย คุณจะย้ายข้อมูลจากตำแหน่งเดิมไปยังระบบคลาวด์ใหม่โดยมีการหยุดชะงักน้อยที่สุด ใช้ต้นทุนต่ำ และใช้เวลาน้อยได้อย่างไร วิธีที่ดีที่สุดในการย้ายข้อมูลขนาด GB, TB หรือ PB คือวิธีใด
รวมถึงปัญหาพื้นฐานทั่วไป คุณสามารถย้ายข้อมูลได้เท่าใด ไกลแค่ไหน และรวดเร็วเพียงใด สำหรับกรณีสถานการณ์ที่ดีที่สุด ให้ใช้สูตรนี้:
จำนวนวัน = (ไบต์รวม)/(เมกาบิตต่อวินาที * 125 * 1000 * การใช้เครือข่าย * 60 วินาที * 60 นาที * 24 ชั่วโมง)
ตัวอย่างเช่น หากคุณมีการเชื่อมต่อ T1 (1.544Mbps) และมีข้อมูลขนาด 1TB (1024 * 1024 * 1024 * 1024 ไบต์) ที่จะย้ายเข้าหรือออกจาก AWS เวลาขั้นต่ำทางทฤษฎีในการโหลดผ่านการเชื่อมต่อเครือข่ายที่ระดับการใช้เครือข่าย 80% จะเท่ากับ 82 วัน
ผ่อนคลาย เราเคยทำกันมาแล้ว เราพบว่าลูกค้าสามารถดำเนินการได้สองแบบ: ลูกค้าใช้เครื่องมือย้ายข้อมูลพื้นฐานที่ไม่ได้รับการจัดการในการย้ายข้อมูล หรือลูกค้าเลือกใช้ชุดบริการต่างๆ ของ Amazon
เพื่อผลลัพธ์ที่ดีที่สุด เราขอแนะนำหลักการง่ายๆ โดยทั่วไปดังนี้
| การเชื่อมต่อ | ขนาดข้อมูล | วิธีการ |
| น้อยกว่า 10Mbps | น้อยกว่า 500GB | ที่ไม่ได้รับการจัดการ |
| มากกว่า 10Mbps | มากกว่า 500GB | ที่ได้รับการจัดการ |
มีวิธีการง่ายๆ ที่ทำขั้นตอนเดียวเสร็จสำหรับการย้ายข้อมูลขนาดเล็กจากองค์กรของคุณไปยังพื้นที่จัดเก็บบนระบบคลาวด์ของ AWS
- rsync ลูกค้าใช้เครื่องมือแบบโอเพนซอร์สนี้ร่วมกับเครื่องมือระบบไฟล์ของบริษัทอื่นในการคัดลอกข้อมูลไปยังบักเก็ต S3 โดยตรง
- อินเทอร์เฟซบรรทัดคำสั่งของ S3 ลูกค้าใช้ Amazon S3 CLI ในการเขียนคำสั่งเพื่อย้ายข้อมูลไปยังบักเก็ต S3 โดยตรง
- อินเทอร์เฟซบรรทัดคำสั่งของ Glacier ลูกค้าใช้ Amazon Glacier CLI ในการย้ายข้อมูลไปยังที่ฝากข้อมูล Glacier
ชุดบริการย้ายข้อมูลของ Amazon ประกอบด้วยวิธีการต่างๆ มากมายที่ช่วยคุณจัดการกับงานนี้ได้อย่างมีประสิทธิภาพมากขึ้น ลองจำแนกออกเป็นสองหมวดหมู่:
- การเพิ่มประสิทธิภาพหรือการเปลี่ยนอินเทอร์เน็ต ไม่ควรประเมินแบนด์วิธของรถพ่วงที่บรรทุกแผ่นดิสก์ที่กำลังวิ่งลงจากทางหลวงต่ำเกินไป วิธีการเหล่านี้เหมาะสำหรับการย้ายข้อมูลขนาดใหญ่ คลังข้อมูล หรือในสถานการณ์ที่แบนด์วิธและปริมาณข้อมูลไม่สมจริง
- อินเทอร์เฟซแบบใช้งานง่ายสำหรับ S3 วิธีการเหล่านี้ทำให้ง่ายต่อการใช้งาน S3 ด้วยแอปพลิเคชันที่คุณมีอยู่แล้ว แทนที่จะย้ายชุดข้อมูลขนาดใหญ่ในทีเดียว วิธีการเหล่านี้ช่วยให้คุณสามารถผสานรวมโฟลว์กระบวนการที่มีอยู่แล้ว เช่น การสำรองและการกู้คืนข้อมูล หรือสตรีมอินเทอร์เน็ตในทุกสิ่งอย่างต่อเนื่อง เข้ากับพื้นที่จัดเก็บบนระบบคลาวด์โดยตรง
| หากคุณต้องการ: | พิจารณา: |
|---|---|
เพื่อผสานรวม ลิงก์ออนไลน์ไปยังบริการพื้นที่จัดเก็บบนระบบคลาวด์ของ AWS เพื่อให้คุณสามารถ: |
|
เชื่อมต่อศูนย์ข้อมูลเข้ากับ AWS Region ได้โดยตรงอย่างเป็นส่วนตัว |
AWS Direct Connect |
ย้ายข้อมูลขนาดเพตะไบต์เป็นกลุ่มไปยังระบบคลาวด์ |
AWS Snowball |
สร้างพื้นที่จัดเก็บแบบไฮบริดที่ช่วยรักษาการลงทุนภายในและเพิ่ม AWS Cloud services |
AWS Snowball Edge |
ย้ายข้อมูลขนาดเอกซะไบต์เป็นกลุ่มไปยังระบบคลาวด์ |
AWS Snowmobile |
ทำงานร่วมกับ S3 ผ่านระยะไกล |
Amazon S3 Transfer Acceleration |
| วิธีแบบออฟไลน์ในการย้ายข้อมูลกลุ่มใหญ่ เพื่อให้คุณสามารถ: | |
ผสานรวมทรัพยากรภายในที่มีอยู่เข้ากับระบบคลาวด์ |
AWS Storage Gateway เกตเวย์ของบริษัทอื่น |
ย้ายข้อมูลขนาดเพตะไบต์ในอุปกรณ์ที่มีพื้นที่จัดเก็บภายในและความสามารถในการประมวลผล |
AWS Snowball Edge |
ย้ายข้อมูลสำรองและข้อมูลจัดเก็บไปยังระบบคลาวด์อย่างราบรื่น |
Technology Partnership |
รวบรวมและป้อนแหล่งข้อมูลการสตรีมหลายแห่ง |
Amazon Kinesis Firehose |
นอกจากนั้น คุณยังสามารถผสมผสานบริการต่างๆ เพื่อผลลัพธ์ที่ดีที่สุดได้ ลองดูตัวอย่างต่อไปนี้
Snowball หลายตัวที่ทำงานพร้อมกัน
Direct Connect และ Technology Partnership
Direct Connect และ Transfer Acceleration
Storage Gateway และ Technology Partnership (เช่น ผู้ให้บริการด้านการสำรองข้อมูล) ไม่ว่าจะเป็น VTL หรือเป็น NFS
ต้องการความช่วยเหลือในกรณีเฉพาะของคุณหรือไม่ ให้เราช่วย
วิธีการย้ายเหล่านี้ช่วยเพิ่มประสิทธิภาพหรือเปลี่ยนอินเทอร์เน็ตในการย้ายข้อมูลจากตำแหน่งปัจจุบันไปยังศูนย์ข้อมูลของ Amazon โดยตรง หากไม่มีการพัฒนาหรือไม่รองรับ API การถ่ายโอนข้อมูลอาจมีผลกระทบต่อกระบวนการภายในที่มีอยู่ของคุณ
ศึกษาชุดคู่ค้า Direct Connect ของเราที่ช่วยขยายเทคโนโลยีที่มีไปยังระบบคลาวด์
ลูกค้าเลือกการเชื่อมต่อ Direct Connect ในการเร่งความเร็วของการถ่ายโอนข้อมูลผ่านเครือข่ายระหว่างศูนย์ข้อมูลของลูกค้าและของเรา
AWS Direct Connect ช่วยให้คุณสามารถสร้างการเชื่อมต่อเครือข่ายเฉพาะระหว่างเครือข่ายของคุณและหนึ่งในตำแหน่งของ AWS Direct Connect ด้วยการใช้ VLAN ตามมาตรฐานอุตสาหกรรม 802.1q การเชื่อมต่อเฉพาะนี้จึงสามารถแบ่งพาร์ติชั่นออกเป็นอินเทอร์เฟซเสมือนหลายอินเทอร์เฟซได้ ซึ่งช่วยให้คุณสามารถใช้การเชื่อมต่อเดียวกันเพื่อเข้าถึงทรัพยากรสาธารณะ เช่น ออบเจ็กต์ที่เก็บไว้ใน Amazon S3 โดยใช้พื้นที่ที่อยู่ IP สาธารณะ และทรัพยากรส่วนตัว เช่น Amazon EC2 instance ที่ทำงานภายใน Amazon Virtual Private Cloud (VPC) โดยใช้พื้นที่ IP ส่วนตัว ขณะเดียวกันก็คงการแยกเครือข่ายระหว่างสภาพแวดล้อมสาธารณะและสภาพแวดล้อมส่วนตัว อินเทอร์เฟซเสมือนสามารถกำหนดค่าใหม่ได้ตลอดเวลาเพื่อตอบสนองความต้องการที่เปลี่ยนแปลงของคุณ
เรียนรู้เพิ่มเติมเกี่ยวกับบริการ Direct Connect
Snowball คือบริการขนส่งข้อมูลขนาดเพตะไบต์ที่ใช้อุปกรณ์ที่มีความปลอดภัยในการถ่ายโอนข้อมูลจำนวนมากเข้าและออกจาก AWS การใช้ Snowball ช่วยแก้ปัญหาที่พบได้บ่อยๆ ในการถ่ายโอนข้อมูลขนาดใหญ่ เช่น ค่าใช้จ่ายเครือข่ายสูง ระยะเวลาในการถ่ายโอนที่ยาวนาน และข้อกังวลด้านความปลอดภัย การถ่ายโอนข้อมูลด้วย Snowball ทำได้ง่าย รวดเร็ว ปลอดภัย และมีค่าใช้จ่ายเพียงหนึ่งในห้าของอินเทอร์เน็ตความเร็วสูง
เรียนรู้เพิ่มเติมเกี่ยวกับบริการ Snowball
|
|||||||||||||||||
Snowmobile คือบริการขนส่งข้อมูลขนาดเอกซะไบต์ที่ใช้คอนเทนเนอร์ขนส่งขนาด 40 ฟุตที่มีความปลอดภัยในการถ่ายโอนข้อมูลจำนวนมากเข้าและออกจาก AWS การใช้ Snowmobile ช่วยแก้ปัญหาที่พบได้บ่อยๆ ในการถ่ายโอนข้อมูลขนาดใหญ่ เช่น ค่าใช้จ่ายเครือข่ายสูง ระยะเวลาในการถ่ายโอนที่ยาวนาน และข้อกังวลด้านความปลอดภัย การถ่ายโอนข้อมูลด้วย Snowmobile ผ่านข้อผูกพันที่กำหนดเองนั้นทำได้ง่าย รวดเร็ว ปลอดภัย และมีค่าใช้จ่ายเพียงหนึ่งในห้าของอินเทอร์เน็ตความเร็วสูง
เรียนรู้เพิ่มเติมเกี่ยวกับบริการ Snowmobile
Amazon S3 Transfer Acceleration ช่วยให้ถ่ายโอนอินเทอร์เน็ตสาธารณะไปยัง Amazon S3 ได้เร็วขึ้น คุณสามารถเพิ่มแบนด์วิธสูงสุดของคุณได้โดยต้องไม่คำนึงถึงระยะทางหรือสภาพอินเทอร์เน็ต และไม่มีไคลเอ็นต์พิเศษหรือโปรโตคอลเครือข่ายที่เป็นกรรมสิทธิ์ เพียงแค่เปลี่ยนจุดปลายทางที่คุณใช้เป็นบักเก็ต S3 ของคุณ และจะดำเนินการเร่งความเร็วโดยอัตโนมัติ
ซึ่งเหมาะสำหรับงานที่ดำเนินการต่อเนื่องทั่วโลก เช่น การอัปโหลดสื่อ การสำรองข้อมูล และการประมวลผลข้อมูลภายในที่มักจะถูกส่งไปยังศูนย์กลาง
เรียนรู้เพิ่มเติมเกี่ยวกับ Transfer Acceleration
บางครั้งคุณอาจไม่สามารถปล่อยให้หยุดชะงักได้ หากพื้นที่จัดเก็บข้อมูลเดิมสามารถย้ายข้อมูลทีละน้อยได้หรือหากข้อมูลใหม่รวบรวมมาจากแหล่งข้อมูลที่ไม่ใช่ระบบคลาวด์หลายแหล่ง บริการเหล่านี้ถือเป็นทางเลือกที่เหมาะสม บริการย้ายข้อมูลเหล่านี้อาจใช้ประโยชน์หรือเสริมการติดตั้งที่มีอยู่ เช่น ซอฟต์แวร์การสำรองหรือการกู้คืนข้อมูล หรือ SAN และคุณยังสามารถตั้งโปรแกรมบริการ AWS Firehose เข้ากับแอปพลิเคชันของคุณเองได้เช่นกัน
เกตเวย์จะอยู่ภายในสถานที่และเชื่อมโยงสภาพแวดล้อมของคุณเข้ากับ AWS Cloud ซึ่งเป็นโซลูชันที่เหมาะสมสำหรับระบบไฮบริดที่จำเป็นต้องมีพื้นที่จัดเก็บภายในบางส่วนสำหรับเหตุผลด้านประสิทธิภาพหรือการปฏิบัติตามข้อกำหนด แต่อาจถูกลดภาระให้กับ S3
พิจารณาในการผสมผสานบริการ AWS Direct Connect เข้ากับเกตเวย์ของคุณ เพื่อรับรองว่ามีประสิทธิภาพสูงสุด
บริการ AWS Storage Gateway ช่วยให้การปรับใช้พื้นที่จัดเก็บภายในของ AWS ง่ายยิ่งขึ้น แอปพลิเคชันของคุณที่มีอยู่เชื่อมต่อเข้ากับเกตเวย์ภายในผ่านบล็อกมาตรฐานอุตสาหกรรมและโปรโตคอลพื้นที่จัดเก็บเทป เพื่อจัดเก็บข้อมูลใน Amazon S3 และ Amazon Glacier
- โดยจะบีบอัดข้อมูลและถ่ายโอนข้อมูลไปยัง AWS อย่างปลอดภัย
- องค์ประกอบของ Storage Area Network (SAN) จะจัดเก็บหรือสร้างแคชข้อมูลไว้ภายในด้วยระบบสำรองข้อมูลตามช่วงเวลาที่เป็นสแน็ปช็อต EBS โดยสามารถกู้คืนสแน็ปช็อตเหล่านี้ในระบบคลาวด์ได้
- องค์ประกอบของ Virtual Tape Library (VTL) จะผสานรวมกับซอฟต์แวร์การสำรองข้อมูลที่มีอยู่ของคุณอย่างราบรื่นสำหรับการเปลี่ยนเทปที่มีประสิทธิภาพคุ้มค่าใน Amazon S3 และการจัดเก็บระยะยาวใน Amazon Glacier
เรียนรู้เพิ่มเติมเกี่ยวกับ AWS Storage Gateway
AWS จับมือกับผู้จัดจำหน่ายในอุตสาหกรรมจำนวนมากในส่วนอุปกรณ์เกตเวย์ที่คอยเชื่อมช่องว่างระหว่างการสำรองข้อมูลแบบเดิมและระบบคลาวด์ เชื่อมโยงข้อมูลภายในที่มีอยู่เข้ากับระบบคลาวด์ของ Amazon เพื่อดำเนินการโดยไม่สร้างผลกระทบต่อประสิทธิภาพและช่วยเก็บรักษาแแคตตาล็อกข้อมูลสำรองที่มีอยู่
- ผสานรวมเข้ากับโครงสร้างพื้นฐานที่มีอยู่อย่างราบรื่น
- ซึ่งอาจมีระบบการกำจัดข้อมูลซ้ำ การบีบอัดข้อมูล การเข้ารหัสข้อมูล หรือการเร่งความเร็ว WAN
- สร้างไฟล์แคชในการสำรองข้อมูลล่าสุด จัดเก็บข้อมูลทั้งหมดไว้ใน AWS Cloud
เรียนรู้เพิ่มเติมเกี่ยวกับ Gateway Partnership
Snowball Edge เป็นอุปกรณ์ถ่ายโอนข้อมูลขนาดเพตะไบต์ที่มีพื้นที่จัดเก็บภายในและความสามารถในการประมวลผล คุณสามารถใช้ Snowball Edge เพื่อย้ายข้อมูลปริมาณมากไปยังหรือออกจาก AWS ได้ซึ่งใช้เป็นพื้นที่จัดเก็บชุดข้อมูลภายในขนาดใหญ่ชั่วคราว หรือเพื่อสนับสนุนปริมาณงานภายในในระยะไกลหรือในตำแหน่งออฟไลน์
เรียนรู้เพิ่มเติมเกี่ยวกับ Snowball Edge
Amazon ได้จับมือกับผู้จัดจำหน่ายในอุตสาหกรรมเพื่อทำให้การย้ายข้อมูลสำรองและข้อมูลจัดเก็บของคุณไปยังระบบคลาวด์ง่ายยิ่งขึ้นมาก วิธีที่ง่ายที่สุดในการย้ายข้อมูลอาจเป็นการย้ายข้อมูลผ่านตัวเชื่อมต่อ S3 ที่ติดมากับซอฟต์แวร์การสำรองข้อมูลที่มีอยู่ของคุณ ข้อดีที่เห็นได้ชัดเจนของวิธีนี้คือแแคตตาล็อกข้อมูลสำรองจะสอดคล้องกันเสมอ คุณจึงสามารถมองเห็นและควบคุมงานต่างๆ ได้ทั้งในดิสก์ เทป หรือระบบคลาวด์
Amazon Kinesis Firehose คือวิธีที่ง่ายที่สุดในการโหลดข้อมูลการสตรีมไปยัง AWS โดยสามารถเก็บบันทึกและโหลดข้อมูลการสตรีมไปยัง Amazon S3 และ Amazon Redshift ได้อัตโนมัติ ซึ่งช่วยให้สามารถดำเนินการวิเคราะห์แบบเรียลไทม์ได้ด้วยเครื่องมือและแดชบอร์ดข้อมูลเชิงธุรกิจที่คุณใช้งานอยู่ปัจจุบัน ซึ่งเป็นบริการที่ได้รับการจัดการอย่างครบครันที่สามารถปรับขนาดเพื่อให้ตรงกับปริมาณของข้อมูลของคุณได้โดยอัตโนมัติและไม่จำเป็นต้องคอยจัดการอยู่ตลอดเวลา อีกทั้งยังสามารถจัดกลุ่ม บีบอัด และเข้ารหัสข้อมูลก่อนโหลดได้ ซึ่งช่วยลดการใช้งานพื้นที่จัดเก็บ ณ ปลายทางได้และช่วยเพิ่มความปลอดภัยอีกด้วย คุณสามารถสร้างสตรีมการส่งมอบ Firehose จาก AWS Management Console, กำหนดค่าเพียงแค่คลิกไม่กี่ครั้ง และเริ่มส่งข้อมูลไปยังสตรีมจากแหล่งข้อมูลนับร้อยนับพันที่จะโหลดต่อไปยัง AWS โดยทั้งหมดนี้เกิดขึ้นในเวลาเพียงไม่กี่นาที
เรียนรู้เพิ่มเติมเกี่ยวกับ AWS Kinesis Firehose
เรียนรู้เพิ่มเติมเกี่ยวกับบริการต่างๆ ของ AWS สำหรับการถ่ายโอนข้อมูลภายในไปยังและออกจาก AWS Cloud
ทรัพยากรนี้ได้รับการออกแบบมาเพื่อมอบคำแนะนำในส่วนของแนวทางปฏิบัติที่ดีที่สุดสำหรับสถาปัตยกรรมของแอปพลิเคชัน
คลังข้อมูลของแนวทางปฏิบัติที่ดีที่สุด กรอบงาน และทรัพยากร สำหรับช่วยเหลือในส่วนการย้ายข้อมูลไปยังระบบคลาวด์ของ AWS
โปรแกรมที่จะช่วยให้องค์กรต่างๆ ที่ใช้งานระบบคลาวด์สามารถย้ายข้อมูลปริมาณงานที่มีอยู่ของตนไปยัง AWS ได้
