Big data

החזיה (ויזואליזציה) של פעילות ויקיפדית שבוצעה על ידי המשתמש (בוט) "Pearle". המידע הקיים בוויקיפדיה הוא דוגמה לנתוני עתק.

Big Data (בעברית נתוני עָתֵק) הוא מונח המתייחס למאגר מידע הכולל נתונים מבוזרים, שאינם מאורגנים לפי שיטה כלשהי, שמגיעים ממקורות רבים, בכמויות גדולות, בפורמטים מגוונים, ובאיכויות שונות.

ניתן לאפיין נתוני עתק לפי חמישה מאפיינים (חמשת ה-V-ים):

1. נפח (volume)
2. מהירות (velocity)
3. גיוון (variety)
4. נדיפות (volatility)
5. מהימנות (Veracity)

האתגר בניהול נתוני עתק הפך תחום זה לעניין מרכזי בטכנולוגיית מידע. מסדי הנתונים היחסיים הקיימים אינם בנויים לאחסון ולניתוח כמויות מידע גדולות, שרובן אינן מגיעות באופן מפורמט לפי תבניות אחידות וידועות מראש. העלות הזולה יחסית של אמצעי האחסון, מצד אחד, והכמות הגדולה של מידע המגיע משלל מקורות (אתרי אינטרנט, רשתות חברתיות, מכשירים סלולריים, מצלמות אבטחה, חיישנים ועוד), מצד שני, גורם לכך שמידע נאגר ללא מחיקה, ומאפשר יכולות ניתוח וזיהוי תבניות ומִתְאָמִים, הנדרשות בעולמות תוכן רבים.

דוגמאות ליישומים

• מחקר מודיעין צבאי ומשטרתי – איסוף והצלבת נתונים משלל מקורות גלויים (הודעות טוויטר, רשומות כניסה ויציאה של משטרת הגבולות, תנועות מכשירים סלולריים ומכשירי GPS ועוד) ומקורות איסוף מידע ייעודיים (חיישנים שונים, מצלמות ועוד) לשם זיהוי תבניות וקשרים, שיכולים להצביע על פשעים עתידיים או לנתח בדיעבד מידע היסטורי, על מנת לאתר פעילות מחשידה שקדמה לאירועי טרור.
• ביולוגיה – מיפוי גנום, מציאת מתאמים ותבניות לאיתור פגמים גנטיים והשפעה של תרופות. פתרון בעיות הדורשות רמה גבוהה של סימולציה על פני שדה של מאות נתונים, כגון חיזוי של מבני קיפול חלבונים.
• מטאורולוגיה – ניבוי מזג אוויר על סמך זרם של אלפי נתונים ממקורות מידע מגוונים (חיישנים קרקעיים ומוטסים, תמונות ווידאו, מדידות, מידע היסטורי וכדומה).
• פיזיקה – חישוב מבנים ותהליכים באסטרונומיה והתנהגות חלקיקים במערכות קוונטיות. אחסון וניתוח מיליוני אירועים והתנגשויות במאיצי חלקיקים וגלאי נייטרינו.
• מסחר – ניתוח תבניות ומגמות בסחר במניות בבורסה, בפרט בתחום האלגו טריידינג. כריית מידע ממיליוני טרנזקציות כספיות, לשם זיהוי התנהגות צרכנים, תמחור, גבייה וחיוב של צרכני תקשורת, גילוי הונאות וכן שימוש בסטטיסטיקות וכריית מידע לטובת ניבוי אירועים עתידיים.
• לוחמת סייבר – גילוי פרצות אבטחה, נהלים, הצפנות, ומאידך - גילוי ניסיונות פריצה ומעקב אחר מקורות התוקפים.
• אינדוקס וחיפוש מידע טקסטואלי – חיפוש במיליוני דפי טקסט, ספרים אלקטרוניים, דברי דואר אלקטרוני, מסמכים ארגוניים וכדומה.
• ספורט – ניתוח והצלבה של אלפי נתונים, הן נתוני זמן אמת והן נתוני עבר של משחקים, על מנת לסייע למאמן להנחות את קבוצתו, לבצע התאמות ולהתכונן למשחק הבא.
• תעשייה - זיהוי וחיזוי בעיות בפסי ייצור, מנועים, תחנות כוח, כורים גרעיניים וכדומה, על מנת לתקנן בטרם יגרם נזק כזה או אחר.

סוגיות

אחסון

עקב דרישת רוב הלקוחות לקבלת תשובות מורכבות בזמן אמת, או קרוב מאוד לכך, אמצעי האחסון המתקדמים, התומכים בכמויות מידע גדולות, נדרשים לאתגרים של כתיבה ושליפה מהירות מאוד. זאת מבלי לאבד יכולות של גיבוי ושחזור אמינים ואוטומטיים, גילוי ותיקון שגיאות, ביזור המידע על פני מספר אתרים גאוגרפיים ודחיסת מידע נבונה.

כתיבת מידע

כתיבת המידע צריכה להעשות בדרך סטנדרטית, שקופה ויעילה, באופן מנותק מהרכיבים יצרני המידע. מידע זורם כל העת מהתקנים רבים, שונים, בקצבים משתנים וללא כל שליטה של צרכן המידע (בעל המאגר) על שום אספקט של זרם הנתונים שהוזכר לעיל.

על המאגרים לספק, מחד, תמיכה בתקנים של יצרני מידע מוכרים, ומאידך, גמישות רבה לשינויים ויצירה של מתאמים (adapters) חדשים.

שליפה, ניתוח ומציאת תבניות

האתגר הגדול ביותר הוא ביצוע שליפות מהירות של מידע, הן בדרכים קבועות מראש (שאילתות), אך בעיקר בדרך של זיהוי מהיר של תבניות וקשרים שונים, בלתי ניתנים לחיזוי אנושי מראש, בין מיליוני פיסות מידע מרוחקות בזמן, במקום, בפורמט ובמקור הקליטה שלהן.

לשם זיהוי תבניות ופיתוח מערכות לומדות, מוכנסים לשימוש בתחום אלגוריתמים מתחומי האלגוריתמים האקראיים, האלגוריתמים האבולוציוניים, בינה מלאכותית, בינה עסקית ועוד, שהורחבו והותאמו לעבודה בכמויות ובקצבים הנדרשים.

פרטיות

היקף המידע, מגוון המקורות של המידע והשימושים שנעשים בו מציבים אתגרים בקשר לפרטיות במידע. דיני הגנת הפרטיות הקיימים בתחילת המאה ה-21, בעיקר באיחוד האירופי, מבוססים ומותאמים לסוגיות של מאגרי מידע מקומיים, קטנים יותר בהיקפם, שהוקמו למטרה מסוימת. נתוני עתק לא בהכרח מותאמים לכללים אלה.

דוגמאות לפתרונות

הפתרונות בתחום מגיעים מחברות מובילות ממספר תחומים:

• בתחום האחסון הדיגיטלי: EMC, IBM ו-נטאפ
• בתחום מסדי הנתונים היחסיים: טרהדטה או אורקל (על ידי Oracle Exadata) ו-IBM (באמצעות Netezza)
• בתחום החיפוש והמידע: גוגל או אמזון (שהיא גם מובילה בתחום מחשוב הענן, המשיק לתחום נתוני עתק)
• בתחום הסטטיסטיקה, כריית המידע והמודיעין העסקי: SAS,‏ SPSS,‏ Cloudera
• פתרונות חדשניים לא-SQL-יים: מסד הנתונים קסנדרה, המשמש את פייסבוק ו-MongoDB
• ועוד

פתרון כגון Google BigTable, מציע קובייה רב-ממדית, שכל "תא" בה מאחסן פיסת מידע בלתי מפורמטת (דף אינטרנט, תמונה, סרט וידאו, זרם נתונים בינאריים וכדומה). המפתח של התא הוא וקטור (רשימה) של שדות שמאפיינים את התא, שאחד מהם הוא חתימת-זמן מדויקת, לשם קבלת המימד ההיסטורי.

כיוונים אחרים באים מתחום החישוב המבוזר, וכוללים פתרונות כמו Goole MapReduce ו-Hadoop.

בינה עסקית ונתוני עתק

קיים קשר הדוק בין בינה עסקית לבין נתוני עתק. הקשר נובע מהצורך להשתמש בכמויות מידע גדולות מאוד על מנת לבצע ניתוחי בינה עסקית תקפים ומשמעותיים. התחום של בינה עסקית מבוססת נתוני עתק מתפתח בקצב מהיר. יש הטוענים כי כלי בינה עסקית מסורתיים אינם בנויים באופן המאפשר להם להתמודד עם כמויות גדולות של נתונים. כתוצאה מכך, פותחו כלי בינה עסקית ייעודיים לנתוני עתק.

ראו גם

• ניהול ידע
• Hadoop
• מדען נתונים
• מחשוב ענן
• מיקור המונים
• כריית נתונים

לקריאה נוספת

• עופר דודזדה ואמיר סנדץ, (ביג דאטה) כלים מעשיים לניתוח בסיסי נתונים, הוצאת אוריון, אפריל 2014

קישורים חיצוניים

מדיה וקבצים בנושא Big data בוויקישיתוף

• אור הירשאוגה, היכונו לעולם היוטה-בייט, באתר TheMarker‏, 28 במאי 2012
• סטיב לוהר, איך ה-Big-Data נהייתה כל כך גדולה, באתר TheMarker‏, 12 באוגוסט 2012
• ניו יורק טיימס, ביג-דאטה, ביג ביזנס, באתר TheMarker‏, 16 בפברואר 2012
• אור הירשאוגה, ממפים את אוקיינוס המידע, באתר TheMarker‏, 3 בינואר 2012