קטגוריה: data

תרומה משמעותית

עברו חודשיים מאז שפרסמתי כאן מאמרון. הפעם האחרונה שכתבתי היתה ממש בתחילת ההסגר של מגפת הקורונה ומאז התקשיתי להתיישב ולכתוב. אני מניח שבכך לא הייתי שונה במיוחד מרבים אחרים שראו כיצד יום אחד זורם לתוך משנהו ופתאום גילו שהנה, עבר עוד שבוע מבלי ששמנו לב. אבל היתה לי סיבה נוספת – סיבה שקשורה באופן די ישיר לנושא התקשוב החינוכי שבו הבלוג הזה מתמקד. בפעם האחרונה שכתבתי כאן הבעתי את תחושתי שהסגירה הפיסית המאולצת של בתי הספר ושל מוסדות להשכלה גבוהה לא תביא לפריחה של שימוש יצירתי, או אפילו נבון, בתקשוב בתהליכי הוראה ולמידה. ניבאתי אז שבמקרה הטוב נהיה עדים למה שקצת יותר מאוחר זכה לכינוי emergency remote learning ושברוב המקרים נראה שהתקשוב בסופו של דבר יגויס לחיזוק המוכר והמסורתי בתהליכי הוראה.

לדעתי החזון העצוב הזה אכן התממש. על אף התקווה הגדולה שרבים הביעו אני מתרשם שהאימוץ המאסיבי של Zoom בסך הכל העתיק את הכיתה הפרונטלית לצג המחשב, ומול כל מרצה ששמח לגלות שהתקשוב מציע אפשרויות לימודיות/הוראתיות חדשות היו לפחות עוד שניים שגילו שהוראה איכותית באמצעות התקשוב דורשת מהם מאמץ רב מדי ושכדאי יותר פשוט להרצות דרך המסך.

אבל לא בגלל זה לא הצלחתי לכתוב. הקושי שלי נבע מקריאה של כמות עצומה של תחזיות בנוגע לעתיד החינוך. בין אלה היו תחזיות שתאמו לדעתי, והיו שמנוגדים לה. אבל הרוב המכריע של מה שמצאתי (וכאן אני מעיד גם על עצמי) היה פשטני למדי. גם כאשר הסכמתי עם דעתם של אלו שטענו שמהמגפה הזאת אנחנו לומדים שלעולם לא נוכל (או בגירסה אחרת, אסור לנו) לחזור למה שהכרנו לפניה, הכתבות האלו היו כבדות במליצות שהביעו משאלת לב במקום לבנות דעה מבוססת על עובדות בשטח. אלה שכתבו, למשל, שהלמידה מהבית הוכיחה שאין צורך בבתי הספר פיסיים התעלמו מהעובדה שהקריאה לפתיחת בתי הספר נבעה בעיקר מהצורך של הורים לחזור לעבודה כך שהשמרטפיות זוהתה כמרכיב המרכזי בתפקיד בית הספר. הרגשתי שאין שום טעם שאני אוסיף את קולי לתוך המקהלה הזאת שאולי שרה בקולות רמים, אבל לא מצליחה ליצור מוזיקה ערבה לאוזן. לצערי השתכנעתי שלרוב הגדול מאיתנו פשוט אין באמת מה להוסיף. כולנו (ושוב זה כולל גם אותי) הנהנו בהסכמה להצהרות שתאמו את דעתנו ונאנקנו בכעס כלפי אלה שסתרו אותה. החלטתי שאם אין לי משהו באמת מעניין להוסיף עדיף פשוט לשתוק. (אגב, אין זה אומר שלא הייתי עסוק במהלך ההסגר. בין היתר עסקתי בפרויקט אישי שכלל לא היה קשור לחינוך.) והנה, אתמול, בעקבות ציוץ של תמי נויטל, הגעתי למאמר שהיה שונה. מאמר שלא היה קשור ישירות למגפה, מאמר שלא חזה מהפכה חינוכית או שלל כל אפשרות כזאת, אך לעומת זאת היה באמת מעניין ומעורר מחשבה. סוף סוף היה לי על מה לכתוב.

ניל סלווין (Neil Selwyn) הוא חוקר חינוך אוסטרלי מאד מוערך. בכתיבה שלו הוא מציג גישה חיובית אך ביקורתית כלפי התקשוב. בסוף אפריל הוא התפרסם מאמר (שלצערי נמצא אחרי paywall) שמורכב מהחלפת מכתבי דואר אלקטרוני בינו לבין דרגאן גסוביץ (Dragan Gašević) חוקר בתחום ניתוח הלמידה (Learning Analytics). בדיון שהתנהל ביניהם סלווין מבקש להבהיר לעמיתו למה הוא חושש משימוש בנתונים בחינוך וגסוביץ משיב לו ומנסה לשכנע שעל אף העובדה שיש סיבות טובות לחשש הזה, השד איננו נורא כל כך. הפתיחות של שני החוקרים לטענות של העמית מרשימה במיוחד בדיון הזה. אין זה צריך להפתיע שבאופן טבעי אני מזדהה עם סלווין, אבל אחרי כל כך הרבה כתיבה שטחית סביב עתיד החינוך תענוג לקרוא דיון מעמיק.

סלווין מכיר בכך שאיסוף וניתוח של נתונים על סטודנטים ועל תהליך הלמידה שלהם יכולים, לפחות באופן תיאורטי, לסייע בקידום הלמידה שלהם. עם זאת, הוא מביע חשש מוכר – אמנם החוקרים עצמם מודים שמדע הנתונים, התחום שלהם, הינו מוגבל ואיננו מדע שלם (an incomplete science) אבל זה איננו מה שבא לביטוי בשטח. הוא שואל:

why are so many end-users apparently not willing to approach data-driven products and processes along similarly nuanced lines?

במילים אחרות, אולי אנשי המדע מודעים למגבלות התחום, אבל באופן עקבי מי שמשווק מערכות לניתוח נתונים למערכות חינוך מפריז ביכולותיהן. סלווין כותב שההתלהבות כלפי השימוש בנתונים בהשכלה הגבוהה נובעת מ:

a belief that data can provide the basis for powerful forms of individually-focused behaviour management.

הוא מקשר את זה לפופולריות שיש היום כלפי השימוש בדחיפוֹת קלות (nudges). הוא שואל אם גישה כזאת מתאימה לחינוך. גסוביץ משיב שאכן יש כאן בעיה, ומודה שהשימוש בלוחות מחוונים (dashboards) לא מוכיח את עצמו:

most of research shows that student-facing dashboards are actually associated negatively with intrinsic motivation and grade average points. Further research suggests that students, even high achievers, are unable to make accurate interpretations of statistics shown in dashboards, and that dashboards do not offer any guidance how to improve their learning strategy.

סלווין מרחיב על הנקודה הזאת. הוא מדגיש שההסתמכות על נתונים (כמו בלוחות מחוונים) מתמקדת במוטיבציה (או בהעדר המוטיבציה) של הלומד ואיננה מתחשבת בתנאים הסביבתיים והחברתיים שמקשים על הצלחתו בלימודים:

That said, I guess that many critics will always be suspicious of how data science focuses on the notion of students’ ‘agency’. … Social scientists are usually much more concerned with issues of structure than matters of agency. It is one of the basic tenets of social science thinking that structure is the flipside of agency – you can’t talk about one without the other.

מדובר במבנים חברתיים מושרשים היטב שמגבילים את ההזדמנויות שעומדות לרשות קבוצות מסוימות. סלווין מדגיש שההשכלה הגבוהה איננה מגרש שבו נתוני הפתיחה שווים, כך שאין זה נכון שכל מה שדרוש כדי להצליח הוא לקבל את ההחלטות הנכונות. בגלל זה הוא חושש שההסתמכות באיסוף וניתוח נתונים:

perpetuates the logic that if a student continues to fail after having had their feedback and diagnostics, then it is clearly due to their own faulty decision-making and behaviours.

כדוגמה חיובית לשימוש בניתוח הלמידה גסוביץ מביא את Georgia State University. הוא מסביר שבעקבות השימוש בנתונים האוניברסיטה ראתה עליה של 7% של מסיימי תואר, כולל עליה משמעותית אצל סטודנטים מאוכלוסיות חלשות. הנתונים האלה בהחלט מרשימים, אבל גסוביץ מוסיף הערה מאד מעניינת:

analytics-based technology is only one component of Georgia State’s altered support for students. There has been much higher investment (about 17 times higher than has been invested in technology) in human advisers, coordination among different academic units, and continuing interaction with students.

אז בעצם מה שאנחנו רואים כאן איננו בהכרח פונקציה של שימוש נבון בנתונים, אלא שילוב של אותם נתונים כמרכיב אחד, ואפילו לא המרכזי, לתוך מערך שלם שנועד לשפר את הישגי הסטודנטים.

גסוביץ לא משכנע את סלווין, שנשאר ספקן בנוגע ליעילות ולכדאיות העיסוק בניתוח הלמידה. אבל בסיום ההתכתבות ביניהם מתרשמים שבעקבות ההסברים המנומקים של גסוביץ, והרצינות שבה הוא מתייחס לביקורת, הוא רוכש יותר כבוד לתחום, ולעוסקים בו, מאשר קודם. ואני מודה שזה נכון גם מבחינתי. ומעל לכל, כאשר בחודשיים האחרונים כל כך הרבה מילים נשפכו על סוגיה כל כך כללית כמו "עתיד החינוך", תענוג לקרוא דיון אינטליגנטי שבהמשך הדרך באמת עשוי להשפיע.

לפעמים בהחלט אפשר ללמוד מנתונים!

מי שקורא את הבלוג הזה (אם אכן יש מישהו שעושה זאת) עשוי להתרשם שאני בז למגמה של איסוף נתונים וניתוחם בחינוך. חשוב לי להבהיר שזה איננו נכון. אני אמנם ספקן בנוגע ליכולת של המחקר הכמותי להבהיר דברים חשובים בנוגע לאפקטיביות של תהליכי הוראה ולמידה למיניהם, אבל אם וכאשר מחקרים כאלה מצביעים על מה מוצלח ומה פחות אינני מתכחש למידע הזה, גם אם הוא סותר את התפיסות החינוכיות שלי. מה שאני מרבה לבקר כאן הוא הנסיון לגייס את האיסוף המסיבי של נתונים, וניתוחים באמצעות למידת המכונה (machine learning), על מנת לנבא את ההצלחה או את הכשלון של תלמידים, או על מנת לבנות תוכניות לימודים מותאמות אישית לכל תלמיד. זאת ועוד: במרבית המקרים שבהם האמצעים האלה כן מצליחים לזהות צעדים טובים ויעילים מתברר שאותם צעדים היו ברורים למורה המנוסה ללא הגיוס המסיבי של כוח מחשוב.

כאשר איסוף הנתונים משרת את שיפור ההוראה והלמידה הוא בוודאי מוצדק. תמיד רצוי למצוא קורלציה בין גורם כלשהו ותוצאה לימודית – ובמיוחד אם אפשר לזהות לא רק קורלציה, אלא השפעה ברורה של אותו גורם על הישגי הלמידה. זה כמובן מה שלמידת המכונה (ואחותה הפחות או יותר תאומה, הבינה המלאכותית) מנסה לעשות. התקווה של ה-AI היא שסוד שאיננו נגלה לעין מסתתר אי-שם בנתונים, סוד שיתגלה רק על ידי איסוף וניתוחם, כך שבאופן קסמי אותה AI תביא לשיפור בציוני כל התלמידים במבחנים סטנדרטיים. (כאן המקום לציין שעל אף העובדה שאינני מוצא קשר משמעותי בין ציונים במבחנים סטנדרטיים לבין למידה של ממש אני יכול להבין למה משתמשים בציונים האלה כמדד של הלמידה.) הנסיון הכמעט אובססיבי למצוא את הגורמים המוסתרים, גורמים שרק מחשב חזק יכול למצוא, מעוור את המחפשים לגורמים "פשוטים" יותר, גורמים שזיהויים איננו דורש כוח חישובי אדיר.

על גורם כזה נמסר השבוע בכתבה על מחקר חדש באתר של אוניברסיטת ליידס (Leeds) אשר באנגליה. כותרת הכריזה:

Skipping breakfast linked to lower GCSE grades

הכתבה מתייחסת למחקר של חוקרים מליידס שהתפרסם החודש בכתב העת Frontiers in Public Health. יש להודות שכותרת כזאת איננה באמת "חדשות". הקורלציה הזאת די מוכרת, והחוקרים עצמם אינם טוענים שהם גילו משהו שאיננו ידוע. במשפט הפותח של המחקר שלהם הם כותבים:

Studies indicate that breakfast positively affects learning in children.

במילים אחרות, אין במחקר הזה גילוי פורץ דרך, אלא חיזוק של משהו שכבר מזמן ידוע. גם אני דיווחתי מספר פעמים על הקורלציה הזאת. לפני כשנתיים קישרתי כאן למאמרון של פיטר גרין שדיווח על מחקר בארה"ב שהצביע על קשר בין תלמידים רעבים לבין קשיים בלימודים. וגם בפברואר השנה כתבתי על מאמר של חוקר אנגלי שהתייחס למחקר שהצביע גם הוא על הקשר הזה.

מה ששונה במחקר החדש הזה לעומת המחקרים הקודמים הוא ההתמקדות בארוחת בוקר. הכתבה מצטטת את החוקרת הראשית של המחקר שבאופן מאד ברור מכריזה:

Our study suggests that secondary school students are at a disadvantage if they are not getting a morning meal to fuel their brains for the start of the school day.

אם הקורלציה בין רעב והישגים כבר ידועה, מה כן חשוב במחקר החדש הזה? ידוע שהתזונה של תלמידים ממשפחות ברמה סוציו-אקונומית נמוכה נחותה לעומת התזונה של עמיתיהם ממשפחות ברמה סוציו-אקונומית גבוהה. לאור זה אפשר היה לשער שהנתון של אי-אכילת ארוחת בוקר איננו אלא חלופה של רמה סוציו-אקונומית שידועה כמדד די מהימן של הסיכויים להצליח בלימודים. המחקר הזה דווקא ניסה לבודד את נושא ארוחת הבוקר מהתמונה החברתית הכללית של התלמידים, ובדק תלמידים שאכלו, וגם שלא אכלו, ארוחות בוקר מאותה רמה סוציו-אקונומית. החוקרים מציינים ש:

Low/middle socio-economic status (SES) adolescents who rarely consumed breakfast were significantly less likely to achieve higher Mathematics grades compared to low/middle SES adolescents who frequently consumed breakfast.

במילים אחרות, המחקר מצא שבתוך אוכלוסייה דומה היתה לארוחת הבוקר השפעה חיובית על הלמידה (או לפחות על הציונים במבחנים). למידע הזה יכול להיות השפעה משמעותית מאד על הלמידה בבתי הספר, וזאת במיוחד לאור הקביעה של אותה חוקרת שבאנגליה ש:

an estimated half a million children [are] arriving at school each day too hungry to learn

פיטר גרין, במאמרון שלו מלפני שנתיים שקישר למחקר האמריקאי, סיים עם קביעה מבישה – שעוד היום אנחנו עדיין זקוקים ל:

actual proof that students do better when they are well fed.

זה היה נכון לפני שנתיים, וזה נכון גם היום. מדובר בסוג הקורלציות שאפשר למצוא גם בלי השקעה של מיליוני דולרים וכוח מחשוב מסיבי. ובכל זאת, טוב לדעת שהחוקרים בליידס ממשיכים לעקוב אחר הקשר הזה, ועוד יותר חשוב, שהם ממשיכים להביא אותו לתודעת הציבור. בוודאי לא היה מזיק לו האנשים שמשקיעים הון בתקשוב מתקדם כדי למצוא מה גורם להצלחה בלמידה היו משקיעים לפחות חלק מהכסף שלהם לדאוג לכך שתלמידים לא יגיעו רעבים לבית הספר.

יתכן שצדק, אם כי במשהו שהיינו צריכים לדעת

לפני שלוש שנים פרסמתי כאן מאמרון בו דיווחתי על מה שנראה לי כיוהרה של כמה מגדולי הדוגלים בשיבוש בחינוך. (טוב, אני כמובן דיווחתי על מצבים כאלה מספר רב של פעמים, אבל המאמרון הנוכחי מתייחס למקרה ספציפי.) באותו מאמרון סיפרתי על טענה די תמוהה של מייסד ומנכ"ל חברת Knewton, חוסה פריירה. (בדצמבר 2016 פריירה עזב את החברה ולפני כמה חודשים נמסר שהוא פתח חברה חדשה, אם כי נכון לעכשיו היא נשמרת מתחת לרדר.)

ציטטתי אז מתוך הרצאה של פריירה בו הוא תיאר את היכולות העתידיות של Knewton, יכולות שמתאפשרות בעקבות המידע הרב שנאגר על הרגלי הלמידה של כל התלמידים שלומדים באמצעות הכלי שלהם, ובזכות האלגוריתמים המיוחדים שהחברה פיתחה. הוא תיאר מצב שבו אם במהלך החלק הראשון של שנת הלימודים החברה תאסוף נתונים על מה התלמידים אוכלים בארוחת בקר, עד סיום השנה היא תמצא קורלציות בין מה שהם אכלו לבין ההישגים שלהם בשיעורים השונים. בעזרת הנתונים האלה, לפי ההישגים אפשר יהיה להגיד מה התלמידים אכלו, ואפילו בסופו של התהליך:

we should be able to tell you what you should have for breakfast.
מעבר ליוהרה עצמה, באה לביטוי כאן ראייה מכנית מאד של הלמידה: התלמיד לומד כאשר הוא מתודלק בצורה המתאימה, וכאשר משנים את נתוני התדלוק של ארוחת הבקר, אנחנו מקבלים הספקים שונים. יש כאן גם ראייה מאד אטומיסטית על הלמידה – הגורם היחיד שכנראה משפיע על התפקוד של התלמיד הוא מה שהוא אוכל. היחסים של אותו תלמיד עם תלמידים אחרים, עם המורה, או עם הוריו – אלה אינם נכנסים לתוך המשוואה הפשוטה של קלט: ארוחת בקר ←←← פלט: הישגים.

אין זה אומר שארוחת בקר איננה חשובה. ההפך הוא הנכון, ומחקר מעניין חדש מראה לנו עד כמה זה נכון. פיטר גרין, שהבלוג שלו נושא את השם הנהדר Curmudgucation, דיווח על המחקר.

במדינת דרום קרולינה, כמו במדינות נוספות בארה"ב, משפחות מעוטי אמצעים ראשיים לקבל מידי חודש שוברים לרכישת מזון. זה נעשה במסגרת פרויקט בשם Supplemental Nutrition Assistance Program – SNAP. עורכי המחקר אספו נתונים עבור 12 שנים (2000 – 2012) והעמידו את התאריכים שבם משפחות קיבלו את שוברי המזון מול התאריכים של המבחנים הסטנדרטיים בבתי הספר. גרין, במאמרון שלו, מפרש:

lo and behold, that students who tested during the final weeks of the benefit cycle (when families have typically used up the benefits and are making do with less food)– those students get lower scores.
לא כל המשפחות במדינה קיבלו שוברים, והחוקרים מצאו קורלציה רק אצל התלמידים שמשפחותיהם כן קיבלו. הם גם מצאו שציוני התלמידים בבחינות היו חלשים כאשר השוברים נמסרו למשפחות לקראת סוף השבוע. הם שיערו שבמקרים האלה הכסף הלך לקניית בירה במקום להזנת המשפחה. באופן כללי בתקציר המחקר הם קובעים:
Our results provide evidence that households do not sufficiently smooth consumption and that this has measurable effects on student performance.
המחקר עצמו מלא נתונים ואני מודה שהתקשיתי לעקוב אחרי כולם. עם זאת, המסקנה בנוגע לביצועי התלמידים במבחנים די ברורה – יש קשר בין תזונה לבין הישגים לימודיים.

האם זה אומר שהתגובה הצינית שלי כלפי הטיעונים של פרירה מ-Knewton לא היתה מוצדקת? על זה אפשר לקבוע שהכל ענין של מידה. עוד רחוק היום שבו נהיה מסוגלים להתאים בין התפריט של ארוחת הבקר לבין הנושאים שכדאי ללמוד בתחילת היום בבית הספר, אם בכלל. (אני רחוק מלהיות משוכנע שבכלל רצוי לעשות זאת.) מצד שני, קשה להאמין שאנשי חינוך זקוקים לאלגוריתמים מתקדמים על מנת לגלות שתלמידים שאין להם מספיק לאכול אינם יכולים להתרכז בשיעור. המחקר שנערך על תלמידים במדינת דרום קרולינה ומשפחותיהם מביא נתונים מרתקים. אבל אם לא זיהינו עוד לפני המחקר שיש קשר בין תלמידים רעבים לבין קשיים בלמידה, משהו מאד לקוי ביכולות האבחנה שלנו.

בשביל מי המידע הזה?

לפני כשבועיים ZD Net, אתר שעוסק בנושאים טכנולוגיים ורק לעתים רחוקות גולש לעניינים הקשורים לחינוך, שאלה בכותרת של כתבה:

אפשר, כמובן לראות בשאלה הזאת עוד דוגמה של חוק הכותרות של בטרידג' ופשוט להשיב בשלילה, אבל במקרה הזה מתחת לכותרת מסתתר נושא חשוב מאד שראוי לבחינה לעומק.

הכתבה מספרת על חברה מסחרית באוסטרליה (ששמה לא נחשפה) שהשיגה מידע מפורט על הרקע הסוציו-אקונומי של רבים מתושבי אוסטרליה, וחיברה אל המידע הזה אלגוריתם שמאפשר לבחון את הסיכוי של סטודנט פוטנציאלי להשלים את הלימודים שלו במוסד להשכלה גבוהה. הכלי שבוחן את הסיכוי הזה הוא כנראה זמין לכל צעיר שרוצה להשתמש בו. בלשון הכתבה:

Young adults born into low socioeconomic families can use an algorithm built on government-collected data to determine whether or not they should bother with their tertiary education
קיומו של הכלי, ועוד יותר מזה, היכולת של חברה פרטית לקבל את המידע שעליו הוא פועל, עורר ויכוח ער, ויכוח שמתמקד בשאלה בעלת פן אתי מובהק: צריך להיות ברור שהסיכוי של צעירים מרקע סוציו-אקונומי נמוך להשלים תואר בהשכלה הגבוהה קטן משל אלה שבאים מרקע מבוסס יותר, וזה מה שהכלי החדש הזה יראה. לאור זה, האם יהיה זה נכון להרתיע סטודנטים פוטנציאליים מלנסות לשפר את מעמדם באמצעות לימודים באוניברסיטה? באופן מסורתי, הרי, ההשכלה הגבוהה נתפסת כקרש קפיצה למעמד הבינוני. כלי שבאמצעותו צעירים עשויים לגלות שאין טעם שיפנו להשכלה גבוהה עשוי ליצור מצב שבו עוד לפני שהם מעיזים לפנות לאוניברסיטה ולחולל שינוי בחייהם כבר רומזים להם שפשוט לא כדאי.

הכתבה מצטטת מומחית אוסטרלית לענייני פרטיות שמסבירה (באופן די הגיוני) שהדבר המתאים לעשות עם מידע מהסוג שנאסף הוא להשתמש בו כדי לזהות סטודנטים שנמצאים בסכנת נשירה מלימודיהם ולהתערב בצורה חיובית כדי לעזור להם לפני שהם נושרים. אבל כאן מתעוררת שאלה עקרונית – את מי המידע הזה משרת? הרי, כפי שגם צויין בכתבה, בהסתמך על אותו מידע, מוסד להשכלה גבוהה שמעמיד את רווחיו מעל ההצלחה של הסטודנטים שלו (ויש רבים כאלה) יכול להחליט שלא כדאי לו לקבל לשורותיו סטודנטים שאין להם סיכוי להשלים את הלימודים שלהם.

איסוף מידע על מנת לעזור לסטודנטים איננו פסול. כתבה בניו יורק טיימס מפברואר השנה סקרה מספר דוגמאות של predictive analytics (אולי "ניתוחי מידע ניבואיים", אבל קשה למצוא תרגום מוצלח) בהשכלה הגבוהה. מתברר שבאמצעות שימוש נבון יש הצלחות. מוסדות שמצליחות לזהות קורלציות בין קשיים בקורסים מסויימים, או בהסתגלות לסביבה החברתית, לבין נשירה מהלימודים יכולים להתערב לפני שמאוחר מדי. וללא ספק התערבות מהסוג הזה בהחלט יכולה להיות לטובת הסטודנט.

עוד ביוני 2015 ה-Guardian הבריטי פרסם כתבה בנושא הזה. הנקודה המעניינת בכתבה הזאת היא מגוון הנתונים שבהם מוסדות שונים נעזרים. אם בהתחלה של השימוש ב-big data בדקו ציונים, ואולי נוכחות בשיעורים, יישומי ה-LMS הדיגיטאליים של היום מאפשרים פירוט מאד מדויק של הזמן שסטודנטים מבלים באתרי הקורסים שלהם, ובאילו שעות של היום. כל המידע הזה, כמובן, נאגר, ואפשר גם לבדוק את זמן ההגעה לקמפוס, מידת השימוש בספריה, ועוד. וכמובן אפשר גם לסקור את הפעילות ברשתות חברתיות כדי לקבל תמונה רחבה יותר על הסטודנט. אבל גם אם הכל נעשה מתוך כוונה חיובית לעזור, בשלב מסוים קשה שלא יתעורר חשש שהאח הגדול צופה בך כל הזמן.

כזכור, הדוגמאות מהניו יורק טיימס ומה-Guardian על פי רוב מבקשות לעזור לסטודנטים להצליח בלימודים שלהם. אבל ב-Guardian אנחנו גם קוראים ש:

Brockenhurst College in the New Forest is going even further, analysing students’ profiles before they even set foot on campus.
במקרה הזה כבר לא ברור שהשימוש בנתונים הוא לטובת הסטודנט. במקום זה יש כבר צעד לא כל כך קטן לקראת המצב שמתואר בכתבה על אוסטרליה.

לפעמים הצעדים, אפילו אם הם קטנים, די רומסים. מצב כזה ראינו לפני כשנה וחצי כאשר מכתב של נשיא Mount St. Mary's University אשר במדינת מרילנד הופץ ברבים. במכתב שלו הנושא טען שאם בשלב של תחילת הלימודים שלהם האוניברסיטה תצליח לזהות סטודנטים שהסיכוי שלהם לסיים את הלימודים שלהם קלוש, רצוי כבר בשלב המוקדם הזה לעודד אותם לפרוש. יתכן שאותו נשיא באמת דאג לטובת הסטודנטים ורצה למנוע מהם את האכזבה של נשירה בשלב מאוחר יותר. אבל ברור שהוא גם דאג למעמד האוניברסיטה שלו: כאשר סטודנטים פורשים סמוך לתחילת הלימודים שלהם הם אינם נספרים במניין הפורשים, ושיעור ההחזקה של האוניברסיטה נראה חיובי יותר.

אבל יתכן מאד שסגנון המכתב היה חשוב יותר מאשר תוכנו. המכתב התגלגל לאתר Inside Higher Ed וכך למדנו כיצד הנשיא השיב לחברי הסגל שלא אהבו את הרעיון של לעודד סטודנטים לפרוש:

This is hard for you because you think of the students as cuddly bunnies, but you can’t. You just have to drown the bunnies … put a Glock to their heads.
אכן, הסגנון די מזעזע. אבל מעבר לסגנון, המכתב מחדד את השאלה של השימוש ב-big data בהשכלה הגבוהה. נדמה לי שבשלבים המוקדמים של השימוש הזה היה ברור שהכוונה היתה לגייס את הנתונים כדי לעזור לסטודנטים. אבל תוך זמן יחסית קצר הנתונים התחילו להפוך לכלי שפוגע בהם, או לפחות לא העמיד את טובתם כערך מרכזי. יכול להיות שאי-אפשר היה שיהיה אחרת. הרי הנתונים משרתים את מי שמחזיק בהם, וצריך להיות ברור שהם בידי הנהלות המוסדות שישתמשו בהם כדי לקדם את האינטרסים שלהן. ספק אם לסטודנטים יש סיכוי לקבוע מה עושים איתם. יתכן שלפני לא יותר מדי זמן היתה זהות בין האינטרסים של המוסדות לבין אלה של הסטודנטים. אבל כמו עם החברות הדיגיטאליות הענקיות וה-"לקוחות" של השירותים שלהן, הימים של זהות אינטרסים כנראה עברו מזמן.

זה מה שגיליתם?

היום, חמש שנים אחרי "שנת ה-MOOC" כפי שהניו יורק טיימס כינה את 2012, ההתלהבות האדירה מהתופעה, וגם הפניקה של מוסדות להשכלה גבוהה כלפיה פן הם ייעלמו, די דעכו. מתברר שיותר מאשר החברות שמפיקות קורסי MOOC מאיימות על עתיד ההשכלה הגבוהה, הן עסוקות בחיפוש מודלים עסקיים שיאפשרו להן לקבל פלח מהשוק המשמעותי הזה. מה שבעבר הוצע חינם כמעט כתפיסה אידיאולוגית בוחן כיצד ניתן לגבות כסף. מה שבזמנו כוון לכל מי שמבקש ללמוד היום מתמקד בהכשרה מקצועית צרה. שינויים כאלה הם כמובן לגיטימיים, אבל הם גם עדות די ברורה לכך שבמקום המהפכה שהבטיחו לנו, התופעה הפכה לפרויקט עסקי שכנראה איננו מציע שינוי מהותי בתהליכי הוראה או למידה.

אז אם אין כבר השכלה לכל, ובוודאי לא השכלה חינם, האם משהו בכל זאת נשאר מההבטחות הגדולות? ובכן, Coursera ו-Udacity הבטיחו לנו עוד משהו – שבאמצעות הכמות האדירה של נתונים שנאגרת אצלם הם יוכלו לזהות את המאפיינים ואת המרכיבים של הוראה מוצלחת כך שאפשר יהיה להפוך את ההוראה למדע מדויק. כתבה על קורסי MOOC ב-Technology Review משנת 2013 מצטטת את אנדרו אנג, אחד מיוזמי Coursera, על ההתייחסות שלו לאיסוף הנתונים האלה:

The data we are collecting is unprecedented in education…. We see every mouse click and keystroke. We know if a user clicks one answer and then selects another, or fast-forwards through part of a video.”
ובאותה כתבה הוא הצהיר שכל הנתונים האלה יאפשרו לנו לגלות מה לעשות כדי להבטיח הוראה מוצלחת:
Today, education is an anecdotal science, but I think we can turn education into a data-driven science, where you do what you know works.
כבר מספר פעמים בעבר ציינתי שאני חושש מהפיכת החינוך ל-"מדע". הרבה יותר חשוב בעיני לראות בו "אמנות". ובכל זאת, קשה לבוא בטענות כלפי נסיונות לברר מה עובד ומה לא, מה יעיל ומה מיותר, בתהליכי הוראה. לכן, לאור ההצהרות של אנג, יש טעם לבחון אלו מסקנות הסיקו ב-Coursera מאותם נתונים שנאספו בקורסי ה-MOOC של החברה. מאמרון שהתפרסם לפני מספר ימים בבלוג של Coursera מאפשר לנו להציץ בתובנות שהושגו. כותרת המאמרון אכן רומז שהם אכן מגיעים לתובנות. אלכסנדרה אורבן וטליה גרינבלט-קולודני מדווחות על:
הכותבות מסבירות שבעזרת בדיקות A/B ניתן לבודד משתנים כך שאפשר לבחון את ההשפעה של פעולות שונות על ההוראה ועל הלמידה. הבדיקה הספציפית שעליה הן מדווחות היא הוספת הזדמנויות לתרגול בחומר הנלמד בשלבים שונים בקורס:
We wanted to be scientific in our approach to this recommendation, so we split several courses into A/B versions with and without extra practice assessments to analyze learner progress and performance in both versions.
ראוי להתעכב רגע על מה שנכתב כאן. לא סתם מספרים לנו שהחליטו לשלב הזדמנויות של תרגול בשלבים שונים בקורסים. זה נעשה על מנת לשמור על גישה מדעית. והתוצאה?:
Excitingly, we found that when the workload per week matched learner expectations adding practice assessments not only increased participation and success on related graded assessments, but also led to greater overall persistence and progress.
החוקרים גילו, להתרגשותם!, שאכן הוספת הזדמנויות תרגול, עם משוב שמוגש לסטודנטים בעקבות אותו תרגול, הובילה להשתתפות רבה יותר בקורס, וגם ליותר הצלחות בקורס. קשה להתווכח עם הצלחות, ובוודאי לא עם הצלחות מדעיות מרגשות. ובכל זאת, רצוי לזכור שבתחילת הדרך אנדרו אנג התהדר בכמויות האדירות של מידע שנאגרו בקורסים של Coursera, ושבאמצעות המידע הזה יהיה אפשר להסיק מסקנות חשובות בנוגע להוראה וללמידה. והנה, עכשיו מדווחים לנו שמה שגילו הוא שכאשר משלבים הזדמנויות תרגול לתוך קורס ונותנים משוב על התרגול הזה יש התמדה גדולה יותר, וגם למידה טובה יותר, אצל הסטודנטים. סליחה, אבל … בשביל זה צריכים את Coursera, ומיליוני הדולרים שהושקעו בחברה? נדמה לי שהידיעה המרעישה הזאת היתה ידועה לדורות רבים של מורים הרבה לפני שה-MOOC איים על ההשכלה הגבוהה.

מלכתחילה קשה להגיד שמודל ההוראה שגופים כמו Coursera ו-Udacity (וגם EdX) הציעו היה מהפכני. חשוב להדגיש שעבור מובילי היזמויות האלו העיקר היה ההיצע ההמוני ולא מודל ההוראה או הלמידה. אבל דבריו של אנג מלפני ארבע שנים בכל זאת מעידים על כיוון מסויים, או לפחות יומרה – שביכולתו של ה-big data לגלות נסתרות ולחשוף לפנינו דברים שלא יכולנו עד עכשיו לדעת. אורבן וגרינבלט-קולודני רוצות להרשים אותנו בידיעה המרעישה שהתגלתה מהנתונים שלהן. אמנם מדובר במסקנה שאליה מגיעים מניתוח מדוקדק של המון נתונים, אבל צר לי לגלות להן שהיו דרכים פשוטות, וזולות, יותר להגיע אליה.

לא, אינני שולל את השימוש בנתונים

כאשר אנחנו שומעים היום על "התאמה אישית" במסגרות חינוכיות הכוונה איננה לאפשר ללומד לכוון את הלמידה של עצמו, אלא כמעט תמיד "להתאים" את הקניית המידע שמערכת החינוך קבעה כנחוץ לקצב שהלומד יכול לעמוד בו. המטרה נשארת להביא כל תלמיד לאותם הישגים, לאותה נקודת סיום, כאשר במקום שהמורה בכיתה יכוון את עצמו לממוצע של קצב הלימוד ויכולות ההבנה של הכיתה שלו (ובמצב הזה, כמובן, יש מי שיתפוס מהר וגם מי שייכשל) כל תלמיד יקבל חומרי לימוד שיקדמו אותו לפי יכולתו. אין חדש בתפיסה הזאת. כבר שנים בישראל יש תכניות ל-"הוראה מותאמת" שמדגישות את הצורך לאפשר לכל תלמיד להתקדם בקצב שלו. אבל נדמה שעם ההתקדמות העצומה של כלים תקשוביים לאסוף ולנתח נתונים ההתאמה האישית (personalization) הומצאה מחדש. היום הגישה שגורסת שהלומד מסוגל, ואף צריך, להחליט החלטות בנוגע ללמידה של עצמו מפנה את מקומה לעליונות הנתונים שיודעים טוב יותר מהמורה ומהתלמיד מה טוב (ו-"מתאים") לתלמיד.

על אף העובדה שהתקשוב מגויס היום ל-"התאמה" שמכוונת כמעט באופן בלעדי לצרכים של המערכת, ולא של הלומד, אין ספק ששימוש נבון בנתונים יכול לתרום רבות להכוונה העצמית של הלומד. לפני כשבוע ג'רד סטיין במאמרון בבלוג שלו ביקר את גישת ה-"התאמה אישית" הרווחת והעמיד מולה גישה שהיא ממוקדת לומד:

student-centered learning practices tend to share a common (if sometimes unspoken) goal: to develop learners’ capability for self-directed, lifelong learning by granting more control and responsibility for the learning process
סטיין כתב על פרויקט שמוביל דייוויד ווילי – Lumen Learning – שלדעתו כן מצליח לנצל את יכולות התקשוב לצרכי הלומד. הוא מצטט ממאמרון של ווילי שהתפרסם כמה ימים קודם בו הוא מסביר את הבעיה בגישה הרווחת:
There is no active role for the learner in this “personalized” experience. These systems reduce all the richness and complexity of deciding what a learner should be doing to – sometimes literally – a “Next” button. As these systems painstakingly work to learn how each student learns, the individual students lose out on the opportunity to learn this for themselves. Continued use of a system like this seems likely to create dependency in learners, as they stop stretching their metacognitive muscles and defer all decisions about what, when, and how long to study to The Machine.
ווילי מדגיש שמערכות כאלו מונעות את יכולתו של הלומד להכיר את הרגלי הלמידה של עצמו ומפתחות אצלו תלות במנגנון התקשובי. בכך הן מזיקות לפיתוח הלומד העצמאי. הוא מציין שהן עושות זאת מפני שהן משרתות את הצרכים של ספק כלי התקשוב, ולא את הלומד. הוא כותב שבמהלך השנה האחרונה בפגישות עם מרצים ועם סטודנטים הצוות שלו מנסה:
to develop an approach that – if you’ll pardon the play on words – puts the person back in personalization
הוא כותב שכמו עם מערכות מתוקשבות אחרות הגישה של הצוות שלו מתבססת על בניית מודל של מה שהלומד יודע. אבל להבדיל ממערכות שבהן ההחלטות על הצעדים הבאים נמצאות בידי המכונה, המערכת של ווילי משקפת ללומד את מצב הלמידה של עצמו ומבקשת ממנו להחליט על צעדיו הבאים בהתאם למידע הזה. השימוש ב-"מכונה" להמליץ, אבל לא לקבוע, נמצא ביסוד הגישה שלו. לפי ווילי:
We believe very strongly in this “machine provides recommendations, people make decisions” paradigm.
הוא איננו משלה את עצמו שכל לומד יידע להחליט את ההחלטות הנכונות עבור עצמו, אבל הוא איננו מוותר על המטרה הזאת. המערכת שהוא בונה איננה מוציאה את הלומד מתהליך הלמידה מפני שהיא "יודעת" טוב יותר מה טוב עבורו. היא מבקשת לשפר את היכולת של הלומד לקבל החלטות נבונות בנוגע ללמידה שלו. סטיין מסכם את הגישה הזאת בצורה מאד ברורה:
First, Lumen is acknowledging that though developing learners’ understanding of the material is critical, there is a higher, more profound goal of learner autonomy.

Second, Lumen is using the power of learning analytics to improve learning habits through self-reflectiveness as a means to travel on the path toward autonomy.

גם מיכאל פלדשטיין מתייחס למאמרון של ווילי, וכמו סטיין הגישה של ווילי מוצאת חן בעיניו. פלדשטיין מתאר את השלבים שהם המתאימים למערכת המלצות מתוקשבת שמפתחת את האוטונומיה של הלומד. לדעתו מערכת כזאת צריכה להציג ללומד מה הן המיומנויות ו/או הידיעות שהלומד טרם רכש והיא צריכה להציג בפניו את העדויות שהובילו לאבחון הזה. בהמשך היא צריכה להביא המלצות לצעדים הבאים שרצוי שהלומד ינקוט יחד עם הסבר על למה היא מביאה את ההמלצות האלו. הוא כותב:
There are lots of ways that a thoughtful user interface designer can think about progressively revealing some of this information and providing “nudges” that encourage students on certain paths while still giving them the knowledge and freedom they need to make choices for themselves.
הדגש אצל פלדשטיין, כמו אצל סטיין ואצל ווילי, הוא על החופש של הלומד להחליט בעצמו. לשם זה הם רוצים לאפשר לו גישה למידע שמאפשר לו לקבל החלטות נבונות. למרבה הצער, המערכות המתוקשבות ל-"התאמה אישית" של היום "יודעות" מה טוב עבור הלומד. מפתחי המערכות האלו משרתות תפיסה הוראתית שבה רצונות הלומד אינם חשובים – הרי מראש ברור אילו ידיעות הלומד צריך לרכוש, ובסך הכל מטרתן היא ייעול תהליך הרכישה. אפשר לקוות שבכל זאת אפשר יהיה לרתום את התקשוב למטרה יותר חינוכית כמו זאת שעליה מצביעים ווילי, סטיין ופלדשטיין. בידיים הנכונות איסוף הנתונים וניתוחם יכולים לשרת מטרה כזאת … אם כי עדיין לא ראינו שזה קורה.

מטרה ראויה – ואמצעים שונים להשיג אותה

מוסדות להשכלה גבוהה רבים מפתחים תכניות לעזור לסטודנטים להשאר ממוקדי תעודה ולא לעזוב את לימודיהם. יש אמנם מוסדות למטרת רווח ששמחים לחלוב את הסטודנט עד טיפת כספו האחרונה, אבל על פי רוב מוסדות שמכבדים את עצמם באמת רוצים להביא את הסטודנטים שלהם לסיום מוצלח ולקבלת תואר. היום, כמו בתחומים רבים אחרים, מגייסים את הנתונים, וניתוחם, כדי לטפל בנושא הזה. יש פרויקטים המיועדים לזיהוי מוקדם של סטודנטים שנמצאים בסכנת נשירה על מנת לעזור להם להתגבר על הקשיים ולא יעזוב את הלימודים. אם נתונים יכולים לאותת לגורמים במוסד להשכלה גבוהה שסטודנט נתקל בקשיים כך שהתערבות מוקדמת וממוקדת תמנע את הנשירה, מדובר בשימוש לגיטימי ואפילו רצוי של נתוני הסטודנט – כל עוד השימוש במידע הזה נעשה בהסכמת הסטודנט, ואיננו מנוצל לצרכים אחרים.

פיל היל (Phil Hill) בבלוג e-Literate מדווח על פרויקט כזה של חברת IBM ולפרסומת אודות הפרויקט. היל מקשר לאתר של IBM המכיל סרטון שהחברה העלתה גם ל-YouTube. מהפרסומת אנחנו למדים ש-30% מהסטודנטים שמתחילים ללמוד במוסדות להשכלה גבוהה נושרים. החברה שואלת כיצד ניתן לזהות מי נמצא בסכנת נשירה, והיא מציגה את חבילת ה-predictive analytics שלה כפתרון. הפרסומת מסבירה על הכלים של IBM:

They analyze more deeply what they always have — things like poor attendance and failing grades. But they are also beginning to factor in new kinds of data: how far students live from campus, how many hours a week they work, even how often they log on to the university Wi-Fi network.
המטרה ברורה: בעזרת הנתונים האלה – לא נתונים בודדים, אלא אוסף של נתונים סביב מגוון נושאים הקשורים להתנהגות הסטודנט – מוסדות יכולים להכין תכנית התערבות מותאמת אישית לכל סטודנט. מוסרים לנו, למשל, שיתכן ששוברי נסיעה לסטודנט שגר רחוק יכול להטות את הכף לכיוון הצלחה. היל מצטט קטע מתוך הסרטון שמתייחס לרעיון הכללי של התכנית של IBM, ולסיכויי ההצלחה שלה:
One thing can’t tell you, but the right combination can. Universities are using IBM Analytics to understand pressures in and out of the classroom. Some expect to cut dropout rates by 25%.
קשה להתווכח עם הצלחה כזאת, ואם החדירה לתחום הפרט איננה מוגזמת, ואם ההתערבות לטובת הסטודנט נעשית בהסכמתו, אין סיבה לפסול תכנית כזאת. ובכל זאת יש בעיה. היל נבר לתוך חומרי פרסום רבים של IBM בנסיון לאתר את המחקרים שהתייחסו להקטנת הנשירה ב-25%. הוא מצא שהנתון הזה כנראה קשור לנשירה בבתי ספר (K-12) במחוז אחד במדינת טנסי, בשנת 2010, ולא למוסדות להשכלה גבוהה. היל מצא שני מקרים בהשכלה הגבוהה שעשויים לחזק את הטיעונים של IBM, אבל מדובר בהישגים צנועים יותר בהרבה, או בתחזית ולא בתוצאות:
there is one case study for Ithaca College about increasing retention rates by 4% and another for Brockenhurst College about their expectation “to improve student recruitment and retention by 15 percent over a five-year period”.
במילים אחרות, יתכן וה-predictive analytics של IBM באמת מסוגלים להקטין את הנשירה של סטודנטים, אבל יש פער משמעותי מאד בין הנתונים ש-IBM בעצמה אספה, לבין הדרך שבה התכנית שלה מוצגת בפרסומי החברה. כולנו, כמובן, רגילים להגזמות בפרסומות, אבל במקרה הזה לא מדובר באבקת כביסה, אלא בתכנית יקרה של חברה מאד מכובדת שאמורה לטפל בבעיה כאובה בהשכלה הגבוהה. היל מסיים את המאמרון שלו בקריאה ל-IBM להציג את הנתונים שעליהם הטיעונים שלהם מתבססים, או לשנות את הפרסומת כך שתתאים למציאות המחקרית.

הקריאה של היל הגיונית, אבל רצוי גם לציין שכבר היום נאסף מידע מחקרי (אם כי בשלב הזה אולי לרוב אנקדוטי) שמצביע על כך שהתערבויות צנועות, וזולות, בהרבה יכולות להשפיע לטובה על הנשירה של סטודנטים. כבר לפני שנתיים Educause דיווח על פרויקט משותף של האוניברסיטה של וושינגטון בטקומה ושל חברה בשם Persistence Plus שבו הודעות SMS נשלחו לסטודנטים במגמה לעודד אותם להתמיד בלימודיהם. מהדיווח:

Persistence Plus provided automated and interactive outreach to students in targeted courses. Students received daily nudges that relied on a variety of behavioral levers, such as social norming and goal commitment, to support them on the path to success and graduation
באופן משמעותי סטודנטים שקיבלו את ההודעות התמידו בקורסים שלהם יותר מאשר אלה שלא קיבלו את ההודעות. מעניין לציין שעל אף המילים הגבוהות של מינוף התנהגותי או של שימוש בנורמות חברתיות הדוגמאות של ההודעות שנשלחו לסטודנטים נראות די סתמיות. סביר להניח שמוסד להשכלה גבוהה איננה זקוקה למומחים בפסיכולוגיה התנהגותית על מנת לנסח את ה-nudges, הדחיפות הקלות, שכנראה מסוגלות להשפיע לטובה.

לפני חודשיים ג'וסטין רייך, במאמרון ב-Mind/Shift, התייחס להודעות SMS מהסוג הזה. רייך סקר מספר התערבויות, הן ב-K-12 והן בהשכלה הגבוהה וציין ש:

Each of these studies involved a trivially small and inexpensive intervention, with effects that rival the gains from some of the most expensive efforts in education.
רייך רואה ערך רב בהתערבויות כאלו, אם כי הוא גם מעלה ספקות. יתכן, לדוגמה, שככל שדחיפות קלות מהסוג הזה נעשות לנוהל רגיל ונפוץ, השפעתן תמעט. בנוסף, הוא מביא את הטענה שתהליך הלמידה אמורה לדרוש השקעה ומאמצים, ולכן יש ספק שבטווח הארוך כמה הודעות שנשלחות בזמן הנכון יכולות להשפיע על הרגלי הלמידה של הסטודנט. רייך איננו שולל את הטענה הזאת, אבל הוא משיב שהתזכורות האלו מכוונות על פי רוב לסטודנטים שבדרך כלל אינם זוכים לעידוד:
Defenders of the work argue that affluent students are already the recipients of endless nudges, primes and reminders from parents, teachers and counselors, and these interventions just level the playing field.
הוא מביע חשש שמדובר במניפולציות המכוונות להשגת תוצאה מיידית, כאשר תהליך הלמידה הוא תהליך איטי והדרגתי של פיתוח העצמאות, הסקרנות והאוטונומיה, אבל הוא בכל זאת קובע ש:
I think it would be immoral not to send students a few text messages if we knew that could help struggling students improve their grades or get to college.
ואולי מה שבמיוחד מרשים בהתערבויות מהסוג הזה הוא שהן אינן דורשות איסוף מאסיבי של מידע אודות הסטודנטים, והן ניתנות להפעלה בזול וללא צורך בחברת הזנק חיצונית. נדמה שבסך הכל דרוש רצון טוב ושכל ישר.

יש נתונים … ויש נתונים

לפני כשבועיים פרסמתי כאן מאמרון בו הבעתי את החששות שלי כלפי ההשתלטות על החינוך של תפיסת עולם מכניסטית שבאה לביטוי בחברות כמו Knewton והנתונים הרבים שהן אוספות. ציינתי שחברות כאלה מתיימרות לייעל ולשפר את הלמידה של תלמידים באמצעות כמויות המידע האדירות שהן אוגרות בכל שלב ושלב של ההוראה והלמידה. נדמה לי שהסברתי את ההתנגדות שלי לתפיסה הזאת במאמרון ההוא, אבל יש עוד שני היבטים של הסוגיה הזאת שראויים להתייחסות.

תיארתי את האמירות של מנכ"ל Knewton, חוסה פריירה, כיוהרה. לא פקפקתי ביכולתו לאסוף מידע רב כל כך, רק שאלתי אם זה מה שהחינוך באמת צריך. לא שאלתי אם הניתוחים שעל פיהם Knewton מבקשת להכין תכנית לימודים אישית לכל תלמיד ותלמיד יהיו נכונים ושימושיים. פיליפ קר, בבלוג שלו שעוסק בעיקר בהוראת האנגלית כשפה שנייה, שואל את השאלה הזאת. הוא מדווח על ספר חדש, מתחום העסקים, וטוען שהאלגוריתמים שלפיהם מנסים לקבוע כיצד תלמידים צריכים ללמוד אינם מאפשרים לנו להסיק מסקנות ברורות עבור למידתם:

A new book by Stephen Finlay, Predictive Analytics, Data Mining and Big Data (Palgrave Macmillan, 2014) suggests that predictive analytics are typically about 20 – 30% more accurate than humans attempting to make the same judgments. That’s pretty impressive and perhaps Knewton does better than that, but the key thing to remember is that, however much data Knewton is playing with, and however good their algorithms are, we are still talking about predictions and not certainties.
כיצד יש להתייחס להערכה הזאת? מי שרואה את חצי הכוס המלאה בוודאי יגיד שהאלגוריתמים של Knewton מדוייקים יותר, ולכן גם טובים יותר, מאשר ההערכות האנושיות שהכרנו עד היום. (הוא גם יוכל להוסיף, במידה לא קטנה של צדק, שאלה עוד ימשיכו להשתפר.) אני דווקא בוחר לראות את חצי הכוס הריקה. מערכות החינוך שפונים היום ל-Knewton מאפשרות לחברה לקבוע מסלולי למידה עבור מיליוני תלמידים. אחוזי הטעות שלה אולי קטנים מאחוזי הטעות האנושיים, אבל קשה מאד לערער מול קביעות של אלגוריתמים, ואילו מול טעות אנוש עדיין קל. האלגוריתמים, הרי, "אובייקטיביים", ולא מתווכחים עם עובדות. אבל אפילו אם הן קטנות, טעויות בניתוח הנתונים בכל זאת יביאו למסלולי למידה שאינם מתאימים למספר גדול מאד של תלמידים.

קר, אגב, גם מציין שבאותו ספר, פינלאי מצביע על ההבדל בין סיבתיות, מה שגורם לתופעה מסויימת, לבין קיומו של מתאם בין תופעות. קר כותב:

Certain students may have learnt maths best between 8.40 and 9.13, but it does not follow that they learnt it best because they studied at that time.
הנקודה הזאת צריכה להיות מובנת מאליה, אבל לעתים קרובות מדי הסגידה לאלגוריתמים מעוורת, ובלהט מציאת קורלציות אנחנו שוכחים שאין בהכרח קשר סיבתי.

יש נטייה לראות בהסתמכות על אלגוריתמים גישה אובייקטיבית, ולא לבחון את הנחות היסוד שנמצאות מאחורי השאלות ששואלים, או מאחורי ההחלטה לאסוף נתונים מסויימים ולהתייחס דווקא אליהם. קרל פיש, במאמרון מלפני כשלושה שבועות, כותב על כך שאחד הנושאים שעליהם כבר נאספו נתונים רבים מאד הוא השעה הרצויה לפתיחת בית הספר. מחקרים רבים מאששים את הטענה שתלמידים לומדים טוב יותר כאשר יום הלימודים מתחיל בשעה מאוחרת יותר. לאור זה, ולאור המרדף הבלתי-פוסק אחר נתונים שיכולים להשפיע על ההוראה ועל הלמידה, תמוה בעיניו שלנתון החשוב הזה אין השפעה על מערכות החינוך. פיש כותב:

So I find it interesting in this age where schools are increasingly "encouraged" to be data-driven (at least when we're talking about test scores), that this set of data doesn't appear to be driving anything (except decreased health, increased accidents, and decreased learning for our students). While I frequently question data-driven decision making related to test scores (because I question the quality and meaningfulness of the data itself), in this case I think the data is pretty clear-cut: our students are not getting enough sleep, and it's adversely affecting their well being.
פיש מציין ששינוי שעת פתיחת בית הספר כרוך בשינויים נוספים כמו סידורי הסעה והשעה שבה הורים צריכים להגיע לעבודה, ולכן אפשר להבין את הקושי בשינוי כזה. הוא בוודאי צודק. אבל הנתונים האלה אינם היחידים שמתעלמים מהם. מחקרים גם מראים שתלמידים לומדים יותר בהצלחה כאשר הם יכולים לנוע במהלך היום (ולא חייבים לשבת בשקט במשך שיעורים ארוכים). ובכל זאת בתי ספר אינם מאפשרים שינויים כאלה ואפילו מקצרים את שעות ההפסקה.

אולי ההתערבויות ה-"לימודיות" של Knewton מבוססות על נתונים אמינים, אבל הן גם נובעות מההנחה שתלמידים אמורים לשבת בשקט במשך יום לימודים ארוך. הן אינן מערערות את ההנחות הבסיסיות שעליהן בתי הספר מתנהלים היום. במילים אחרות, לא מדובר באלגוריתמים אובייקטיביים, אלא בכאלה שמיישרים קו עם גישה חינוכית שולטת. לא משם יגיע השינוי.

חזון בלהות

לא מעט אנשי חינוך שעוסקים בתקשוב עדיין שבויים באתוס של Web 2.0. הם דבקים בדעה שההשפעה המשמעותית ביותר של האינטרנט על החינוך מגיעה מהכיוון של כלים דיגיטאליים המשלבים גישה רחבה ביותר למידע עם תקשורת בלתי-אמצעית המאפשרת שיתוף פעולה בין לומדים וביטוי ציבורי רחב של הלמידה הזאת. ולמה "עדיין שבויים"? הרי פייסבוק חובקת עולם וממשיכה לגדול, ובכל כנס שעוסק בתקשוב בחינוך מדווחים על כיצד רשתות חברתיות מקדמות את הלמידה. למה לראות בהצלחה משהו ששבויים בה? נדמה לי שהתשובה היא שכבר מזמן נקודת הכובד (שלא לדבר על כסף המשקיעים) עברה מהרשתות החברתיות והאינטראקטיביות אל איסוף נתונים וניתוחם על מנת למנף את הלמידה. אנשי חינוך אולי ממשיכים לדבר על פייסבוק כרשת חברתית, אבל מבקרי תרבות האינטרנט רואים בה מנגנון ענקי לאיסוף נתונים על המשתמשים. במילים אחרות, אפילו אם לא נעים לי להודות בכך, Web 2.0 כבר פסה. נכון להיום עתיד התקשוב החינוכי, כמו עתיד התקשוב בתחומים רבים אחרים, נמצא בנתונים, ב-big data. ומתברר שהמקור העשיר ביותר לנתונים הוא דווקא החינוך.

על פי רוב, רוב ההתייחסות ל-big data בחינוך מתמקד בשאלות של פרטיות. סגירת inBloom לפני כחצי שנה נבעה מהחששות שהורים השמיעו בנוגע למידע הרב על ילדיהם שנאגר אצלו. אבל לעניות דעתי הפרטיות איננה הבעיה הגדולה ביותר של יוזמות כמו inBloom. הבעיה המרכזית היא תפיסת העולם המכניסטית שמנחה את הפרויקטים שמבקשים לאסוף עוד ועוד נתונים ועל פיהם לקבוע כיצד הלמידה צריכה להתרחש. תפיסת העולם הזאת באה לביטוי חד במיוחד אצל חוסה פריירה, מנכ"ל Knewton.

לאחרונה נתקלתי בהרצאה בת 10 דקות שפריירה נשא לפני שנתיים במפגש שאורגן על ידי משרד החינוך האמריקאי. (מתברר שכמה אמירות של פריירה שהכרתי באות מההרצאה הזאת.) פריירה מתאר בהתלהבות כיצד מיליוני נקודות המידע שהחברה שלו אוספת אודות מה שאלפי (ובקרוב מיליוני) תלמידים עושים בשיעורים יאפשרו לו לשפר באופן משמעותי ביותר את ההישגים הלימודיים של התלמידים האלה.

פריירה מתאר את תהליך איסוף המידע של החברה שלו:

You did a little bit of work for Knewton and we use the established science of psychometrics to cascade out hundreds of other data.
כבר בתיאור הזה, שעל פניו הוא די סתמי, יש משהו צורם. בסך הכל פריירה רוצה להגיד לנו שכל תלמיד "תורם" את הנתונים שנוצרים במהלך שיעור, והאלגוריתמים של Knewton יודעים להוציא מהנתונים האלה מידע רב. אבל המילים שפריירה בוחר כדי לתאר את התהליך מציגות את הלומד כפועל עבור החברה. ולמען האמת, יש מידה לא קטנה של אמת בקביעה הזאת – כל אחד תורם את הנתונים שלו, והחברה מרוויחה מהשימוש בהם.

פריירה ממשיך לתאר את תהליך איסוף הנתונים. הוא מסביר שבעזרת מיליוני נתוני המידע שנאספים על אלפי סטודנטים ניתן לזהות את נקודות החוזק והחולשה שלהם, לדעת מה כל אחד יודע וכיצד הוא לומד. ההמשך כמעט בלתי-נמנע:

For every one of those students we can figure out within a few hours what they're strong at and what they're weak at at the beginning of the course. So we can produce a unique syllabus for each student each day. … So it's optimized for each kid down to the atomic concept…. So every kid gets a perfectly optimized textbook … dynamically generated in real time.
הוא מצהיר שכאשר הנתונים של עוד מיליוני סטודנטים יצורפו למאגר המידע של Knewton אפשר יהיה לקבוע באופן מדויק את הדרך הטובה ביותר ללמד כל מושג לכל סטודנט.

האם יש כאן בטחון מופרז? יוהרה מוגזמת? כנראה שלא. בקור רוח פריירה מכריז:

We literally know everything about what you know and how you learn best.
הוא משוכנע שהוא יכול לקבוע את תכנית הלמידה האופטימלית של כל לומד, ולא באופן כללי, אלה לפרטי פרטים, ועבור כל מושג ומושג. אבל למה לעצור שם? אפשר להצליב מידע לא רק בין מיליוני לומדים והלמידה שלהם, אלא גם בין הלומד בשעת שיעור לבין יתר הפעולות של הלומד. הוא מתאר:
… something we've talked about as kind of a joke but it really should work, is like the food diary. You tell us what you had for breakfast every morning at the beginning of the semester, by the end of the semester we should be able to tell you what you had for breakfast because you always do better on the days you have scrambled eggs or whatever. And more importantly we should be able to tell you what you should have for breakfast.
אין לפקפק בכוונות הטובות של פריירה. אני בטוח שהוא רוצה לשפר את הלמידה, ושהוא באמת משוכנע שבעזרת הנתונים שהחברה שלו אוספת, וניתוחם, אפשר יהיה לקדם כל לומד. למען האמת, יכול להיות שהוא צודק. אבל תמונת ה-"למידה" שמצטיירת מדרך הפעולה של Knewton היא תמונה של חיים מתוכנתים להחריד. הכל צפוי, והרשות בכלל איננה נתונה. זאת ועוד: בסביבה החינוכית ש-Knewton יוצרת אין מקום לכלי Web 2.0. הכלים האלה מתאפיינים בפתיחות ובבלתי-אמצעיות. אני בטוח שניתוח נתונים של תלמידים דרך Knewton לא יסיק שהם צריכים יותר זמן חופשי לקרוא ספר קומיקס, או לשוחח על תכנית טלוויזיה אהובה. הנתונים יראו צורך בכיוונון קצב הגשת חומרי הלמידה שהתלמידים צריכים ללמוד. עבור תלמיד אחד יידרש הגשה מהירה יותר, תלמיד אחר יהיה זקוק לטקסט בצבע בהיר יותר, ועבור אחר יומלץ שישתה עוד מאה מיליליטר מיץ בארוחת בקר. יש כאן נצחון מוחץ של מכונות ההוראה של סקינר, אבל בלי ההיבט של שחרור המורה מהמטלות המכבידות שסקינר ראה כמטרה. אפילו ההפך – נדמה שמלאכת ההוראה תיעשה למטלה מכבידה אחת ארוכה – לפקח שהתלמיד מגיב כראוי לתכנית האולטימטיבית שניתוח הנתונים הכתיב. וכיצד אפשר להתווכח עם נתונים שנקבעים באופן מדעי!

מתברר שבזמן שלא מעטים מאיתנו חלמנו שהתקשוב יהווה מנוף לקידום תפיסה חינוכית פתוחה, תפיסה שתפשר לכל לומד ליצור את מסלול הלמידה של עצמו, היו אחרים שלא ישנו בכלל, ופעלו במרץ להגשים חלום אחר. והיום החלום שלהם מתחיל להתגשם. גם החלום הזה מבוסס על תקשוב, אבל הפעם התקשוב משרת סוג למידה שונה בתכלית מהלמידה שעליה בישרו כלי Web 2.0.

נצחון לפרטיות, אבל עדיין לא לחינוך

ביומיים האחרונים עיתונים בארה"ב מדווחים על סגירת inBloom. מדובר בארגון ללא מטרות רווח שביקש לצבור מידע רב אודות מיליוני תלמידים ברחבי ארה"ב. מגמת האיסוף האדיר הזה היתה לנתח כיצד התלמידים לומדים על מנת לאפשר התאמה אישית של חומרי הלימוד, וקצב הלמידה, עבור כל תלמיד ותלמיד. כך קיוו שניתן יהיה להבטיח שכל תלמיד יצליח בלימודיו. מאז הקמת הארגון לפני שנתיים inBloom קיבל עשרות מיליוני דולרים מהקרן של ביל גייטס, ותורמים אחרים. תחילה מדינות רבות הצטרפו למיזם והבטיחו שנתוני תלמידיהם יוכנסו למאגר המידע שנבנה. אבל התעוררו חששות רבות לגבי אבטחת המידע, וכלפי הדרכים השונות שאולי ישתמשו בו, והמדינות נטשו את הפרויקט. כאשר בתחילת החודש מדינת ניו יורק פרשה מהפרויקט, הוחלט לסגור את הפרויקט כולו.

מרבית הביקורת כלפי inBloom התמקדה בחשש שהמידע הרב שנצבר על התלמידים עלול להגיע לידיים זרות שרוצות להרוויח מהשימוש בו. רבים הביעו את התחושה שעל אף העובדה ש-inBloom היה ארגון ללא מטרות רווח, גורמים אחרים שחמדו את המידע לצרכים עסקיים יוכלו להגיע אליו. באווירה שנוצרה בארה"ב בעקבות חשיפת פרשת ה-NSA ואיסוף מידע רב אודות אזרחים שם, גדלה הדאגה לפגיעה בפרטיות. לבסוף זה כנראה מה שהכריע את inBloom. בעת כתיבת המאמרון הזה מכתב ממנכ"ל inBloom מופיע בדף הראשי של אתר הארגון. הוא מסביר שהארגון דווקא פיתח אמצעים להגנת המידע, והוא מביע צער שהחששות כלפי שימוש לרעה של המידע הכריעו יוזמה מבטיחה. הוא מוסיף:

The use of technology to tailor instruction for individual students is still an emerging concept and inBloom provides a technical solution that has never been seen before. As a result, it has been the subject of mischaracterizations and a lightning rod for misdirected criticism.
מבחינתי האישית, אינני מזיל דמעה על סגירת inBloom. אני סבור שבהחלט מדובר בנצחון לפרטיות – מונח שבעידן הרשתות החברתיות אולי מאד מעורפל, אבל עדיין חשוב בחיינו. אבל מבחינה חינוכית נדמה לי שהפרטיות איננה הנושא החשוב בכל הסיפור הזה. אני יותר מודאג מהמטרה שמנכ"ל החברה מתאר כמגמה חיובית – "the use of technology to tailor instruction for individual students". ל-"חזון" הזה שורשים עוד בשנות ה-50', בקופסאות של סקינר שלכאורה התאימו את תכני הלימוד לקצב האישי של כל תלמיד, וכמובן גם הכתיבו מה כל תלמיד צריך ללמוד. התפיסה החינוכית שעומדת בבסיס ההתאמה האישית הזאת רואה בתלמיד היחיד כלי ריק שצריכים למלא בידע, כאשר הטכנולוגיה משכללת את תהליך המילוי. אין כאן גילוי, אין כאן הבנייה, וגם אין למידה שיתופית שבה תלמידים פועלים יחד על מנת להבין טוב יותר את עולמם. יש כאן בסך הכל ייעול ההוראה המסורתית בעזרת הטכנולוגיה.

חשוב להוסיף שיותר ויותר היבטים של החברה שלנו רואים בנתונים (data) המפתח כמעט לכל דבר. רבים חושבים שאם נוכל לאסוף מספיק נתונים נוכל, באופן פלאי, לפתור כמעט כל בעיה. וכך גם בחינוך – התקווה הגדולה של רבים מקברניטי החינוך כלפי התקשוב היום היא שבאמצעותו ניתן לנתח כמות אדירה של נתונים, וכך לשכלל ולייעל את ההוראה. יש כאן חיבור בין תפיסה חינוכית מיושנת לבין אמצעים תקשוביים חדישים. והקורבן עשוי להיות החינוך. סגירת inBloom היא נצחון לפרטיות, אבל למרבה הצער, התפיסה החינוכית שהניעה אותו עוד תמשיך להרים את ראשה.