שכחת הזמבורה: על הבלעדיות שאבדה
 


אחד הפירות המתוקים של כתיבה עיתונאית ובלוגית הוא היכולת להציב שלט קטן אך נרגש מעל הידיעה שלך: בלעדי. פרסום ראשון. רק אצלנו. משהו שמצאת, דגת, שמעת או שלית בעצמך. יש כאן עניין של גאווה, אבל הרבה יותר מזה מדובר בעניין של עניין: כשאתה מציג בפני קוראיך ידיעה בלעדית, אתה מספר להם גם שהטרחה שלהם בקניית העיתון או בביקור באתר שלך הייתה כדאית.

על חטאי אודה: אני לא יודע לעשות את זה. פרסמתי מאות מאמרים וידיעות שהיו בלעדיות או פרסום ראשון, בארץ ולפעמים גם בעולם, אבל אני מתקשה להיזכר במקרה בו ידעתי לצפצף בזמבורה כדי להודיע לעולם על־כך. מי שיודע, יודע.

כך היה גם במאמר שפרסמתי ב"מידה," במסגרת "הקפיטליסט היומי" ב-14 באוגוסט 2013. מחקר שפורסם על־ידי הלמ"ס באחרונה, סיפרתי, גילה כי הבחינות במתמטיקה ובאנגלית בוחנות כישורים ויכולות דומים, ומכאן עלתה המסקנה כי אחת ממערכות הבחינות מיותרת.

זו הייתה ידיעה ראשונית ובלעדית. קול הזמבורה לא נשמע, והמאמר חלף והשתכח.

חודש וארבעה ימים מאוחר יותר, בעודי מעלעל ב"הארץ" של ערב החג, הופתעתי לגלות שם, בשולי העמוד הראשי, ידיעה של אור קשתי תחת הכותרת "חוקרי למ"ס: השילוב של בגרות ופסיכומטרי מיותר." הידיעה עצמה סיפרה על אותו מתאם "מונוטוני" בין הציונים בשתי הבחינות, על אותה מסקנה (אחת מהן מיותרת), על מתאם גבוה יותר באנגלית, וכן הלאה. ההבדל העיקרי בין המאמר של קשתי לשלי הוא בכך שמאמר הדיעה שלי ממשיך להשוואת עלויות, המחמיאה לבחינות הפסיכומטריות, ומסכם בטענה בזכות המרת בחינות הבגרות במבחן פסיכומטרי מורחב או העברת הסמכות לקביעת בוחני הכניסה לאוניברסיטאות. קשתי מצטט, במקום, את משרד החינוך הבוחן אפשרות לביטול הבחינה הפסיכומטרית, "שילוב הבחינה בלימודי התיכון" או "קידום בחינות קבלה המותאמות לתחומי לימוד."[1]

ברור כי קשתי לא העניק קרדיט למי שפרסם את הידיעה, כמעט על כל פרטיה, למעלה מחודש לפני "הארץ." קשה לדעת, עם זאת, האם מדובר בעבודה רשלנית או בהעלמה מכוונת. יש כמה הבדלים בולטים בין שני המאמרים,[2] ואף שחלק מהם עשוי להיות קשור לעריכה מפשטת ב"הארץ" או או לניסיון להבליט ערך חדשותי, נדמה כאילו קשתי התבסס על עיון משלו במחקר, אולי ואולי לא בעקבות הקישור אליו מהידיעה שפרסמתי.

קשה לי להגיע למסקנה סופית. מה שכן, כדאי שאשתמש בזמבורה שלי לעתים קרובות יותר.

הערות
1 אין זה המקום לבקר את הידיעה של קשתי, או את חילוקי הדיעות שיש לנו—שני בורים שכמונו—בנוגע לפירוש המונח "מונוטוני" במובנו הסטטיסטי. כדאי רק לציין את הרישול שבעריכת הידיעה, שארבע הפסקאות האחרונות שלה שאובות מהגרסה המודפסת ואינן אלא העתק ערוך ומצומצם של ארבע וחצי הפסקאות הקודמות.
2 הגדרת "מונוטוניות" שונה; במאמר שפורסם ב"מידה" מצוין מועד פרסום המחקר (מאי 2013), שעה שאצל קשתי נטען כי הוא פורסם "לאחרונה"; לגבי כותבי המחקר מצוין אצלי כי שניים מהם הם מן האוניברסיטה העברית ואילו אצל קשתי נאמר "אנשי הלמ"ס"; קשתי מציינ/ת את מספר הנבדקים (17,867), אף כי בשני המאמרים לא מצוינת שנת הבדיקה.


הצטרפו לקבוצת הקוראים המרגשת בפייסבוק וזכו בעדכונים



 
 
רשימת תגובות (9)
 
 
שניכם טועים
18/9/2013
נכתב על ידי עומר

המטרה של הפסיכומטרי והבגרויות בעיני האוניברסיטאות היא לחזות הצלחה בשנה א ללימודים. העובדה היא שאף אחד מהמדדים *לבדו* לא מצליח לתת תחזית טובה.לעומת זאת, שילוב המדדים נותן תחזית לא רעה כלל (בעיקר בהתחשב בעובדה שהמדגם הוא מלכתחילה מוטה).

כעת, מבחינת האוניברסיטאות תלמידים צריכים לדעת אנגלית וגם מתמטיקה והתוצאה של לימודי אנגלית ומתמטיקה היא, בדר"כ, ידע נרחב יותר בתחומים אלו. כך שקשה לוותר על הלימודים של התחומים עצמם. בנוסף, מסתבר שמבחינת חיזוי ההצלחה בשנת הלימודים הראשונה אי אפשר לוותר לא על הבגרות ולא על הפסיכומטרי.
 
 
 
 
לעומר, על ציונים והצלחה
18/9/2013
נכתב על ידי אורי רדלר

עומר,

אני חושב שאתה טועה כאן. צירוף של התוצאות משני מבחנים רצופים, גם אם מקבילים לחלוטין מבחינת תחומי הידע, תמיד מניב ניבוי טוב יותר. זו הסיבה, לצד סדיזם לשמו, שמורים נוהגים לבחון את תלמידיהם מספר פעמים במהלך השליש: בחינות חוזרות מקטינות את שיעור הטעויות.

הנתון הבסיסי הזה גם אינו מעניק לנו כל סיבה הגיונית להניח ששלוש בחינות פסיכומטריות במתכונת מצומצמת באנגלית ו/או במתמטיקה לאורך השנה בבית־הספר התיכון לא יעניקו לנו ניבוי טוב עוד יותר.

יש שתי שאלות מהותיות שאינן נשאלות. מוסכם כי שורה של בחינות יכולות בהחלט לסנן את מי שאינם עומדים ברף של יכולות חשיבה מסוימות במתמטיקה ולוגיקה, באנגלית ובעושר לשוני. הניבוי כאן דומה לזה של בחינת אינטליגנציה, והיא מסננת היטב מקרי קצה נמוכים, ומעניקה לנו כושר ניבוי טוב לגבי מקצועות בהם חוג הידע צר יחסית (במיוחד בתחום המתמטי). אבל האם היא מעניקה לנו ניבוי טוב לגבי היכולות? לדוגמה, דרישות סף גבוהות ללימודי פסיכולוגיה מעניקות לנו תלמידים טובים יותר בפסיכולוגיה, אך הן אינן תורמות כלל להגדלת אחוז האנשים בעלי כושר אבחון טוב באינטראקציה אנושית. הבחינות יכולות לסנן החוצה מלימודים סוציאליים מי שאינו עומד בדרישת סף, אך האם הבחינה מגבירה את הסיכוי לעובד סוציאלי חרוץ, בעל תושיה ורחום?


השאלה השנייה היא של הצד השני של המסננת יש מחקר מעניין בנושא המצביע על־כך שיש דחייה משמעותית של מועמדים שהיו מצליחים בלימודים אילו התקבלו, שכן הם מחזיקים בכישורים שאולי אינם הולמים את מבחן הסינון של הבגרות והפסיכומטרי, אך יש להם משמעות רבה בלימודים ובהצלחה מקצועית. הדברים נכונים במיוחד לגבי אנשים בעלי ציונים בינוניים, שיש להם תחום הצטיינות ספציפי.
 
 
 
 
מטרת הבגרויות אינה רק סינון וניבוי
19/9/2013
נכתב על ידי בתרן

המטרה העיקרית היא לימוד. ללא מבחנים, אפקטיביות הלמידה יורדת דרסטית. סטנדרט מבחנים ארצי ואחיד הוא נחוץ והכרחי ואסור לבטלו.
 
 
 
 
אורי, אל תצחיק אותי
19/9/2013
נכתב על ידי עומר

צירוף של שני מבחנים לא תמיד מוביל לניבוי טוב יותר, ובוודאי שלא לגידול של גידול במתאם מכמעט 0 לבערך 0.6. העובדה שמורים נוטים לבחון כמה פעמים קשורה להמון דברים אחרים ולא בהכרח למה שהזכרת. יש תחום שנקרא "תורת המבחנים" שנסמך על תחום אחר שנקרא "סטטיסטיקה". אני ממליץ לך ללכת וללמוד את שניהם.

אשר לסוגיית הסינון:
1. אנחנו יודעים ששילוב מסויים של בחינות הבגרות והפסיכומטרי מוביל לניבוי טוב מאוד של הצלחה בשנה א. המנבא הטוב ביותר להצלחה בשנה ב' הוא ציוני שנה א' (לפסיכומטרי כבר אין ממש משקל שם, מסיבות ברורות), וכך הלאה. כעת, אתה מדבר איתי על "יכולות אבחון"? המדד הטוב ביותר לכך בלימודי פסיכולוגיה או עבודה סוציאלית יהיה לימודי השנה הראשונה. אבל אתה יכול מראש לסנן החוצה את אלה שסיכוייהם להצליח בשנה הראשונה הוא נמוך. זו המטרה של המסננים הללו. יכולת הניבוי של "ראיונות" למשל, נמוכה בהרבה מזו של בחינות מתוקננות (בדוק. לא נעים לשמוע, אבל בדוק). אני מודה לך על המאמר ממכללת "אחווה". אני אעיף בו מבט. בכל מקרה, אם אני צריך לשפוט ולשקול מבלי לדעת דבר מאות ואלפי מאמרים שמצביעים כולם באותו הכיוון ונכתבו על ידי טובי החוקרים לעומת מאמר אחד ויחיד של ד"ר עלומת שם ממכללת אחווה... נו, אתה מבין.

2. יש מסנן מאוד מאוד יעיל שבעצם הפסיכומטרי והבגרויות קשורים בו קשר הדוק והוא מהימן כמעט כמו שילוב שניהם וזול הרבה יותר. קוראים לו "מבחן הכנסת הורים". אתה מציע שנתחיל להשתמש במסנן הזה? כי הרי מבחינה "כלכלית" (כלומר, מבחינה "חשבונאית"...) זה עדיף.

 
 
 
 
בתרן
19/9/2013
נכתב על ידי עומר

אפקטיביות הלימודים לא יורדת דרסטית בגלל העדר מבחנים ארציים אבל מילא - לא על כך המדובר. אורי טוען בעניין מבחני הכניסה לאוניברסיטה, וטעות בידו. מצד האוניברסיטאות הבגרויות הן כלי לסינון תלמידים; כל המרבה בציון הבגרות הרי זה משובח. העניין המרכזי מבחינת האוניברסיטאות בכל מקרה הוא יכולת החיזוי לידיעת התלמיד וסיכוייו להצליח בשנה א'.
 
 
 
 
עומר, למה לא לצחוק? הצחוק יפה לבריאות
19/9/2013
נכתב על ידי אורי רדלר

עומר,

ראשית, אני שמח שאתה שולח אותי ללמוד ולהשכיל. תמיד חשוב ללמוד. אם אלמד, במסגרת התעמקותי בתורת המבחנים, שחזרה על בחינות דומות אינה מפחיתה את האקראיות, בוודאי אספר על־כך. כזכור, אתה עצמך גורס כי השילוב של הבחינות, שכפי שנטען עוסקות באותו תחום ידע, מגביר במידה מסוימת את הניבוי, ולכן לא ברור לי מדוע אתה קובל על כך שאני אומר דבר זהה.

שנית, הקפיצה בניבוי קטנה משאתה חושב.
לפי סיכום המחקרים של אורן, ברונר וקנת כהן המתאם בין הבגרות לציוני שנה א' הוא 0.21-0.37, של הפסיכומטרי הוא 0.22 עד 0.4 והמתאם בין הציון המשוקלל לציוני שנה א' הוא 0.32-0.46. לפי תיקון במדידה של בלר הניבוי של תעודת הבגרות הוא 0.35-0.51, של הפסיכומטרית הוא 0.4 עד 0.54 והציון המשוקלל הוא 0.51-0.62.

הגידול בניבוי אינו "מכמעט 0 לבערך 0.6" אלא שיפור מינורי יחסית וגם כאן מדובר ב"ניבוי טוב מאוד של הצלחה בשנה א" אלא בניבוי חלש מאוד. וחלש עוד יותר כשבודקים (כפי שעשו חימוביץ ובן שחר, 2004) את שיעור המסיימים את לימודי התואר הראשון.

ההצלחה של ראיונות מקדימים עלובה עוד יותר, כמובן. מחקר אחר, אף הוא למרבית הפליאה של מכללת אחווה, הראה כי לראיונות המוקדמים היה אפס יכולת ניבוי (ולמעשה, 'ניבוי שלילי'). זה אינו אומר דבר, לצורך העניין, שכן לא הצעתי שיטת מיון אחרת: אמירתי הייתה פשוטה הרבה יותר: אם שני מבחנים הם זהים או כמעט זהים מצד מה שהם בודקים, ואם שקלול שני הציונים מניב ניבוי טוב יותר, כי אז ראוי להשתמש, על דרך החיסכון, בשני מבחנים מאותו מקור. כפי שכתבתי: "אין לנו כל סיבה להניח ששלוש בחינות פסיכומטריות במתכונת מצומצמת באנגלית ו/או במתמטיקה לאורך השנה בבית־הספר התיכון לא יעניקו לנו ניבוי טוב עוד יותר."

דומני שאתה מתקיף אותי על יסוד ההנחה שאם שתי בחינות זהות (בתחום הידע) משני מקורות שונים מניבות תוצאה משוקללת טובה יותר מכל אחת בנפרד, כי אז העניין המהותי הוא קיומם של שני מקורות שונים. אני טוען שאין שום טעם בכך.

לעצם העניין, אני סבור שמיון במהלך השנה הראשונה או בסיומה, כפי שנהוג במקומות שונים, עשוי להניב תוצאות טובות יותר. לא בכל מקום זה נכון ואפשרי, אבל במקומות רבים, זה אפילו עדיף.
 
 
 
 
עומר, כנראה שלא קראת את המאמר
19/9/2013
נכתב על ידי בתרן

הוא מדבר בראש וראשונה נגד הבגרויות, ומציע לבטלן.
 
 
 
 
אורי
19/9/2013
נכתב על ידי עומר

אתה שוב מתעקש להצחיק אותי.

אני לא מתנגד לכך ששני מבחנים יכולים להגביר את כושר הניבוי. אלא שאני טוען שלא כל חזרה על מבחנים יכולה לעשות זאת. הבדל עצום.

לגבי מתאם - אתה מבין מה זה מתאם? אתה מבין שמתאם של 0.2 זה לכל דבר ועניין אפס? *ריבוע* המתאם הוא מה שחשוב ו-0.2 בריבוע זה 0.04, כלומר, המשתנה מסביר 4% מהשונות. לעומת זאת מתאם של 0.6 בריבוע זה 0.36, כלומר הסבר של 36% מהשונות, קפיצה של פי 9. מספיק גדול? כעת, מדובר בניבוי טוב מאוד, כיוון שהמדגם שלך הוא מלכתחילה מדגם מוטה - כלומר, אתה כבר סיננת את כל מי שלא מסוגל להקיש היקשים לוגיים פשוטים, מי שאין לו בגרות, מי שלא יודע לקרוא וכן הלאה. וכאמור, המטרה היא להבין מה סיכוייך לסיים בהצלחה שנה א. לאחר מכן, כפי שציינתי, המנבא הטוב ביותר הוא הציונים בסוף שנה א (לשנה ב' ושל שנה ב' לשנה ג' וכך הלאה). כל התגובה שלך עד כה היתה הסבר ברור לכך שאתה צריך ללכת ללמוד סטטיסטיקה. דחוף!

לגבי המסלול אותו אתה מציע - בכלל לא ברור שזה מה שבחינה פסיכומטרית מורחבת תעשה, משום שעצם העליה ביכולת החיזוי של השילוב בין פסיכומטרי לבגרות מעידה על כך שהם *לא בודקים* את אותם כישורים. אם אתה רוצה שבחינות הבגרות יבוטלו ובמקומם תהיינה בחינות של האוניברסיטאות, אחלה. אבל מדוע שזה יהיה יותר יעיל? למה החלפת הגוף הבוחן תשנה משהו (מלבד הכבדה אדירה על האוניברסיטאות, שחזקה עליהן שלא יעשו את זה. המצב כרגע נוח להן מאוד)?

וכאמור, ואני אחזור על כך, יש מדד מעולה שבמעולים מבחינה "חשבונאית" (לא לבלבל עם "כלכלית"...) והוא - כמה כסף ההורים שלך מרוויחים? זה בעיקר מה שהפסיכומטרי והבגרויות מנבאים גם ככה, אז למה שלא נעבור ישר להשתמש בו? ברי שזו בדיחה, אבל היא מבהירה שהיעילות החשבונאים שעליה אתה מדבר ובזכותה אתה טוען כנגד קיום הבגרויות היא מעט, נו, מצחיקה.
 
 
 
 
צחוק הגורל
19/9/2013
נכתב על ידי אמיר

הקפיטליסט היומי הוא הסנדלר ההולך יחף. בסך הכל כותב מצויין על טוהר הכסף אבל לא חושב לעשות מזה כסף.