בחינת איכות כלי המדידה - מהימנות ותוקף
חלק זה של השיעור יעסוק במהימנות ותוקף, המצגת המלווה חלק זה הינה בקישור הזה.
הסרטון הינו סרטון אנו למדים כי על מנת למדוד את איכותו של כלי המדידה ישנם שני קריטריונים משלימים בהם אנו עושים שימוש:
בחינת מהימנות כלי המדידה: עד כמה כלי המדידה שיטתי, עקבי והמדידות בו יציבות וניתנות לשחזור. בדיקה זו נעשית על כלי המדידה אל מול עצמו.
בחינת תוקף כלי המדידה: עד כמה כלי המדידה מודד את מה שאמור היה לבדוק, וכן מצד אחד את כל מה שהיה אמור לבדוק ומצד שני רק את מה שאמור היה לבדוק ולא שום דבר אחר בנוסף. בדיקה זו נעשית אל מול ההגדרה הנומינאלית.
The request cannot be completed because you have exceeded your quota.
מהימנות ותוקף
מהימנות – הגדרה והסבר
הסרטון המצורף לחלק זה מפרט על בחינת מהימנות כלי המחקר. ומסביר את הרעיון כי מהימנות במדעי החברה מתייחסת רק לטעות מקרית. אם הטעות המקרית גבוהה משמעה שהמהימנות נמוכה. הדרך העיקרית לבדוק מהימנות היא באמצעות מספר מדידות של כלי המדידה לאותה קבוצה של נבדקים וחישוב המתאם בניהם.
The request cannot be completed because you have exceeded your quota.
מהי מהימנות
מדידה מהימנה בעולם אידיאלי הייתה מדידת ערכי המשתנה בדייקנות מושלמת כלומר: ללא כל טעויות. בהם “ערכים אמיתיים” במדעי החברה אינם ניתנים למדידה. אנו כחוקרים יכולים רק לבדוק את הערך הניתן למדידה. כלומר אנו יכולים לבחון את איכותו רק של ערך נצפה המוגבל לדגימה שלנו ולאינדיקטורים ודרכי המדידה שלנו.
לערך הנצפה שלנו ישנן שני סוגי טעויות: טעות קבועה – כלומר כלי המדידה מזייף בגודל קבוע ואחיד שברוב המקרים טעות זו נעלמת ואינה יודע לנו, וטעות מקרית – כלומר בכל מדידה מתקבלת תוצאה שונה, כאשר הסטייה אינה קבועה.
מהימנות במדעי החברה מתייחסת רק לטעות מקרית אם הטעות המקרית גבוהה משמעה שהמהימנות נמוכה. הדרך העיקרית לבדוק מהימנות היא באמצעות מספר מדידות של כלי המדידה לאותה קבוצה של נבדקים וחישוב המתאם ביניהם. במחקר כמותני בדיקה סטטיסטית של מהימנות (מהימנות הינה מתייחסת רק להיבטים כמותניים) מתייחסת ליחס בין השונות האמיתית של המשתנה לשונות הנצפית, והיא נעה בין 1-0.
גורמי טעות מקרית יכולים להיות קשורים בהיבטים כמו מועד המדידה, הטיות הקשורות בסובייקט הנבחן (משמעותי כאשר מדובר בנבחן אנושי), עקב תוכן פרטי המדידה או טעויות קשורות בשיפוט ובהערכה של המדידה.
כדי להבין את ההבדל בין טעות קבועה ולבין טעות מקרית מומלץ להקשיב היטב לסרטון המצורף בנושא מהימנות.
שיטות לבחינת מהימנות
בסרטון מטה אנו מסבירים כי הדרך העיקרית לבדוק מהימנות היא באמצעות מספר מדידות של כלי המדידה לאותה קבוצה של נבדקים וחישוב המתאם ביניהם – כך ניתן למדוד את עקביות הכלי. אך במחקרים שונים, ישנו צורך בבדיקות עקביות שונה – לכן אנו משתמשים במחקר המדעי בכמה שיטות לבדיקת מהימנות.
בסרטון זה אנו מדברים על שיטות בחינת מהימנות הקלאסיות:
- מהימנות כיציבות: ביצוע אותו מבחן בדיוק לאותם נבדקים מספר פעמים. ככל שהמתאם בין הבדיקות גבוהה יותר, כך המהימנות גבוהה יותר מכונה לעיתים “מבחן חוזר”. שיטה זו בודקת את השפעת מועד הבדיקה והטיות הקשורות בסובייקט. חסרונות: למדידה הראשונה יש השפעה ברורה על המדידות האחרות. לעיתים השינוי בין המדידות יכול להיות מהותי. דוגמא: חוקר רצה לבדוק את רמת הסטרס של אזרחים בזמן צפייה בחדשות העוסקות בפיגועי טרור. לצורך כך הוא לקח מנסיינים דגימות רוק לצורך מדידת רמת הקורטיזול בדם. כדי להגביר את מהימנות הבדיקה לקח מכל נסיין שתי דגימות בכל בדיקה.
- מהימנות אקוויוולנטית:ביצוע של אותו מבחן בנוסחים או צורות שונות הבודקות את אותה תכונה ובעלות זהות סטטיסטית. יכול להתקיים באותו זמן, ויכול להתקיים בפער בין מבחן אחד לשני. מתייחסת להטיות הקשורות לתוכן המבחן ולהטיות הקשורות בסובייקט. חסרונות: לא תמיד אפשרי לייצר נוסח מקביל. מסרבל את התהליך ודורש לא פעם משאבים רבים יותר. דוגמא: מבחן קבלה לנציבות המדינה עובר כל גיוס סתיו וגיוס אביב בגרסה שונה
- מהימנות כעקיבות פנימית: שיטה פופולארית מאוד נוחה לתפעול, חוסכת משאבים ומאפשרת מבחן חד פעמי. נבדקת סטטיסטית על ידי חישוב “אלפא קרונבך” (α) או “מבחן חצוי” (R12). מתייחס להטיות הקשורות בסובייקט ובתוכן המבחן. חסרונות: בשיטה זו אין ביטחון של 100% שאכן כל הפריטים בודקים את אותו מבחן שימוש בשיטה זו יוצר מבחן ארוך ולעיתים מסורבל. דוגמא: חוקר הפיץ שאלון בן ארבע שאלות לתושבי ענו על נכונותם להצביע (מה הסיכוי שתלך להצביע? אם תקבל הסעה לקלפי האם תלך להצביע? אם תקבל יום חופש מהעבודה האם תלך להצביע? אם תקבל קנס על אי הצבעה מה הסיכוי שתלך להצביע?). לאחר מיכן המתאם בין התשובות נבדק
- מהימנות בין שופטים: שיטה זו מבוצעת במחקרים בהם יש משמעות רבה להערכה של אנושית בהם רצוי לא לסמוך על אובייקטיביות של צופה אחד. בשיטה זו כמה צופים/שופטים מעריכים את אותה תצפית. ולאחר מכן בודקים את המתאם ביניהם. שיטה זו נותנת מענה להטיות הנובעות עקב שיפוט והערכה של צוות המחקר. חסרונות: שיטה מעט מסורבלת הדורשת תיאום בין השופטים. דוגמא: לצורך ביצוע מחקר המעריך את עמדות פוליטיקאים בנושא תקציב דו שנתי הועבר למספר פוליטיקאים ראיון במתכונת של שאלות פתוחות. את תשובות הפוליטיקאים העריכו שני מקודדים שהוכשרו לכך.
דרכים למדידת מהימנות המשך – בחירה בין השיטות
The request cannot be completed because you have exceeded your quota.
שיטות לבחינת מהימנות
תרגול עצמי – באיזה שיטת מהימנות עשו פה שימוש?
- מבחן קבלה לנציבות המדינה עובר כל גיוס סתיו וגיוס אביב בגרסא שונה.
- מבחן 300
- הסיבה לכמה פרקים בפסיכומטרי הבודקים את אותו היבט (מילולי, כמותי, אנגלית).
- לצורך ביצוע מחקר המעריך את עמדות פוליטיקאים בנושא תקציב דו שנתי הועבר למספר פוליטיקאים ראיון במתכונת של שאלות פתוחות. את תשובות הפוליטיקאים העריכו שני מקודדים שהוכשרו לכך.
- חוקר הפיץ שאלון בן ארבע שאלות לתושבי עכו על נכונתם להצביע (מה הסיכוי שתלך להצביע? אם תקבל הסעה לקלפי האם תלך להצביע? אם תקבל יום חופש מהעבודה האם תלך להבציע? אם תקבל קנס על אי הצבעה מה הסיכוי שתלך להצביע?). לאחר מיכן המתאם בין התשובות נבדק.
- חוקר רצה לבדוק את רמת הסטרס של אזרחים בזמן צפייה בחדשות העוסקות בפיגועי טרור. לצורך כך הוא לקח מנסיינים דגימות רוק לצורך מדידת רמת הקורטיזול בדם. כדי להגביר את מהימנות הבדיקה לקח מכל נסיין שתי דגימות בכל בדיקה.
תוקף
הסרטון הבא עוסק בהסבר הקונספטואלי של מה הוא תוקף. בסרטון מורחבת ההבנה כי תוקף הוא המבחן האם המדד אכן מודד את מה שהוא רוצה למדוד? והוא מתייחס להבנה עד כמה הפער בין ההגדרה הנומינלית לאופרציונלית קטן. התבוננות על תוקף של מדד כוללת בחינה של התוקף החיצוני (עד כמה ניתן להכליל מתוצאות של המחקר אל העולם האמיתי) והתוקף הפנימי של המדד (כמה ארטיפקטים בצורת המדידה יצרו הטיות בתוצאות המחקר) ועד כמה המדד הנבחן מצליח לייצר בלבדיות (כלומר בודק את מה שהחוקר רוצה לבחון ולא בודק דברים אחרים) ומאפשר מיצוי של התופעה הנבחנת (בחינת התופעה אותה רוצים לבחון על כלל היבטיה).
The request cannot be completed because you have exceeded your quota.
מהו תוקף
- חשוב להכיר לעומק את שני המונחים הבאים:
- תוקף חיצוני – עד כמה אפשר ללמוד מהמדד שעשיתי. משמע – האם ניתן להכליל את תוצאות הניסוי על האוכלוסייה כולה?
- – תוקף פנימי – מתייחס לכשלים פנימיים במחקר, פרמטרים בשיטת המחקר שעלולים לשנות את תוצאותיו. למשל – ניסוי שלוקח המון זמן יכול לגרום לחלק מהנבדקים להתעייף וארטיפקט (כשל פנימי) זה יביא לכך שתוצאות המחקר יהיו פגומות (תוקף פנימי נמוך).
בניגוד למהימנות שלעתים יותר קשיחה וברורה, תוקף הוא מונח יותר מופשט ויש לא פעם וויכוחים מקצועיים על מדדים מסוימים האם הם תקפים או לא. לעיתים שיטות מדידה שטובות בפארדימה אחת לא יהיו מקובלות בפארדיגמה אחרת.
שיטות לבחינת תוקף
הסרטון הבא מפרט על דרכים שונות לבחון תוקף של מדד
The request cannot be completed because you have exceeded your quota.
דרכים למדידת תוקף
- תוקף ניבוי/ תוקף קריטריון : הצורה היחידה שהיא סטטיסטית. שיטה זו פחות מגיע לויכוחים ולחוסר הסכמות אבל לא תמיד היא אפשרית ולפעמים היא לא מספיק מעמיקה. היא מתאימה רק כאשר יש לנו קריטריון ברור שניתן ממנו להסיק מסקנות. ככל שהקשר בין תוצאות המדידה במבחן ובקריטריון גבוהים יותר המדד נחשב יותר תקף. לדוגמה – בדיקת הקשר בין ציון הפסיכומטרי לציונים בתואר הראשון.
- תוקף תוכן: בסוג תוקף זה הדיון הוא ויכוח לוגי שאינו מבוסס על מספרים. הוויכוח הוא באמצעות מומחים שבוחנים את הנושא ועל כן הוא בעל מימד סובייקטיבי משמעותי.
- תוקף מבנה : הוא שיטת בחינת תוקף הבוחנת את האימות בין המשתנה האופרטיבי למשתנה התיאורטי על בחינת המדד על ידי אישוש קורלציות בעבר, התבוננות על תוצאות המהימנות ובחינת התוקף המתכנס והמבחין של המדד.
תוקף ומהימנות סיכום
על מנת לסכם את נושא התוקף והמהימנות מצורף הסרטון מטה בו אנו מסבירים כי: בכדי שמדידה תהיה תקפה, לא די שהיא תהיה מהימנה. אך מדידה לא מהימנה תהיה בהכרח לא תקפה. כלומר מהימנות היא תנאי הכרחי לתוקף – אך לא מספיק יכול להיות כלי מחקר מאוד מדויק אבל מודד את המשתנה הלא נכון.
The request cannot be completed because you have exceeded your quota.
סיכום תוקף ומהימנות
תוקף מהימנות, הם שני דברים חשובים ומשלימים את הצורה כיצד אנו מסתכלים על מדד. מהימנות היא הבסיס אך היא לא מספיקה – מהימנות מגדירה האם הכלי שלי יציב, אך לא מתעסקת בשאלה האם הוא מודד את מה שהוא רוצה למדוד. אם המדד שלי לא מהימן – הוא בוודאות לא תקף. לעומת זאת, זה שהכלי שלי הוא מהימן, זה לא אומר שהוא בהכרח תקף.
שונות טעות גבוה —< מהימנות נמוכה —< מחקר לא תקף!
שונות טעות נמוכה — <מהימנות גבוה —< מחקר תקף???