پایایی بین ارزیابان Inter-rater Reliability
*** توضیحات برگرفته شده از کتاب روش های پیشرفته آماری و کاربردهای آن- انتشارات جامعه‌نگر***
پایایی Reliability یک پرسشنامه به معنای آن است که ابزار اندازه‌گیری تا چه اندازه نتایج یکسانی به دست می‌دهد. یعنی اگر پرسشنامه را در یک فاصله زمانی، چندین بار به گروه یکسانی بدهیم، نتایج حاصل تا چه اندازه می‌تواند مشابه باشد.
هر چند این موضوع پذیرفته شده است که نمی‌توان انتظار داشت این نتایج به طور کامل یکسان باشد چرا که آزمودنی ما غالباً انسان است که در شرایط محیطی و ذهنی گوناگون می‌تواند به یک پرسش، پاسخ‌های نه‌چندان یکسانی دهد. پایایی یک اندازه عددی قابل سنجش است.
پایایی بین ارزیابان (افراد) Interrater Reliability
یکی از انواع پایایی با نام Inter-rater شناخته می‌شود. برای فهم این نوع پایایی بیایید به یک مثال توجه کنید. فرض کنید پرونده‌های پزشکی مثلاَ ۱۰۰ بیمار را در اختیار دو پزشک (ارزیاب) قرار می‌دهیم. از هر کدام از آن‌ها نیز می‌خواهیم نظر خود را درباره شدت و Stage بیماری هر فرد، بیان کند. می‌دانیم که به سادگی با استفاده از ضریب کاپا می‌توانیم، میزان توافق بین این دو پزشک یا ارزیاب را به دست بیاوریم. در این لینک می‌توانید آموزش ضریب کاپا را مشاهده کنید.
اگر هم داده‌ها و نتایج مربوط به هر داور و یا ارزیاب از نوع عددی کمی و اصطلاحاَ Scale باشد، می‌توانیم از انواع ضرایب همبستگی استفاده کنیم. در این لینک می‌توانید پایایی از نوع آزمون – بازآزمون را مشاهده کنید.
حال نکته مهم و سوال این است، اگر تعداد ارزیابان و افراد نمره‌دهنده بیشتر از دو نفر باشد، چه کاری باید انجام دهیم؟ آیا می‌توان دوبه‌دو بین افراد ضریب کاپا به دست آورد؟ مثلاَ فرض کنید در مثال بالا از سه پزشک بخواهیم شدت بیماری هر فرد را مشخص کنند. در این صورت توافق بین این سه پزشک را چگونه به دست بیاوریم؟ آیا این راهکار مناسب است که سه ضریب کاپا (بین نفر الف با ب، نفر الف با پ و نفر ب با پ) به دست بیاوریم؟
واضح است که این راهکار چندان نمی‌تواند مفید باشد به ویژه در مواردی که تعداد ارزیابان و نمره‌دهندگان زیاد هم باشد. بنابراین باید به دنبال یک راهکار بهتری بود که حتی از ضریب کاپا و یا انواع همبستگی‌ها قابلیت پایایی Powerful Reliability و اعتماد بیشتری داشته باشد. پس راه‌حل چیست؟
در اینجا است که پایایی از نوع Inter-rater مطرح می شود. ما با استفاده از این نوع پایایی و روش محاسبه آن می‌توانیم اندازه توافق و پایایی بین تعداد دلخواهی ارزیاب را به دست بیاوریم.
به یک نکته مهم در این نوع پایایی که در مثال بالا نیز مطرح شد، دقت کنید. ما در مثال بالا از پزشکان خواستیم نظر خود را بر روی بیماران یکسانی بیان کنند. به عبارت دیگر بیمارانی که پزشک الف، نظر خود را درباره شدت بیماری آن‌ها اعلام می‌کند، همان بیمارانی هستند که پزشک ب و همچنین پزشک پ نظر خود را درباره بیماری آن‌ها بیان می‌کند. پس نکته مهم در این نوع پایایی این است که ارزیابان یا اصطلاحاَ Raterها باید بر روی افراد یکسانی اعمال نظر کنند.
نکته دیگری که در پایایی Inter Rater دارای اهمیت این است که ارزیابان دارای اطلاعات و فهم تقریباَ مشابهی از موضوعی باشند که می‌خواهد اندازه‌گیری کرده و درباره آن نظر دهند. به عنوان مثال در همان مثال پزشکان و بیماران، ارزیابان که در اینجا پزشک هستند، درباره نوع بیماری و مفهوم بیماری دارای تخصص و تجربه مشابهی با یکدیگر باشند.
چرا پایایی Interrater اهمیت دارد؟
این موضوع واضح است که انسان‌ها ذهنی هستند و براساس دیدگاه، علائق و فهم خود نظر می‌دهند. بنابراین برداشت ناظران و ارزیابان مختلف از موقعیت‌ها و پدیده‌ها به طور طبیعی با یکدیگر متفاوت است. تحقیقات قابل اعتماد و پایا، به منظور به حداقل رساندن ذهنیت‌های متفاوت و همگرا کردن آن‌ها (اندازه توافق) مورد توجه است.
هنگام طراحی و جمع آوری داده‌ها، مهم است اطمینان حاصل کنیم که ارزیابان مختلف با کمترین تفاوت و بیشترین توافق، یک مفهوم واحد را ارزیابی می‌کنند. این موضوع به ویژه هنگامی اهمیت دارد که چندین محقق درگیر جمع‌آوری یا تجزیه و تحلیل داده‌ها باشند.
چگونه پایایی Interrater را اندازه‌گیری کنیم؟
با استفاده از نرم‌افزار SPSS به آموزش ضریب همبستگی درون رده‌ای که به اختصار به آن ICC نیز گفته می‌شود، بپردازید. ما در این لینک سعی می‌کنیم به انواع روش‌ها و متدهای ICC بپردازیم.
چگونه به این مقاله رفرنس دهیم
GraphPad Statistics (2021). Inter-rater Reliability. Statistical tutorials and software guides. Retrieved Month, Day, Year, from https://graphpad.ir/inter-rater-reliability/.php
For example, if you viewed this guide on 12th January 2022, you would use the following reference
GraphPad Statistics (2021). Inter-rater Reliability. Statistical tutorials and software guides. Retrieved January, 12, 2022, from https://graphpad.ir/inter-rater-reliability/.php
ارایه خدمات تحلیل و مشاوره آماری
گراف پد برای شما خدمات مشاوره و انجام انواع تحلیل‌های آماری را ارایه می‌دهد. جهت دریافت نکات بیشتر بهتر است با ما تماس بگیرید.
