Inter-rater Reliability

پایایی بین ارزیابان Inter-rater Reliability

زمان مطالعه: 10 دقیقه 

 

*** توضیحات تحلیل پایایی پرسشنامه (Reliability) برگرفته شده از کتاب روش های پیشرفته آماری و کاربردهای آن- انتشارات جامعه‌نگر***

 

 

merci

دریافت آموزش کامل تحلیل‌های پایایی

شامل ۱۰۰ دقیقه ویدئو، ۱۰ فایل دیتا و نتایج SPSS

 

تحلیل پایایی پرسشنامه

پایایی Reliability یک پرسشنامه به معنای آن است که ابزار اندازه‌گیری تا چه اندازه نتایج یکسانی به دست می‌دهد.

یعنی اگر پرسشنامه را در یک فاصله زمانی، چندین بار به گروه یکسانی بدهیم، نتایج حاصل تا چه اندازه می‌تواند مشابه باشد. هر چند این موضوع پذیرفته شده است که نمی‌توان انتظار داشت این نتایج به طور کامل یکسان باشد چرا که آزمودنی ما غالباً انسان است که در شرایط محیطی و ذهنی گوناگون می‌تواند به یک پرسش، پاسخ‌های نه‌چندان یکسانی دهد. پایایی یک اندازه عددی قابل سنجش است.

پایایی بین ارزیابان (افراد) Interrater Reliability

یکی از انواع پایایی با نام Inter-rater شناخته می‌شود. برای فهم این نوع پایایی بیایید به یک مثال توجه کنید. فرض کنید پرونده‌های پزشکی مثلاَ ۱۰۰ بیمار را در اختیار دو پزشک (ارزیاب) قرار می‌دهیم. از هر کدام از آن‌ها نیز می‌خواهیم نظر خود را درباره شدت و Stage بیماری هر فرد، بیان کند. می‌دانیم که به سادگی با استفاده از ضریب کاپا می‌توانیم، میزان توافق بین این دو پزشک یا ارزیاب را به دست بیاوریم. در این لینک می‌توانید آموزش ضریب کاپا را مشاهده کنید.

اگر هم داده‌ها و نتایج مربوط به هر داور و یا ارزیاب از نوع عددی کمی و اصطلاحاَ Scale باشد، می‌توانیم از انواع ضرایب همبستگی استفاده کنیم. در این لینک می‌توانید پایایی از نوع آزمون – بازآزمون را مشاهده کنید.

حال نکته مهم و سوال این است، اگر تعداد ارزیابان و افراد نمره‌دهنده بیشتر از دو نفر باشد، چه کاری باید انجام دهیم؟ آیا می‌توان دوبه‌دو بین افراد ضریب کاپا به دست آورد؟ مثلاَ فرض کنید در مثال بالا از سه پزشک بخواهیم شدت بیماری هر فرد را مشخص کنند. در این صورت توافق بین این سه پزشک را چگونه به دست بیاوریم؟ آیا این راه‌کار مناسب است که سه ضریب کاپا (بین نفر الف با ب، نفر الف با پ و نفر ب با پ) به دست بیاوریم؟

واضح است که این راهکار چندان نمی‌تواند مفید باشد به ویژه در مواردی که تعداد ارزیابان و نمره‌دهندگان زیاد هم باشد. بنابراین باید به دنبال یک راه‌کار بهتری بود که حتی از ضریب کاپا و یا انواع همبستگی‌ها قابلیت پایایی Powerful Reliability و اعتماد بیشتری داشته باشد. پس راه‌حل چیست؟

در این‌جا است که پایایی از نوع Inter-rater مطرح می شود. ما با استفاده از این نوع پایایی و روش محاسبه آن می‌توانیم اندازه توافق و پایایی بین تعداد دلخواهی ارزیاب را به دست بیاوریم.

به یک نکته مهم در این نوع پایایی که در مثال بالا نیز مطرح شد، دقت کنید. ما در مثال بالا از پزشکان خواستیم نظر خود را بر روی بیماران یکسانی بیان کنند. به عبارت دیگر بیمارانی که پزشک الف، نظر خود را درباره شدت بیماری آن‌ها اعلام می‌کند، همان بیمارانی هستند که پزشک ب و همچنین پزشک پ نظر خود را درباره بیماری آن‌ها بیان می‌کند. پس نکته مهم در این نوع پایایی این است که ارزیابان یا اصطلاحاَ Raterها باید بر روی افراد یکسانی اعمال نظر کنند.

نکته دیگری که در پایایی Inter Rater دارای اهمیت این است که ارزیابان دارای اطلاعات و فهم تقریباَ مشابهی از موضوعی باشند که می‌خواهد اندازه‌گیری کرده و درباره آن نظر دهند. به عنوان مثال در همان مثال پزشکان و بیماران، ارزیابان که در اینجا پزشک هستند، درباره نوع بیماری و مفهوم بیماری دارای تخصص و تجربه مشابهی با یکدیگر باشند.

چرا پایایی Interrater اهمیت دارد؟

این موضوع واضح است که انسان‌ها ذهنی هستند و براساس دیدگاه، علائق و فهم خود نظر می‌دهند. بنابراین برداشت ناظران و ارزیابان مختلف از موقعیت‌ها و پدیده‌ها به طور طبیعی با یکدیگر متفاوت است. تحقیقات قابل اعتماد و پایا، به منظور به حداقل رساندن ذهنیت‌های متفاوت و همگرا کردن آن‌ها (اندازه توافق) مورد توجه است.

هنگام طراحی و جمع آوری داده‌ها، مهم است اطمینان حاصل کنیم که ارزیابان مختلف با کمترین تفاوت و بیشترین توافق، یک مفهوم واحد را ارزیابی می‌کنند. این موضوع به ویژه هنگامی اهمیت دارد که چندین محقق درگیر جمع‌آوری یا تجزیه و تحلیل داده‌ها باشند.

چگونه پایایی Interrater را اندازه‌گیری کنیم؟

بهترین روش به منظور بررسی پایایی Inter-Rater مفهومی به اسم ضریب همبستگی درون رده ای Intraclass Correlation Coefficient است.

 

 

در لینک مقابل می‌توانید با استفاده از نرم‌افزار SPSS به آموزش ضریب همبستگی درون رده‌ای که به اختصار به آن ICC نیز گفته می‌شود، بپردازید. ما در این لینک سعی می‌کنیم به انواع روش‌های و متدهای ICC بپردازیم.

 

 

ارایه خدمات طراحی پرسشنامه و تحلیل پایایی (Reliability)

ما در گراف پد علاوه بر طراحی حرفه‌ای پرسشنامه پژوهش و تحقیقات، به بررسی پایایی و اندازه اعتماد نتایج نیز اقدام می‌کنیم. جهت دریافت نکات بیشتر و نحوه کار می‌توانید مختصری از کار خود را ارسال نمایید. به سرعت تقاضای شما را بررسی و نتایج طرح آزمایش‌ها را ارسال خواهیم کرد. جهت سفارش کار می‌توانید با ما تماس بگیرید.

گراف پد جمعی از رتبه‌های برتر آزمون دکترا آمار دانشگاه‌های ایران | برجسته در موسسه بین‌المللی تحقیقات | دارای نماد اعتماد الکترونیک از مرکز توسعه تجارت الکترونیکی ایران و مجوز رسمی ثبت به شماره ۴۱۸۸۱ و شناسه ملی ۱۴۰۰۶۸۳۲۳۱۹