رگرسیون لجستیک چندگانه Multiple Logistic Regression نرم افزار گراف پد

زمان مطالعه: 20 دقیقه 

یکی از تحلیل‌هایی که در ورژن‌های جدید گراف پد (8 به بعد) قرار گرفته است، مدل‌های رگرسیون لجستیک Logistic Regression است. همان‌گونه که می‌دانیم وقتی Variable پاسخ ما یعنی Y دو حالتی باشد (بله یا خیر، موفقیت یا شکست، رخداد یا عدم رخداد) و بخواهیم بین پاسخ با Variableهای مستقل یعنی Xها ارتباط و مدل‌بندی ایجاد کنیم، از مدل‌های رگرسیون غیرخطی با نام لجستیک استفاده می‌کنیم.

در زمینه تئوری‌های رگرسیون لجستیک، بحث‌های زیادی وجود دارد. شما را به خواندن و مطالعه این لینک در سایت گراف پد توصیه می‌کنم.

یک توضیح کوتاه اینکه مدل رگرسیون لجستیک هنگامی که تنها دارای یک کمیت مستقل یعنی یک X باشد، آن را رگرسیون لجستیک ساده می‌نامیم. به همین ترتیب وقتی تعداد کمیت‌های مستقل بیشتر از یک باشد، یعنی چندین X داشته باشیم، آن را مدل رگرسیون لجستیک چندگانه می‌گوییم.

ما در آموزش قبلی و در این لینک به ارایه توضیحات درباره رگرسیون لجستیک ساده Simple Logistic Regression با استفاده از نرم‌افزار گراف پد، پرداختیم. در ادامه و در مثال زیر با استفاده از نرم‌افزار گراف پد پریسم، به ارایه و انجام تحلیل رگرسیون لجستیک چندگانه Multiple Logistic Regression می‌پردازیم.

این مثال با نام Multiple logistic regression در دسته تحلیل‌های Multiple variables و در بخش Select a tutorial data set قرار دارد. فایل مثال را می‌توانید از اینجا دانلود کنید.

وقتی مثال را Create می‌کنیم با داده‌های زیر روبه‌رو می‌شویم. همان‌گونه که مشاهده می‌کنید داده‌ها در چندین ستون بیان شده‌اند. ستون با نام Survived همان کمیت پاسخ Y مدل رگرسیون لجستیک است. کد صفر بیانگر مرگ و کد 1 زنده ماندن را نشان می‌دهد.

همچنین می‌توانید چهار X تحت عناوین Age سن، Male که کد صفر زن و کد یک مرد را نشان می‌دهد، 1st Class و 2nd Class که نوع بلیط هر فرد را بیان می‌کند (صفر منفی و 1 مثبت) را مشاهده کنید. در این مثال یافته‌های مربوط به 1314 فرد آمده است.

همان‌گونه که بالاتر نیز اشاره کردیم، هنگامی که کمیت پاسخ ما به صورت دو حالتی باشد، از مدل‌های رگرسیون لجستیک استفاده می‌کنیم. در این مثال نیز Y به حالت‌های یک، یعنی زنده ماندن و صفر به معنای مرگ، کدبندی شده است.

نکته‌ای که در این زمینه نرم افزار گراف پد به آن اشاره می‌کند (در پنجره سبزرنگ Note نیز نوشته شده است.) این است که کدهای کمیت Y به صورت 0 و 1 نوشته شود. کد 1 به معنای مثبت و رخداد و کد 0 به معنای منفی و عدم رخداد، بیان شود.

بنابراین آن‌چه که در رگرسیون لجستیک به دنبال آن هستیم این است که احتمال 1 شدن و یا همان رخداد و در این مثال زنده ماندن را پیش‌بینی کنیم. به اختصار احتمال رخداد را با p نشان می‌دهیم. البته این p با مقدار احتمال P value که سطح معناداری و پذیرش یا رد فرض صفر را نشان می‌دهد، کاملاً متفاوت است.

به نسبت p/1-p نسبت (شکست/پیروزی) یا (منفی/مثبت) نیز گفته می‌شود. یک توضیح تئوری کوچک این‌که در مدل رگرسیون لجستیک، لگاریتم این نسبت با Xها رابطه خطی دارد، یعنی

اگر طرفین معادله بالا را نمایی کنیم، به روابط زیر می‌رسیم.

به این ترتیب می‌توانیم مقدار p یا همان احتمال رخداد پیشامد مورد نظر را به دست بیاوریم.

خُب، حال به مثال خود بپردازیم. هدف ما در این مثال، به دست آوردن و پیش‌بینی احتمال زنده ماندن با استفاده از Xهای مدل یعنی سن، جنسیت، درجه 1 و درجه 2 نوع بلیط می‌باشد. این کار با استفاده از Logistic Regression قابل انجام است.

در واقع در این مثال ما یک Y و چند X داریم. به همین دلیل به آن Multiple Logistic Regression گفته می‌شود. اگر فقط یک کمیت مستقل X داشته باشیم، آن‌گاه مطالعه ما Simple Logistic Regression نامیده می‌شد.

جهت انجام رگرسیون لجستیک، در شیت داده‌ها که با نام Titanic Data Set نامیده می‌شود، بر روی منوی Analyze کلیک کنید تا پنجره Analyze Data به صورت زیر برای ما باز شود.

در آن‌جا و از کادر Multiple variable analyses گزینه Multiple logistic regression را انتخاب می‌کنیم. پنجره Parameters Multiple Logistic Regression به صورت زیر برای ما باز می‌شود.

البته می‌توانستیم در همان شیت داده‌ها به صورت مستقیم وارد پنجره Parameters Multiple Logistic Regression نیز شویم. برای این‌کار در بالای منوی Analyze بر روی ابزارک Multiple logistic regression کلیک می‌کنیم.

در ادامه به توضیح بخش‌ها و گزینه‌های مختلف پنجره Parameters Multiple Logistic Regression که جهت انجام تحلیل رگرسیون لجستیک چندبعدی، استفاده می‌شود، می‌پردازیم.

در این تب  و در کادر choose dependent (or outcome) variable Y مشخص می‌کنیم که کمیت پاسخ که مقادیر صفر و یک را دربر می‌گرفت، کدام است. به سادگی و بر مبنای شیت داده‌ها می‌دانیم که نام آن Survived می‌باشد. کد صفر به معنای نتیجه منفی Negative outcome و کد یک به معنای نتیجه مثبت Positive outcome شناخته می‌شود.

در کادر Define model می‌توانیم نوع مدل رگرسیون لجستیک خود را انتخاب کنیم. می‌دانیم که هر مدل رگرسیونی می‌تواند علاوه بر داشتن ضریب ثابت یا همان Intercept و اثرات اصلی Main effects ، شامل اثرات متقابل چند طرفه Interactions نیز باشد. چنانچه تمایل داشته باشیم می‌توانیم این اثرات متقابل را نیز به مدل رگرسیونی خود اضافه کنیم.

بر مبنای مدل انتخاب شده در بخش Define model، در کادر زردرنگ پایین می‌توانید معادله مدل رگرسیون لجستیک را مشاهده کنیم. به عنوان مثال مدلی که شامل ضریب ثابت و اثرات اصلی باشد به شکل زیر خواهد بود.

می‌دانیم که منظور از C، B، A و D به ترتیب همان 1st Class، Male، Age و 2nd Class است.

این تب از آن موارد به درد بخور و خاص نرم‌افزار گراف پد است. با استفاده از آن می‌توانیم به مقایسه بین چند منحنی رگرسیونی بپردازیم و پارامترهای به دست آمده از هر مدل را با هم مقایسه کنیم.

از آن‌جا که در این مثال تنها یک منحنی رگرسیونی داریم، پس همان گزینه پیش‌فرض No comparison را می‌پذیریم. اگر به دنبال مقایسه بین دو منحنی رگرسیونی بودیم گزینه which of two models fits best را انتخاب می‌کنیم.

در این تب به انتخاب تنظیمات و گزینه‌های مختلف تحلیل رگرسیون لجستیک چندگانه، می‌پردازیم. بخش‌های مختلف آن را مشاهده می‌کنیم.

در ابتدا بخشی با نام How precise are the best-fit values of the parameters قرار دارد. در اینجا می‌توانیم برای پارامترهای مدل لجستیک، انحراف معیار، فاصله اطمینان و مقدار احتمال به دست بیاوریم. ما این گزینه‌ها را انتخاب می‌کنیم.

بخش دیگر تب Options با نام Are the variables intertwined or redundant مشاهده می‌شود.

در این بخش درباره‌ی درهم تنیدگی Intertwined کمیت‌های مستقل Xها در یکدیگر و احتمالاً زاید بودن Redundant آن‌ها، صحبت می‌شود. با استفاده از بررسی هم‌خطی چندگانه Multicollinearity و ماتریس همبستگی Correlation Matrix این موارد ارزیابی میشود.

یک توضیح کوتاه این‌که هم‌خطی به معنای وجود ارتباط قوی و همبستگی بالا در بین Xهای مدل است. هر چند هم‌خطی در همه مدل‌های رگرسیونی وجود دارد اما شدت آن، یک نقیصه به حساب می‌آید. زیرا وقتی دو یا چند X با یکدیگر هم‌خطی بالایی دارند، دیگر لزومی به آمدن همه آن‌ها در مدل رگرسیونی نیست و زاید هستند.

به هرحال ما در این مثال هم در پی محاسبه‌ی هم خطی و هم ماتریس همبستگی هستیم.

در بخش با نام Comparative model diagnostics آماره‌ها و معیارهایی جهت ارزیابی مدل قرار دارد. شاخص اطلاع آکائیک اصلاح شده AICc ، لگاریتم درستنمایی Log-likelihood و انحراف مدل Model deviance از جمله این معیارها هستند.

این معیارها به مقایسه بین مدل انتخاب شده در تب Model و بخش Define model، با یک مدل ساده بدون ضرایب رگرسیونی و تنها شامل ضریب ثابت، می‌پردازد.

به هنگام بیان نتایج می‌گوییم که انتظار داریم مقادیر این آماره‌ها در مدل انتخاب شده نسبت به مدل بدون ضرایب رگرسیونی، کمتر باشد.

در بخش calculations به سادگی می‌توانیم ضریب اطمینان فاصله اطمینان را مشخص کنیم. به صورت پیشفرض بر روی 95 درصد قرار دارد.

در بخش Output نیز می‌توانیم تعداد رقم‌های اعشار برای مقدار احتمال P value و قالب نمایش آن را انتخاب کنیم.

در این تب انواع آماره‌ها و معیارهای مناسبت مدل و نیکویی برازش وجود دارد. بخش‌های مختلف آن را مشاهده می‌کنیم.

مواردی نظیر رسم منحنی راک ROC Curve ، جدول تعداد پیش‌بینی – مشاهده و به دست آوردن احتمال برازش شده (زنده ماندن) به ازای هر فرد، در بخش Classification and Prediction methods قرار دارد.

همچنین می‌توان Cutoff مدل که به صورت پیش‌فرض در تحلیل‌های رگرسیون لجستیک بر روی عدد 0.5 قرار دارد را ویرایش کرد. نرم‌افزار اندازه‌های احتمال کمتر از این عدد را به عنوان یک پیشامد منفی (مرگ) و اندازه‌های احتمال بیشتر از این عدد را به عنوان پیشامد مثبت (زنده ماندن) در نظر می‌گیرد.

در بخش Pseudo R dquare می‌توان چندین ضریب تعیین مختلف جهت سنجش مناسب بودن مدل به دست آمده را انتخاب کرد. نرم‌افزار به صورت پیش‌فرض Tjur’s R square را انتخاب کرده است.

در بخش Hypothesis tests P values با استفاده از آزمون Hosmer-lemeshow نیز به بررسی نیکویی برازش مدل لجستیک به دست آمده، می‌پردازیم. فرض صفر در این آزمون صحت مدل انتخاب شده است. نتایج این آزمون را می‌توانیم در خروجی‌های گراف پد مشاهده کنیم. آزمونی با نام نسبت درستنمایی نیز در این بخش قرار دارد.

در نهایت این‌که در تب Goodness-of-fit پیش‌فرض‌های نرم‌افزار را می‌پذیریم.

انواع گراف‌های قابل رسم در تحلیل رگرسیون لجستیک چندگانه در تب Graphs دیده می‌شود. نرم‌افزار به صورت پیش‌فرض نمودار Predicted vs Observed که گرافی جهت بررسی فراوانی موارد پیش‌بینی‌شده در برابر موارد مشاهده شده و نمودار ROC Curve که با استفاده از آن می‌توانیم میزان درستی پیش‌بینی مدل رگرسیون لجستیک براورد شده را به دست بیاوریم، انتخاب کرده است.

چنانچه علاقمند باشیم و به نظر مناسب نیز است می‌توانیم گراف proportion correct vs cutoff که بر مبنای نقاط برش مختلف، میزان درستی مدل را نشان می‌دهد، به دست بیاوریم. پس ما آن را نیز انتخاب می‌کنیم.

در پایان با OK کردن می‌توانیم تمام نتایج و نمودارهای رسم شده در تحلیل رگرسیون لجستیک چندگانه را مشاهده کنیم.

ابتدا به بررسی شیت نتایج که با نام Multiple logistic regression of Titanic Data Set در فولدر Results پنجره راهبری سمت چپ نرم‌افزار قرار دارد، می‌پردازیم.

این بخش مهم‌ترین نتایج تحلیل رگرسیون لجستیک را شامل می‌شود. براورد پارامترهای β₄ ، β₃ ، β₂ ، β₁ ، β₀ مدل لجستیک چندگانه که به ترتیب ضریب ثابت، سن، جنسیت (مرد)، بلیط درجه 1 و بلیط درجه 2 می‌باشند، در این بخش قرار گرفته است. منفی شدن β₁ و β₂ بیانگر وجود ارتباط وارون بین سن و مرد بودن با احتمال زنده ماندن، می‌باشد.

به همین ترتیب مثبت شدن β₃ و β₄ نشان می‌دهد بین نوع بلیط و زنده ماندن ارتباط مستقیم وجود دارد.

علاوه بر براورد پارامترها، خطای استاندارد و فواصل اطمینان 95 درصد به ازای هر پارامتر نیز در جدول بالا آمده است. خوبی فواصل اطمینان این است که با استفاده از آن‌ها و حتی بدون داشتن مقادیر احتمال P value معناداری یا عدم معناداری تاثیر آن پارامتر و X را بر روی پاسخ یعنی زنده ماندن، به دست آوریم.

در این زمینه توضیح اینکه اگر فواصل اطمینان شامل عدد صفر باشند، نتیجه می‌گیریم آن پارامتر تاثیر معنادار بر Y یا همان پاسخ ندارد.

اگر هر دو کران فاصله اطمینان از عدد صفر کمتر و منفی باشند، بیانگر وجود ارتباط معنادار آن هم از نوع وارون بین آن X با Y است. به عنوان مثال در این‌جا سن و جنسیت (مرد) دارای فواصل اطمینان منفی هستند. بنابراین بدون دیدن مقدار احتمال آن‌ها می‌توانیم نتیجه بگیریم ارتباط بین سن و جنسیت با زنده ماندن معنادار و واورن است.

اگر هر دو کران فاصله اطمینان از عدد صفر بیشتر و مثبت باشند، بیانگر وجود ارتباط معنادار از نوع مستقیم بین آن X با Y است. به عنوان مثال در این‌جا بلیط درجه 1 و 2 دارای فواصل اطمینان مثبت هستند. بنابراین حتی بدون دیدن مقدار احتمال آن‌ها می‌توانیم نتیجه بگیریم ارتباط بین آن‌ها با زنده ماندن معنادار و مستقیم است.

به این ترتیب با استفاده از اعداد به دست آمده برای همین پارامترها، می‌توان احتمال زنده ماندن برای هر فرد را محاسبه کرد. به این ترتیب مدل رگرسیون لجستیک چندگانه در مثال ما به صورت زیر خواهد بود.

با استفاده از این مدل می‌توانیم با قرار دادن Xهای دلخواه به ازای هر فرد حتی خارج از این مطالعه، احتمال زنده ماندن او را محاسبه کنیم.

انحراف معیار خطا به ازای هر کدام از پارامترهای مدل رگرسیون لجستیک در این بخش از تحلیل قابل مشاهده است. همچنین می‌توانید فواصل اطمینان 95 درصد برای پارامترهای  β₀ و β₁ مدل را ببینید.

نسبت بخت و یا همان Odds Ratio که به اختصار به آن OR نیز گفته می‌شود، از مهمترین نتایج تحلیل رگرسیون لجستیک به حساب می‌آید. در جدول زیر نسبت بخت‌ها به همراه فواصل اطمینان 95 درصد آن‌ها بیان شده است.

آن‌چه که اهمیت فراوان دارد نسبت بخت برای پارامتر β₁ است. این نسبت به صورت زیر به دست می‌آید.

به معنای دیگر، نسبت بخت به صورت نسبت موفقیت به شکست، تعبیر می‌شود. عدد آن نیز به صورت نمایی شده پارامتر β₁ به دست می‌آید.

خُب، حال بیایید در این مثال به توضیح آن بپردازیم. عدد 3.934 به دست آمده برای OR نشان می‌دهد که اگر تعداد ساعات مطالعه یک ساعت افزایش یابد احتمال موفقیت در آزمون 3.9 برابر افزایش می‌یابد. فاصله اطمینان به دست آمده نیز در هر دو کران پایین و بالای خود از عدد یک بیشتر شده است. این مطلب تا همین جا به معنای معنادار بودن تاثیر مثبت ساعات مطالعه بر روی قبولی در آزمون است.

پاسخ به این سوال که آیا شیب مدل و یا همان β₁ به دست آمده، معنادار است یا خیر، در این بخش قرار دارد. مقدار احتمال به دست آمده بیانگر رد فرضیه عدم معناداری و صفر بودن شیب رگرسیونی است. بنابراین آن‌چه که پذیرفته می‌شود غیرصفر بودن و معنادار بودن β₁ است. به عبارت دیگر می‌پذیریم که تعداد ساعات مطالعه بر روی قبولی یا رد در آزمون، موثر است.

در هر مدل رگرسیونی چه خطی و چه غیرخطی، نیاز به ابزار و آزمونی برای بررسی معنادار بودن مدل هستیم. در مدل رگرسیون غیرخطی لجستیک از آزمونی با نام نسبت درستنمایی و یا همان Likelihood ratio جهت ارزیابی مدل استفاده می‌کنیم. P value <0.001 به دست آمده فرض صفر یعنی عدم معناداری مدل را رد کرده و نشان می‌دهد، مدل به دست آمده مناسب و معنادار است.

چنانچه خاطرتان باشد در پنجره Parameters Simple Logistic Regression و به هنگام تنظیمات مدل، گزینه Classification and prediction را جهت رسم منحنی راک فعال کردیم. در جدول زیر اندازه AUC و مساحت زیر منحنی ROC امده است. در زمینه منحنی راک می‌توانید این لینک را در سایت گراف پد ببینید.

عدد حدود 0.89 برای Area نشان می‌دهد مدل لجستیک به دست آمده می‌تواند تا 89 درصد موارد را به درستی پیش‌بینی کند. مقدار احتمال P value <0.001 به دست آمده، نشان‌دهنده این است که مدل لجستیک توانایی مناسبی جهت تشخیص قبولی و یا رد در بین افراد مورد بررسی را دارا است.

در شکل زیر منحنی راک ROC Curve این مثال که در شیت با نام ROC curve: Simple logistic regression of Study Data در فولدر Graphs پنجره راهبری نرم‌افزار قرار دارد، آمده است.

آماره‌های سنجش خوب بودن مدل و یا اصطلاحاً نیکویی برازش Goodness of Fit در این بخش آمده است.

همچنین می‌تواند مدل رگرسیون لجستیک را که به صورت زیر است، مشاهده کنید. (البته ما فرمول این مدل را در همان ابتدای نتایج و در بخش Best-fit values بیان کردیم.

همان‌گونه که قبلاً نیز بیان کردیم این معادله نشان می‌دهد افزایش یا کاهش X و یا همان تعداد ساعات مطالعه به چه میزان بر روی موفقیت در آزمون اثرگذار است. (یک ساعت مطالعه بیشتر، احتمال موفقیت در آزمون را 3.9 برابر افزایش می‌دهد.

در این بخش خلاصه‌ای از داده‌های مثال رگرسیون لجستیک را مشاهده می‌کنید. جدول زیر بیان می‌کند که 125 سطر (فرد) مورد بررسی قرار گرفته است. داده گمشده Missing data که شامل افراد دارای عدم پاسخ است، در این مثال دیده نمی‌شود. 63 فرد کد 1 یعنی قبولی در آزمون و 62 نفر در آزمون رد شده‌اند.

تعداد دو پارامتر یعنی همان β₀ و β₁ نیز براورد شده است. نسبت تعداد افراد به پارامترها یعنی 125/2 برابر با 62.5 و نسبت تعداد افراد قبول و تعداد افراد رد شده در آزمون به تعداد پارامترهای براورد شده به ترتیب برابر با 31.5 و 31 است.

شیت نتایج، یک زبانه دیگر با نام Row prediction دارد. در این زبانه به ازای هر فرد (125 نفر) و تعداد ساعت مطالعه آن‌ها، احتمال قبولی در آزمون براساس مدل رگرسیون لجستیک به دست آمده، محاسبه شده است. به عنوان مثال برای فردی که تعداد ساعت مطالعه او 5.4 بوده است، احتمال موفقیت در آزمون برابر با 94.2 درصد به دست آمده است. به همین ترتیب برای بقیه افراد نیز می‌توان بر مبنای مدل لجستیک، احتمال موفقیت را به دست آورد.

خُب، آن‌چه در این مثال همچنان باقی مانده است، مشاهده و رسم گراف‌های متناظر با تحلیل رگرسیون لجستیک می‌باشد. در فولدر Graphs پنجره سمت چپ می‌توان عناوین دو شیت با نام‌های Study Data و ROC curve: Simple logistic regression of Study Data را مشاهده کرد.

در بالا و به هنگام بیان نتایج سطح زیر منحنی راک از گراف ROC curve: Simple logistic regression of Study Data صحبت کردیم. در ادامه با کلیک بر روی شیت Study Data پنجره زیر برای ما باز می‌شود.

از آن‌جا که مثال رگرسیون لجستیک در دسته تحلیل‌های XY قرار دارد، بنابراین کادر Graph family را بر روی همان XY قرار می‌دهیم. با OK کردن گراف زیر برای ما ساخته می‌شود.

گراف بالا ترکیبی از نقاط و یک منحنی می‌باشد. نقاط در دو سطح صفر به معنای رد شدن در آزمون و یک به معنای قبولی در آزمون قرار گرفته‌اند. محور X نیز تعداد ساعات مطالعه برای آزمون به ازای هر فرد را نشان می‌دهد. به وضوح افراد قبول شده، تعداد ساعات مطالعه بیشتری داشته‌اند.

منحنی گراف نیز احتمال موفقیت به ازای ساعات مطالعه را نشان می‌دهد. این Curve اصطلاحاً یک منحنی سیگموئیدی نامیده می‌شود.

چنانچه علاقمند باشیم عبارت با نام X at 50% که بیانگر Xای بود که احتمال موفقیت برای آن 50 درصد است را در گراف بالا مشاهده کنیم، بر روی محور X دبل کلیک کرده و تنظیمات زیر را در کادر Additional ticks and grid lines قرار می‌دهیم. عدد 3.369 نوشته شده همان مقدار X at 50% است که در بخش Best-fit values نتایج نرم‌افزار برای ما به دست آمده است.

با Apply و OK کردن خط نشانگر X at 50% نیز در گراف دیده می‌شود. با کمی ویرایش، می‌توانیم به گراف زیر برسیم.

ما در ویدئو آموزشی زیر به بیان و توضیح مثال رگرسیون لجستیک Logistic Regression پرداخته‌ایم.

ارایه خدمات تحلیل آماری با GraphPad Prism

گراف پد ارایه خدمات تحلیل‌های آماری با نرم‌افزار GraphPad در تحقیقات و مطالعات را انجام می‌دهد. جهت دریافت نکات بیشتر و نحوه کار می‌توانید مختصری از کار خود را ارسال نمایید. به سرعت تقاضای شما را بررسی و نتایج تحلیل داده‌ها را به صورت اختصاصی و کامل ارسال خواهیم کرد.