“ارزیابی نقادانه” یا Critical Appraisal:

“ارزیابی نقادانه” یا Critical Appraisal:
 یکی از مهارتهای اساسی لازم برای تمام پژوهشگران

تعریف:
یک فرایند نظام مند یا ساختار یافته برای شناسایی نقاط قوت و ضعف یک پژوهش / مقاله، با هدف ارزیابی مفید بودن و اعتبار یافته های آن پژوهش

تاریخچه استفاده از این واژه:
همزمان با ایجاد و توسعه نهضت «پزشکی مبتنی بر شواهد» یا Evidence-Based Medicine (EBM) در جهان علم

۱۰ سوال اساسی مطرح شده در فرایند ارزیابی نقادانه:

سوال ۱) آیا سوال اصلی پژوهش در مقاله/ مطالعه حاضر، مرتبط یا Relevant است؟
آیا سوال پژوهشی این مقاله، سوال درست و مناسبی است؟ آیا مرتبط با زمینه تحقیقاتی محقق می باشد؟

بهترین فرد / افراد برای پاسخ دادن به این سوال:
افراد خبره فیلد مورد نظر (به عبارت دیگر subjective opinion)

سوال ۲) آیا این مطالعه / مقاله، موضوع جدیدی را اضافه می کند؟
وقتی پاسخ این سوال مثبت است که یکی از موارد زیر در مطالعه / مقاله مورد ارزیابی، رخ دهد:

الف- در یک زمینه موضوعی جدید (قبلاً مطالعه نشده یا کمتر مطالعه شده) باشد.
ب- به افزایش اعتماد یا Reliability(مثلا از طریق بزرگتر بودن حجم نمونه نسبت به متوسط مطالعات قبلی) کمک نماید
ج- به افزایش اطمینان(Confidence)، یا همخوانی (Consistency) یافته های سایر مطالعات مرتبط، کمک نماید (رجوع شود به اصول نه گانه هیل-برادفورد برای اثبات علیّت)
د- کمک به افزایش قابلیت تعمیم (Generalization) مطالعات مرتبط قبلی از طریق اجرای یک مطالعه در گروههای جمعیتی مختلف (از نظر جغرافیایی، نژاد یا قومیتهای متفاوت، گروههای سنی یا جنسی متفاوت و …)،

نکته: اگر نتایج یک مطالعه/ مقاله، با یکی از موارد چهارگانه فوق منطبق نباشد، شاید دیگر نتواند ارزش افزوده یا Added value دیگری داشته باشد.

سوال ۳) مطالعه حاضر، چه نوع سوال پژوهشی را پاسخ می دهد؟
معمولا در پژوهشهای بالینی، به دو نوع سوال (البته در هر مطالعه، یکی از این دو نوع سوال)، پاسخ داده می شود:
الف- سوالات مرتبط با اثربخشی درمان مانند Efficacy, Effectiveness, Effect
ب- سوالات مرتبط با فراوانی یا وقوع یک بیماری یا واقعه مرتبط با سلامت و غیره مانند
Description, Exploration, Distribution, Prediction
البته در سطح وسیعتر یا گسترده تر می توان سوالات پژوهشی را به انواع توصیفی، مشاهده ای تحلیلی، اثربخشی، ارزش تشخیصی، مدلهای پیش بینی یا تصمیم گیری، مطالعات ثانویه و …، طبقه بندی نمود. این طبقه بندی از طبقه بندی دو وضعیتی فوق، گسترده تر و کاربردی تر است.

سوال ۴) آیا طراحی مطالعه بکار گرفته شده در این مقاله/ پژوهش، برای این سوال پژوهشی مناسب یا مرتبط است؟
برای پاسخ دادن به این سوال به هرم شواهد یا قدرت شواهد تولید شده در هر مطالعه، مراجعه می کنیم. معمولاً به ازای هر سوال پژوهشی، نوع خاصی از طراحی مطالعه، مورد استفاده قرار می گیرد:
 سوال توصیفی: مطالعه توصیفی، بخش توصیفی مطالعه مقطعی
 سوال مشاهده ای تحلیلی: بخش تحلیلی مطالعه مقطعی، مطالعه مورد شاهدی، مطالعه کوهورت
 سوال اثربخشی: کارآزماییهای بالینی فردی یا جامعه محور، در برخی شرایط که اجرای یک کارآزمایی ممکن نباشد: مطالعه کوهورت
 سوال ارزش تشخیصی: مطالعه اعتبار یا ارزش تشخیصی یک تست یا آزمون
 سوال پیش بینی یا تصمیم گیری: مطالعات مدلهای پیش بینی یا مطالعه اعتبارسنجی مدلهای پیش بینی یا مدلهای تصمیم گیری
 سوال پژوهشی ثانویه: مطالعه مروری مرسوم (Traditional Review)، مرور روایتی (Narrative R.) یا مرور سیستماتیک (Systematic R.) و یا انواع بینابینی مطالعات مروری مانند Scoping R. یا Evidence Mapping و ….

سوال ۵) آیا متدولوژی مطالعه/مقاله حاضر، منابع عمده و بالقوه سوگرایی یا Bias را در نظر گرفته است؟
سوگرایی می تواند در تمامی مراحل یک مطالعه اعم از طراحی، اجراء، جمع آوری داده ها و آنالیز آماری رخ دهد.
با توجه به گستردگی و انواع سوگرایی ها و قابلیت رخداد آنها در انواع مطالعات، شاید بهترین ابزار و یا روش برای کنترل یا ارزیابی آن در انواع مقالات/ مطالعات پژوهشی، استفاده از چک لیستهای ارزیابی نقّادانه یا CAT باشد. در بین این ابزارها یا چک لیستها، قطعاً چک لیستهای CASP، کاملترین و معتبرترین ابزارهای ارزیابی نقّادانه میباشند.

سوال ۶) آیا مطالعه/مقاله حاضر منطبق بر پروتکول اولیه یا original تدوین شده، می باشد؟
ممکن است در همه شرایط و برای تمامی انواع مطالعات، نقد کنندگان دسترسی به پروتکول اولیه نداشته باشند. اهمیت وجود و ثبت پروتکول در سامانه های اختصاصی برای انواع مطالعات به خصوص برای کارآزمایی ها و مرورهای سیستماتیک و متاآنالیزها و امکان انتشار مقالات مبتنی بر این پروتکولها، در حال افزایش روزافزون بوده و در این دو نوع مطالعه، میتوان بطور کامل متدولوژی را با پیش بینی مندرج در پروتکول، مقایسه نمود.

سوال ۷) آیا در این مطالعه/مقاله، حداقل یک فرضیه (هیپوتز) آزمون شده است؟
قطعاً باید در همه مطالعات (بجز مطالعات توصیفی)، حداقل یک فرضیه آماری مورد آزمون قرار گرفته باشد.

سوال ۸) آیا روشهای آماری و همچنین آنالیزهای آماری انجام شده، صحیح می باشند؟
برای پاسخ به این سوال باید به دو بخش آنالیز آماری (از زیربخشهای متد مقاله) و همچنین بخش یافته ها، در مقاله رجوع کنیم.
بکارگیری روشهای آماری (آزمونهای آماری) مورد استفاده، وابسته به مولفه های زیر هستند:
الف- تعداد گروههای تحت مطالعه
ب- مستقل یا وابسته بودن انتخاب گروههای تحت مطالعه
ج- نوع متغیر/متغیرهای اصلی تحت مطالعه (کمّی، کیفی دو وضعیتی، کیفی رتبه ای)
د- توزیع متغیر/ متغیرهای اصلی مطالعه
ه- تعداد سنجشها یا اندازه گیریهای انجام شده از متغیر/ متغیرها (یکبار، دو بار بصورت قبل و بعد، بیش از دو بار)

در کارآزمایی ها، مولفه هایی مانند رویکرد آنالیز آماری در شرایط انحراف از پروتکول مطالعه، مانند رویکردهای Intention to Treat (ITT) یا Per Protocol (PP) را باید به موارد فوق اضافه کرد.

سوال ۹) آیا نتیجه نهایی یا conclusion مقاله/ مطالعه، با یافته ها، قابل توجیه است؟
برای پاسخ به این سوال باید نتیجه نهایی در بخش پایانی بحث مقاله (یا نتیجه نهایی مندرج در چکیده های ساختار یافته مقالات) با یافته های کلیدی مقاله، مقایسه شوند و حتماً به موارد شایعی مانند «تاکید بیش از اندازه» یا «تاکید کمتر از اندازه» (بترتیب معادل واژه های overemphasis و(underemphasis، نیز توجه نماییم.

سوال ۱۰) آیا موردی از ملاحظات تعارض منافع (Conflict of Interest) رخ داده یا مستعد رخداد می باشد؟
تعارض منافع وقتی اتفاق می افتد که فاکتورهای فردی یا شخصی (گاهی سازمانی) بتواند بطور بالقوه بر روی نقش یا جایگاههای افراد تاثیرگذار باشد. مثالهای این مورد عبارتند از:

الف- دریافت حقوق، مزایا و یا هر گونه پاداش از موسسه یا نهادی که تامین هزینه های مطالعه یا بخشی از این هزینه ها را عهده دار بوده
ب- دریافت حقوق و مزایا یا هرگونه پاداش بصورت سرانه (بعنوان مثال به ازای ورود هر بیمار یا فرد واجد شرایط به یک کارآزمایی یا هر مطالعه دیگر)
ج- دریافت حقوق و مزایا یا پاداش از طرف صنایع یا موسساتی که در صورت تایید یا تصویب دارو یا مداخله مورد بررسی، از فروش یا عرضه این مداخله، سود خواهند برد.
د- هرگونه تاثیرگذاری مالی از پیامدهای مطالعه پژوهشی حاضر

این مطلب خلاصه ای است از مقاله ای به قلم آقای دکتر کشتکار (اپیدمیولوژیست) که در سایت آمارافزار قرار گرفته و با اجازه ایشان توسط دکتر سیما بشارت تلخیص و اقتباس شده است.
برای اینکه بیشتر در مورد “ارزیابی نقادانه” بدانید به سایت amarafzar.ir مراجعه کنید.