برآورد همخوانی بالینی برای آزمایش‌های کیفی

برآورد همخوانی بالینی برای آزمایش‌های کیفی

یک حسابگر اینترنتی برای جدول 2×2 پیشامدهای محتمل

توضیح:

اصل این مقاله بر روی وبسایت Westgard QC منتشر شده است:

https://www.westgard.com/qualitative-test-clinical-agreement.htm

ترجمه این مقاله برای تقدیم به آزمایشگاهیان ایران، از طریق انتشار در فضای مجازی و نیز چاپ در مجله اخبار آزمایشگاهی، با کسب اجازه از استن وستگارد مدیر وبسایت Westgard QC انجام شده است. از لطف ایشان و نیز پروفسور وستگارد بسیار سپاسگزاریم.

همچنین از لطف جناب آقای دکتر عابدی سردبیر محترم اخبار آزمایشگاهی و کارکنان تلاشگر آن ماهنامه بابت انتشار این ترجمه سپاسگزاریم.

مترجمان: مهدی صابونی و حسن بیات؛ دکترای علوم آزمایشگاهی

چگونه یک آزمایش کیفی را ارزشیابی می‌کنید؟ در اینجا ابزار کوچکی که ممکن است برای ارزشیابی آزمایش‌های ویروسی به کارتان بیاید، معرفی می‌شود.

جیمز اُ. وستگارد، پاتریشیا ای. گرت، پائول شیلینگ

آوریل 2020

وسط پاندمی جاری کووید-19، کمک به آزمایشگاه‌های پزشکی برای ارزشیابی آزمایش‌های کیفی می‌تواند مفید باشد. آزمایشگاه‌های بزرگ‌تر که آزمایش‌های rRNA-PCR را برای پیدا کردن ویروس و آزمایش‌های سرولوژی را برای پیدا کردن آنتی‌بادی‌های ضد SARS-CoV-2 انجام می‌دهند، احتمالاً به برنامه‌های آماری دسترسی دارند که از توصیه‌های FDA و CLSI برای ارزشیابی روش‌ها تبعیت می‌کنند، اما احتمال اینکه آزمایشگاه‌های کوچک‌تر چنین برنامه‌هایی داشته باشند کمتر است، با این وجود، با ورود روش‌های ساده‌تر یا خودکارتر (more automated)، آزمایشگاه‌های کوچک نیز برخی بررسی‌های حداقلی را برای ارزشیابی یا گواهی کردن (راستی آزمایی) نیاز خواهند داشت.

برای اینکه شفاف صحبت کنیم باید اشاره کنیم که دو نوع آزمایش‌ جدید وجود دارد:

(1) آزمایش‌هایی برای شناسایی خود ویروس SARS-CoV-2 و

(2) آزمایش‌هایی برای شناسایی آنتی‌بادی‌های ضد این ویروس

در حال حاضر برای آزمایش هر یک از این مارکرها از روش‌های متعددی استفاده می‌شود که به‌سرعت توسط FDA تحت عنوان « مجوز استفاده اضطراری» (Emergency Use Authorization ;EUA) در حال دریافت تأییدیه هستند. اغلب روش‌های شناسایی ویروس، اما نه همه آن‌ها، بر مبنای PCR هستند و اکثر قریب به اتفاق روش‌های شناسایی آنتی‌بادی‌ها اساساً در دسته آزمایش‌های سرولوژی قرار می‌گیرند. معمولاً PCR و سایر روش‌های اسید نوکلئیکی و مولکولی بسته به اینکه دستگاه‌های لازم برای این فناوری‌‌ها کجا نصب شده‌اند، در یکی از بخش‌های آزمایشگاه و آزمایش‌های سرولوژی معمولاً در بخش دیگری انجام می‌شوند. با معرفی آزمایش‌های ساده مبتنی بر فن‌آوری جریان جانبی (lateral flow) [تست‌های تشخیص سریع]، این آزمایش‌ها در محل مراقبت (Point of Care) نیز انجام خواهند شد. همه این آزمایش‌ها آزمایش‌های کیفی هستند؛ به این معنی که برای دسته‌بندی نتایج به مثبت و منفی یک نقطه تصمیم‌گیری بالینی [تمایزگاه] (cutoff) دارند. آزمایشگاه‌‌هایی که توسط CLIA برای انجام آزمایش‌های دارای پیچیدگی متوسط و زیاد تأیید شده‌اند صلاحیت آن را دارند که کیت‌هایی را که تحت EUA تأیید شده‌اند، به کار ببرند. البته این آزمایشگاه‌ها برای استفاده از این روش‌ها باید ارزشیابی روش را انجام دهند و علاوه بر آن با هر دور از نمونه‌های بیماران، نمونه‌های مثبت و منفی را هم آزمایش‌ کنند [1].

 بررسی همخوانی بالینی

سازمان غذا و داروی امریکا (FDA) برای انجام ارزشیابی (validation) روش‌ها، «بررسی همخوانی بالینی» (Clinical Agreement Study) به همراه تعیین حد شناسایی (Limit of Detection ;LoD) و بررسی واکنش متقاطع (Cross reactivity) را توصیه می‌کند. در این نوشته ما بر همخوانی بالینی تمرکز می‌کنیم که معمولاً عبارت است از مقایسه نتایج دو روش‌ مختلف. بنا بر گفته FDA، می‌توان از نمونه‌های ساختگی یا «نمونه‌های بالینی غیر اصیل» استفاده کرد؛ یعنی می‌توان از نمونه‌هایی که به آن‌ها مواد کنترلی با غلظت بالا (ترجیحاً غیرفعال) اضافه شده است، استفاده نمود. توصیه FDA این است که 30 نمونه واکنش‌دهنده (reactive) [مثبت] (20 تا در محدوده 1 یا 2 برابر LoD و 10 تا در سطوح بالاتر، طوری که بازه آزمایش را پوشش دهد) و 30 نمونه غیرواکنش‌دهنده (non-reactive) [منفی] استفاده شود. همچنین FDA الزام می‌کند که 5 نتیجه اول مثبت و 5 نتیجه اول منفی بیماران واقعی با روش دیگری که قبلاً مجوز EUA گرفته است، تأیید شوند.

در سند CLSI EP-12-A2، راهکارنمای مقایسه یک روش آزمایش‌ جدید یا «نامزد» با یک روش آزمایش موجود یا «مقیاس» فراهم شده است [2]. ما انتظار داریم بیشتر آزمایشگاه‌ها به نمونه‌هایی دسترسی داشته باشند که قبلاً توسط آزمایشگاه دیگری در آن منطقه، شاید یک آزمایشگاه‌ مرجع که شبکه بیمارستانی از آن استفاده می‌کند، یا یک آزمایشگاه بزرگ‌تر دارای سطح پیچیدگی بیشتر که برای ارجاع استفاده می‌شود، آزمایش‌ شده باشد. به‌عنوان راه جایگزین، آزمایشگاه می‌تواند از نمونه‌های بیمارانی که عفونت ایشان مسجل شده است و نمونه‌های بیماران فاقد عفونت استفاده کند.

تحلیل داده‌ها با استفاده از جدول 2×2 پیشامدهای محتمل

نظر به اینکه در بررسی مقایسه‌ای، نتایج روش نامزد و روش مقیاس به‌صورت مثبت و منفی دسته‌بندی می‌شوند، می‌توان نتایج را به‌صورت زیر خلاصه‌بندی کرد:

a = تعداد نتایجی که با هر دو روش مثبت است؛

b = تعداد نتایجی که با روش مقیاس منفی است، اما با نامزد مثبت است؛

c = تعداد نتایجی که با روش مقیاس مثبت است، اما با نامزد منفی است؛

d = تعداد نتایجی که با هر دو روش منفی است.

این نتایج را می‌توان در یک جدول 2×2 پیشامدهای محتمل که گاهی «جدول حقیقت” (truth table) نامیده می‌شود، مرتب کرد.

	روش مقیاس
روش (آزمایش) نامزد	Positive	Negative	Total
Positive	A	b	a + b
Negative	C	d	c + d
Total	a + c	b + d	N

محاسبه ویژگی‌های عملکردی

همانطور که می‌بینید، این جدول‌بندی مبنایی بــــــــرای محاســــبه «درصد همخوانی مثبت» (Percent Positive Agreement ;PPA)، «درصد همخوانـی منفی» (Percent Negative Agreement ;PNA) و «درصد همخوانی کل» (Percent Overall Agreement ;POA) را فراهم می‌کند:

PPA = [(a/(a+c)] x 100

PNA = [d/(b+d)] x 100

POA = [(a+d)/n] x 100

اگر آرمانی فکر کنیم، درصد همخوانی مثبت (PPA) و درصد همخوانی منفی (PNA) باید 100% بشود، در صورتی چنین خواهد شد که b و c صفر باشند. مقادیر پایین‌تر PPA و PNA نمایانگر این است که عملکرد روش نامزد کاملاً مطلوب نیست؛ بنابراین برآورد PPA و PNA ممکن است برای قضاوت درباره قابل قبول بودن روش نامزد ثمربخش باشد. POA کمتر به درد می‌خورد زیرا ممکن است حتی وقتی که PPA و PNA پایین هستند، بالا باشد. [توجه: اگر روش مقیاس یک «معیار طلایی» (gold standard) باشد، آنگاه می‌توان PPA را «حساسیت تشخیصی» و PNA را «اختصاصیت تشخیصی» روش نامزد در نظر گرفت، گاهی POA را «کارآیی» (efficiency) می‌نامند]. برای اینکه بتوان این ویژگی‌های محاسبه‌شده را تفسیر کرد، باید دامنه اطمینان (confidence interval) این ویژگی‌ها (یعنی قابلیت اطمینان این ارقام)، معلوم باشد. در جدول زیر مثالی همراه دامنه اطمینان ارائه شده است. برای اطلاع از چگونگی محاسبه حدود اطمینان، ضمیمه را ببینید.

	روش مقیاس
روش (آزمایش) نامزد	Positive	Negative	Total
Positive	285	15	300
Negative	14	222	236
Total	299	237	536
	دامنه‌های اطمینان 95%
خلاصه آمارها	Percent	Lo Limit	Hi Limit
همخوانی مثبت PPA	95.3%	92.3%	97.2%
همخوانی منفی PNA	93.7%	89.8%	96.1%
همخوانی کل POA	94.6%	92.3%	96.2%

در مثال بالا [که از CLSI EP-12-A2، صفحه 30 تا 31 گرفته شده است]، PPA برابر 95/35% برآورد شده است و می‌توان 95% اطمینان داشت که بین 92/3% تا 97/2% است. PNA برابر 97/3% برآورد شده است و می‌توان 95% اطمینان داشت که بین 89/8% تا 96/1% است. در حالی که ما POA را برابر 94/6% و بازه اطمینان 95% آن را تقریباً 92/3% تا 96/2% برآورد کرده‌ایم، این ویژگی به اندازه دو ویژگی دیگر سودمند نیست و لازم نیست برای قضاوت درباره قابل قبول بودن روش، در نظر گرفته شود. [مترجم: هر چه دامنه اطمینان برای یک روش باریک‌تر باشد، ویژگی محاسبه‌شده قابل اعتماد‌تر است].

توجه داشته باشید که وقتی تعداد نمونه‌ها اندک است، انتظار می‌رود که بازه اطمینان وسیع باشد [قابلیت اطمینان ویژگی محاسبه‌شده کمتر باشد]. به‌عنوان مثال، حد پایین اطمینان برای 5 نتیجه مثبت و 5 نتیجه منفی بدون هیچ مثبت کاذب و منفی کاذبی، تقریباً 57% خواهد بود [مترجم: یعنی در حالی که با این داده‌ها، حساسیت و اختصاصیت 100% محاسبه می‌شود، اما به دلیل اینکه تعداد نمونه‌های بررسی‌شده اندک است، نمی‌توان خیلی مطمئن بود که حساسیت و اختصاصیت واقعاً 100% باشد، بلکه با توجه به حد اطمینان پایین که برابر با 57% است می‌توان گفت که حساسیت و اختصاصیت واقعی با احتمال 95% در دامنه 57% تا 100% قرار دارد؛ یعنی ممکن است حتا تا حد 57% پایین باشد]؛ در حالی که برای 10 نتیجه مثبت و 10 نتیجه منفی تقریباً 72%؛ برای 30 تا تقریباً 89%؛ برای 40 تا تقریباً 91%؛ و برای 50 تا تقریباً 93% خواهد بود. همه این حدها برای مقایسه‌هایی با سازگاری کامل [بدون هیچ مثبت کاذب و منفی کاذبی] هستند. هرچه تعداد نمونه‌ها کمتر باشد، حتا با یک نازساگاری (مثبت کاذب یا منفی کاذب) شاهد افت اطمینان شدیدتری خواهیم بود. [جدول A1 در EP 12-A2، صفحه 35 را ببینید]. این مثال نشان می‌دهد که چرا FDA توصیه می‌کند دست‌کم از 30 نمونه مثبت و 30 نمونه منفی استفاده شود تا بتوان برآوردهایی با قابلیت اطمینان بالاتر از کف قابل قبول به‌دست آورد. [مترجم: در حال حاضر FDA تعداد نمونه منفی را از حداقل 30 به حداقل 75 نمونه افزایش داده است].

حسابگر 2×2 پیشامدهای محتمل درWestgard QC

http://tools.westgard.com/two-by-two-contingency.shtml

برای استفاده از این حسابگر، 4 عدد مربوط به a (مثبت واقعی)، b (مثبت کاذب)، c (منفی کاذب) و d (منفی واقعی) را در جدول پیشامدهای محتمل بگذارید. سپس روی دکمه ”Calculate“ کلیک کنید تا مقادیر «همخوانی مثبت» (PPA)، «همخوانی منفی» (PNA) و «همخوانی کل» (POA)، همراه با حدود اطمینان 95% بالایی و پائینی آن‌ها نمایش داده شود. برای دیدن مثالی که در این درس عرضه شد، روی ”Load Example Data“ کلیک کنید. برای مستند‌سازی نتایجتان می‌توانید صفحه را چاپ کنید.

[یک درس دیگر بر روی وبسایت وستگارد درباره ارزشیابی آزمایش‌های کیفی وجود دارد که توسط دکتر Paulo Pereira ارائه شده است و حاوی جزئیات بیشتر است. برای مطالعه آن می‌توانید به نشانی زیر مراجعه کنید]:

https://www.westgard.com/validating-qualitative-tests.htm

References:

1. US Dept Health and Human Services. FDA Policy for Diagnostic Tests for Coronavirus Disease-2019 during Public Health Emergency: Immediately in Effect Guidance for Clinical Laboratories, Commercial Manufacturers, and Food and Drug Administration Staff. March 16, 2020. https://www.fda.gov/media/135010/download
2. Garrett PE, Lasky FD, Meier KL. CLSI EP12-A2. User Protocol for Evaluation of Qualitative Test Performance. Clinical and Laboratory Standards Institute, 940 West Valley Road, Suite 1400, Wayne, PA, 2008.

ضمیمه: محاسبه حدود اطمینان

این محاسبات سخت نیستند، اما اندکی پردردسرند. محاسبات در دو مرحله توضیح داده شده‌اند: ابتدا محاسبه برخی کمیّت‌ها (Qi) از جدول، سپس محاسبه محدوده‌های اطمینان بالایی و پائینی از این Qها. [این محاسبات در CLSI EP12-A2، صفحات 23 تا 25 توضیح داده شده است].

محاسبات لازم برای حدود اطمینان 95% برای PPA:

Q1 = 2a + 3.84

Q2 = 1.96*[3.84 + 4a*c/(a+c)]1/2

Q3 = 2(a+c) + 7.68

PPA lo limit = 100*(Q1-Q2)/Q3

PPA hi limit = 100*(Q1+Q2)/Q3

سپس، محاسبات مشابه برای PNA:

Q4 = 2d + 3.84

Q5 = 1.96*[3.84 + 4bd/(b+d)]1/2

Q6 = 2(b+d) + 7.68

PNA lo limit = 100*(Q4-Q5)/Q6

PNA hi limit = 100*(Q4+Q5)/Q6

نهایتاً، محاسبات مشابه برای POA:

Q7 = 2(a+d) + 3.84

Q8 = 1.96*[3.84 + 4(a+d)(b+c)/n]1/2

Q9 = 2n + 7.68

POA lo limit = 100*(Q7-Q8)/Q9

POA hi limit = 100*(Q7+Q8)/Q9

آموزش این ماشین تغییر (2) احراز شغل‌های کلیدی

عوامل مداخله‌گر، تداخلات دارویی و مقادير بحراني در تست‌هاي بیوشيمي ( 1)

برای دانلود فایل pdf  بر روی لینک زیر کلیک کنید