مروری بر ارزش پیشگویانه آزمایشهای آزمایشگاهی
دکترحسن بیات، دکتر مهدی صابونی
توضیح:
اصل این مقاله بر روی وبسایت Westgard QC منتشر شده است:
https://www.westgard.com/predictive-value.htm
ترجمه این مقاله برای تقدیم به آزمایشگاهیان ایران، از طریق انتشار در فضای مجازی و نیز چاپ در مجله اخبار آزمایشگاهی، با کسب اجازه از نویسندگان مقاله، پروفسور وستگارد و استن وستگارد، انجام شده است. از لطف ایشان بسیار سپاسگزاریم.
همچنین از لطف جناب آقای دکتر عابدی سردبیر محترم اخبار آزمایشگاهی و کارکنان تلاشگر آن نشریه بابت انتشار این مقاله بسیار سپاسگزاریم.
مترجمان: مهدی صابونی و حسن بیات؛ دکترای علوم آزمایشگاهی
در ادامهی درسی که پیشتر درباره «همخوانی بالینی» ارائه شد، دکتر وستگارد ارزش پیشگویانه آزمونهای آزمایشگاهی را ارائه میکند.
جیمز اُ. وستگارد، استن وستگارد
می 2020
در بحث پیشین [1]، استفاده از «بررسی همخوانی بالینی» در ارزیابی عملکرد آزمایشهای کیفی را ارائه کردیم. در چنین بررسی، آزمایش جدید یا نامزد با یک آزمایش جاافتاده یا مقیاس از طریق آزمایش نمونههای گروهی از افراد که از نظر بیماریِ مورد بررسی مثبت هستند و گروه دیگری که از نظر آن بیماری منفی هستند مقایسه و سپس نتایج بهدستآمده در یک جدول 2×2 پیشامدهای محتمل به شکل زیر دستهبندی میشود:
روش مقیاس “معیار طلایی” | |||
روش (آزمایش) نامزد | Positive | Negative | Total |
Positive | TP | FP | TP+FP |
Negative | FN | TN | FN+TN |
Total | TP+FN | FP+TN | Total |
اختصارات جدول بالا به شرح زیر است:
TP = تعداد نتایجی که با هر دو روش مثبت است؛
FP = تعداد نتایجی که با روش مقیاس منفی است، اما با روش نامزد مثبت است؛
FN = تعداد نتایجی که با روش مقیاس مثبت است، اما با روش نامزد منفی است؛
TN = تعداد نتایجی که با هر دو روش منفی است.
در این مبحث، اصطلاحـــــــــــات «مثبت واقعی» (True Positive; TP)، «منفی کاذب» (False Negative; TP)، «مثبـــــــــــــــت کاذب» (False Positive; TP) و «منفی واقعی» (True Negative; TP) را بهکار میبریم زیرا بنا داریم «حساسیت بالینی» و «اختصاصیت بالینی» آزمایش و ارزشهای پیشگویانه مثبت و منفی نتایج را به بحث بگذاریم.
حساسیت بالینی (Se) و اختصاصیت بالینی (Sp) به شکل زیر محاسبه میشود:
Clinical Sensitivity = [TP/(TP+FN)]*100
Clinical Specificity = [TN/(TN+FP)]*100
به خاطر داشته باشید که این اصطلاحات، معادل «درصد همخوانی مثبت» (Percent Positive Agreement; PPA) و «درصد همخوانی منفی» (Percent Negative Agreement; PNA) در مقاله «حسابگر 2×2 پیشامدهای محتمل» هستند؛ تفاوت در این است که اکنون ما فرض را بر این گذاشتهایم که روش مقیاس یک “معیار طلایی” (gold standard) است که با آن میتوان افراد را از نظر ابتلا یا عدم ابتلا به بیماری بهدرستی دستهبندی کرد.
حساسیت و اختصاصیت قابل قبول
CDC درباره عملکرد قابل قبول آزمایشهای سریع تشخیص آنفلوانزا راهکارنمایی دارد که پیشنهاد میکند حساسیت این آزمایشها برای شناسایی آنفلوانزای A و آنفلوانزای B باید در مقایسه با روش مقیاس RT-PCR، بیش از 80% و اختصاصیت آنها حداقل 95% باشد، همچنین CDC عملکرد مورد انتظار از آزمایش را در شیوع 2.5% (خیلی کم)، 20% (متوسط) و 40% (بالا) مورد بحث قرار داده است. معیار عملکرد کیت عبارت است از ارزشهای پیشگویانه مثبت و منفی نتایج؛ یعنی شانس اینکه یک جواب مثبت حاکی از وجود بیماری باشد چقدر است و شانس اینکه یک جواب منفی حاکی از فقدان بیماری باشد چقدر است. آن شرایط (حساسیت بیش از 80% و اختصاصیت بیش از 95% در مقایسه با روش RT-PCR) را میتوان با محاسبه «ارزش پیشگویانه» بررسی کرد.
[مترجم: بر اساس دستور کار جدید FDA درباره کیتهای آنتیبادی SARS-CoC-2، سازندگان باید کیتها را با استفاده از حداقل 30 نمونه مثبت و 75 نمونه منفی ارزشیابی کنند. این کیتها بهطور کلی باید حداقل 90% همخوانی مثبت و حداقل 95% همخوانی منفی نشان دهند. در مورد کیتهایی که نتایج IgM و IgG را جداگانه گزارش میکنند، همخوانی مثبت کیتهای IgM باید حداقل 70% و همخوانی مثبت کیتهای IgG باید حداقل 90% باشد.
همچنین FDA، ارزشهای پیشگویانه را با فرض شیوع 5% بررسی میکند].
ارزش پیشگویانه
ویژگیهای عملکردی اولیه عبارتند است از حساسیت بالینی و اختصاصیت بالینی، اما سودمندی بالینی یک آزمایش علاوه بر حساسیت و اختصاصیت بالینی، به شیوع بیماری (Prevalence; Prev) در جمعیت مورد آزمایش نیز بستگی دارد. افرادی که در «بررسی همخوانی بالینی» مورد مطالعه قرار میگیرند بهندرت جمعیت واقعی را که آزمایش خواهند شد، نمایندگی میکنند؛ بهعنوان مثال، راهکارنمای CLSI پیشنهاد میکند برای نیل به برآوردهایی که کمترین قابلیت اعتماد لازم برای Se و Sp را داشته باشند، باید حداقل 50 بیمار مثبت و 50 بیمار منفی بررسی شوند که این یعنی نرخ شیوع بیماری [در جامعه] 50% است؛ اما اگر شیوع بیماری در جامعه 20%، یا 2%، یا 0/2% باشد، چطور؟
جامعهای با شیوع 20%. بهعنوان مثال، فرض کنید Se و Sp [یک کیت] به ترتیب 80% و 95% است که بر اساس راهکارنمای CDC برای آزمایشهای عفونی، عملکرد خوبی بهشمار میآید. اگر 1000 نفر را از جمعیتی با شیوع 20% آزمایش کنید که معادل شیوع شهر نیویورک طی پاندمی کووید-19 است، نتایج آزمایش را چگونه تفسیر خواهید کرد؟
- در جمعیت مورد آزمایش ما، 200 نفر مبتلا به بیماری هستند (20% از 1000نفر) که از این 200 نفر، نتیجه 80% ایشان یعنی 160 نفر مثبت خواهد شد (200 × 0/8= TP) و نتیجه 40 نفر دیگر منفی کاذب خواهد شد (FN).
- در مورد 800 نفری که بیمار نیستند (1000-200)، 95% یا 760 نفر از ایشان (800 × 0/95) نتیجه منفی خواهند داشت (TN) و 40 نفر بقیه مثبت خواهند شد (FP).
با این اطلاعات میتوانیم ارقام مربوط را در جدول پیشامدهای محتمل بگذاریم.
روش مقیاس “معیار طلایی” | |||
روش نامزد (آزمایش) | Positive | Negative | Total |
Positive | 160 | 40 | 200 |
Negative | 40 | 760 | 800 |
Total | 200 | 800 | 1000 |
- شانس اینکه یک نفر که مبتلا به بیماری است بهدرستی دستهبندی شود با نسبت TP به تعداد کل مثبتها (TP+FP) تعیین میشود که در این مثال میشود 160/200 یا 80%؛ یعنی شانس اینکه یک نتیجه مثبت بهدرستی فرد بیمار را بهعنوان کسی که بیماری را دارد دستهبندی کند، 80% است.
- PVpositive = TP/(TP+FP) = 160/200 = 80%
- شانس اینکه یک نفر که مبتلا به بیماری نیست بهدرستی دستهبندی شود با نسبت TN به تعداد کل منفیها )=(TN+FN) تعیین میشود که میشود 760/800 یا 95%.
- PVnegative = TN/(TN+FN) = 760/800 = 95%
جامعهای با شیوع 2%. حالا جامعهای با شیوع 2%، شاید وضعیتی مانند کالیفرنیا را در نظر بگیرید.
- در 20 فرد مبتلا به بیماری (2% از 1000نفر)، تعداد TP برابر 16 خواهد بود (0/8× 20) و 4 نفر FN به همراه خواهد داشت.
- از 980 نفر فاقد بیماری (1000 – 20)، تعداد TN برابر 931 خواهد بود (0/95× 980) و 49 نفر FP به همراه خواهد داشت.
روش مقیاس “معیار طلایی” | |||
روش نامزد (آزمایش) | Positive | Negative | Total |
Positive | 16 | 49 | 65 |
Negative | 4 | 931 | 935 |
Total | 20 | 980 | 1000 |
- شانس اینکه یک نفر که مبتلا به بیماری است بهدرستی دستهبندی شود برابر با TP/(TP+FP)، یا (49+16)/16، یا 25% است.
- شانس اینکه یک نفر که فاقد بیماری است بهدرستی دستهبندی شود برابر با TN/(TN+FN)، یا (4+980)/980، یا 99/5% است.
بهروشنی دیده میشود که در کالیفرنیا، این آزمایش بیشتر در شناسایی افراد فاقد بیماری سودمند است تا در شناسایی افراد مبتلا به بیماری؛ اما در نیویورک، هم نتیجه مثبت با احتمال بیشتری نشانه بیماری است و هم نتیجه منفی هنوز برای رد کردن بیماری سودمند است. در کالیفرنیا یک نفر با نتیجه مثبت، حدود 25% شانس دارد که مبتلا به بیماری باشد؛ یعنی از هر 10 مثبت، 7 یا 8 نفر بیماری را نخواهند داشت.
محاسبات جایگزین
با استفاده از Se، Sp و Prev میتوان PVpostive و PVnegative را مستقیماً محاسبه کرد:
PVpositive = Se*Prev/[(Se*Prev) +(1-Sp)*(1-Prev)]
PVnegative = Sp*(1-Prev)/[(1-Se)*Prev +Sp*(1-Prev)]
در این معادلات، مقادیر Se، Sp و Prev باید نسبتهایی بین صفر تا 1 باشد. برای اینکه ارقام بهدستآمده را به شکل درصد نشان دهید، میتوانید Pvpos و PVneg را در 100 ضرب کنید، یا در معادلههای بالا بهجای عدد 1 عدد 100 بگذارید و مقادیر Se، Sp و Prev را بهصورت درصد وارد کنید. بهنظر بسیاری از افراد، استدلال کردن گامبهگام برای محاسبه TP و غیره، کمک میکند تأثیرگذاری حساسیت و اختصاصیت بهتر فهمیده شود؛با این وجود، فرمولهای بالا این امکان را فراهم میکنند که بتوان یک حسابگر صفحه گسترده [مانند اکسل] تهیه و بهآسانی کنشهای متقابل بین Se، Sp و Prev را برای بهینهسازی ارزشهای پیشگویانه آزمایشها در سناریوهای مختلف را مطالعه کرد. همچنین، MedCalc [3] یک حسابگر آنلاین دارد که میتواند همه این محاسبات را از دادههای جدول پیشامدهای محتمل و شیوع انجام دهد.
بده بستان بین حساسیت و اختصاصیت
برای هر آزمایش تشخیصی رسیدن به عملکرد کامل یعنی حساسیت 100% و اختصاصیت 100% سخت است. گاهی با تغییر تمایزگاه (cutoff) یا مرز تصمیم بین جمعیت غیر بیمار و جمعیت بیمار میتوان حساسیت یا اختصاصیت را بهینه کرد. بهطور معمول، این کار سبب بهبود حساسیت به هزینه افت اختصاصیت، یا بهبود اختصاصیت به هزینه افت حساسیت میشود.
بهینهسازی عملکرد نسبت به شیوع
بهموازات افزایش شیوع بیماری و نیز افزایش اختصاصیت، ارزش نتایج مثبت افزایش مییابد. با به کاربردن یک آزمایش برای کسانی که علائم بیماری را دارند، در واقع جمعیتی با شیوع بالاتر انتخاب شده است. در شرایطی که امکانات آزمایش کردن محدود و تشخیص بیماری از اهمیت زیادی برخوردار است، این کار راهبردی باارزش است، همچنین افزایش حساسیت از طریق استفاده موازی از دو آزمایش نیز ارزشمند است. این کار یعنی اگر نتیجه هر یک از این دو آزمایش مثبت شد، فرد بهعنوان مبتلا به بیماری دستهبندی خواهد گردید؛ مثلاً پیشنهاد شده است پنج روز پس از ظهور علائم، آزمایش موازی بار ویروسی و ایمونوگلوبولینهای تام میتواند حساسیت را برای تشخیص کووید-19 افزایش دهد، یعنی هر یک از این دو آزمایش مثبت شد، بیمار کووید-19 دارد.
مشکل استفاده از آزمایشها در مراقبت از جمعیت (Surveillance)
از طرف دیگر اگر آزمایش کردن بیماران [چه علامتدار باشند و چه بدون علامت، بهجای همه افراد جامعه] جزئی از مراقبت از جامعه باشد، شیوع بیماری خیلی پایین خواهد شد. در برنامه مراقبت از کووید-19 ممکن است با هدف شناسایی افرادی که قبلاً در معرض بیماری قرار گرفته و امید میرود ایمن شده باشند، از آزمایشهای IgG یا ایمونوگلوبولین تام استفاده شود.
اگر شیوع 0/2% باشد و 1000 نفر را آزمایش کنیم، در بین این 1000 نفر 2 نفر مبتلا به بیماری و 998 نفر فاقد بیماری خواهیم داشت. اگر حساسیت آزمایش 1.00 یا 100% باشد، آنگاه هر دو فرد دارای بیماری، بهعنوان مثبت دستهبندی خواهند شد (0 = FN و 2 = TP). اگر اختصاصیت آزمایش برابر 95% باشد، 948 تا TN و 50 تا FP خواهیم داشت.
TN = (1000 – 2) x 0.95 = 948
FP = (1000 -2) x 0.05 = 50
PVpositive = TP/(TP+FP) = 2/(2+50) = 3.8%
PVnegative = TN/(TN+FN) = 948/948 = 100%
اینکه یک آزمایش با حساسیت کامل نمیتواند در شناسایی افراد دارای آنتیبادی قابل اعتماد باشد، در نگاه اول دور از انتظار است اما واقعاً اینگونه است زیرا اختصاصیت ناکامل (که البته در سطح 95% خیلی بالا بشمار میآید) سبب میشود تعداد زیادی مثبت کاذب داشته باشیم. در مثال بالا، شانس اینکه یک آزمایش مثبت نشانه این باشد که شخص قبلاً در معرض این ویروس قرار گرفته است، فقط 4% است. در طرف دیگر، یک جواب آزمایش منفی تقریباً با قطعیت به معنای آن است که فرد در معرض این ویروس قرار نگرفته است. البته اگر هدف از اجرای برنامه مراقبت از جمعیت این باشد که افراد بالقوه ایمن در برابر بیماری را شناسایی کنیم، قابل اطمینان بودن نتایج منفی خیلی سودمند نیست [مترجم: زیرا در این برنامه برای ما مثبت واقعی مهم است که در این مثال ارزش پیشگویانه برای هر نتیجه مثبت فقط 3/8 درصد است].
یک مثال از بلاگ AACC
[مترجم: این مثال درباره آزمایشهای متوالی با انجام دو آزمایش است. در این رویکرد، یک نفر در صورتی بیمار بهشمار میآید که نتیجه هر دو آزمایش او مثبت شود؛ بنابراین، اگر آزمایش نخست منفی شود، فرد بهعنوان «فاقد بیماری» دستهبندی میشود و انجام آزمایش دوم لازم نیست؛ اما اگر آزمایش نخست مثبت شود، باید آزمایش دوم انجام شود؛ اگر آزمایش دوم هم مثبت شود، آنگاه فرد بهعنوان «دارای بیماری» دستهبندی میشود و اگر آزمایش دوم منفی شود، فرد فاقد بیماری بهشمار خواهد آمد].
در غربالگری آنتیبادی ضد کووید-19، ارزش آزمایش مجدد موارد مثبت چقدر است؟ راهنماهای CDC و FDA توصیه میکنند که آزمایشهای مثبت آنتیبادی باید بهمنظور اطمینان از درستی آنها تکرار شوند. البته بیوشیمیستهای بالینی در این باره نظرات متفاوتی دارند، گروهی بر این باورند که این کار اتلاف منابع است زیرا سازمانهای پرداختکننده، بهای انجام آزمایش دوم را نخواهند پرداخت و گروهی نیز بر این باورند که این کار پیشرفتی را در پی نخواهد داشت.
باید راه عینیتری برای قضاوت بهتر در این مورد وجود داشته باشد، راهی که توسط دکترها Galen و Gambino در سال 1975 در کتاب معروف ایشان به نام “فراتر از بهنجاری[1]” نشان داده شده است [4]. در صفحات مهم 42 تا 44 این کتاب، آنها یک سناریو را شرح میدهند که در آن آزمایش A حساسیتی برابر 95% و اختصاصیتی برابر 90% و آزمایش B حساسیتی برابر 80% و اختصاصیتی برابر 95% دارد و شیوع بیماری برابر 1% است. توجه کنید که فرض میشود آزمایشهای A و B آزمایشهای مستقل هستند، مثلاً این آزمایشها ممکن است حاوی آنتیژنهای سنتتیک متفاوتی باشند که مکانهای اتصال (binding sites) متفاوتی را عرضه میکنند.
فوتوفن محاسبات این است که با شیوع 1% شروع کنیم و PVpos برای آزمایش A را تعیین کنیم، سپس این PVpos را بهعنوان شیوع در محاسبه PVpos برای آزمایش B بهکار ببریم. به یاد داشته باشید که با آزمایش B شما دارید همه مثبتهای بهدستآمده از آزمایش A را دوباره آزمایش میکنید و این یعنی اینکه شیوع بیماری در جمعیت تکراریها در واقع برابر است با PVpos دیدهشده برای آزمایش A. بهطور کوتاه، شما برای محاسبه ارزش پیشگویانه ترکیبی آزمایشهای A و B دو مسیر را طی میکنید؛ مسیر اول را با شیوع ابتدایی 1% طی میکنید و مسیر دوم را با PVpos حاصل از مسیر نخست (بهعنوان شیوع بهکاررفته برای آزمایش (B پشت سر میگذارید.
PVpos حاصل از آزمایش A برابر 8/76% است، متعاقباً PVpos حاصل از آزمایش B برابر 60/6% است. این یعنی 6 نفر از هر 10 که نفری که در آزمایش کردن تکراری (A سپس B) هر دو نتیجهشان مثبت شده است واقعاً بیماری را خواهند داشت، در حالی که [اگر فقط آزمایش A انجام شود] فقط 1 نفر از هر 10 نفر که نتیجه آزمایش A در ایشان مثبت شده است، بیماری را خواهند داشت. جالب این است که اگر در این راهبرد تکرار، ابتدا آزمایش B و سپس A انجام شود، PVpos نهایی همچنان 60/6%، اما شیوع بیماری در جمعیت تکراری برابر 13/9% خواهد بود [برابر با PVpos آزمایش B که بهعنوان شیوع برای آزمایش A استفاده خواهد شد] و لذا بیماران کمتری [کسانی که نتیجه آزمایش B آنها مثبت شده است] به انجام آزمایش بعدی [آزمایش A] نیاز خواهند داشت.
البته همانطور که در جدول زیر دیده میشود، ارزش آزمایش کردن تکراری، به شیوع بیماری در جمعیت اصلی بستگی دارد و آزمایش کردن تکراری در شیوع کم سودمندتر است تا در شیوع بالا.
Prevalence | First Test PVpos | Repeat Test PVpos |
20% | 70% | 97% |
10% | 51% | 94% |
4% | 28% | 86% |
2% | 16% | 75% |
1% | 8.7% | 61% |
باز هم میبینیم که راهبرد آزمایش کردن برای شرایط نیویورک (20%) باید از راهبرد کالیفرنیا (2%) متفاوت باشد؛ آزمایش کردن تکراری برای کالیفرنیا لازم خواهد بود، اما برای نیویورک نه.
نکته چیست؟
بهطور خلاصه، ارزش پیشگویانه یک نتیجه مثبت اساساً به اختصاصیت آزمایش بستگی دارد، در حالی که ارزش پیشگویانه یک نتیجه منفی اساساً به حساسیت بستگی دارد. این تناقض ظاهری با تأثیری که نتایج «مثبت کاذب» و «منفی کاذب» به ترتیب بر ارزشهای پیشگویانه مثبت و منفی دارند، قابل توضیح است. وقتی که Sp برابر 100% است، هیچ «مثبت کاذبی» وجود ندارد. وقتی Se برابر 100% است، هیچ «منفی کاذبی» وجود ندارد.
آزمایش کردن موازی (آزمایش A یا آزمایش B) راهبردی است که در آن دستهبندی بیمار بهعنوان مثبت در صورتی انجام میشود که هر یک از آزمایشها مثبت شود. این راهبرد، حساسیت را بهبود میبخشد و نتایج منفی کاذب را کاهش میدهد. آزمایش کردن متوالی (آزمایش A و آزمایش B) راهبردی است که در آن دستهبندی بیمار بهعنوان مثبت فقط در صورتی که هر دو آزمایش مثبت شود، انجام میگردد. این راهبرد، اختصاصیت را بهبود میبخشد و نتایج مثبت کاذب را کاهش میدهد. ممکن است در عمل نکات دیگری مانند هزینه نسبی آزمایشها، تعداد نسبی آزمایشهایی که باید تکرار شوند در شکل «A یا B» در مقایسه با «A و B»، زمان لازم برای رسیدن به تصمیم تشخیصی و غیره نیز وجود داشته باشد که باید آنها را در نظر گرفت.
برای اینکه ذهنتان بیشتر درگیر مسئله آزمایش کردن برای کووید-19 شود، در نظر بگیرید که آزمایش تشخیصی با هدف شناسایی افراد مبتلا به بیماری انجام میشود؛ به این معنی که نتیجه مثبت اگرچه خبر بدی است، اما به قرنطینه کردن یا درمان میانجامد، در حالی که نتیجه منفی کاذب ممکن است سبب شود جامعه بیشتر در معرض آلوده شدن قرار بگیرد. از طرف دیگر، در مورد آزمایش آنتیبادیها، نتیجه مثبت خبر خوبی است، به این معنا که ممکن است فرد ایمن شده باشد. در این مورد، منفی کاذب ممکن است سبب محدود کردن یک شاغل سالم بشود و از طرف دیگر، فردی با جواب مثبت کاذب ممکن است به کار بازگردد و جامعهای را که این فرد عضوی از آن است را بیشتر در معرض آلوده شدن قرار دهد.
چه باید کرد؟
ممکن است ایجاد یک حسابگرِ ارزش پیشگویانه در صفحه گسترده اکسل خیلی به دردتان بخورد. برای این منظور، معادلاتی را که در بالا بر مبنای Se، Sp و Prev ارائه شد بهکار ببرید و ارقام مربوط را بهصورت نسبتهایی بین صفر و 1 وارد کنید. اگر مایلید که نتایج بهصورت % باشد، در معادلات بهجای عدد 1، عدد 100 را بگذارید و مقادیر Se، Sp و Prev را بهصورت درصد وارد کنید. بازی کردن با مقادیر Sp و دیدن اهمیت زیاد آن در برنامه مراقبت از جمعیت از طریق آزمایش آنتیبادی، برایتان جالب خواهد بود.
References:
- Westgard JO, Garrett PA, Schilling P. Estimating clinical agreement for a qualitative test: A web calculator for 2×2 contingency test. www.westgard.com/qualitative-test-clinical-agreement.htm
- CDC. Rapid diagnostic testing for influenza: Information for clinical laboratory directors. https://www.cdc.gov/flu/professionals/diagnosis/rapidlab.htm
- MedCalc. Diagnostic test evaluation calculator. Accessed 4/27/2020. www.medcalc.org/calc/diagnostic_test.php
- Galen RS, Gambino SR. Beyond Normality: The Predictive Value and Efficiency of Medical Diagnosis. New York:John Wiley, 1975
[1] Beyond Normality
سرولوژی SARS-Cov-2 تبلیغات فراوان، اطلاعات اندک
آیا تشخیص پیشدیابت ارزش ریسک کردن دارد؟
نکات مهم کاربردی در میکروبشناسی بالینی (1)
برای دانلود پی دی اف بر روی لینک زیر کلیک کنید
ورود / ثبت نام