چکیده
هدف: کارایی و شایستگی سیستم بهداشت و درمان، مستقیما با دانش و مهارت های فارغ التحصیلانی که در حال کار در سیستم هستند، مرتبط است. از این لحاظ، روش های ارزیابی متفاوتی برای ارزیابی مهارت های مختلف فراگیرندگان، پیشنهاد شده است. مشاهده ی ویدئویی مهارت های عملی (رویه ای) (VOPS) یکی از روش هایی است که به تازگی پیشنهاد شده است. در این مطالعه، هدف ما مقایسه ی نتایج روش VOPS با روش های دیگری که معمولا مورد استفاده قرار می گیرند مانند مشاهده ی مستقیم مهارت های عملی (رویه ای) (DOPS) می باشد.
روش ها: در این مطالعه ی آینده نگر که در سال 2012 انجام شده است، همه ی 10 رزیدنت چشم پزشکی که سال چهارم تحصیلات تکمیلی بودند برای مشارکت انتخاب شدند. بعداز 3 ماه کارورزی در بخش گلوکوم، این رزیدنت ها جراحی ترابکولکتومی را روی بیماران انجام دادند و مهارت های عملی آن ها توسط روش DOPS به صورت ریل تایم (در لحظه یا همزمان) مورد ارزیابی قرار گرفت. همه ی جراحی ها ضبط شدند و بعدا توسط روش VOPS توسط یک متخصص مورد ارزیابی قرار گرفتند. نمودار بلند – آلتمن برای مقایسه ی این دو روش و محاسبه ی میانگین و مقدار توافق شده ی 95% مورد استفاده قرار گرفت.
نتایج: رزیدنت ها به طور میانگین 3.5±14.9 (محدوده ی 20-10) جراحی ترابکولکتومی مستقل را قبل از ارزیابی انجام داده بودند. درجه ی DOPS رابطه ی مثبتی با تعداد جراحی های ترابکولکتومی مستقل انجام شده در طی دوره ی گلوکوم داشت (β=0.227,p=0.004). تکرارپذیری درون مشاهده گر سنجش های VOSP، برابر 0.847 بود (95% CI= 0.634، 0.961). میانگین درجه ی (نمره ی) VOPS به طور معنی داری پایین تر از میانگین درجه ی (نمره ی) DOPS بود (8.4 در مقابل 8.9، p=0.02). به هرحال، یک همبستگی خوبی بین درجات (نمرات) VOPS و DOPS مشاهده شده بود (r=0.89، p=0.001). آنالیز بلند آلتمن نشان داد که همه ی نقاط داده درون مقدار توافق شده ی 95% قرار می گیرند (1.46-، 0.46).
نتیجه گیری: مطالعه ی حاضر نشان داد که VOPS ممکن است به عنوان یک روش ارزیابی امکان پذیر، معتبر و قابل اطمینان برای مهارت های عملی دانشجویان و رزیدنت های پزشکی در نظر گرفته شود که می تواند به عنوان یک جایگزینی برای روش DOPS مورد استفاده قرار بگیرد. به هرحال، در ارزیابی مهارت های جراحی رزیدنت ها، نمرات در روش VOPS ممکن است کمتر از نمرات در روش DOPS باشند.
بحث
مدل هدایت (mentorship) مرسوم آموزش و یادگیری در پزشکی که شامل کارورزی در کنار یک متخصص مجرب و ارشد است، به چالش کشیده شده است.9 اخیرا، آموزش پزشکی به مقدار زیادی پویا شده است چون این تکنولوژی است که سیاست های آموزش پزشکی، برنامه های تحصیلی پزشکی و روش های ارزیابی پزشکی را شکل می دهد و هدایت می کند.1،9 با این پیشرفت های فنی، آموزش پزشکی در حال توسعه ی درسنامه های جدیدی است که ابزارهای آموزشی پیشرفته ای را فراهم کنند و روش های جدیدی از آموزش و ارزیابی را معرفی کنند.2،3 مهارت های جراحی و عملی در بین مهم ترین مهارت هایی قرار دارند که دانشجویان و رزیدنت-های پزشکی باید آن ها را یاد بگیرند. با توجه به تعداد رو به رشد دانشجویان و رزیدنت های جراحی، روش های ارزیابی معتبر، قابل اطمینان و کارامد برای توانایی های فنی و جراحی، ضروری است.4
Abstract
Purpose The efficacy and sufficiency of a healthcare system is directly related to the knowledge and skills of graduates working in the system. In this regard, many different assessment methods have been proposed to evaluate various skills of the learners. Video Observation of Procedural Skills (VOPS) is one newly-proposed method. In this study we aimed to compare the results of the VOPS method with the more commonly used Direct Observation of Procedural Skills (DOPS).
Methods In this prospective study conducted in 2012, all 10 ophthalmology residents of post graduate year 4 were selected for participation. Three months into training in the glaucoma ward, these residents performed trabeculectomy surgery on patients, and their procedural skills were assessed in real time by an expert via the DOPS method. All surgeries were also recorded and later evaluated via the VOPS method by an expert. Bland–Altman plot also was used to compare the two methods and calculating the mean and 95% limit of agreement.
Results Residents have been done a mean of 14.9 ± 3.5 (range 10–20) independent trabeculectomy before the assessments. DOPS grade was positively associated with number of independent trabeculectomy during glaucoma rotation (β=0.227, p = 0.004). The intra-observer reproducibility of VOPS measurements was 0.847 (95% CI: 0.634, 0.961). The mean VOPS grade was significantly lower than the mean DOPS grade (8.4 vs. 8.9, p = 0.02). However, a good correlation was observed between the grades of VOPS and DOPS (r = 0.89, p = 0.001). Bland–Altman analysis demonstrated that all data points fell within the 95% limits of agreement (−1.46, 0.46).
Conclusion The present study showed that VOPS might be considered a feasible, valid, and reliable assessment method for procedural skills of medical students and residents that can be used as an alternative to the DOPS method. However, VOPS might underestimate DOPS in evaluating surgical skills of residents.
Discussion
The traditional mentorship model of teaching and learning in medicine involving apprenticeship with a more experienced and senior expert is being challenged.9 Recently, medical education is increasingly dynamic as technology shapes and guides medical educational policies, curricula, and assessment methods.1,9 With these technological advancements, medical are developing new curricula, providing advanced educational tools, and introducing new methods of teaching and assessment.2,3 Procedural and surgical skills are among the most important skills that medical students and residents should learn. Valid, reliable and efficient assessment methods for technical and surgical abilities are necessary given the growing number of medical students and residents.4
چکیده
مقدمه
روش ها
نتایج
بحث
Abstract
Introduction
Methods
Results
Discussion