Étude de validation d’une grille d’évaluation d’un exercice de suture cutanée en simulation

IF 0.4 4区 医学 Q4 SURGERY
F. Bastard , K. Veiler , H. Nachaoui , R. Godret , J. Letourneur , M. Enoh , L. Martin , F. Schmitt
{"title":"Étude de validation d’une grille d’évaluation d’un exercice de suture cutanée en simulation","authors":"F. Bastard ,&nbsp;K. Veiler ,&nbsp;H. Nachaoui ,&nbsp;R. Godret ,&nbsp;J. Letourneur ,&nbsp;M. Enoh ,&nbsp;L. Martin ,&nbsp;F. Schmitt","doi":"10.1016/j.anplas.2024.06.005","DOIUrl":null,"url":null,"abstract":"<div><h3>Contexte</h3><p>La simulation en santé est une méthode pédagogique reconnue pour l’enseignement et la validation des compétences procédurales chirurgicales. Cette dernière tâche nécessite l’élaboration de grilles d’évaluation adaptées, répondant à différents critères de validité. L’objectif de cette étude était de valider une grille d’évaluation multimodale d’un exercice de suture cutanée complexe, associant la réalisation consécutive d’un nœud manuel, un surjet intradermique et un nœud au porte-aiguille.</p></div><div><h3>Méthodologie</h3><p>L’exercice de suture a été proposé sur un modèle de peau synthétique à des participants volontaires après obtention de leur consentement écrit, comprenant 9 étudiants de deuxième cycle d’études médicales, 40 internes de chirurgie de différents niveaux d’expérience, et un groupe de 9 chirurgiens seniors. La grille d’évaluation multimodale associait une check-list, un score de rapidité et une échelle d’évaluation globale de compétence. Chaque exercice était scoré par deux évaluateurs, et ceux des étudiants en médecine ont été filmés et anonymisés pour pouvoir être scorés de façon itérative. La validité de contenu a été testée au travers d’un questionnaire de satisfaction proposé de façon aléatoire aux participants.</p></div><div><h3>Résultats</h3><p>La grille d’évaluation multimodale a été jugée pertinente ou très pertinente par 98 % des participants, avec une meilleure appréciation pour la check-list que pour l’échelle d’évaluation globale. Sa cohérence interne était forte avec un coefficient α<!--> <!-->=<!--> <!-->0,78, et une bonne corrélation entre les résultats de la check-list et de l’échelle globale (r<!--> <!-->=<!--> <!-->0,79, <em>p</em> <!-->&lt;<!--> <!-->0,0001). La grille a montré une amélioration constante de la moyenne des scores de 34,4<!--> <!-->±<!--> <!-->3,6 pour les novices jusqu’à 47,4<!--> <!-->±<!--> <!-->2,5/50 points pour les experts en passant par trois groupes de compétences intermédiaires, et a permis une discrimination significative entre les groupes. La grille multimodale était fiable, avec un coefficient de corrélation de 0,88 pour la fiabilité intra-observateur, et de 0,72 pour la fiabilité inter-observateur. En analyse des sous-scores, l’échelle d’évaluation globale et le score de rapidité étaient plus discriminants que la check-list, et cette dernière montrait une fiabilité légèrement inférieure à l’échelle globale.</p></div><div><h3>Conclusion</h3><p>Malgré sa banalité dans l’exercice de tout chirurgien et son enseignement dans tout cursus de 2<sup>e</sup> et 3<sup>e</sup> cycle d’études médicales, la suture et ses composantes techniques ont rarement fait l’objet de publications dédiées à leur validation et à leur évaluation pédagogiques. À ce titre, ce travail sur la grille d’évaluation globale et ses sous-scores a permis d’en montrer les bons critères de validation et de fiabilité. Ils peuvent donc être proposés comme méthode d’évaluation d’un exercice de suture complexe, avec une check-list plus facile d’utilisation même pour des novices et une échelle d’évaluation globale montrant une meilleure capacité de discrimination.</p></div><div><h3>Context</h3><p>Health simulation is a recognized educational method for teaching and validating surgical procedural skills. The latter requires the development of adapted assessment tools, reaching different validity criteria. The aim of this study was to validate a multimodal assessment tool for a complex skin suturing exercise, combining a manual knot, an intradermal linear suturing and a needle holder tied knot.</p></div><div><h3>Methodology</h3><p>The suturing exercise was realized on a synthetic skin model by voluntary participants after having obtained their written consent, including 9 postgraduate medical students, 40 surgical residents of different levels of experience, and a group of 9 senior surgeons. The multimodal assessment tool (MAT) combined a checklist, a speed score and a global rating scale. Each exercise was scored by two evaluators. Medical students’ performances were filmed anonymously so that they could be scored iteratively. Content validity was tested through a satisfaction questionnaire randomly completed by participants.</p></div><div><h3>Results</h3><p>The MAT was considered relevant or very relevant by 98% of the participants, with a better appreciation for the checklist than for the global rating scale. Internal consistency was strong with a Cronbach α coefficient at 0.78, and a good correlation between the results of the checklist and the global rating scale (r<!--> <!-->=<!--> <!-->0.79, <em>P</em> <!-->&lt;<!--> <!-->0.0001). The MAT showed continuous improvement in mean scores from 34.4<!--> <!-->±<!--> <!-->3.6 for novices to 47.4<!--> <!-->±<!--> <!-->2.5/50 points for experts, passing through three intermediate levels groups, and allowed for significant discrimination between groups. The MAT was reliable, with a coefficient of correlation set at 0.88 for intra-observer reliability, and 0.72 for inter-observer reliability. On sub score analysis, the global rating scale and the speed score better discriminated between groups than the checklist, the latter moreover showing slightly lower reliability than the global rating scale.</p></div><div><h3>Conclusion</h3><p>Despite its banality in any surgeon's practice and the fact that it is taught from the 2nd cycle of medical studies, suturing and its technical components have rarely been the subject of publications dedicated to the validation of specific assessment tools. Hence, this work on the MAT and its sub scores made it possible to validate them on many validity and reliability criteria. They can therefore be proposed to surgical teachers for evaluating a complex suturing exercise, with a checklist that is easier to use even for novices and a global rating scale showing better discrimination capacity.</p></div>","PeriodicalId":55512,"journal":{"name":"Annales De Chirurgie Plastique Esthetique","volume":"69 5","pages":"Pages 391-399"},"PeriodicalIF":0.4000,"publicationDate":"2024-07-14","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":null,"platform":"Semanticscholar","paperid":null,"PeriodicalName":"Annales De Chirurgie Plastique Esthetique","FirstCategoryId":"3","ListUrlMain":"https://www.sciencedirect.com/science/article/pii/S0294126024000633","RegionNum":4,"RegionCategory":"医学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"Q4","JCRName":"SURGERY","Score":null,"Total":0}
引用次数: 0

Abstract

Contexte

La simulation en santé est une méthode pédagogique reconnue pour l’enseignement et la validation des compétences procédurales chirurgicales. Cette dernière tâche nécessite l’élaboration de grilles d’évaluation adaptées, répondant à différents critères de validité. L’objectif de cette étude était de valider une grille d’évaluation multimodale d’un exercice de suture cutanée complexe, associant la réalisation consécutive d’un nœud manuel, un surjet intradermique et un nœud au porte-aiguille.

Méthodologie

L’exercice de suture a été proposé sur un modèle de peau synthétique à des participants volontaires après obtention de leur consentement écrit, comprenant 9 étudiants de deuxième cycle d’études médicales, 40 internes de chirurgie de différents niveaux d’expérience, et un groupe de 9 chirurgiens seniors. La grille d’évaluation multimodale associait une check-list, un score de rapidité et une échelle d’évaluation globale de compétence. Chaque exercice était scoré par deux évaluateurs, et ceux des étudiants en médecine ont été filmés et anonymisés pour pouvoir être scorés de façon itérative. La validité de contenu a été testée au travers d’un questionnaire de satisfaction proposé de façon aléatoire aux participants.

Résultats

La grille d’évaluation multimodale a été jugée pertinente ou très pertinente par 98 % des participants, avec une meilleure appréciation pour la check-list que pour l’échelle d’évaluation globale. Sa cohérence interne était forte avec un coefficient α = 0,78, et une bonne corrélation entre les résultats de la check-list et de l’échelle globale (r = 0,79, p < 0,0001). La grille a montré une amélioration constante de la moyenne des scores de 34,4 ± 3,6 pour les novices jusqu’à 47,4 ± 2,5/50 points pour les experts en passant par trois groupes de compétences intermédiaires, et a permis une discrimination significative entre les groupes. La grille multimodale était fiable, avec un coefficient de corrélation de 0,88 pour la fiabilité intra-observateur, et de 0,72 pour la fiabilité inter-observateur. En analyse des sous-scores, l’échelle d’évaluation globale et le score de rapidité étaient plus discriminants que la check-list, et cette dernière montrait une fiabilité légèrement inférieure à l’échelle globale.

Conclusion

Malgré sa banalité dans l’exercice de tout chirurgien et son enseignement dans tout cursus de 2e et 3e cycle d’études médicales, la suture et ses composantes techniques ont rarement fait l’objet de publications dédiées à leur validation et à leur évaluation pédagogiques. À ce titre, ce travail sur la grille d’évaluation globale et ses sous-scores a permis d’en montrer les bons critères de validation et de fiabilité. Ils peuvent donc être proposés comme méthode d’évaluation d’un exercice de suture complexe, avec une check-list plus facile d’utilisation même pour des novices et une échelle d’évaluation globale montrant une meilleure capacité de discrimination.

Context

Health simulation is a recognized educational method for teaching and validating surgical procedural skills. The latter requires the development of adapted assessment tools, reaching different validity criteria. The aim of this study was to validate a multimodal assessment tool for a complex skin suturing exercise, combining a manual knot, an intradermal linear suturing and a needle holder tied knot.

Methodology

The suturing exercise was realized on a synthetic skin model by voluntary participants after having obtained their written consent, including 9 postgraduate medical students, 40 surgical residents of different levels of experience, and a group of 9 senior surgeons. The multimodal assessment tool (MAT) combined a checklist, a speed score and a global rating scale. Each exercise was scored by two evaluators. Medical students’ performances were filmed anonymously so that they could be scored iteratively. Content validity was tested through a satisfaction questionnaire randomly completed by participants.

Results

The MAT was considered relevant or very relevant by 98% of the participants, with a better appreciation for the checklist than for the global rating scale. Internal consistency was strong with a Cronbach α coefficient at 0.78, and a good correlation between the results of the checklist and the global rating scale (r = 0.79, P < 0.0001). The MAT showed continuous improvement in mean scores from 34.4 ± 3.6 for novices to 47.4 ± 2.5/50 points for experts, passing through three intermediate levels groups, and allowed for significant discrimination between groups. The MAT was reliable, with a coefficient of correlation set at 0.88 for intra-observer reliability, and 0.72 for inter-observer reliability. On sub score analysis, the global rating scale and the speed score better discriminated between groups than the checklist, the latter moreover showing slightly lower reliability than the global rating scale.

Conclusion

Despite its banality in any surgeon's practice and the fact that it is taught from the 2nd cycle of medical studies, suturing and its technical components have rarely been the subject of publications dedicated to the validation of specific assessment tools. Hence, this work on the MAT and its sub scores made it possible to validate them on many validity and reliability criteria. They can therefore be proposed to surgical teachers for evaluating a complex suturing exercise, with a checklist that is easier to use even for novices and a global rating scale showing better discrimination capacity.

[模拟皮肤缝合技能的评估工具验证研究]。
背景:医疗模拟是一种公认的教授和验证外科手术技能的教育方法。后者需要开发适应不同有效性标准的评估工具。本研究的目的是验证复杂皮肤缝合练习的多模式评估工具,该工具结合了手工打结、皮内线性缝合和针架打结:缝合练习由自愿参加者在征得书面同意后在人造皮肤模型上进行,其中包括 9 名医学研究生、40 名具有不同经验的外科住院医师和 9 名资深外科医生。多模式评估工具(MAT)结合了核对表、速度评分和总体评分表。每项练习都由两名评估人员进行评分。医学生的表现被匿名拍摄下来,以便反复评分。内容有效性通过参与者随机填写的满意度问卷进行测试:98%的参与者认为 MAT 具有相关性或非常相关,对核对表的评价高于对总体评分量表的评价。内部一致性很强,Cronbach α系数为0.78,核对表结果与总体评分量表之间的相关性很好(r=0.79,PC结论:尽管缝合技术在任何外科医生的临床实践中都很普通,而且从医学研究的第二阶段开始就教授缝合技术,但很少有专门针对特定评估工具验证的出版物对缝合技术及其技术要素进行论述。因此,通过对 MAT 及其子评分的研究,可以根据许多有效性和可靠性标准对其进行验证。因此,可以建议外科教师使用这些工具来评估复杂的缝合工作,即使是新手也能更容易地使用检查表,而且总体评分表显示出更好的辨别能力。
本文章由计算机程序翻译,如有差异,请以英文原文为准。
求助全文
约1分钟内获得全文 求助全文
来源期刊
CiteScore
1.00
自引率
0.00%
发文量
86
审稿时长
44 days
期刊介绍: Qu''elle soit réparatrice après un traumatisme, pratiquée à la suite d''une malformation ou motivée par la gêne psychologique dans la vie du patient, la chirurgie plastique et esthétique touche toutes les parties du corps humain et concerne une large communauté de chirurgiens spécialisés. Organe de la Société française de chirurgie plastique reconstructrice et esthétique, la revue publie 6 fois par an des éditoriaux, des mémoires originaux, des notes techniques, des faits cliniques, des actualités chirurgicales, des revues générales, des notes brèves, des lettres à la rédaction. Sont également présentés des analyses d''articles et d''ouvrages, des comptes rendus de colloques, des informations professionnelles et un agenda des manifestations de la spécialité.
×
引用
GB/T 7714-2015
复制
MLA
复制
APA
复制
导出至
BibTeX EndNote RefMan NoteFirst NoteExpress
×
提示
您的信息不完整,为了账户安全,请先补充。
现在去补充
×
提示
您因"违规操作"
具体请查看互助需知
我知道了
×
提示
确定
请完成安全验证×
copy
已复制链接
快去分享给好友吧!
我知道了
右上角分享
点击右上角分享
0
联系我们:info@booksci.cn Book学术提供免费学术资源搜索服务,方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。 Copyright © 2023 布克学术 All rights reserved.
京ICP备2023020795号-1
ghs 京公网安备 11010802042870号
Book学术文献互助
Book学术文献互助群
群 号:481959085
Book学术官方微信