IF 3.2 2区 医学 Q2 GASTROENTEROLOGY & HEPATOLOGY
Diseases of the Colon & Rectum Pub Date : 2025-01-01 Epub Date: 2024-09-27 DOI:10.1097/DCR.0000000000003504
Nir Horesh, Sameh Hany Emile, Shashank Gupta, Zoe Garoufalia, Rachel Gefen, Peige Zhou, Giovanna da Silva, Steven D Wexner
{"title":"Comparing the Management Recommendations of Large Language Model and Colorectal Cancer Multidisciplinary Team: A Pilot Study.","authors":"Nir Horesh, Sameh Hany Emile, Shashank Gupta, Zoe Garoufalia, Rachel Gefen, Peige Zhou, Giovanna da Silva, Steven D Wexner","doi":"10.1097/DCR.0000000000003504","DOIUrl":null,"url":null,"abstract":"<p><strong>Background: </strong>Management of anorectal cancers requires a multidisciplinary team approach. Recently, large language models have been suggested as potential tools for various applications in health care.</p><p><strong>Objective: </strong>Assess suggested management recommendations provided by a generative artificial intelligence chatbot with those of a colorectal cancer multidisciplinary team to evaluate applicability in clinical settings.</p><p><strong>Design: </strong>Comparative pilot study where management recommendations from a generative artificial intelligence chatbot for patients with anal or colorectal cancers were compared against historical consensus decisions from multidisciplinary team meetings.</p><p><strong>Setting: </strong>Single referral tertiary center.</p><p><strong>Patients: </strong>Fifteen patients (mean age of 66.5 years; 53.5% woman) were included; 80% were primarily diagnosed with rectal cancer, predominantly stage II and III disease (46.6%). The mean tumor height from the anal verge was 4 cm.</p><p><strong>Interventions: </strong>From a generative artificial intelligence chatbot, we generated management recommendations for each patient, which were subsequently compared to historical decisions from a multidisciplinary team to gauge concordance.</p><p><strong>Main outcome measures: </strong>Primary outcomes included a degree of concordance between generative artificial intelligence chatbot recommendations and the multidisciplinary team decisions, assessed on a scale from 1 (complete disagreement) to 5 (complete agreement), and justification was evaluated by 3 experienced colorectal surgeons.</p><p><strong>Results: </strong>A generative artificial intelligence chatbot achieved a high concordance rate with multidisciplinary team decisions, with an average concordance rating of 4.08. Multidisciplinary team treatment strategies included neoadjuvant therapy for 33.3% of patients, upfront surgery for 26.6%, and further diagnostic assessment for 20%. Interrater agreement on concordance was found to be moderate (κ coefficient range, 0.333-0.577), whereas agreement on decision justification was slight (κ coefficient range, 0.047-0.094).</p><p><strong>Limitations: </strong>Retrospective study with small sample size.</p><p><strong>Conclusions: </strong>The findings indicate a high level of concordance between generative artificial intelligence chatbot recommendations and the decisions from a colorectal cancer multidisciplinary team, suggesting the potential of large language models to support clinical decision-making in the management of anal and colorectal cancers. See Video Abstract.</p><p><strong>Comparacin entre recomendaciones de manejo del modelo extenso de lenguaje y el equipo multidisciplinario de cncer colorrectal un estudio piloto: </strong>ANTECEDENTES:El manejo de los cánceres anorrectales requiere un enfoque de equipo multidisciplinario. Recientemente, se han sugerido modelos extensos de lenguaje como herramientas potenciales para diversas aplicaciones en la asistencia sanitaria.OBJETIVO:Evaluar las recomendaciones de gestión sugeridos por un chatbot de inteligencia artificial generativa con las de un equipo multidisciplinario de cáncer colorrectal para evaluar la aplicabilidad en entornos clínicos.DISEÑO:Estudio piloto comparativo entre las recomendaciones de gestión de un chatbot de inteligencia artificial generativa con pacientes de cáncer anal o colorrectal y con las decisiones consensuadas históricas de reuniones de equipos multidisciplinarios.LUGAR:Un único centro terciario de referencia.PACIENTES:Se incluyeron 15 pacientes (edad media de 66,5 años; 53,5% mujeres); el 80% fueron diagnosticados principalmente de cáncer de recto, con predominio de la enfermedad en estadio II-III (46,6%). La altura media del tumor desde el borde anal fue de 4 cm.INTERVENCIONESUtilizando de un chatbot de inteligencia artificial generativa, producimos recomendaciones de manejo para cada paciente, que posteriormente se compararon con las decisiones del equipo multidisciplinario histórico para medir la concordancia.PRINCIPALES MEDIDAS DE RESULTADO:Los resultados primarios incluyeron el grado de concordancia entre las recomendaciones de un chatbot de inteligencia artificial generativa y las decisiones del equipo multidisciplinario, evaluadas en una escala de 1 (desacuerdo total) a 5 (acuerdo total), y la justificación evaluada por tres cirujanos colorrectales experimentados.RESULTADOS:Un chatbot de inteligencia artificial generativa logró una alta tasa de concordancia con las decisiones del equipo multidisciplinario, con una calificación media de concordancia de 4,08. Las estrategias de tratamiento del equipo multidisciplinario incluyeron terapia neoadyuvante para el 33,3% de los pacientes, cirugía inicial para el 26,6% y evaluación diagnóstica adicional para el 20%. La concordancia entre los evaluadores fue moderada (rango del coeficiente kappa: 0,333 a 0,577), mientras que la concordancia en la justificación de las decisiones fue leve (rango del coeficiente kappa: 0,047 a 0,094).LIMITACIONES:Estudio retrospectivo con pequeño tamaño muestral.CONCLUSIONES:Los hallazgos indican un alto nivel de concordancia entre las recomendaciones de un chatbot de inteligencia artificial generativa y las decisiones de un equipo multidisciplinario de cáncer colorrectal, lo que sugiere el potencial de los modelos extensos de lenguaje en apoyar la toma de decisiones clínicas en el manejo del cáncer anal y colorrectal. (Traducción: Dr. Fidel Ruiz Healy).</p>","PeriodicalId":11299,"journal":{"name":"Diseases of the Colon & Rectum","volume":"68 1","pages":"41-47"},"PeriodicalIF":3.2000,"publicationDate":"2025-01-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":null,"platform":"Semanticscholar","paperid":null,"PeriodicalName":"Diseases of the Colon & Rectum","FirstCategoryId":"3","ListUrlMain":"https://doi.org/10.1097/DCR.0000000000003504","RegionNum":2,"RegionCategory":"医学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"2024/9/27 0:00:00","PubModel":"Epub","JCR":"Q2","JCRName":"GASTROENTEROLOGY & HEPATOLOGY","Score":null,"Total":0}
引用次数: 0

摘要

结论:研究结果表明,生成式人工智能聊天机器人的建议与多学科结直肠癌团队的决策高度一致,这表明广泛的语言模型在支持肛门癌和结肠癌管理的临床决策方面具有潜力。 翻译:菲德尔-鲁伊斯-希利博士)。
本文章由计算机程序翻译,如有差异,请以英文原文为准。
Comparing the Management Recommendations of Large Language Model and Colorectal Cancer Multidisciplinary Team: A Pilot Study.

Background: Management of anorectal cancers requires a multidisciplinary team approach. Recently, large language models have been suggested as potential tools for various applications in health care.

Objective: Assess suggested management recommendations provided by a generative artificial intelligence chatbot with those of a colorectal cancer multidisciplinary team to evaluate applicability in clinical settings.

Design: Comparative pilot study where management recommendations from a generative artificial intelligence chatbot for patients with anal or colorectal cancers were compared against historical consensus decisions from multidisciplinary team meetings.

Setting: Single referral tertiary center.

Patients: Fifteen patients (mean age of 66.5 years; 53.5% woman) were included; 80% were primarily diagnosed with rectal cancer, predominantly stage II and III disease (46.6%). The mean tumor height from the anal verge was 4 cm.

Interventions: From a generative artificial intelligence chatbot, we generated management recommendations for each patient, which were subsequently compared to historical decisions from a multidisciplinary team to gauge concordance.

Main outcome measures: Primary outcomes included a degree of concordance between generative artificial intelligence chatbot recommendations and the multidisciplinary team decisions, assessed on a scale from 1 (complete disagreement) to 5 (complete agreement), and justification was evaluated by 3 experienced colorectal surgeons.

Results: A generative artificial intelligence chatbot achieved a high concordance rate with multidisciplinary team decisions, with an average concordance rating of 4.08. Multidisciplinary team treatment strategies included neoadjuvant therapy for 33.3% of patients, upfront surgery for 26.6%, and further diagnostic assessment for 20%. Interrater agreement on concordance was found to be moderate (κ coefficient range, 0.333-0.577), whereas agreement on decision justification was slight (κ coefficient range, 0.047-0.094).

Limitations: Retrospective study with small sample size.

Conclusions: The findings indicate a high level of concordance between generative artificial intelligence chatbot recommendations and the decisions from a colorectal cancer multidisciplinary team, suggesting the potential of large language models to support clinical decision-making in the management of anal and colorectal cancers. See Video Abstract.

Comparacin entre recomendaciones de manejo del modelo extenso de lenguaje y el equipo multidisciplinario de cncer colorrectal un estudio piloto: ANTECEDENTES:El manejo de los cánceres anorrectales requiere un enfoque de equipo multidisciplinario. Recientemente, se han sugerido modelos extensos de lenguaje como herramientas potenciales para diversas aplicaciones en la asistencia sanitaria.OBJETIVO:Evaluar las recomendaciones de gestión sugeridos por un chatbot de inteligencia artificial generativa con las de un equipo multidisciplinario de cáncer colorrectal para evaluar la aplicabilidad en entornos clínicos.DISEÑO:Estudio piloto comparativo entre las recomendaciones de gestión de un chatbot de inteligencia artificial generativa con pacientes de cáncer anal o colorrectal y con las decisiones consensuadas históricas de reuniones de equipos multidisciplinarios.LUGAR:Un único centro terciario de referencia.PACIENTES:Se incluyeron 15 pacientes (edad media de 66,5 años; 53,5% mujeres); el 80% fueron diagnosticados principalmente de cáncer de recto, con predominio de la enfermedad en estadio II-III (46,6%). La altura media del tumor desde el borde anal fue de 4 cm.INTERVENCIONESUtilizando de un chatbot de inteligencia artificial generativa, producimos recomendaciones de manejo para cada paciente, que posteriormente se compararon con las decisiones del equipo multidisciplinario histórico para medir la concordancia.PRINCIPALES MEDIDAS DE RESULTADO:Los resultados primarios incluyeron el grado de concordancia entre las recomendaciones de un chatbot de inteligencia artificial generativa y las decisiones del equipo multidisciplinario, evaluadas en una escala de 1 (desacuerdo total) a 5 (acuerdo total), y la justificación evaluada por tres cirujanos colorrectales experimentados.RESULTADOS:Un chatbot de inteligencia artificial generativa logró una alta tasa de concordancia con las decisiones del equipo multidisciplinario, con una calificación media de concordancia de 4,08. Las estrategias de tratamiento del equipo multidisciplinario incluyeron terapia neoadyuvante para el 33,3% de los pacientes, cirugía inicial para el 26,6% y evaluación diagnóstica adicional para el 20%. La concordancia entre los evaluadores fue moderada (rango del coeficiente kappa: 0,333 a 0,577), mientras que la concordancia en la justificación de las decisiones fue leve (rango del coeficiente kappa: 0,047 a 0,094).LIMITACIONES:Estudio retrospectivo con pequeño tamaño muestral.CONCLUSIONES:Los hallazgos indican un alto nivel de concordancia entre las recomendaciones de un chatbot de inteligencia artificial generativa y las decisiones de un equipo multidisciplinario de cáncer colorrectal, lo que sugiere el potencial de los modelos extensos de lenguaje en apoyar la toma de decisiones clínicas en el manejo del cáncer anal y colorrectal. (Traducción: Dr. Fidel Ruiz Healy).

求助全文
通过发布文献求助,成功后即可免费获取论文全文。 去求助
来源期刊
CiteScore
4.50
自引率
7.70%
发文量
572
审稿时长
3-8 weeks
期刊介绍: Diseases of the Colon & Rectum (DCR) is the official journal of the American Society of Colon and Rectal Surgeons (ASCRS) dedicated to advancing the knowledge of intestinal disorders by providing a forum for communication amongst their members. The journal features timely editorials, original contributions and technical notes.
×
引用
GB/T 7714-2015
复制
MLA
复制
APA
复制
导出至
BibTeX EndNote RefMan NoteFirst NoteExpress
×
提示
您的信息不完整,为了账户安全,请先补充。
现在去补充
×
提示
您因"违规操作"
具体请查看互助需知
我知道了
×
提示
确定
请完成安全验证×
copy
已复制链接
快去分享给好友吧!
我知道了
右上角分享
点击右上角分享
0
联系我们:info@booksci.cn Book学术提供免费学术资源搜索服务,方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。 Copyright © 2023 布克学术 All rights reserved.
京ICP备2023020795号-1
ghs 京公网安备 11010802042870号
Book学术文献互助
Book学术文献互助群
群 号:481959085
Book学术官方微信