Ofira Zloto , Ofir Fogel , Guy Ben Simon , Mordechai Rosner , Vicktoria Vishnevskia-Dai , Avner Hostovsky , Eyal Klang
{"title":"利用机器学习对眼睑皮肤肿瘤进行计算机辅助诊断。","authors":"Ofira Zloto , Ofir Fogel , Guy Ben Simon , Mordechai Rosner , Vicktoria Vishnevskia-Dai , Avner Hostovsky , Eyal Klang","doi":"10.1016/j.jcjo.2024.07.015","DOIUrl":null,"url":null,"abstract":"<div><h3>Objective</h3><div>To develop an automated, new framework based on machine learning to diagnose malignant eyelid skin tumors.</div></div><div><h3>Methods</h3><div>This study used eyelid lesion images from Sheba Medical Center, a large tertiary center in Israel. Before model training, we pretrained our models on the International Skin Imaging Collaboration (ISIC) 2019 dataset consisting of 25,332 images. The proprietary eyelid data set was then used for fine-tuning. The data set contained multiple images per patient, aiming to classify malignant lesions in comparison to benign counterparts.</div></div><div><h3>Results</h3><div>The analyzed data set consisted of images representing both benign and malignant eyelid lesions. For the benign category, a total of 373 images were sourced. By comparison, for the malignant category, 186 images were sourced. For the final model, at sensitivity of 93.8% (95% CI 80.0–100.0%), the model has a corresponding specificity of 73.7% (95% CI 60.0–87.1%). To further understand the decision-making process of our model, we employed heatmap visualization techniques, specifically gradient-weighted Class Activation Mapping.</div></div><div><h3>Discussion</h3><div>This study introduces a dependable model-aided diagnostic technology for assessing eyelid skin lesions. The model demonstrated accuracy comparable to human evaluation, effectively determining whether a lesion raises a high suspicion of malignancy or is benign. Such a model has the potential to alleviate the burden on the health care system, particularly benefiting rural areas, and enhancing the efficiency of clinicians and overall health care.</div></div><div><h3>Objectif</h3><div>Mettre au point une nouvelle infrastructure automatisée basée sur l'apprentissage artificiel en vue du diagnostic des tumeurs cutanées malignes de la paupière.</div></div><div><h3>Méthodes</h3><div>Cette étude portait sur des images de lésions palpébrales provenant du Sheba Medical Center, un important centre de soins tertiaires en Israël. Avant de réaliser l'entraînement du modèle, nous avons procédé à un entraînement préalable au moyen de l'ensemble de données de l’<em>International Skin Imaging Collaboration</em> (ISIC) 2019 contenant 25 332 images. L'ensemble de données de nature exclusive sur les paupières a ensuite servi à affiner l'entraînement du modèle. Cet ensemble de données comprenait plusieurs images par patient, l'objectif étant de distinguer les lésions malignes des lésions bénignes.</div></div><div><h3>Résultats</h3><div>L'ensemble de données analysé comprenait des images de lésions palpébrales bénignes et malignes. La catégorie de lésions bénignes comptait un total de 373 images. Par contraste, la catégorie de lésions malignes comptait 186 images. La sensibilité du modèle final se chiffrait à 93,8 % (intervalle de confiance [IC] à 95 % : 80,0–100,0 %), et la spécificité correspondante, à 73,7 % (IC à 95 % : 60,0–87,1 %). Pour mieux comprendre le processus décisionnel de notre modèle, nous avons utilisé des techniques de visualisation de type « carte thermique », plus précisément Grad-CAM (<em>gradient-weighted Class Activation Mapping</em>).</div></div><div><h3>Conclusion</h3><div>Cette étude propose une technologie diagnostique fiable qui s'appuie sur un modèle pour évaluer les lésions cutanées palpébrales. Le degré d'exactitude du modèle est comparable à celui d'un être humain, ce qui lui permet de déterminer efficacement si une lésion est bénigne ou si elle présente un degré élevé de suspicion de malignité. Ce type de modèle a le potentiel de réduire le fardeau pour le système de santé, notamment dans les zones rurales, et d'accroître l'efficacité des médecins et de l'ensemble du système de santé.</div></div>","PeriodicalId":9606,"journal":{"name":"Canadian journal of ophthalmology. Journal canadien d'ophtalmologie","volume":"60 2","pages":"Pages e275-e280"},"PeriodicalIF":3.3000,"publicationDate":"2024-08-28","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":"{\"title\":\"Computer-aided diagnosis of eyelid skin tumors using machine learning\",\"authors\":\"Ofira Zloto , Ofir Fogel , Guy Ben Simon , Mordechai Rosner , Vicktoria Vishnevskia-Dai , Avner Hostovsky , Eyal Klang\",\"doi\":\"10.1016/j.jcjo.2024.07.015\",\"DOIUrl\":null,\"url\":null,\"abstract\":\"<div><h3>Objective</h3><div>To develop an automated, new framework based on machine learning to diagnose malignant eyelid skin tumors.</div></div><div><h3>Methods</h3><div>This study used eyelid lesion images from Sheba Medical Center, a large tertiary center in Israel. Before model training, we pretrained our models on the International Skin Imaging Collaboration (ISIC) 2019 dataset consisting of 25,332 images. The proprietary eyelid data set was then used for fine-tuning. The data set contained multiple images per patient, aiming to classify malignant lesions in comparison to benign counterparts.</div></div><div><h3>Results</h3><div>The analyzed data set consisted of images representing both benign and malignant eyelid lesions. For the benign category, a total of 373 images were sourced. By comparison, for the malignant category, 186 images were sourced. For the final model, at sensitivity of 93.8% (95% CI 80.0–100.0%), the model has a corresponding specificity of 73.7% (95% CI 60.0–87.1%). To further understand the decision-making process of our model, we employed heatmap visualization techniques, specifically gradient-weighted Class Activation Mapping.</div></div><div><h3>Discussion</h3><div>This study introduces a dependable model-aided diagnostic technology for assessing eyelid skin lesions. The model demonstrated accuracy comparable to human evaluation, effectively determining whether a lesion raises a high suspicion of malignancy or is benign. Such a model has the potential to alleviate the burden on the health care system, particularly benefiting rural areas, and enhancing the efficiency of clinicians and overall health care.</div></div><div><h3>Objectif</h3><div>Mettre au point une nouvelle infrastructure automatisée basée sur l'apprentissage artificiel en vue du diagnostic des tumeurs cutanées malignes de la paupière.</div></div><div><h3>Méthodes</h3><div>Cette étude portait sur des images de lésions palpébrales provenant du Sheba Medical Center, un important centre de soins tertiaires en Israël. Avant de réaliser l'entraînement du modèle, nous avons procédé à un entraînement préalable au moyen de l'ensemble de données de l’<em>International Skin Imaging Collaboration</em> (ISIC) 2019 contenant 25 332 images. L'ensemble de données de nature exclusive sur les paupières a ensuite servi à affiner l'entraînement du modèle. Cet ensemble de données comprenait plusieurs images par patient, l'objectif étant de distinguer les lésions malignes des lésions bénignes.</div></div><div><h3>Résultats</h3><div>L'ensemble de données analysé comprenait des images de lésions palpébrales bénignes et malignes. La catégorie de lésions bénignes comptait un total de 373 images. Par contraste, la catégorie de lésions malignes comptait 186 images. La sensibilité du modèle final se chiffrait à 93,8 % (intervalle de confiance [IC] à 95 % : 80,0–100,0 %), et la spécificité correspondante, à 73,7 % (IC à 95 % : 60,0–87,1 %). Pour mieux comprendre le processus décisionnel de notre modèle, nous avons utilisé des techniques de visualisation de type « carte thermique », plus précisément Grad-CAM (<em>gradient-weighted Class Activation Mapping</em>).</div></div><div><h3>Conclusion</h3><div>Cette étude propose une technologie diagnostique fiable qui s'appuie sur un modèle pour évaluer les lésions cutanées palpébrales. Le degré d'exactitude du modèle est comparable à celui d'un être humain, ce qui lui permet de déterminer efficacement si une lésion est bénigne ou si elle présente un degré élevé de suspicion de malignité. Ce type de modèle a le potentiel de réduire le fardeau pour le système de santé, notamment dans les zones rurales, et d'accroître l'efficacité des médecins et de l'ensemble du système de santé.</div></div>\",\"PeriodicalId\":9606,\"journal\":{\"name\":\"Canadian journal of ophthalmology. Journal canadien d'ophtalmologie\",\"volume\":\"60 2\",\"pages\":\"Pages e275-e280\"},\"PeriodicalIF\":3.3000,\"publicationDate\":\"2024-08-28\",\"publicationTypes\":\"Journal Article\",\"fieldsOfStudy\":null,\"isOpenAccess\":false,\"openAccessPdf\":\"\",\"citationCount\":\"0\",\"resultStr\":null,\"platform\":\"Semanticscholar\",\"paperid\":null,\"PeriodicalName\":\"Canadian journal of ophthalmology. Journal canadien d'ophtalmologie\",\"FirstCategoryId\":\"3\",\"ListUrlMain\":\"https://www.sciencedirect.com/science/article/pii/S0008418224002412\",\"RegionNum\":4,\"RegionCategory\":\"医学\",\"ArticlePicture\":[],\"TitleCN\":null,\"AbstractTextCN\":null,\"PMCID\":null,\"EPubDate\":\"\",\"PubModel\":\"\",\"JCR\":\"Q1\",\"JCRName\":\"OPHTHALMOLOGY\",\"Score\":null,\"Total\":0}","platform":"Semanticscholar","paperid":null,"PeriodicalName":"Canadian journal of ophthalmology. Journal canadien d'ophtalmologie","FirstCategoryId":"3","ListUrlMain":"https://www.sciencedirect.com/science/article/pii/S0008418224002412","RegionNum":4,"RegionCategory":"医学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"Q1","JCRName":"OPHTHALMOLOGY","Score":null,"Total":0}
引用次数: 0
摘要
目的:开发一种基于机器学习的自动诊断眼睑皮肤恶性肿瘤的新框架:本研究使用的眼睑病变图像来自以色列一家大型三级医疗中心--Sheba医疗中心。在模型训练之前,我们在由 25332 张图像组成的国际皮肤成像协作组织(ISIC)2019 数据集上对模型进行了预训练。然后使用专有眼睑数据集进行微调。该数据集包含每位患者的多幅图像,旨在对恶性病变与良性病变进行比较分类:分析的数据集包括代表眼睑良性和恶性病变的图像。良性病变共有 373 张图像。相比之下,在恶性病变类别中,共获取了 186 张图像。最终模型的灵敏度为 93.8%(95% CI 80.0-100.0%),特异度为 73.7%(95% CI 60.0-87.1%)。为了进一步了解模型的决策过程,我们采用了热图可视化技术,特别是梯度加权类活化图:本研究引入了一种可靠的模型辅助诊断技术,用于评估眼睑皮肤病变。该模型的准确性可与人类评估相媲美,能有效判断病变是高度怀疑恶性还是良性。这种模型有可能减轻医疗系统的负担,特别是惠及农村地区,并提高临床医生和整体医疗保健的效率。
Computer-aided diagnosis of eyelid skin tumors using machine learning
Objective
To develop an automated, new framework based on machine learning to diagnose malignant eyelid skin tumors.
Methods
This study used eyelid lesion images from Sheba Medical Center, a large tertiary center in Israel. Before model training, we pretrained our models on the International Skin Imaging Collaboration (ISIC) 2019 dataset consisting of 25,332 images. The proprietary eyelid data set was then used for fine-tuning. The data set contained multiple images per patient, aiming to classify malignant lesions in comparison to benign counterparts.
Results
The analyzed data set consisted of images representing both benign and malignant eyelid lesions. For the benign category, a total of 373 images were sourced. By comparison, for the malignant category, 186 images were sourced. For the final model, at sensitivity of 93.8% (95% CI 80.0–100.0%), the model has a corresponding specificity of 73.7% (95% CI 60.0–87.1%). To further understand the decision-making process of our model, we employed heatmap visualization techniques, specifically gradient-weighted Class Activation Mapping.
Discussion
This study introduces a dependable model-aided diagnostic technology for assessing eyelid skin lesions. The model demonstrated accuracy comparable to human evaluation, effectively determining whether a lesion raises a high suspicion of malignancy or is benign. Such a model has the potential to alleviate the burden on the health care system, particularly benefiting rural areas, and enhancing the efficiency of clinicians and overall health care.
Objectif
Mettre au point une nouvelle infrastructure automatisée basée sur l'apprentissage artificiel en vue du diagnostic des tumeurs cutanées malignes de la paupière.
Méthodes
Cette étude portait sur des images de lésions palpébrales provenant du Sheba Medical Center, un important centre de soins tertiaires en Israël. Avant de réaliser l'entraînement du modèle, nous avons procédé à un entraînement préalable au moyen de l'ensemble de données de l’International Skin Imaging Collaboration (ISIC) 2019 contenant 25 332 images. L'ensemble de données de nature exclusive sur les paupières a ensuite servi à affiner l'entraînement du modèle. Cet ensemble de données comprenait plusieurs images par patient, l'objectif étant de distinguer les lésions malignes des lésions bénignes.
Résultats
L'ensemble de données analysé comprenait des images de lésions palpébrales bénignes et malignes. La catégorie de lésions bénignes comptait un total de 373 images. Par contraste, la catégorie de lésions malignes comptait 186 images. La sensibilité du modèle final se chiffrait à 93,8 % (intervalle de confiance [IC] à 95 % : 80,0–100,0 %), et la spécificité correspondante, à 73,7 % (IC à 95 % : 60,0–87,1 %). Pour mieux comprendre le processus décisionnel de notre modèle, nous avons utilisé des techniques de visualisation de type « carte thermique », plus précisément Grad-CAM (gradient-weighted Class Activation Mapping).
Conclusion
Cette étude propose une technologie diagnostique fiable qui s'appuie sur un modèle pour évaluer les lésions cutanées palpébrales. Le degré d'exactitude du modèle est comparable à celui d'un être humain, ce qui lui permet de déterminer efficacement si une lésion est bénigne ou si elle présente un degré élevé de suspicion de malignité. Ce type de modèle a le potentiel de réduire le fardeau pour le système de santé, notamment dans les zones rurales, et d'accroître l'efficacité des médecins et de l'ensemble du système de santé.
期刊介绍:
Official journal of the Canadian Ophthalmological Society.
The Canadian Journal of Ophthalmology (CJO) is the official journal of the Canadian Ophthalmological Society and is committed to timely publication of original, peer-reviewed ophthalmology and vision science articles.