[Artificial intelligence and hyperspectral imaging for image-guided assistance in minimally invasive surgery].
Künstliche Intelligenz und hyperspektrale Bildgebung zur bildgestützten Assistenz in der minimal-invasiven Chirurgie.
Analysis algorithm
Perfusion measurement
Risk structures
Tumor
Visceral surgery
Journal
Chirurgie (Heidelberg, Germany)
ISSN: 2731-698X
Titre abrégé: Chirurgie (Heidelb)
Pays: Germany
ID NLM: 9918383081906676
Informations de publication
Date de publication:
Oct 2022
Oct 2022
Historique:
accepted:
08
06
2022
pubmed:
8
7
2022
medline:
28
9
2022
entrez:
7
7
2022
Statut:
ppublish
Résumé
Intraoperative imaging assists surgeons during minimally invasive procedures. Hyperspectral imaging (HSI) is a noninvasive and noncontact optical technique with great diagnostic potential in medicine. The combination with artificial intelligence (AI) approaches to analyze HSI data is called intelligent HSI in this article. What are the medical applications and advantages of intelligent HSI for minimally invasive visceral surgery? Within various clinical studies HSI data from multiple in vivo tissue types and oncological resections were acquired using an HSI camera system. Different AI algorithms were evaluated for detection and discrimination of organs, risk structures and tumors. In an experimental animal study 20 different organs could be differentiated with high precision (> 95%) using AI. In vivo, the parathyroid glands could be discriminated from surrounding tissue with an F1 score of 47% and sensitivity of 75%, and the bile duct with an F1 score of 79% and sensitivity of 90%. Furthermore, ex vivo tumor tissue could be successfully detected with an area under the receiver operating characteristic (ROC) curve (AUC) larger than 0.91. This study demonstrates that intelligent HSI can automatically and accurately detect different tissue types. Despite great progress in the last decade intelligent HSI still has limitations. Thus, accurate AI algorithms that are easier to understand for the user and an extensive standardized and continuously growing database are needed. Further clinical studies should support the various medical applications and lead to the adoption of intelligent HSI in the clinical routine practice. HINTERGRUND: Intraoperative Bildgebung unterstützt Chirurgen bei minimal-invasiven Eingriffen. Die hyperspektrale Bildgebung („hyperspectral imaging“, HSI) ist ein nichtinvasives und kontaktloses optisches Verfahren mit großem diagnostischem Potenzial in der Medizin. Die Kombination mit Ansätzen der künstlichen Intelligenz (KI) für die Analyse der HSI-Daten wird in diesem Artikel intelligente HSI genannt. Wie kann intelligente HSI in der minimal-invasiven Viszeralchirurgie eingesetzt werden und wo liegen die Vorteile? Innerhalb verschiedener klinischer Studien wurden HSI-Daten mehrerer In-vivo-Gewebearten und onkologischer Resektate mit einer HSI-Kamera aufgenommen. Verschiedene KI-Algorithmen wurden zur Identifikation und Diskriminierung von Organen, Risikostrukturen und Tumoren evaluiert. Im Tierversuch konnten 20 verschiedene Organe mit hoher Genauigkeit (> 95 %) mittels KI differenziert werden. In-vivo konnten die Nebenschilddrüse mit einem F1-Score von 47 % und einer Sensitivität von 75 % sowie der Gallengang mit einem F1-Score von 79 % und einer Sensitivität von 90 % vom umliegenden Gewebe diskriminiert werden. Des Weiteren konnte Ex-vivo-Tumorgewebe mit einer Fläche unter der „Receiver-operating-characteristic“(ROC)-Kurve (AUC) größer als 0,91 erfolgreich erkannt werden. Die vorliegenden Arbeiten zeigen die Eignung intelligenter HSI zur automatischen Gewebeerkennung. Trotz großer Fortschritte in den letzten zehn Jahren zeigt intelligentes HSI noch Einschränkungen. So sind genauere und für den Benutzer verständlichere KI-Algorithmen sowie umfangreiche standardisierte und kontinuierlich wachsende Datenbanken notwendig. Weitere klinische Studien sollten die vielseitigen Anwendungen stützen und den Einsatz im klinischen Alltag fest etablieren.
Sections du résumé
BACKGROUND
BACKGROUND
Intraoperative imaging assists surgeons during minimally invasive procedures. Hyperspectral imaging (HSI) is a noninvasive and noncontact optical technique with great diagnostic potential in medicine. The combination with artificial intelligence (AI) approaches to analyze HSI data is called intelligent HSI in this article.
OBJECTIVE
OBJECTIVE
What are the medical applications and advantages of intelligent HSI for minimally invasive visceral surgery?
MATERIAL AND METHODS
METHODS
Within various clinical studies HSI data from multiple in vivo tissue types and oncological resections were acquired using an HSI camera system. Different AI algorithms were evaluated for detection and discrimination of organs, risk structures and tumors.
RESULTS
RESULTS
In an experimental animal study 20 different organs could be differentiated with high precision (> 95%) using AI. In vivo, the parathyroid glands could be discriminated from surrounding tissue with an F1 score of 47% and sensitivity of 75%, and the bile duct with an F1 score of 79% and sensitivity of 90%. Furthermore, ex vivo tumor tissue could be successfully detected with an area under the receiver operating characteristic (ROC) curve (AUC) larger than 0.91.
DISCUSSION
CONCLUSIONS
This study demonstrates that intelligent HSI can automatically and accurately detect different tissue types. Despite great progress in the last decade intelligent HSI still has limitations. Thus, accurate AI algorithms that are easier to understand for the user and an extensive standardized and continuously growing database are needed. Further clinical studies should support the various medical applications and lead to the adoption of intelligent HSI in the clinical routine practice.
ZUSAMMENFASSUNG
UNASSIGNED
HINTERGRUND: Intraoperative Bildgebung unterstützt Chirurgen bei minimal-invasiven Eingriffen. Die hyperspektrale Bildgebung („hyperspectral imaging“, HSI) ist ein nichtinvasives und kontaktloses optisches Verfahren mit großem diagnostischem Potenzial in der Medizin. Die Kombination mit Ansätzen der künstlichen Intelligenz (KI) für die Analyse der HSI-Daten wird in diesem Artikel intelligente HSI genannt.
FRAGESTELLUNG
UNASSIGNED
Wie kann intelligente HSI in der minimal-invasiven Viszeralchirurgie eingesetzt werden und wo liegen die Vorteile?
MATERIAL UND METHODEN
METHODS
Innerhalb verschiedener klinischer Studien wurden HSI-Daten mehrerer In-vivo-Gewebearten und onkologischer Resektate mit einer HSI-Kamera aufgenommen. Verschiedene KI-Algorithmen wurden zur Identifikation und Diskriminierung von Organen, Risikostrukturen und Tumoren evaluiert.
ERGEBNISSE
UNASSIGNED
Im Tierversuch konnten 20 verschiedene Organe mit hoher Genauigkeit (> 95 %) mittels KI differenziert werden. In-vivo konnten die Nebenschilddrüse mit einem F1-Score von 47 % und einer Sensitivität von 75 % sowie der Gallengang mit einem F1-Score von 79 % und einer Sensitivität von 90 % vom umliegenden Gewebe diskriminiert werden. Des Weiteren konnte Ex-vivo-Tumorgewebe mit einer Fläche unter der „Receiver-operating-characteristic“(ROC)-Kurve (AUC) größer als 0,91 erfolgreich erkannt werden.
DISKUSSION
CONCLUSIONS
Die vorliegenden Arbeiten zeigen die Eignung intelligenter HSI zur automatischen Gewebeerkennung. Trotz großer Fortschritte in den letzten zehn Jahren zeigt intelligentes HSI noch Einschränkungen. So sind genauere und für den Benutzer verständlichere KI-Algorithmen sowie umfangreiche standardisierte und kontinuierlich wachsende Datenbanken notwendig. Weitere klinische Studien sollten die vielseitigen Anwendungen stützen und den Einsatz im klinischen Alltag fest etablieren.
Autres résumés
Type: Publisher
(ger)
HINTERGRUND: Intraoperative Bildgebung unterstützt Chirurgen bei minimal-invasiven Eingriffen. Die hyperspektrale Bildgebung („hyperspectral imaging“, HSI) ist ein nichtinvasives und kontaktloses optisches Verfahren mit großem diagnostischem Potenzial in der Medizin. Die Kombination mit Ansätzen der künstlichen Intelligenz (KI) für die Analyse der HSI-Daten wird in diesem Artikel intelligente HSI genannt.
Identifiants
pubmed: 35798904
doi: 10.1007/s00104-022-01677-w
pii: 10.1007/s00104-022-01677-w
doi:
Types de publication
Journal Article
Review
Langues
ger
Sous-ensembles de citation
IM
Pagination
940-947Informations de copyright
© 2022. The Author(s), under exclusive licence to Springer Medizin Verlag GmbH, ein Teil von Springer Nature.
Références
Ayala L, Adler TJ, Seidlitz S et al (2022) Spectral imaging enables contrast agent-free real-time ischemia monitoring in laparoscopic surgery https://doi.org/10.1101/2022.03.08.22271465
doi: 10.1101/2022.03.08.22271465
Ayala LA, Wirkert SJ, Gröhl J et al (2019) Live monitoring of haemodynamic changes with multispectral image analysis. In: Zhou L, Sarikaya D, Kia SM et al (Hrsg) OR 2.0 context-aware operating theaters and machine learning in clinical neuroimaging. Springer, Cham, S 38–46
doi: 10.1007/978-3-030-32695-1_5
Cervantes-Sanchez F, Maktabi M, Köhler H et al (2021) Automatic tissue segmentation of hyperspectral images in liver and head neck surgeries using machine learning. AIS. https://doi.org/10.20517/ais.2021.05
doi: 10.20517/ais.2021.05
Clancy NT, Jones G, Maier-Hein L et al (2020) Surgical spectral imaging. Med Image Anal 63:101699. https://doi.org/10.1016/j.media.2020.101699
doi: 10.1016/j.media.2020.101699
pubmed: 32375102
pmcid: 7903143
Collins T, Maktabi M, Barberio M et al (2021) Automatic recognition of colon and esophagogastric cancer with machine learning and hyperspectral imaging. Diagnostics 11:1810. https://doi.org/10.3390/diagnostics11101810
doi: 10.3390/diagnostics11101810
pubmed: 34679508
pmcid: 8535008
Cooney GS, Barberio M, Diana M et al (2020) Comparison of spectral characteristics in human and pig biliary system with hyperspectral imaging (HSI). Curr Dir Biomed Eng. https://doi.org/10.1515/cdbme-2020-0012
doi: 10.1515/cdbme-2020-0012
Eggert D, Bengs M, Westermann S et al (2021) In vivo detection of head and neck tumors by hyperspectral imaging combined with deep learning methods. J Biophoton. https://doi.org/10.1002/jbio.202100167
doi: 10.1002/jbio.202100167
Halicek M, Fabelo H, Ortega S et al (2019) In-vivo and ex-vivo tissue analysis through hyperspectral imaging techniques: revealing the invisible features of cancer. Cancers 11:756. https://doi.org/10.3390/cancers11060756
doi: 10.3390/cancers11060756
pmcid: 6627361
Holmer A, Marotz J, Wahl P et al (2018) Hyperspectral imaging in perfusion and wound diagnostics—methods and algorithms for the determination of tissue parameters. Biomed Eng 63:547–556. https://doi.org/10.1515/bmt-2017-0155
doi: 10.1515/bmt-2017-0155
Jansen-Winkeln B, Barberio M, Chalopin C et al (2021) Feedforward artificial neural network-based colorectal cancer detection using hyperspectral imaging: a step towards automatic optical biopsy. Cancers 13:967. https://doi.org/10.3390/cancers13050967
doi: 10.3390/cancers13050967
pubmed: 33669082
pmcid: 7956537
Jansen-Winkeln B, Dvorak M, Köhler H et al (2022) Border line definition using hyperspectral imaging in colorectal resections. Cancers 14:1188. https://doi.org/10.3390/cancers14051188
doi: 10.3390/cancers14051188
pubmed: 35267496
pmcid: 8909141
Kho E, Dashtbozorg B, de Boer LL et al (2019) Broadband hyperspectral imaging for breast tumor detection using spectral and spatial information. Biomed Opt Express 10:4496. https://doi.org/10.1364/BOE.10.004496
doi: 10.1364/BOE.10.004496
pubmed: 31565506
pmcid: 6757478
Köhler H, Kulcke A, Maktabi M et al (2020) Laparoscopic system for simultaneous high-resolution video and rapid hyperspectral imaging in the visible and near-infrared spectral range. J Biomed Opt 25:86004. https://doi.org/10.1117/1.JBO.25.8.086004
doi: 10.1117/1.JBO.25.8.086004
pmcid: 7453262
Lu G, Fei B (2014) Medical hyperspectral imaging: a review. J Biomed Opt 19:10901. https://doi.org/10.1117/1.JBO.19.1.010901
doi: 10.1117/1.JBO.19.1.010901
pmcid: 3895860
Maktabi M, Köhler H, Ivanova M et al (2019) Tissue classification of oncologic esophageal resectates based on hyperspectral data. Int J CARS. https://doi.org/10.1007/s11548-019-02016-x
doi: 10.1007/s11548-019-02016-x
Maktabi M, Köhler H, Ivanova M et al (2020) Classification of hyperspectral endocrine tissue images using support vector machines. Int J Med Robot 16:1–10. https://doi.org/10.1002/rcs.2121
doi: 10.1002/rcs.2121
pubmed: 32390328
Maktabi M, Tkachenko M, Kohler H et al (2021) Using physiological parameters measured by hyperspectral imaging to detect colorectal cancer. 2021 43rd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC), Mexico, S 3865–3868
Maktabi M, Wichmann Y, Köhler H et al (2022) Tumor cell identification and classification in esophageal adenocarcinoma specimens by hyperspectral imaging. Sci Rep 12:4508. https://doi.org/10.1038/s41598-022-07524-6
doi: 10.1038/s41598-022-07524-6
pubmed: 35296685
pmcid: 8927097
Nickel F, Studier-Fischer A, Özdemir B et al (2021) Optimization of anastomotic technique and gastric conduit perfusion with hyperspectral imaging in an experimental model for minimally invasive esophagectomy https://doi.org/10.1101/2021.10.03.462901
doi: 10.1101/2021.10.03.462901
Nouri D, Lucas Y, Treuillet S (2016) Hyperspectral interventional imaging for enhanced tissue visualization and discrimination combining band selection methods. Int J CARS 11:2185–2197. https://doi.org/10.1007/s11548-016-1449-5
doi: 10.1007/s11548-016-1449-5
Ortega S, Halicek M, Fabelo H et al (2020) Hyperspectral and multispectral imaging in digital and computational pathology: a systematic review. Biomed Opt Express 11:3195. https://doi.org/10.1364/BOE.386338
doi: 10.1364/BOE.386338
pubmed: 32637250
pmcid: 7315999
Saiko G, Lombardi P, Au Y et al (2020) Hyperspectral imaging in wound care: a systematic review. Int Wound J. https://doi.org/10.1111/iwj.13474
doi: 10.1111/iwj.13474
pubmed: 32830443
pmcid: 7949456
Seidlitz S, Sellner J, Odenthal J et al (2022) Robust deep learning-based semantic organ segmentation in hyperspectral images. Med Image Anal 80:102488. https://doi.org/10.1016/j.media.2022.102488
doi: 10.1016/j.media.2022.102488
pubmed: 35667327
Shapey J, Xie Y, Nabavi E et al (2019) Intraoperative multispectral and hyperspectral label-free imaging: a systematic review of in vivo clinical studies. J Biophoton. https://doi.org/10.1002/jbio.201800455
doi: 10.1002/jbio.201800455
Studier-Fischer A, Seidlitz S, Sellner J et al (2021) Spectral organ fingerprints for intraoperative tissue classification with hyperspectral imaging https://doi.org/10.1101/2021.11.24.469943
doi: 10.1101/2021.11.24.469943
Wirkert SJ, Kenngott H, Mayer B et al (2016) Robust near real-time estimation of physiological parameters from megapixel multispectral images with inverse Monte Carlo and random forest regression. Int J CARS 11:909–917. https://doi.org/10.1007/s11548-016-1376-5
doi: 10.1007/s11548-016-1376-5
Wisotzky EL, Uecker FC, Arens P et al (2018) Intraoperative hyperspectral determination of human tissue properties. J Biomed Opt 23:1. https://doi.org/10.1117/1.JBO.23.9.091409
doi: 10.1117/1.JBO.23.9.091409
pubmed: 29745130
Yang G, Ye Q, Xia J (2022) Unbox the black-box for the medical explainable AI via multi-modal and multi-centre data fusion: a mini-review, two showcases and beyond. Inf Fusion 77:29–52. https://doi.org/10.1016/j.inffus.2021.07.016
doi: 10.1016/j.inffus.2021.07.016
pubmed: 34980946
pmcid: 8459787
Yoon J (2022) Hyperspectral imaging for clinical applications. BioChip J 16:1–12. https://doi.org/10.1007/s13206-021-00041-0
doi: 10.1007/s13206-021-00041-0