[ChatGPT and the German board examination for ophthalmology: an evaluation].

In recent years artificial intelligence (AI), as a new segment of computer science, has also become increasingly more important in medicine. The aim of this project was to investigate whether the current version of ChatGPT (ChatGPT 4.0) is able to answer open questions that could be asked in the context of a German board examination in ophthalmology. After excluding image-based questions, 10 questions from 15 different chapters/topics were selected from the textbook 1000 questions in ophthalmology (1000 Fragen Augenheilkunde 2nd edition, 2014). ChatGPT was instructed by means of a so-called prompt to assume the role of a board certified ophthalmologist and to concentrate on the essentials when answering. A human expert with considerable expertise in the respective topic, evaluated the answers regarding their correctness, relevance and internal coherence. Additionally, the overall performance was rated by school grades and assessed whether the answers would have been sufficient to pass the ophthalmology board examination. The ChatGPT would have passed the board examination in 12 out of 15 topics. The overall performance, however, was limited with only 53.3% completely correct answers. While the correctness of the results in the different topics was highly variable (uveitis and lens/cataract 100%; optics and refraction 20%), the answers always had a high thematic fit (70%) and internal coherence (71%). The fact that ChatGPT 4.0 would have passed the specialist examination in 12 out of 15 topics is remarkable considering the fact that this AI was not specifically trained for medical questions; however, there is a considerable performance variability between the topics, with some serious shortcomings that currently rule out its safe use in clinical practice. FRAGESTELLUNG: In den letzten Jahren nimmt die künstliche Intelligenz (KI) als neues Segment der Informatik auch in der Medizin eine immer größere Bedeutung ein. Ziel dieses Projekts war es zu untersuchen, ob die aktuelle Version von ChatGPT (ChatGPT 4.0) in der Lage ist, offene Fragen zu beantworten, die im Rahmen einer deutschen Facharztprüfung in der Augenheilkunde gestellt werden könnten. Aus dem Lehrbuch „1000 Fragen Augenheilkunde“ (2. Auflage, 2014) wurden nach Ausschluss bildbasierter Fragen jeweils 10 Fragen aus 15 verschiedenen Kapiteln/Themenschwerpunkten ausgewählt. ChatGPT wurde mittels eines sog. Prompt instruiert, die Rolle eines Facharztes für Augenheilkunde einzunehmen und sich im Umfang der Antworten auf das Wesentliche zu konzentrieren. Die Bewertung eines Themengebietes erfolgte durch einen in der Subspezialität langjährig erfahrenen Ophthalmologen, welcher die Antworten hinsichtlich Richtigkeit, Themenrelevanz und innerer Kohärenz beurteilte und die Gesamtleistung mit einer Schulnote bewertete. ChatGPT hätte die Facharztprüfung in 12 von 15 Themengebieten bestanden. Allerdings war die Gesamtleistung auf nur 53,3 % vollständig korrekte Antworten beschränkt. Während die Korrektheit der Ergebnisse in den unterschiedlichen Themengebieten sehr variabel war („Uveitis“ und „Linse/Katarakt“ 100 %; „Optik und Refraktion“ 20 %), hatten die Antworten stets eine hohe thematische Passgenauigkeit (70 %) und innere Kohärenz (71 %). Die Tatsache, dass ChatGPT 4.0 in 12 von 15 Themengebieten die Facharztprüfung bestanden hätte, ist vor dem Hintergrund bemerkenswert, dass diese KI nicht spezifisch für medizinische Fragestellungen trainiert wurde. Allerdings offenbart sich eine erhebliche Leistungsvarianz zwischen den Themengebieten mit zum Teil gravierenden Mängeln, die einen sicheren Einsatz in der klinischen Praxis derzeit ausschließt.

Informations de copyright

© 2024. The Author(s), under exclusive licence to Springer Medizin Verlag GmbH, ein Teil von Springer Nature.