[Large language models from OpenAI, Google, Meta, X and Co. : The role of "closed" and "open" models in radiology].
Große Sprachmodelle von OpenAI, Google, Meta, X und Co. : Die Rolle von „closed“ und „open“ Modellen in der Radiologie.
Data privacy
Deep learning
Large language models
Natural language processing
Open source
Journal
Radiologie (Heidelberg, Germany)
ISSN: 2731-7056
Titre abrégé: Radiologie (Heidelb)
Pays: Germany
ID NLM: 9918384887306676
Informations de publication
Date de publication:
07 Jun 2024
07 Jun 2024
Historique:
accepted:
17
05
2024
medline:
7
6
2024
pubmed:
7
6
2024
entrez:
7
6
2024
Statut:
aheadofprint
Résumé
In 2023, the release of ChatGPT triggered an artificial intelligence (AI) boom. The underlying large language models (LLM) of the nonprofit organization "OpenAI" are not freely available under open-source licenses, which does not allow on-site implementation inside secure clinic networks. However, efforts are being made by open-source communities, start-ups and large tech companies to democratize the use of LLMs. This opens up the possibility of using LLMs in a data protection-compliant manner and even adapting them to our own data. This paper aims to explain the potential of privacy-compliant local LLMs for radiology and to provide insights into the "open" versus "closed" dynamics of the currently rapidly developing field of AI. PubMed search for radiology articles with LLMs and subjective selection of references in the sense of a narrative key topic article. Various stakeholders, including large tech companies such as Meta, Google and X, but also European start-ups such as Mistral AI, contribute to the democratization of LLMs by publishing the models (open weights) or by publishing the model and source code (open source). Their performance is lower than current "closed" LLMs, such as GPT‑4 from OpenAI. Despite differences in performance, open and thus locally implementable LLMs show great promise for improving the efficiency and quality of diagnostic reporting as well as interaction with patients and enable retrospective extraction of diagnostic information for secondary use of clinical free-text databases for research, teaching or clinical application. HINTERGRUND: Die Veröffentlichung von ChatGPT löste im Jahr 2023 einen KI-Boom aus. Die zugrundeliegenden großen Sprachmodelle (Large Language Models, LLM) der gemeinnützigen Organisation „OpenAI“ sind nicht frei unter Open-Source-Lizenzen verfügbar, was keine Implementierung vor Ort in gesicherten Kliniknetzen erlaubt. Von Open-Source-Gemeinschaften, Start-ups, aber auch von großen Tech-Firmen gibt es jedoch Bestrebungen, die Anwendung von LLMs zu demokratisieren. Dies bietet die Möglichkeit, LLMs auch datenschutzkonform anzuwenden und sogar auf eigene Daten anzupassen. In diesem Beitrag soll das Potenzial von datenschutzkonformen, lokalen LLMs für die Radiologie erläutert und Einblicke in die „open“ versus „closed“ Dynamik der aktuell rasanten Entwicklungen im Bereich künstlicher Intelligenz (KI) gegeben werden. PubMed-Suche zu radiologischen Artikeln mit LLMs und subjektive Auswahl von Referenzen im Sinne eines narrativen Leitthemenartikels. Verschiedene Akteure, darunter große Tech-Firmen wie Meta, Google und X, aber auch europäische Start-ups wie Mistral AI, tragen zur Demokratisierung von LLMs durch Veröffentlichung der Modelles („open weights“) oder durch Veröffentlichung von Modell und Quellcode („open source“) bei. Ihre Performanz ist geringer als aktuelle „closed“ LLMs, wie z. B. GPT‑4 von OpenAI. Trotz Unterschieden in der Performanz zeigen offene und damit lokal implementierbare LLMs großes Potenzial zur Verbesserung der Effizienz und Qualität der Befundung sowie der Interaktion mit Patienten und ermöglichen eine retrospektive Extraktion von Befundinformationen zur Sekundärnutzung klinischer Freitextdatenbanken für Forschung, Lehre oder klinische Anwendung.
Sections du résumé
BACKGROUND
BACKGROUND
In 2023, the release of ChatGPT triggered an artificial intelligence (AI) boom. The underlying large language models (LLM) of the nonprofit organization "OpenAI" are not freely available under open-source licenses, which does not allow on-site implementation inside secure clinic networks. However, efforts are being made by open-source communities, start-ups and large tech companies to democratize the use of LLMs. This opens up the possibility of using LLMs in a data protection-compliant manner and even adapting them to our own data.
OBJECTIVES
OBJECTIVE
This paper aims to explain the potential of privacy-compliant local LLMs for radiology and to provide insights into the "open" versus "closed" dynamics of the currently rapidly developing field of AI.
MATERIALS AND METHODS
METHODS
PubMed search for radiology articles with LLMs and subjective selection of references in the sense of a narrative key topic article.
RESULTS
RESULTS
Various stakeholders, including large tech companies such as Meta, Google and X, but also European start-ups such as Mistral AI, contribute to the democratization of LLMs by publishing the models (open weights) or by publishing the model and source code (open source). Their performance is lower than current "closed" LLMs, such as GPT‑4 from OpenAI.
CONCLUSION
CONCLUSIONS
Despite differences in performance, open and thus locally implementable LLMs show great promise for improving the efficiency and quality of diagnostic reporting as well as interaction with patients and enable retrospective extraction of diagnostic information for secondary use of clinical free-text databases for research, teaching or clinical application.
ZUSAMMENFASSUNG
UNASSIGNED
HINTERGRUND: Die Veröffentlichung von ChatGPT löste im Jahr 2023 einen KI-Boom aus. Die zugrundeliegenden großen Sprachmodelle (Large Language Models, LLM) der gemeinnützigen Organisation „OpenAI“ sind nicht frei unter Open-Source-Lizenzen verfügbar, was keine Implementierung vor Ort in gesicherten Kliniknetzen erlaubt. Von Open-Source-Gemeinschaften, Start-ups, aber auch von großen Tech-Firmen gibt es jedoch Bestrebungen, die Anwendung von LLMs zu demokratisieren. Dies bietet die Möglichkeit, LLMs auch datenschutzkonform anzuwenden und sogar auf eigene Daten anzupassen.
ZIEL DER ARBEIT
UNASSIGNED
In diesem Beitrag soll das Potenzial von datenschutzkonformen, lokalen LLMs für die Radiologie erläutert und Einblicke in die „open“ versus „closed“ Dynamik der aktuell rasanten Entwicklungen im Bereich künstlicher Intelligenz (KI) gegeben werden.
MATERIAL UND METHODEN
METHODS
PubMed-Suche zu radiologischen Artikeln mit LLMs und subjektive Auswahl von Referenzen im Sinne eines narrativen Leitthemenartikels.
ERGEBNISSE
UNASSIGNED
Verschiedene Akteure, darunter große Tech-Firmen wie Meta, Google und X, aber auch europäische Start-ups wie Mistral AI, tragen zur Demokratisierung von LLMs durch Veröffentlichung der Modelles („open weights“) oder durch Veröffentlichung von Modell und Quellcode („open source“) bei. Ihre Performanz ist geringer als aktuelle „closed“ LLMs, wie z. B. GPT‑4 von OpenAI.
DISKUSSION
CONCLUSIONS
Trotz Unterschieden in der Performanz zeigen offene und damit lokal implementierbare LLMs großes Potenzial zur Verbesserung der Effizienz und Qualität der Befundung sowie der Interaktion mit Patienten und ermöglichen eine retrospektive Extraktion von Befundinformationen zur Sekundärnutzung klinischer Freitextdatenbanken für Forschung, Lehre oder klinische Anwendung.
Autres résumés
Type: Publisher
(ger)
HINTERGRUND: Die Veröffentlichung von ChatGPT löste im Jahr 2023 einen KI-Boom aus. Die zugrundeliegenden großen Sprachmodelle (Large Language Models, LLM) der gemeinnützigen Organisation „OpenAI“ sind nicht frei unter Open-Source-Lizenzen verfügbar, was keine Implementierung vor Ort in gesicherten Kliniknetzen erlaubt. Von Open-Source-Gemeinschaften, Start-ups, aber auch von großen Tech-Firmen gibt es jedoch Bestrebungen, die Anwendung von LLMs zu demokratisieren. Dies bietet die Möglichkeit, LLMs auch datenschutzkonform anzuwenden und sogar auf eigene Daten anzupassen.
Identifiants
pubmed: 38847898
doi: 10.1007/s00117-024-01327-8
pii: 10.1007/s00117-024-01327-8
doi:
Types de publication
English Abstract
Journal Article
Review
Langues
ger
Sous-ensembles de citation
IM
Informations de copyright
© 2024. The Author(s), under exclusive licence to Springer Medizin Verlag GmbH, ein Teil von Springer Nature.
Références
Abadi M, Agarwal A, Barham P et al (2016) TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed. Systems. https://doi.org/10.48550/arXiv.1603.04467
doi: 10.48550/arXiv.1603.04467
Black S, Biderman S, Hallahan E et al (2022) GPT-NeoX-20B: An Open-Source Autoregressive Language Model https://doi.org/10.48550/arXiv.2204.06745
doi: 10.48550/arXiv.2204.06745
Brown TB, Mann B, Ryder N et al (2020) Language Models are Few-Shot Learners https://doi.org/10.48550/arXiv.2005.14165
doi: 10.48550/arXiv.2005.14165
Carlini N, Tramer F, Wallace E et al (2021) Extracting Training Data from Large Language Models https://doi.org/10.48550/arXiv.2012.07805
doi: 10.48550/arXiv.2012.07805
Chen W, Li Z (2024) Octopus v2: On. Device Lang Model Super Agent. https://doi.org/10.48550/arXiv.2404.01744
doi: 10.48550/arXiv.2404.01744
Chiang W‑L, Zheng L, Sheng Y et al (2024) Chatbot. Arena, An Open Platform for Evaluating LLMs by Human Preference https://doi.org/10.48550/arXiv.2403.04132
doi: 10.48550/arXiv.2403.04132
Command R Veröffentlichung von Cohere. https://cohere.com/blog/command-r-plus-microsoft-azure . Zugegriffen: 15. Apr. 2024
DBRX Veröffentlichung von Databricks. https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm . Zugegriffen: 15. Apr. 2024
Devlin J, Chang M‑W, Lee K, Toutanova K (2019) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding https://doi.org/10.48550/arXiv.1810.04805
doi: 10.48550/arXiv.1810.04805
Elkassem AA, Smith AD (2023) Potential Use Cases for ChatGPT in Radiology Reporting. Am J Roentgenol 221:373–376. https://doi.org/10.2214/AJR.23.29198
doi: 10.2214/AJR.23.29198
Eloundou T, Manning S, Mishkin P, Rock D (2023) GPTs are GPTs: An Early Look at the Labor Market. Impact, Potential of Large Language Models https://doi.org/10.48550/arXiv.2303.10130
doi: 10.48550/arXiv.2303.10130
Fedus W, Zoph B, Shazeer N (2022) Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. J Mach Learn Res 23:1–39
Fink MA (2023) Große Sprachmodelle wie ChatGPT und GPT‑4 für eine patientenzentrierte Radiologie. Die Radiol 63:665–671. https://doi.org/10.1007/s00117-023-01187-8
doi: 10.1007/s00117-023-01187-8
Team G, Mesnard T Cassidy Hardin et al Gemma https://doi.org/10.34740/KAGGLE/M/3301
Grok‑1 Veröffentlichung von X. https://github.com/xai-org/grok-1 . Zugegriffen: 15. Apr. 2024
Jiang AQ, Sablayrolles A, Roux A et al (2024) Mixtral of experts https://doi.org/10.48550/arXiv.2401.04088
doi: 10.48550/arXiv.2401.04088
Li B, Meng T, Shi X, Zhai J, Ruan T (2023) MedDM: LLM-executable clinical guidance tree for clinical decision-making https://doi.org/10.48550/arXiv.2312.02441
doi: 10.48550/arXiv.2312.02441
Luccioni AS, Viguier S, Ligozat A‑L (2023) Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model. J Mach Learn Res 24:1–15
Nowak S, Biesner D, Layer YC et al (2023) Transformer-based structuring of free-text radiology report databases. Eur Radiol 33:4228–4236. https://doi.org/10.1007/s00330-023-09526-y
doi: 10.1007/s00330-023-09526-y
pubmed: 36905469
pmcid: 10181962
Nowak S, Schneider H, Layer YC et al (2023) Development of image-based decision support systems utilizing information extracted from radiological free-text report databases with text-based transformers. Eur Radiol. https://doi.org/10.1007/s00330-023-10373-0
doi: 10.1007/s00330-023-10373-0
pubmed: 37934243
pmcid: 11126497
Nutzungsbedingungen chatGPT von OpenAI. https://openai.com/policies/terms-of-use . Zugegriffen: 15. Apr. 2024
Nutzungsbedingungen Llama‑2 von Meta. https://openai.com/policies/terms-of-use . Zugegriffen: 15. Apr. 2024
OpenAI, Achiam J, Adler S et al (2024) GPT‑4 Technical Report. https://doi.org/10.48550/arXiv.2303.08774
Ouyang L, Wu J, Jiang X et al (2022) Training language models to follow instructions with human feedback https://doi.org/10.48550/arXiv.2203.02155
doi: 10.48550/arXiv.2203.02155
Paszke A, Gross S, Massa F et al (2019) PyTorch: An Imperative Style, High-Performance Deep Learning. Library. https://doi.org/10.48550/arXiv.1912.01703
doi: 10.48550/arXiv.1912.01703
Rau A, Rau S, Zöller D et al (2023) A Context-based Chatbot Surpasses Radiologists and Generic ChatGPT in Following the ACR Appropriateness Guidelines. Radiology 308:e230970. https://doi.org/10.1148/radiol.230970
doi: 10.1148/radiol.230970
pubmed: 37489981
Salam B, Kravchenko D, Nowak S et al (2024) Generative Pre-trained Transformer 4 makes cardiovascular magnetic resonance reports easy to understand. J Cardiov Magn Reson 26(1):101035
doi: 10.1016/j.jocmr.2024.101035
Scao TL, Fan A et al (2023) BLOOM: A 176B-Parameter Open-Access Multilingual Language Model https://doi.org/10.48550/arXiv.2211.05100
doi: 10.48550/arXiv.2211.05100
Touvron H, Martin L, Stone K et al (2023) Llama 2: Open Foundation and Fine-Tuned Chat. Models. https://doi.org/10.48550/arXiv.2307.09288
doi: 10.48550/arXiv.2307.09288
Vaswani A, Shazeer N, Parmar N et al (2023) Attention Is All You Need https://doi.org/10.48550/arXiv.1706.03762
doi: 10.48550/arXiv.1706.03762