Intra- and Interobserver Study Investigating the Adapted EFSUMB Bosniak Cyst Categorization Proposed for Contrast-Enhanced Ultrasound (CEUS) in 2020.

BACKGROUND

To investigate the inter- and intraobserver variability in comparison to an expert gold standard of the new and modified renal cyst Bosniak classification proposed for contrast-enhanced ultrasound findings (CEUS) by the European Federation of Societies for Ultrasound in Medicine and Biology (EFSUMB) in 2020.

MATERIALS AND METHODS

84 CEUS examinations for the evaluation of renal cysts were evaluated retrospectively by six readers with different levels of ultrasound expertise using the modified Bosniak classification proposed for CEUS. All cases were anonymized, and each case was rated twice in randomized order. The consensus reading of two experts served as the gold standard, to which all other readers were compared. Statistical analysis was performed using Cohen's weighted kappa tests, where appropriate.

RESULTS

Intraobserver variability showed substantial to almost perfect agreement (lowest kappa κ=0.74; highest kappa κ=0.94), with expert level observers achieving the best results. Comparison to the gold standard was almost perfect for experts (highest kappa κ=0.95) and lower for beginner and intermediate level readers still achieving mostly substantial agreement (lowest kappa κ=0.59). Confidence of rating was highest for Bosniak classes I and IV and lowest for classes IIF and III.

CONCLUSION

Categorization of cystic renal lesions based on the Bosniak classification proposed by the EFSUMB in 2020 showed very good reproducibility. While even less experienced observers achieved mostly substantial agreement, training remains a major factor for better diagnostic performance.

ZIEL: Untersuchung der Inter- und Intraobserver-Variabilität im Vergleich zu einem Experten-Goldstandard der neuen und modifizierten Bosniak-Klassifikation von Nierenzysten, die von der European Federation of Societies for Ultrasound in Medicine and Biology (EFSUMB) im Jahr 2020 für Befunde im kontrastverstärkten Ultraschall (CEUS) vorgeschlagen wurde.

MATERIAL UND METHODEN

84 CEUS-Untersuchungen zur Beurteilung von Nierenzysten wurden retrospektiv von 6 Beobachtern mit unterschiedlicher Ultraschallexpertise anhand der für CEUS vorgeschlagenen modifizierten Bosniak-Klassifikation ausgewertet. Alle Fälle wurden anonymisiert, und jeder Fall wurde in randomisierter Reihenfolge 2-mal bewertet. Als Goldstandard diente der Konsens der Auswertung von 2 Experten, mit dem alle anderen Beobachter verglichen wurden. Die statistische Analyse erfolgte, sofern anwendbar, mittels Cohens Kappa.

ERGEBNISSE

Die Intraobserver-Variabilität zeigte eine erhebliche bis nahezu perfekte Übereinstimmung (niedrigstes Kappa κ=0,74; höchstes Kappa κ=0,94), wobei die Beobachter auf Expertenebene die besten Ergebnisse erzielten. Der Vergleich mit dem Goldstandard war für Experten nahezu perfekt (höchstes Kappa κ=0,95) und für Anfänger und Fortgeschrittene geringer, wobei dennoch meist eine erhebliche Übereinstimmung erzielt wurde (niedrigstes Kappa κ=0,59). Das Konfidenzniveau war für die Bosniak-Klassen I und IV am höchsten und für die Klassen IIF und III am niedrigsten.

SCHLUSSFOLGERUNG

Die Kategorisierung der zystischen Nierenläsionen nach der von der EFSUMB im Jahr 2020 vorgeschlagenen Bosniak-Klassifikation zeigte eine sehr gute Reproduzierbarkeit. Auch wenn selbst weniger erfahrene Beobachter meist eine erhebliche Übereinstimmung erzielten, ist die Ausbildung weiterhin ein wichtiger Faktor für eine bessere diagnostische Leistung.

Informations de copyright

Thieme. All rights reserved.

Déclaration de conflit d'intérêts

The authors declare that they have no conflict of interest.