Prehospital triage of acute aortic syndrome using a machine learning algorithm.
Journal
The British journal of surgery
ISSN: 1365-2168
Titre abrégé: Br J Surg
Pays: England
ID NLM: 0372553
Informations de publication
Date de publication:
07 2020
07 2020
Historique:
received:
31
05
2019
revised:
09
08
2019
accepted:
31
10
2019
pubmed:
12
2
2020
medline:
26
1
2021
entrez:
12
2
2020
Statut:
ppublish
Résumé
Acute aortic syndrome (AAS) comprises a complex and potentially fatal group of conditions requiring emergency specialist management. The aim of this study was to build a prediction algorithm to assist prehospital triage of AAS. Details of consecutive patients enrolled in a regional specialist aortic network were collected prospectively. Two prediction algorithms for AAS based on logistic regression and an ensemble machine learning method called SuperLearner (SL) were developed. Undertriage was defined as the proportion of patients with AAS not transported to the specialist aortic centre, and overtriage as the proportion of patients with alternative diagnoses but transported to the specialist aortic centre. Data for 976 hospital admissions between February 2010 and June 2017 were included; 609 (62·4 per cent) had AAS. Overtriage and undertriage rates were 52·3 and 16·1 per cent respectively. The population was divided into a training cohort (743 patients) and a validation cohort (233). The area under the receiver operating characteristic (ROC) curve values for the logistic regression score and the SL were 0·68 (95 per cent c.i. 0·64 to 0·72) and 0·87 (0·84 to 0·89) respectively (P < 0·001) in the training cohort, and 0·67 (0·60 to 0·74) and 0·73 (0·66 to 0·79) in the validation cohort (P = 0·038). The logistic regression score was associated with undertriage and overtriage rates of 33·7 (bootstrapped 95 per cent c.i. 29·3 to 38·3) and 7·2 (4·8 to 9·8) per cent respectively, whereas the SL yielded undertriage and overtriage rates of 1·0 (0·3 to 2·0) and 30·2 (25·8 to 34·8) per cent respectively. A machine learning prediction model performed well in discriminating AAS and could be clinically useful in prehospital triage of patients with suspected AAS. Los síndromes aórticos agudos (aortic acute syndromes, AAS) constituyen un grupo complejo y potencialmente letal de entidades que requieren un tratamiento especializado en emergencias. El objetivo de este estudio fue construir un algoritmo de predicción para ayudar a la selección prehospitalaria de los AAS. MÉTODOS: Se recogieron prospectivamente una serie de pacientes consecutivos inscritos en una red regional especializada en patología aórtica. Se desarrollaron dos algoritmos de predicción para AAS basados en una regresión logística y en un método de aprendizaje automático denominado Super Learner (SL). Undertriage (infra-selección) se definió como la proporción de pacientes con AAS no transportados al centro especializado en patología aórtica y el overtriage (sobre-selección) como la proporción de pacientes con diagnósticos alternativos al AAS pero transportados al centro especializado en patología aórtica. Se incluyeron los datos de 976 ingresos hospitalarios entre febrero de 2010 y junio de 2017, con 609 (62,4%) AAS. Las tasas de overtriage y undertriage fueron del 52,3% y del 16,1%, respectivamente. La población se dividió en una cohorte de entrenamiento (n = 743) y en una cohorte de validación (n = 233). El área bajo la curva ROC para la puntuación de regresión logística y el SL fueron de 0,68 (0,64, 0,72) y de 0,87 (0,84, 0,89), respectivamente (P < 0,001) en la cohorte de entrenamiento, y de 0,67 (0,60, 0,74) y de 0,73 (0,66, 0,79) en la cohorte de validación (P = 0,038). La puntuación de regresión logística se asoció con tasas de undertriage y overtriage de 33,7% (i.c. del 95% bootstrapped 29,3%, 38,3%) y de 7,2% (4,8%, 9,8%), respectivamente, mientras que el SL presentó tasas de undertriage y overtriage de 1,0% (0,3%, 2,0%) y de 30,2% (25,8%, 34,8%), respectivamente. CONCLUSIÓN: El modelo de predicción de aprendizaje automático funcionó bien para discriminar AAS y podría ser clínicamente útil en la selección prehospitalaria de pacientes con sospecha de síndrome aórtico agudo.
Sections du résumé
BACKGROUND
Acute aortic syndrome (AAS) comprises a complex and potentially fatal group of conditions requiring emergency specialist management. The aim of this study was to build a prediction algorithm to assist prehospital triage of AAS.
METHODS
Details of consecutive patients enrolled in a regional specialist aortic network were collected prospectively. Two prediction algorithms for AAS based on logistic regression and an ensemble machine learning method called SuperLearner (SL) were developed. Undertriage was defined as the proportion of patients with AAS not transported to the specialist aortic centre, and overtriage as the proportion of patients with alternative diagnoses but transported to the specialist aortic centre.
RESULTS
Data for 976 hospital admissions between February 2010 and June 2017 were included; 609 (62·4 per cent) had AAS. Overtriage and undertriage rates were 52·3 and 16·1 per cent respectively. The population was divided into a training cohort (743 patients) and a validation cohort (233). The area under the receiver operating characteristic (ROC) curve values for the logistic regression score and the SL were 0·68 (95 per cent c.i. 0·64 to 0·72) and 0·87 (0·84 to 0·89) respectively (P < 0·001) in the training cohort, and 0·67 (0·60 to 0·74) and 0·73 (0·66 to 0·79) in the validation cohort (P = 0·038). The logistic regression score was associated with undertriage and overtriage rates of 33·7 (bootstrapped 95 per cent c.i. 29·3 to 38·3) and 7·2 (4·8 to 9·8) per cent respectively, whereas the SL yielded undertriage and overtriage rates of 1·0 (0·3 to 2·0) and 30·2 (25·8 to 34·8) per cent respectively.
CONCLUSION
A machine learning prediction model performed well in discriminating AAS and could be clinically useful in prehospital triage of patients with suspected AAS.
ANTECEDENTES
Los síndromes aórticos agudos (aortic acute syndromes, AAS) constituyen un grupo complejo y potencialmente letal de entidades que requieren un tratamiento especializado en emergencias. El objetivo de este estudio fue construir un algoritmo de predicción para ayudar a la selección prehospitalaria de los AAS. MÉTODOS: Se recogieron prospectivamente una serie de pacientes consecutivos inscritos en una red regional especializada en patología aórtica. Se desarrollaron dos algoritmos de predicción para AAS basados en una regresión logística y en un método de aprendizaje automático denominado Super Learner (SL). Undertriage (infra-selección) se definió como la proporción de pacientes con AAS no transportados al centro especializado en patología aórtica y el overtriage (sobre-selección) como la proporción de pacientes con diagnósticos alternativos al AAS pero transportados al centro especializado en patología aórtica.
RESULTADOS
Se incluyeron los datos de 976 ingresos hospitalarios entre febrero de 2010 y junio de 2017, con 609 (62,4%) AAS. Las tasas de overtriage y undertriage fueron del 52,3% y del 16,1%, respectivamente. La población se dividió en una cohorte de entrenamiento (n = 743) y en una cohorte de validación (n = 233). El área bajo la curva ROC para la puntuación de regresión logística y el SL fueron de 0,68 (0,64, 0,72) y de 0,87 (0,84, 0,89), respectivamente (P < 0,001) en la cohorte de entrenamiento, y de 0,67 (0,60, 0,74) y de 0,73 (0,66, 0,79) en la cohorte de validación (P = 0,038). La puntuación de regresión logística se asoció con tasas de undertriage y overtriage de 33,7% (i.c. del 95% bootstrapped 29,3%, 38,3%) y de 7,2% (4,8%, 9,8%), respectivamente, mientras que el SL presentó tasas de undertriage y overtriage de 1,0% (0,3%, 2,0%) y de 30,2% (25,8%, 34,8%), respectivamente. CONCLUSIÓN: El modelo de predicción de aprendizaje automático funcionó bien para discriminar AAS y podría ser clínicamente útil en la selección prehospitalaria de pacientes con sospecha de síndrome aórtico agudo.
Autres résumés
Type: Publisher
(spa)
Los síndromes aórticos agudos (aortic acute syndromes, AAS) constituyen un grupo complejo y potencialmente letal de entidades que requieren un tratamiento especializado en emergencias. El objetivo de este estudio fue construir un algoritmo de predicción para ayudar a la selección prehospitalaria de los AAS. MÉTODOS: Se recogieron prospectivamente una serie de pacientes consecutivos inscritos en una red regional especializada en patología aórtica. Se desarrollaron dos algoritmos de predicción para AAS basados en una regresión logística y en un método de aprendizaje automático denominado Super Learner (SL). Undertriage (infra-selección) se definió como la proporción de pacientes con AAS no transportados al centro especializado en patología aórtica y el overtriage (sobre-selección) como la proporción de pacientes con diagnósticos alternativos al AAS pero transportados al centro especializado en patología aórtica.
Types de publication
Journal Article
Observational Study
Langues
eng
Sous-ensembles de citation
IM
Pagination
995-1003Informations de copyright
© 2020 BJS Society Ltd Published by John Wiley & Sons Ltd.
Références
Erbel R, Aboyans V, Boileau C, Bossone E, Bartolomeo RD, Eggebrecht H et al.; ESC Committee for Practice Guidelines. 2014 ESC guidelines on the diagnosis and treatment of aortic diseases: document covering acute and chronic aortic diseases of the thoracic and abdominal aorta of the adult. The Task Force for the Diagnosis and Treatment of Aortic Diseases of the European Society of Cardiology (ESC). Eur Heart J 2014; 35: 2873-2926.
Howard DP, Banerjee A, Fairhead JF, Perkins J, Silver LE, Rothwell PM; Oxford Vascular Study. Population-based study of incidence and outcome of acute aortic dissection and premorbid risk factor control: 10-year results from the Oxford Vascular Study. Circulation 2013; 127: 2031-2037.
Dimick JB, Upchurch GR Jr. Endovascular technology, hospital volume, and mortality with abdominal aortic aneurysm surgery. J Vasc Surg 2008; 47: 1150-1154.
Chikwe J, Cavallaro P, Itagaki S, Seigerman M, DiLuozzo G, Adams DH. National outcomes in acute aortic dissection: influence of surgeon and institutional volume on operative mortality. Ann Thorac Surg 2013; 95: 1563-1569.
Merlo AE, Chauhan D, Pettit C, Hong KN, Saunders CR, Chen C et al. Outcomes following emergent open repair for thoracic aortic dissection are improved at higher volume centers in direct admissions and transfers. J Cardiothorac Surg 2016; 11: 118.
Andersen ND, Benrashid E, Ross AK, Pickett LC, Smith PK, Daneshmand MA et al. The utility of the aortic dissection team: outcomes and insights after a decade of experience. Ann Cardiothorac Surg 2016; 5: 194-201.
Duceau B, Alsac JM, Bellenfant F, Mailloux A, Chhor V, Lagrange A et al. Improved survival after implementation of a large-scale regional dedicated aortic network. J Am Coll Cardiol 2017; 70: 3068-3069.
Haas B, Stukel TA, Gomez D, Zagorski B, De Mestral C, Sharma SV et al. The mortality benefit of direct trauma center transport in a regional trauma system: a population-based analysis. J Trauma Acute Care Surg 2012; 72: 1510-1515.
Yamashita A, Maeda T, Kita Y, Sakagami S, Myojo Y, Wato Y et al. The impact of prehospital assessment and EMS transport of acute aortic syndrome patients. Am J Emerg Med 2018; 36: 1188-1194.
Newgard CD, Staudenmayer K, Hsia RY, Mann NC, Bulger EM, Holmes JF et al. The cost of overtriage: more than one-third of low-risk injured patients were taken to major trauma centers. Health Aff (Millwood) 2013; 32: 1591-1599.
Hiratzka LF, Bakris GL, Beckman JA, Bersin RM, Carr VF, Casey DEJ et al.; American College of Cardiology Foundation/American Heart Association Task Force on Practice Guidelines; American Association for Thoracic Surgery; American College of Radiology; American Stroke Association; Society of Cardiovascular Anesthesiologists; Society for Cardiovascular Angiography and Interventions; Society of Interventional Radiology; Society of Thoracic Surgeons; Society for Vascular Medicine. 2010 ACCF/AHA/AATS/ACR/ASA/SCA/SCAI/SIR/STS/SVM guidelines for the diagnosis and management of patients with thoracic aortic disease: a report of the American College of Cardiology Foundation/American Heart Association Task Force on Practice Guidelines, American Association for Thoracic Surgery, American College of Radiology, American Stroke Association, Society of Cardiovascular Anesthesiologists, Society for Cardiovascular Angiography and Interventions, Society of Interventional Radiology, Society of Thoracic Surgeons, and Society for Vascular Medicine. Circulation 2010; 121: e266-e369.
Nazerian P, Giachino F, Vanni S, Veglio MG, Castelli M, Lison D et al. Diagnostic performance of the aortic dissection detection risk score in patients with suspected acute aortic dissection. Eur Heart J Acute Cardiovasc Care 2014; 3: 373-381.
Moons KG, Altman DG, Reitsma JB, Ioannidis JP, Macaskill P, Steyerberg EW et al. Transparent reporting of a multivariable prediction model for individual prognosis or diagnosis (TRIPOD): explanation and elaboration. Ann Intern Med 2015; 162: W1-W73.
Daily PO, Trueblood HW, Stinson EB, Wuerflein RD, Shumway NE. Management of acute aortic dissections. Ann Thorac Surg 1970; 10: 237-247.
van der Laan MJ, Polley EC, Hubbard AE. Super learner. Stat Appl Genet Mol Biol 2007; 6: 25.
Tufféry S. Modélisation Prédictive et Apprentissage Statistique Avec R. Éditions Technip: Paris, 2015.
LeDell E, Petersen M, van der Laan M. Computationally efficient confidence intervals for cross-validated area under the ROC curve estimates. Electron J Stat 2015; 9: 1583-1607.
Sun X, Xu W. Fast implementation of DeLong's algorithm for comparing the areas under correlated receiver operating characteristic curves. IEEE Signal Process Lett 2014; 21: 1389-1393.
Youden WJ. Index for rating diagnostic tests. Cancer 1950; 3: 32-35.
Committee on Trauma, American College of Surgeons. Resources for Optimal Care of the Injured Patient. American College of Surgeons: Chicago, 2014.
Greiner M. Two-graph receiver operating characteristic (TG-ROC): update version supports optimisation of cut-off values that minimise overall misclassification costs. J Immunol Methods 1996; 191: 93-94.
Pencina MJ, D'Agostino RB Sr, D'Agostino RB Jr, Vasan RS. Evaluating the added predictive ability of a new marker: from area under the ROC curve to reclassification and beyond. Stat Med 2008; 27: 157-172.
Writing Group Members, Mozaffarian D, Benjamin EJ, Go AS, Arnett DK, Blaha MJ, Cushman M et al; American Heart Association Statistics Committee; Stroke Statistics Subcommittee. Heart disease and stroke statistics - 2016 update: a report from the American Heart Association. Circulation 2016; 133: e38-e360.
Hamada SR, Gauss T, Duchateau FX, Truchot J, Harrois A, Raux M et al. Evaluation of the performance of French physician-staffed emergency medical service in the triage of major trauma patients. J Trauma Acute Care Surg 2014; 76: 1476-1483.
Cox S, Smith K, Currell A, Harriss L, Barger B, Cameron P. Differentiation of confirmed major trauma patients and potential major trauma patients using pre-hospital trauma triage criteria. Injury 2011; 42: 889-895.
Wang W, Duan W, Xue Y, Wang L, Liu J, Yu S et al.; Registry of Aortic Dissection in China Sino-RAD Investigators. Clinical features of acute aortic dissection from the Registry of Aortic Dissection in China. J Thorac Cardiovasc Surg 2014; 148: 2995-3000.
Hames H, Forbes TL, Harris JR, Lawlor DK, DeRose G, Harris KA. The effect of patient transfer on outcomes after rupture of an abdominal aortic aneurysm. Can J Surg 2007; 50: 43-47.