Validation of an Electronic Medical Record-Based Algorithm for Identifying Posttraumatic Stress Disorder in U.S. Veterans.


Journal

Journal of traumatic stress
ISSN: 1573-6598
Titre abrégé: J Trauma Stress
Pays: United States
ID NLM: 8809259

Informations de publication

Date de publication:
04 2019
Historique:
received: 08 02 2018
revised: 21 11 2018
accepted: 27 11 2018
entrez: 23 4 2019
pubmed: 23 4 2019
medline: 24 6 2020
Statut: ppublish

Résumé

We developed an algorithm for identifying U.S. veterans with a history of posttraumatic stress disorder (PTSD), using the Department of Veterans Affairs (VA) electronic medical record (EMR) system. This work was motivated by the need to create a valid EMR-based phenotype to identify thousands of cases and controls for a genome-wide association study of PTSD in veterans. We used manual chart review (n = 500) as the gold standard. For both the algorithm and chart review, three classifications were possible: likely PTSD, possible PTSD, and likely not PTSD. We used Lasso regression with cross-validation to select statistically significant predictors of PTSD from the EMR and then generate a predicted probability score of being a PTSD case for every participant in the study population (range: 0-1.00). Comparing the performance of our probabilistic approach (Lasso algorithm) to a rule-based approach (International Classification of Diseases [ICD] algorithm), the Lasso algorithm showed modestly higher overall percent agreement with chart review than the ICD algorithm (80% vs. 75%), higher sensitivity (0.95 vs. 0.84), and higher accuracy (AUC = 0.95 vs. 0.90). We applied a 0.7 probability cut-point to the Lasso results to determine final PTSD case-control status for the VA population. The final algorithm had a 0.99 sensitivity, 0.99 specificity, 0.95 positive predictive value, and 1.00 negative predictive value for PTSD classification (grouping possible PTSD and likely not PTSD) as determined by chart review. This algorithm may be useful for other research and quality improvement endeavors within the VA. Spanish Abstracts by Asociación Chilena de Estrés Traumático (ACET) Validación de un algoritmo basado en registros médicos electrónicos para identificar el trastorno por estrés postraumático en veteranos de los EE. UU. VALIDACIÓN DE ALGORITOMO DE TEPT Desarrollamos un algoritmo para identificar a los veteranos de EE. UU. con historial de trastorno de estrés postraumático (TEPT), utilizando el sistema de registro médico electrónico (RME) del Departamento de Asuntos de Veteranos (AS). Este trabajo fue motivado por la necesidad de crear un fenotipo válido, basado en RME para identificar miles de casos y controles para un estudio de asociación del genoma del TEPT en los veteranos. Utilizamos la revisión manual de tablas (n = 500) como gold estándar. Tanto para el algoritmo como para la revisión de la tabla, fueron posibles tres clasificaciones: PTSD probable, PTSD posible y probablemente no PTSD. Usamos la regresión Lasso con validación cruzada para seleccionar los factores de pronóstico estadísticamente significativos del TEPT a partir de la RME y luego generar una puntuación de probabilidad pronosticada de ser un caso de TEPT para cada participante en la población del estudio (rango: 0-1.00). Comparando el rendimiento de nuestro enfoque probabilístico (algoritmo Lasso) con un enfoque basado en reglas (algoritmo de Clasificación Internacional de Enfermedades [CIE]), el algoritmo Lasso mostró un porcentaje de acuerdo global modestamente más alto con la revisión de tablas que el algoritmo CIE (80% vs. 75). %), mayor sensibilidad (0.95 frente a 0.84) y mayor precisión (AUC = 0.95 frente a 0.90). Aplicamos un punto de corte de probabilidad de 0.7 a los resultados de Lasso para determinar el estado final de control de caso de TEPT para la población de AV. El algoritmo final tuvo una sensibilidad de 0.99, una especificidad de 0.99, un valor predictivo positivo de 0.95 y un valor predictivo negativo de 1.00 para la clasificación de TEPT (agrupación de TEPT posible y probablemente no TEPT) según lo determinado por la revisión de la tabla. Este algoritmo puede ser útil para otros esfuerzos de investigación y mejora de la calidad dentro del AV. Traditional and Simplified Chinese Abstracts by the Asian Society for Traumatic Stress Studies (AsianSTSS) 簡體及繁體中文撮要由亞洲創傷心理研究學會翻譯 Validation of an Electronic Medical Record-Based Algorithm for Identifying Posttraumatic Stress Disorder in U.S. Veterans Traditional Chinese 標題: 用以找出患創傷後壓力症美國退役軍人的電子健康紀錄為本演算法的效度驗證 撮要: 我們採用美國退伍軍人事務部(VA)電子健康紀錄(EMR)系統, 建立用以找出曾患創傷後壓力症(PTSD)的美國退役軍人的演算法。我們有見針對退役軍人患PTSD的基因組關連研究需有一個有效的EMR為本表型, 以找出數以千計的個案和對照, 因而作此研究。我們以人手進行圖表回顧作為黃金標準 (n = 500)。在演算法和圖表回顧中的分類法都有三種有可能:很大機會患PTSD、有可能患PTSD、 很大機會沒有患PTSD。我們採用Lasso迴歸法並進行交叉驗證, 從EMR選取具統計顯著性的PTSD預測變量, 然後對每個研究樣本作出患PTSD的概率分數預測(值域: 0-1.00)。我們採用的概率分析法(Lasso 演算法) 相比規條為本的分析法 (國際疾病分類 [ICD] 演算法), 在圖表回顧方面反映稍為較高的整體吻合百分比 (80% vs. 75%), 並有較高敏感度(0.95 vs. 0.84)和準確度(AUC = 0.95 vs. 0.90)。針對Lasso的分析結果, 我們以0.7概率作為取錄點以最後定義VA人口的PTSD個案對照狀態。圖表回顧對於PTSD 分類 (把有可能患 PTSD 及很大機會沒患PTSD結合 ) , 最後的演算法敏感度為 0.99、特殊度 0.99、正向預測值 0.95、負向預測值1.00。此演算法對VA的其他研究和非量化改善計劃可能有所幫助。 Simplified Chinese 标题: 用以找出患创伤后压力症美国退役军人的电子健康纪录为本算法的效度验证 撮要: 我们采用美国退伍军人事务部(VA)电子健康纪录(EMR)系统, 建立用以找出曾患创伤后压力症(PTSD)的美国退役军人的算法。我们有见针对退役军人患PTSD的基因组关连研究需有一个有效的EMR为本表型, 以找出数以千计的个案和对照, 因而作此研究。我们以人手进行图表回顾作为黄金标准 (n = 500)。在算法和图表回顾中的分类法都有三种有可能:很大机会患PTSD、有可能患PTSD、 很大机会没有患PTSD。我们采用Lasso回归法并进行交叉验证, 从EMR选取具统计显著性的PTSD预测变量, 然后对每个研究样本作出患PTSD的概率分数预测(值域: 0-1.00)。我们采用的概率分析法(Lasso 算法) 相比规条为本的分析法 (国际疾病分类 [ICD] 算法), 在图表回顾方面反映稍为较高的整体吻合百分比 (80% vs. 75%), 并有较高敏感度(0.95 vs. 0.84)和准确度(AUC = 0.95 vs. 0.90)。针对Lasso的分析结果, 我们以0.7概率作为取录点以最后定义VA人口的PTSD个案对照状态。图表回顾对于PTSD 分类 (把有可能患 PTSD 及很大机会没患PTSD结合 ) , 最后的算法敏感度为 0.99、特殊度 0.99、正向预测值 0.95、负向预测值1.00。此算法对VA的其他研究和非量化改善计划可能有所帮助。.

Autres résumés

Type: Publisher (spa)
Spanish Abstracts by Asociación Chilena de Estrés Traumático (ACET) Validación de un algoritmo basado en registros médicos electrónicos para identificar el trastorno por estrés postraumático en veteranos de los EE. UU. VALIDACIÓN DE ALGORITOMO DE TEPT Desarrollamos un algoritmo para identificar a los veteranos de EE. UU. con historial de trastorno de estrés postraumático (TEPT), utilizando el sistema de registro médico electrónico (RME) del Departamento de Asuntos de Veteranos (AS). Este trabajo fue motivado por la necesidad de crear un fenotipo válido, basado en RME para identificar miles de casos y controles para un estudio de asociación del genoma del TEPT en los veteranos. Utilizamos la revisión manual de tablas (n = 500) como gold estándar. Tanto para el algoritmo como para la revisión de la tabla, fueron posibles tres clasificaciones: PTSD probable, PTSD posible y probablemente no PTSD. Usamos la regresión Lasso con validación cruzada para seleccionar los factores de pronóstico estadísticamente significativos del TEPT a partir de la RME y luego generar una puntuación de probabilidad pronosticada de ser un caso de TEPT para cada participante en la población del estudio (rango: 0-1.00). Comparando el rendimiento de nuestro enfoque probabilístico (algoritmo Lasso) con un enfoque basado en reglas (algoritmo de Clasificación Internacional de Enfermedades [CIE]), el algoritmo Lasso mostró un porcentaje de acuerdo global modestamente más alto con la revisión de tablas que el algoritmo CIE (80% vs. 75). %), mayor sensibilidad (0.95 frente a 0.84) y mayor precisión (AUC = 0.95 frente a 0.90). Aplicamos un punto de corte de probabilidad de 0.7 a los resultados de Lasso para determinar el estado final de control de caso de TEPT para la población de AV. El algoritmo final tuvo una sensibilidad de 0.99, una especificidad de 0.99, un valor predictivo positivo de 0.95 y un valor predictivo negativo de 1.00 para la clasificación de TEPT (agrupación de TEPT posible y probablemente no TEPT) según lo determinado por la revisión de la tabla. Este algoritmo puede ser útil para otros esfuerzos de investigación y mejora de la calidad dentro del AV.
Type: Publisher (chi)
Traditional and Simplified Chinese Abstracts by the Asian Society for Traumatic Stress Studies (AsianSTSS) 簡體及繁體中文撮要由亞洲創傷心理研究學會翻譯 Validation of an Electronic Medical Record-Based Algorithm for Identifying Posttraumatic Stress Disorder in U.S. Veterans Traditional Chinese 標題: 用以找出患創傷後壓力症美國退役軍人的電子健康紀錄為本演算法的效度驗證 撮要: 我們採用美國退伍軍人事務部(VA)電子健康紀錄(EMR)系統, 建立用以找出曾患創傷後壓力症(PTSD)的美國退役軍人的演算法。我們有見針對退役軍人患PTSD的基因組關連研究需有一個有效的EMR為本表型, 以找出數以千計的個案和對照, 因而作此研究。我們以人手進行圖表回顧作為黃金標準 (n = 500)。在演算法和圖表回顧中的分類法都有三種有可能:很大機會患PTSD、有可能患PTSD、 很大機會沒有患PTSD。我們採用Lasso迴歸法並進行交叉驗證, 從EMR選取具統計顯著性的PTSD預測變量, 然後對每個研究樣本作出患PTSD的概率分數預測(值域: 0-1.00)。我們採用的概率分析法(Lasso 演算法) 相比規條為本的分析法 (國際疾病分類 [ICD] 演算法), 在圖表回顧方面反映稍為較高的整體吻合百分比 (80% vs. 75%), 並有較高敏感度(0.95 vs. 0.84)和準確度(AUC = 0.95 vs. 0.90)。針對Lasso的分析結果, 我們以0.7概率作為取錄點以最後定義VA人口的PTSD個案對照狀態。圖表回顧對於PTSD 分類 (把有可能患 PTSD 及很大機會沒患PTSD結合 ) , 最後的演算法敏感度為 0.99、特殊度 0.99、正向預測值 0.95、負向預測值1.00。此演算法對VA的其他研究和非量化改善計劃可能有所幫助。 Simplified Chinese 标题: 用以找出患创伤后压力症美国退役军人的电子健康纪录为本算法的效度验证 撮要: 我们采用美国退伍军人事务部(VA)电子健康纪录(EMR)系统, 建立用以找出曾患创伤后压力症(PTSD)的美国退役军人的算法。我们有见针对退役军人患PTSD的基因组关连研究需有一个有效的EMR为本表型, 以找出数以千计的个案和对照, 因而作此研究。我们以人手进行图表回顾作为黄金标准 (n = 500)。在算法和图表回顾中的分类法都有三种有可能:很大机会患PTSD、有可能患PTSD、 很大机会没有患PTSD。我们采用Lasso回归法并进行交叉验证, 从EMR选取具统计显著性的PTSD预测变量, 然后对每个研究样本作出患PTSD的概率分数预测(值域: 0-1.00)。我们采用的概率分析法(Lasso 算法) 相比规条为本的分析法 (国际疾病分类 [ICD] 算法), 在图表回顾方面反映稍为较高的整体吻合百分比 (80% vs. 75%), 并有较高敏感度(0.95 vs. 0.84)和准确度(AUC = 0.95 vs. 0.90)。针对Lasso的分析结果, 我们以0.7概率作为取录点以最后定义VA人口的PTSD个案对照状态。图表回顾对于PTSD 分类 (把有可能患 PTSD 及很大机会没患PTSD结合 ) , 最后的算法敏感度为 0.99、特殊度 0.99、正向预测值 0.95、负向预测值1.00。此算法对VA的其他研究和非量化改善计划可能有所帮助。.

Identifiants

pubmed: 31009556
doi: 10.1002/jts.22399
pmc: PMC6699164
mid: NIHMS1027591
doi:

Types de publication

Journal Article Research Support, U.S. Gov't, Non-P.H.S. Validation Study

Langues

eng

Sous-ensembles de citation

IM

Pagination

226-237

Subventions

Organisme : Intramural VA
ID : 575B
Pays : United States

Informations de copyright

Published 2019. This article is a U.S. Government work and is in the public domain in the USA.

Références

J Am Med Inform Assoc. 2015 Sep;22(5):993-1000
pubmed: 25929596
J Am Med Inform Assoc. 2013 Jun;20(e1):e147-54
pubmed: 23531748
J Clin Epidemiol. 2012 Mar;65(3):343-349.e2
pubmed: 22197520
J Subst Abuse Treat. 2013 Jul;45(1):134-42
pubmed: 23506779
J Consult Clin Psychol. 2014 Aug;82(4):569-579
pubmed: 24731235
Clin Genet. 2014 Jul;86(1):50-5
pubmed: 24588254
Psychol Assess. 2018 Mar;30(3):383-395
pubmed: 28493729
Gen Hosp Psychiatry. 2005 May-Jun;27(3):169-79
pubmed: 15882763
Biometrics. 1977 Mar;33(1):159-74
pubmed: 843571
J Stat Softw. 2010;33(1):1-22
pubmed: 20808728
Hum Genet. 2014 Nov;133(11):1369-82
pubmed: 25062868
Depress Anxiety. 2011 Jul;28(7):596-606
pubmed: 21681864
BMC Health Serv Res. 2012 Jan 23;12:18
pubmed: 22270080
Psychiatr Serv. 2015 Feb 1;66(2):141-8
pubmed: 25320943
Am J Med Genet B Neuropsychiatr Genet. 2018 Oct;177(7):601-612
pubmed: 28557243
Adv Genet. 2008;60:75-105
pubmed: 18358317
Am J Med Qual. 2010 Jan-Feb;25(1):42-50
pubmed: 19855046
AMIA Annu Symp Proc. 2007 Oct 11;:651-5
pubmed: 18693917
Int J Methods Psychiatr Res. 2016 Mar;25(1):22-32
pubmed: 26082028
J Health Res Rev Dev Ctries. 2018;5(2):98-107
pubmed: 33117892
J Rehabil Res Dev. 2011;48(1):21-30
pubmed: 21328160
Psychol Bull. 1968 Oct;70(4):213-20
pubmed: 19673146
J Clin Epidemiol. 2016 Feb;70:214-23
pubmed: 26441289

Auteurs

Kelly M Harrington (KM)

Massachusetts Veterans Epidemiology Research and Information Center (MAVERIC), VA Boston Healthcare System, Boston, Massachusetts, USA.
Department of Psychiatry, Boston University School of Medicine, Boston, Massachusetts, USA.

Rachel Quaden (R)

Massachusetts Veterans Epidemiology Research and Information Center (MAVERIC), VA Boston Healthcare System, Boston, Massachusetts, USA.

Murray B Stein (MB)

Psychiatry Service, VA San Diego Healthcare System, San Diego, California, USA.
Departments of Psychiatry and Family Medicine & Public Health, University of California San Diego, La Jolla, California, USA.

Jacqueline P Honerlaw (JP)

Massachusetts Veterans Epidemiology Research and Information Center (MAVERIC), VA Boston Healthcare System, Boston, Massachusetts, USA.

Shadha Cissell (S)

Psychiatry Service, VA San Diego Healthcare System, San Diego, California, USA.

Robert H Pietrzak (RH)

Psychiatry Service, VA Connecticut Healthcare System, West Haven, Connecticut, USA.
Department of Psychiatry, Yale University School of Medicine, New Haven, Connecticut, USA.

Hongyu Zhao (H)

VA Clinical Epidemiology Research Center (CERC), VA Connecticut Healthcare System, West Haven, Connecticut, USA.
Department of Biostatistics, Yale University School of Public Health, New Haven, Connecticut, USA.

Krishnan Radhakrishnan (K)

VA Clinical Epidemiology Research Center (CERC), VA Connecticut Healthcare System, West Haven, Connecticut, USA.
Department of Internal Medicine, University of Kentucky College of Medicine, Lexington, Kentucky, USA.

Mihaela Aslan (M)

VA Clinical Epidemiology Research Center (CERC), VA Connecticut Healthcare System, West Haven, Connecticut, USA.
Department of Medicine, Yale University School of Medicine, New Haven, Connecticut, USA.

John Michael Gaziano (JM)

Massachusetts Veterans Epidemiology Research and Information Center (MAVERIC), VA Boston Healthcare System, Boston, Massachusetts, USA.
Department of Medicine, Brigham and Women's Hospital, Harvard Medical School, Boston, Massachusetts, USA.

John Concato (J)

VA Clinical Epidemiology Research Center (CERC), VA Connecticut Healthcare System, West Haven, Connecticut, USA.
Department of Medicine, Yale University School of Medicine, New Haven, Connecticut, USA.

David R Gagnon (DR)

Massachusetts Veterans Epidemiology Research and Information Center (MAVERIC), VA Boston Healthcare System, Boston, Massachusetts, USA.
Department of Biostatistics, Boston University School of Public Health, Boston, Massachusetts, USA.

Joel Gelernter (J)

Psychiatry Service, VA Connecticut Healthcare System, West Haven, Connecticut, USA.
Department of Psychiatry, Yale University School of Medicine, New Haven, Connecticut, USA.
Departments of Genetics and Neuroscience, Yale University School of Medicine, New Haven, Connecticut, USA.

Kelly Cho (K)

Massachusetts Veterans Epidemiology Research and Information Center (MAVERIC), VA Boston Healthcare System, Boston, Massachusetts, USA.
Department of Medicine, Brigham and Women's Hospital, Harvard Medical School, Boston, Massachusetts, USA.

Articles similaires

[Redispensing of expensive oral anticancer medicines: a practical application].

Lisanne N van Merendonk, Kübra Akgöl, Bastiaan Nuijen
1.00
Humans Antineoplastic Agents Administration, Oral Drug Costs Counterfeit Drugs

Smoking Cessation and Incident Cardiovascular Disease.

Jun Hwan Cho, Seung Yong Shin, Hoseob Kim et al.
1.00
Humans Male Smoking Cessation Cardiovascular Diseases Female
Humans United States Aged Cross-Sectional Studies Medicare Part C
1.00
Humans Yoga Low Back Pain Female Male

Classifications MeSH