Assessment of the Non-Technical Skills for Surgeons (NOTSS) framework in the USA.
Journal
The British journal of surgery
ISSN: 1365-2168
Titre abrégé: Br J Surg
Pays: England
ID NLM: 0372553
Informations de publication
Date de publication:
08 2020
08 2020
Historique:
received:
18
12
2019
revised:
30
01
2020
accepted:
07
03
2020
pubmed:
24
4
2020
medline:
23
2
2021
entrez:
24
4
2020
Statut:
ppublish
Résumé
Surgeons' non-technical skills are important for patient safety. The Non-Technical Skills for Surgeons assessment tool was developed in the UK and recently adapted to the US surgical context (NOTSS-US). The aim of this study was to evaluate the reliability and distribution of non-technical skill ratings given by attending (consultant) surgeons who underwent brief online training. Attending surgeons across six specialties at a large US academic medical centre underwent a 10-min online training, then rated 60-s standardized videos of simulated operations. Intraclass correlation coefficient (ICC), and mean(s.d.) values for NOTSS-US ratings were determined for each non-technical skill category (score range 1-5, where 1 indicates poor, 3 average and 5 excellent) and for total NOTSS-US score (range 4-20; sum of 4 category scores). Outcomes were adjusted for rater characteristics including sex, specialty and clinical experience. A total of 8889 ratings were submitted by 81 surgeon raters on 30 simulated intraoperative videos. The mean(s.d.) total NOTSS-US score for all videos was 9·5(4·8) of 20. The within-video ICC for total NOTSS-US score was 0·64 (95 per cent c.i. 0·57 to 0·70). For individual non-technical skill categories, the ICC was highest for social skills (communication/teamwork: 0·63, 95 per cent c.i. 0·56 to 0·71; leadership: 0·64, 0·55 to 0·72) and lowest for cognitive skills (situation awareness: 0·54, 0·45 to 0·62; decision-making: 0·50, 0·41 to 0·59). Women gave higher total NOTSS-US scores than men (adjusted mean difference 0·93, 95 per cent c.i. 0·44 to 1·43; P = 0·001). After brief online training, the inter-rater reliability of the NOTSS-US assessment tool achieved moderate strength among trained surgeons rating simulated intraoperative videos. Las habilidades no técnicas de los cirujanos (Non-Technical Skills for Surgeons, NOTSS) son importantes para la seguridad del paciente. La herramienta de evaluación de habilidades no técnicas para cirujanos se desarrolló en el Reino Unido y se adaptó recientemente al contexto quirúrgico de los Estados Unidos (NOTSS-US.). El objetivo de este estudio fue evaluar la fiabilidad y distribución de las calificaciones de habilidades no técnicas obtenidas por cirujanos adjuntos de cirugía (consultores) que recibieron una breve formación online. MÉTODOS: Cirujanos adjuntos de 6 especialidades en un gran centro universitario de Estados Unidos recibieron una formación online de 10 minutos de duración y seguidamente puntuaron vídeos estandarizados de operaciones simuladas de 60 minutos de duración. Se calcularon el coeficiente de correlación intraclase (intraclass correlation coefficient, ICC), la media y la desviación estándar (standard deviation, SD) para la puntuación de cada categoría de habilidad no técnica del NOTSS-US (rango 1-5, siendo 1 = pobre, 3 = promedio, 5 = excelente) y para la puntuación global de NOTSS-US (rango 4-20, suma de las puntuaciones de las cuatro categorías). Los resultados se ajustaron de acuerdo con las características del evaluador, incluyendo sexo, especialidad, experiencia clínica. En 30 videos intraoperatorios simulados, 81 cirujanos evaluadores proporcionaron 8.889 puntaciones. La puntuación media global de NOTSS-US para todos los vídeos fue de 9,5 sobre 20 (SD 4,8). El ICC de los vídeos para la puntuación global de NOTSS-US fue 0,64 (i.c. del 95% 0,57-0,70). Para las categorías individuales de habilidades no técnicas, el ICC más alto fue para las habilidades sociales (comunicación / trabajo en equipo: 0,63, (i.c. del 95% 0,56-0,71); liderazgo, 0,64 (i.c. del 95% 0,55-0,72)) y el más bajo para las habilidades cognitivas (conciencia de la situación 0,54 (i.c. del 95% 0,45-0,62); toma de decisiones 0,50 (i.c. del 95% 0,41-0,59)). Las evaluadoras femeninas presentaron puntuaciones globales de NOTSS-US más altas que los evaluadores masculinos (diferencia 0,93, i.c. del 95% 0,44-1,43; P = 0,001)). CONCLUSIÓN: Después de una breve formación online, la fiabilidad de la herramienta de evaluación NOTSS-US mostró una correlación moderada entre los cirujanos que puntuaron vídeos de simulaciones de intervenciones quirúrgicas.
Sections du résumé
BACKGROUND
Surgeons' non-technical skills are important for patient safety. The Non-Technical Skills for Surgeons assessment tool was developed in the UK and recently adapted to the US surgical context (NOTSS-US). The aim of this study was to evaluate the reliability and distribution of non-technical skill ratings given by attending (consultant) surgeons who underwent brief online training.
METHODS
Attending surgeons across six specialties at a large US academic medical centre underwent a 10-min online training, then rated 60-s standardized videos of simulated operations. Intraclass correlation coefficient (ICC), and mean(s.d.) values for NOTSS-US ratings were determined for each non-technical skill category (score range 1-5, where 1 indicates poor, 3 average and 5 excellent) and for total NOTSS-US score (range 4-20; sum of 4 category scores). Outcomes were adjusted for rater characteristics including sex, specialty and clinical experience.
RESULTS
A total of 8889 ratings were submitted by 81 surgeon raters on 30 simulated intraoperative videos. The mean(s.d.) total NOTSS-US score for all videos was 9·5(4·8) of 20. The within-video ICC for total NOTSS-US score was 0·64 (95 per cent c.i. 0·57 to 0·70). For individual non-technical skill categories, the ICC was highest for social skills (communication/teamwork: 0·63, 95 per cent c.i. 0·56 to 0·71; leadership: 0·64, 0·55 to 0·72) and lowest for cognitive skills (situation awareness: 0·54, 0·45 to 0·62; decision-making: 0·50, 0·41 to 0·59). Women gave higher total NOTSS-US scores than men (adjusted mean difference 0·93, 95 per cent c.i. 0·44 to 1·43; P = 0·001).
CONCLUSION
After brief online training, the inter-rater reliability of the NOTSS-US assessment tool achieved moderate strength among trained surgeons rating simulated intraoperative videos.
ANTECEDENTES
Las habilidades no técnicas de los cirujanos (Non-Technical Skills for Surgeons, NOTSS) son importantes para la seguridad del paciente. La herramienta de evaluación de habilidades no técnicas para cirujanos se desarrolló en el Reino Unido y se adaptó recientemente al contexto quirúrgico de los Estados Unidos (NOTSS-US.). El objetivo de este estudio fue evaluar la fiabilidad y distribución de las calificaciones de habilidades no técnicas obtenidas por cirujanos adjuntos de cirugía (consultores) que recibieron una breve formación online. MÉTODOS: Cirujanos adjuntos de 6 especialidades en un gran centro universitario de Estados Unidos recibieron una formación online de 10 minutos de duración y seguidamente puntuaron vídeos estandarizados de operaciones simuladas de 60 minutos de duración. Se calcularon el coeficiente de correlación intraclase (intraclass correlation coefficient, ICC), la media y la desviación estándar (standard deviation, SD) para la puntuación de cada categoría de habilidad no técnica del NOTSS-US (rango 1-5, siendo 1 = pobre, 3 = promedio, 5 = excelente) y para la puntuación global de NOTSS-US (rango 4-20, suma de las puntuaciones de las cuatro categorías). Los resultados se ajustaron de acuerdo con las características del evaluador, incluyendo sexo, especialidad, experiencia clínica.
RESULTADOS
En 30 videos intraoperatorios simulados, 81 cirujanos evaluadores proporcionaron 8.889 puntaciones. La puntuación media global de NOTSS-US para todos los vídeos fue de 9,5 sobre 20 (SD 4,8). El ICC de los vídeos para la puntuación global de NOTSS-US fue 0,64 (i.c. del 95% 0,57-0,70). Para las categorías individuales de habilidades no técnicas, el ICC más alto fue para las habilidades sociales (comunicación / trabajo en equipo: 0,63, (i.c. del 95% 0,56-0,71); liderazgo, 0,64 (i.c. del 95% 0,55-0,72)) y el más bajo para las habilidades cognitivas (conciencia de la situación 0,54 (i.c. del 95% 0,45-0,62); toma de decisiones 0,50 (i.c. del 95% 0,41-0,59)). Las evaluadoras femeninas presentaron puntuaciones globales de NOTSS-US más altas que los evaluadores masculinos (diferencia 0,93, i.c. del 95% 0,44-1,43; P = 0,001)). CONCLUSIÓN: Después de una breve formación online, la fiabilidad de la herramienta de evaluación NOTSS-US mostró una correlación moderada entre los cirujanos que puntuaron vídeos de simulaciones de intervenciones quirúrgicas.
Autres résumés
Type: Publisher
(spa)
Las habilidades no técnicas de los cirujanos (Non-Technical Skills for Surgeons, NOTSS) son importantes para la seguridad del paciente. La herramienta de evaluación de habilidades no técnicas para cirujanos se desarrolló en el Reino Unido y se adaptó recientemente al contexto quirúrgico de los Estados Unidos (NOTSS-US.). El objetivo de este estudio fue evaluar la fiabilidad y distribución de las calificaciones de habilidades no técnicas obtenidas por cirujanos adjuntos de cirugía (consultores) que recibieron una breve formación online. MÉTODOS: Cirujanos adjuntos de 6 especialidades en un gran centro universitario de Estados Unidos recibieron una formación online de 10 minutos de duración y seguidamente puntuaron vídeos estandarizados de operaciones simuladas de 60 minutos de duración. Se calcularon el coeficiente de correlación intraclase (intraclass correlation coefficient, ICC), la media y la desviación estándar (standard deviation, SD) para la puntuación de cada categoría de habilidad no técnica del NOTSS-US (rango 1-5, siendo 1 = pobre, 3 = promedio, 5 = excelente) y para la puntuación global de NOTSS-US (rango 4-20, suma de las puntuaciones de las cuatro categorías). Los resultados se ajustaron de acuerdo con las características del evaluador, incluyendo sexo, especialidad, experiencia clínica.
Types de publication
Journal Article
Research Support, Non-U.S. Gov't
Langues
eng
Sous-ensembles de citation
IM
Pagination
1137-1144Subventions
Organisme : National Board of Medical Examiners
ID : Edward J. Stemmler Medical Education Research Fund
Informations de copyright
© 2020 BJS Society Ltd Published by John Wiley & Sons Ltd.
Références
Flin R, Youngson G, Yule S. Enhancing Surgical Performance: a Primer in Non-Technical Skills. CRC Press: Boca Raton, 2016.
Flin R, Martin L. Behavioural marker systems in aviation. Int J Aviat Psychol 2001; 11: 95-118.
Way LW, Stewart L, Gantert W, Liu K, Lee CM, Whang K et al. Causes and prevention of laparoscopic bile duct injuries: analysis of 252 cases from a human factors and cognitive psychology perspective. Ann Surg 2003; 237: 460-469.
Mazzocco K, Petitti DB, Fong KT, Bonacum D, Brookey J, Graham S et al. Surgical team behaviors and patient outcomes. Am J Surg 2009; 197: 678-685.
Cooper WO, Spain DA, Guillamondegui O, Kelz RR, Domenico HJ, Hopkins J et al. Association of coworker reports about unprofessional behavior by surgeons with surgical complications in their patients. JAMA Surg 2019; 154: 828-834.
Greenberg CC, Regenbogen SE, Studdert DM, Lipsitz SR, Rogers SO, Zinner MJ et al. Patterns of communication breakdowns resulting in injury to surgical patients. J Am Coll Surg 2007; 204: 533-540.
Wood TC, Raison N, Haldar S, Brunckhorst O, McIlhenny C, Dasgupta P et al. Training tools for nontechnical skills for surgeons - a systematic review. J Surg Educ 2017; 74: 548-578.
Ti O, Eci D, Akin M, Le A, Ers D. The Non-Technical Skills for Surgeons (NOTSS) System Handbook v1.2: Structuring Observation, Rating and Feedback of Surgeons' Behaviours in the Operating Theatre. University of Aberdeen: Aberdeen, 2006.
Yule S, Flin R, Paterson-Brown S, Maran N, Rowley D. Development of a rating system for surgeons' non-technical skills. Med Educ 2006; 40: 1098-1104.
Spanager L, Lyk-jensen HT, Dieckmann P, Wettergren A, Rosenberg J, Ostergaard D. Customization of a tool to assess Danish surgeons' non-technical skills in the operating room. Dan Med J 2012; 59: A4526.
Scott JW, Lin Y, Ntakiyiruta G, Mutabazi Z, Davis WA, Morris MA et al. Identification of the critical nontechnical skills for surgeons needed for high performance in a variable-resource context (NOTSS-VRC). Ann Surg 2019; 270: 1070-1078.
Tsuburaya A, Soma T, Yoshikawa T, Cho H, Miki T, Uramatsu M et al. Introduction of the non-technical skills for surgeons (NOTSS) system in a Japanese cancer center. Surg Today 2016; 46: 1451-1455.
Yule S, Flin R, Maran N, Rowley D, Youngson G, Paterson-Brown S. Surgeons' non-technical skills in the operating room: reliability testing of the NOTSS behavior rating system. World J Surg 2008; 32: 548-556.
Yule S, Parker SH, Wilkinson J, McKinley A, MacDonald J, Neill A et al. Coaching non-technical skills improves surgical residents' performance in a simulated operating room. J Surg Educ 2015; 72: 1124-1130.
Arriaga AF, Gawande AA, Raemer DB, Jones DB, Smink DS, Weinstock P et al. Harvard Surgical Safety Collaborative. Pilot testing of a model for insurer-driven, large-scale multicenter simulation training for operating room teams. Ann Surg 2014; 259: 403-410.
Royal College of Surgeons of Edinburgh. Non-Technical Skills for Surgeons (NOTSS); 2019. https://www.rcsed.ac.uk/professional-support-development-resources/learning-resources/non-technical-skills-for-surgeons-notss [accessed 27 March 2019].
Royal College of Surgeons of Edinburgh. NOTSS-in-a-box; 2019. https://notss.rcsed.ac.uk/ [accessed 11 April 2019].
Gonin R, Lipsitz SR, Fitzmaurice G, Molenberghs G. Regression modelling of weighted kappa by using generalized estimating equations. J R Stat Soc Ser C Appl Stat 2000; 49: 1-18.
Lipsitz SR, Molenberghs G, Fitzmaurice GM, Ibrahim J. GEE with Gaussian estimation of the correlations when data are incomplete. Biometrics 2000; 56: 528-536.
Ware JH, Lipsitz SR, Speizer FE. Issues in the analysis of repeated categorical outcomes. Stat Med 1988; 7: 95-107.
Jung JJ, Borkhoff CM, Jüni P, Grantcharov TP. Non-Technical Skills for Surgeons (NOTSS): critical appraisal of its measurement properties. Am J Surg 2018; 216: 990-997.
Crossley J, Marriott J, Purdie H, Beard JD. Prospective observational study to evaluate NOTSS (Non-Technical Skills for Surgeons) for assessing trainees' non-technical performance in the operating theatre. Br J Surg 2011; 98: 1010-1020.
Doumouras AG, Hamidi M, Lung K, Tarola CL, Tsao MW, Scott JW et al. Non-technical skills of surgeons and anaesthetists in simulated operating theatre crises. Br J Surg 2017; 104: 1028-1036.