Gawronski, O., Thekkan, K. R., Genna, C., Egman, S., Sansone, V., Erba, I., Vittori, A., Varano, C., Dall’Oglio, I., Tiozzo, E., & Chiusolo, F. (2022). Instruments to evaluate non-technical skills during high fidelity simulation: A systematic review. Frontiers in Medicine, 9, 986296. https://doi.org/10.3389/fmed.2022.986296
Resumen del artículo
Revisión sistemática PRISMA realizada por un equipo del hospital pediátrico Bambino Gesù (Roma) para describir los dominios, ítems y propiedades psicométricas de los instrumentos que evalúan habilidades no técnicas durante simulación de alta fidelidad. Buscaron en seis bases de datos (julio 2021, actualización septiembre 2022), cribaron 3.953 registros, evaluaron 110 textos completos e incluyeron 26 estudios que reportan 19 instrumentos. La calidad metodológica se juzgó con la lista COSMIN y la certeza de la evidencia con GRADE, siempre por pares de revisores independientes.
Los instrumentos tienen entre 1 y 14 dominios (mediana 4) y entre 3 y 63 ítems (mediana 15); los dominios más frecuentes son liderazgo, trabajo en equipo, conciencia situacional y comunicación. Solo el Team Emergency Assessment Measure (TEAM) reúne evidencia suficiente de validez de contenido y consistencia interna para recomendarse sin reservas. Ocho instrumentos tuvieron validez de contenido positiva con evidencia al menos moderada, pero necesitan más pruebas de validez de constructo y consistencia interna. Ninguno fue declarado no recomendable, porque tampoco hay evidencia de alta calidad que demuestre su inadecuación. Los autores subrayan que no existe un patrón oro y que los instrumentos deberían validarse tanto en simulación como en el entorno clínico real.
Ideas clave
- Sin patrón oro para NTS: hay muchos instrumentos, pero ninguno se ha establecido como referencia (p. 2).
- Estructura típica de los instrumentos: cuatro dominios y quince ítems como mediana, siempre con escala Likert; el PINTS (4 categorías, 16 elementos) encaja en ese perfil (p. 4, p. 5).
- Solo TEAM es recomendable con criterios COSMIN: tres dominios, 11 ítems, índice de validez de contenido 0,96, alfa 0,85 a 0,92 y CCI 0,66 a 0,98 (p. 5).
- Desarrollo de instrumentos de calidad dudosa: en 14 estudios el proceso de construcción del instrumento fue calificado como dudoso o inadecuado por faltar elementos exigidos por COSMIN (p. 5).
- Validar en simulación y en clínica: la simulación es donde se entrena, pero la práctica real es donde deben usarse las NTS; se necesita validez en ambos contextos (p. 11).
Citas textuales relevantes
“To date, several tools have been developed for this purpose but no gold standard has been established to evaluate NTS.” (Gawronski et al., 2022, p. 2)
“Out of 19 NTS assessment instruments for HFS, the Team Emergency Assessment Measure (TEAM) can be recommended for use to assess NTS. All the other instruments require further research to assess their quality in order to be recommended for use during HFS training.” (Gawronski et al., 2022, pp. 1-2)
“The development of the NTS instruments were reported in 14 studies. The quality of the development of the NTS instruments was doubtful or inadequate, due to missing substantial elements for an adequate development process according to the COSMIN method.” (Gawronski et al., 2022, p. 5)
“NTS instruments should be validated both on simulation and real settings to be able to compare and evaluate the uptake of those skills.” (Gawronski et al., 2022, p. 11)
Conexión con la tesis de Sandra
Aporte de los autores: un mapa de 19 instrumentos con calidad de evidencia graduada, que demuestra que la mayoría de herramientas de NTS en simulación carecen de pruebas psicométricas completas. Lectura propia para la tesis: esta revisión sirve en el Cap 1 para documentar el vacío (el PINTS no aparece entre los instrumentos revisados porque su validación no se hizo en simulación de alta fidelidad, lo cual refuerza la novedad de usarlo en simulación virtual) y en el Cap 3 para estructurar el reporte psicométrico de la versión en español siguiendo los criterios COSMIN: validez de contenido por juicio de expertos, consistencia interna por categoría, fiabilidad interevaluador y, si la muestra lo permite, validez estructural. También es un argumento para considerar el TEAM como instrumento complementario de trabajo en equipo, ya que existe versión validada en español aplicada en Chile. Se conecta con n-1-1 (variabilidad de fiabilidad entre ANTS, NOTECHS y OSCAR), n-1-9 (PINTS) y n-1-15 (medición de NTS en equipos interprofesionales).
Preguntas orientadoras
- ¿Qué propiedades COSMIN (contenido, estructura interna, fiabilidad, validez transcultural) puede reportar de forma realista la validación del PINTS en español con perfusionistas de varios países de América Latina?
- Dado que TEAM es el único instrumento recomendable y tiene versión en español, ¿tiene sentido usarlo junto al PINTS para la categoría de trabajo en equipo, o duplicaría la carga de evaluación?
- ¿Cómo justificará Sandra que la simulación virtual con IA es un contexto de “alta fidelidad” comparable al de los estudios incluidos, si la fidelidad allí es psicológica y no física?
- ¿Se puede planificar una observación posterior en quirófano real con PINTS para responder a la recomendación de validar en simulación y en clínica?
Conexiones
- Subárea: 1-Taxonomías NTS perfusión
- Notas relacionadas: n-1-1, n-1-9, n-1-11, n-1-15
- Autores: Gawronski, Thekkan, Genna, Egman, Sansone, Erba, Vittori, Varano, Dall’Oglio, Tiozzo, Chiusolo
Ir más a fondo
- Nota subatómica: Gawronski (2022), 12 pasajes subrayados
- Pregúntale a los documentos: cuaderno de NotebookLM con los PDF del corpus (acceso restringido)
Mi reflexión
Graba tu reflexión de voz o escríbela usando los controles que aparecen abajo.