La generación actual de herramientas de inteligencia artificial: tres consideraciones para los líderes de calidad
Por qué es importante
Los productos de inteligencia artificial (IA) generativa que han evolucionado desde el debut público de ChatGPT podrían cambiar las reglas del juego para los equipos de calidad de atención médica, pero las organizaciones deben considerar cuidadosamente los costos y beneficios de su uso.
En un futuro no muy lejano, una jornada laboral para un profesional de mejora de la calidad podría ser algo así:
Mañana: Te preparas para una reunión con tu director de calidad para hablar sobre los PDSA en curso de tu equipo. Tu “asistente” de inteligencia artificial (IA) generativa segura busca en tus archivos y en tu bandeja de entrada información relevante y crea un resumen de 300 palabras. Te das cuenta de que no has actualizado tus gráficos de ejecución con datos de las últimas dos semanas, por lo que proporcionas los datos a la herramienta de IA y le pides que genere un gráfico de ejecución actualizado. Ahora tienes toda la información que necesitas para hacer una presentación sucinta.
Mediodía: Se han publicado cinco nuevas pautas clínicas para servicios de alto volumen en su hospital. (El proceso de desarrollo y promulgación de pautas, desde la revisión de la evidencia hasta la aprobación, solía llevar al menos un año, pero ahora solo lleva unas pocas semanas porque los desarrolladores de pautas usan IA para respaldar la investigación de antecedentes y el análisis de datos). Usted se reúne con los líderes clínicos para diseñar una estrategia para incorporar estas nuevas pautas en la práctica. La herramienta de IA que consulta recomienda pequeñas pruebas de cambio y una estrategia de medición para evaluar el progreso. Todos los asistentes a la reunión contribuyen plenamente a la discusión. La IA transcribe y resume la reunión y distribuye las actas.
Tarde: Debe analizar los resultados de las sesiones de coaching de gestión de calidad que su equipo ha estado llevando a cabo con los equipos clínicos durante el último año. Utiliza una herramienta de inteligencia artificial para revisar las transcripciones de las aproximadamente 500 sesiones. La herramienta utiliza marcos preexistentes para identificar las brechas en las sesiones de coaching y los temas a partir de los comentarios de los participantes. Luego, le pide que escriba un resumen de 500 palabras del análisis y elabore el esquema de una presentación de 10 minutos para la reunión de mañana con su equipo de calidad.
Aprenda más sobre Inteligencia Artificial en el IHI Forum
Creemos que este escenario habilitado por IA representa el futuro probable del trabajo de mejora de la calidad. En el transcurso de un proyecto de innovación de 90 días, un equipo de investigación del Institute for Healthcare Improvement (IHI) concluyó que toda la tecnología para realizar estas actividades ya existe. Los productos de IA generativa que han evolucionado desde el debut público de ChatGPT en noviembre de 2022 podrían cambiar las reglas del juego para los equipos de calidad de la atención médica, pero las organizaciones deben considerar cuidadosamente los costos y los beneficios de su uso. Llegamos a tres conceptos clave durante el ciclo de innovación que compartimos a continuación.
¿Qué es la IA generativa?
Las herramientas de IA generativa se diferencian de la tecnología anterior en su capacidad de generar contenido nuevo. En otras palabras, las herramientas toman contenido existente y pueden responder preguntas (en párrafos), así como analizar datos y brindar recomendaciones y conclusiones. Los modelos de lenguaje de gran tamaño, como ChatGPT, Bard de Google, Claude y Microsoft Bing, han atraído a millones de usuarios en los últimos meses y, al mismo tiempo, han generado controversia. Para entrenar modelos de lenguaje de gran tamaño, los desarrolladores utilizaron grandes cantidades de contenido existente (principalmente de Internet) para procesar y generar contenido nuevo. En respuesta a una consulta, pueden proporcionar respuestas y señalar a los usuarios información existente y potencialmente útil.
La IA generativa puede respaldar la mayoría de las modalidades de mejora de la calidad, incluida la enseñanza
Si bien nuestra investigación sugirió que la mayoría de los profesionales están recién en las primeras etapas del uso de herramientas de IA para el trabajo de mejora de la calidad, es probable que estas tecnologías mejoren drásticamente con el tiempo y cambien la forma en que realizamos la mejora de la calidad en los próximos años. Ya podemos usar herramientas de IA para crear la mayoría de los materiales de mejora de la calidad . Nuestra investigación descubrió que los modelos de lenguaje grandes (como ChatGPT) pueden ayudar a los usuarios expertos a crear diagramas de ejecución y control, identificar ideas de cambio, elaborar diagramas de causa y efecto y redactar diagramas de impulsores.
Las herramientas de IA también pueden ayudar a enseñar conceptos de mejora de la calidad . Por ejemplo, pueden ofrecer explicaciones de ideas complejas adaptadas a una audiencia específica. Las herramientas de IA pueden elaborar planes de lecciones, esquemas de cursos, actividades para romper el hielo y mucho más. Algunos especialistas en calidad han comenzado a utilizar herramientas de IA para visualizar datos y abordar cuestiones básicas de mejora de la calidad, como generar un conjunto preliminar de ideas de cambio o producir una explicación en lenguaje sencillo de un concepto de mejora de la calidad.
La IA es propensa a errores y riesgosa
El uso de la IA conlleva riesgos legales y éticos. Por ejemplo, ha habido una avalancha de litigios que cuestionan si es legal utilizar obras protegidas por derechos de autor sin autorización para entrenar grandes modelos lingüísticos. La IA también podría poner en peligro la privacidad de sus pacientes o de su organización. No está permitido compartir información sanitaria protegida con un modelo de acceso público como ChatGPT porque cualquier dato introducido pasa a ser propiedad de la empresa propietaria de la herramienta. De manera similar, si comparte, por ejemplo, datos organizacionales estratégicamente importantes con la herramienta, es posible que descubra que la información se reutiliza de formas inesperadas e indeseables. Antes de utilizar cualquier herramienta impulsada por IA para respaldar su trabajo, es importante consultar con sus políticas de TI y con los equipos de privacidad de datos o legales.
La precisión también es una preocupación importante con las herramientas de IA actuales. ChatGPT-3.5, por ejemplo, la versión disponible gratuitamente, solo tiene datos hasta enero de 2022; ya está desactualizada. También se sabe que los modelos de IA " alucinan ", es decir, inventan información que suena plausible en respuesta a una indicación. Además, los modelos basados en el lenguaje no funcionan de manera consistente en tareas matemáticas (por ejemplo, ChatGPT empeoró con el tiempo en la identificación de números primos ).
Además, los modelos de IA plantean problemas de equidad, dado que se entrenan con grandes conjuntos de datos que probablemente reflejen los sesgos de la sociedad en general. Si bien las principales herramientas como ChatGPT implementan salvaguardas (como el aprendizaje por refuerzo con retroalimentación humana, RLHF, por sus siglas en inglés) , que utiliza supervisores humanos para entrenar los modelos y evitar que obtengan resultados inadecuados, aún pueden fallar y producir contenido que podría ser ofensivo o tendencioso.
No está claro qué impacto tendrán estas herramientas de IA en el personal de calidad y seguridad. Hasta ahora, los usuarios más exitosos han implementado las herramientas para complementar y ampliar su trabajo. Las herramientas no están lo suficientemente maduras como para reemplazar por completo ningún flujo de trabajo específico en la jornada laboral de un gerente de calidad.
Recomendaciones
Recomendamos que los líderes consideren las siguientes acciones para responder al creciente interés (y los claros riesgos) de utilizar herramientas de IA:
- Convocar grupos multidisciplinarios (que incluyan a representantes con experiencia en derecho, TI, clínica, calidad e investigación) para desarrollar políticas específicas de gobernanza y uso aceptable para las nuevas herramientas de IA de estilo modelo de lenguaje de gran tamaño. Por ejemplo, muchas organizaciones solo permitirán que el personal utilice versiones "empresariales" de las herramientas (diseñadas para uso seguro en empresas o gobiernos) para tareas relacionadas con el trabajo.
- Capacite al personal sobre las políticas de uso aceptable de su organización.
- Capacitar al personal sobre cómo utilizar la IA generativa mediante la “ingeniería de indicaciones”. Los resultados de estas herramientas son tan buenos como las entradas, y las “indicaciones” se refieren a las preguntas o instrucciones de texto que se ingresan en el sistema para obtener los resultados deseados. Se están creando numerosos recursos en línea para ayudar a los usuarios a hacer las preguntas correctas.
- Recopile comentarios del personal sobre la IA. Pregúnteles cómo la están utilizando. Pregúnteles por qué están entusiasmados con ella o por qué tienen dudas.
- Ayude al personal a integrar la IA en su trabajo actual teniendo en cuenta los posibles efectos colaterales, como mejorar la productividad, cambiar las tareas cotidianas y modificar el conjunto de responsabilidades de los empleados. Al introducir la IA en el trabajo diario, los líderes y el personal deberán ser ágiles, ya que las tecnologías disponibles están cambiando rápidamente y se están introduciendo nuevas herramientas a un ritmo acelerado.
Marina Renton, MPhil, es investigadora asociada de IHI en el área de Innovación y Diseño. Pierre M. Barker, MD, MBChB, es director científico del Institute for Healthcare Improvement de IHI. Gareth S. Kantor, MD, es consultor clínico de Insight Actuaries & Consultants. Jeffrey Rakover, MPP, es director de Innovación y Diseño de IHI . Para obtener más información, asista a la sesión A24 “Cuando la IA se encuentra con la mejora de la calidad” en el IHI Forum (del 10 al 13 de diciembre de 2023).
Podcast de inteligencia artificial para todos los días: cómo la inteligencia artificial convierte los ensayos clínicos en conocimiento médico
