Ahora podemos pedirle a una inteligencia artificial que analice esas mismas grabaciones y nos entregue un listado de problemas en cuestión de minutos. Sobre el papel, parece una mejora importante. Pero antes de confiar demasiado en esos resultados, creo que conviene hacerse una pregunta: ¿la IA entiende realmente lo que le está pasando al usuario o simplemente identifica comportamientos que parecen problemas?

Una investigación publicada recientemente por MeasuringU aporta datos sobre esta cuestión, y los resultados invitan a ser mucho más prudentes de lo que sugieren algunas promesas comerciales.

Cuando la IA analiza una prueba de usabilidad

El 6 de octubre de 2026, MeasuringU publicó una investigación sobre la capacidad de la IA para detectar problemas de usabilidad a partir de grabaciones de sesiones reales. El estudio forma parte de una serie de experimentos en los que comparan los problemas identificados por investigadores UX con los detectados por modelos como ChatGPT y Gemini.

En esta ocasión analizaron la grabación de un usuario que intentaba consultar el precio de un servicio de peluquería canina en una web. Durante el proceso, el participante se encontraba con varias dificultades y al final no conseguía completar correctamente la tarea. Un investigador UX con experiencia revisó la sesión y documentó los problemas observados. Después, los investigadores usaron ChatGPT y Gemini para analizar la misma grabación, con cuatro ejecuciones de cada modelo.

La coincidencia media entre los problemas detectados por ChatGPT y los identificados por el investigador fue del 47%, mientras que Gemini alcanzó el 39%. Además, entre ambos modelos describieron tres problemas que no eran realmente problemas de usabilidad y otros tres acontecimientos que directamente no habían sucedido.

Conviene poner estos resultados en contexto: es un experimento limitado, con una grabación concreta y unos modelos determinados, así que no podemos extrapolarlo a cualquier herramienta ni asumir que la IA falla siempre en esas proporciones. Pero sí demuestra que generar un informe convincente no garantiza que sus conclusiones sean correctas.

Ver lo que hace un usuario no es lo mismo que entenderlo

Hay un detalle del estudio que me llama la atención. Durante la prueba, algunos controles de un formulario tardaban en aparecer. El usuario seleccionaba primero su edad y, cuando finalmente aparecía la opción para indicar el tipo de mascota, al seleccionarla se reiniciaba el valor de edad que ya había introducido. El participante no se daba cuenta de ese cambio y más adelante tenía problemas para continuar.

Este tipo de situaciones es habitual en aplicaciones reales: un campo que pierde su valor, una selección que modifica otra sin avisar o un mensaje de error que aparece demasiado tarde.

Y el problema no está necesariamente en el último lugar donde el usuario se equivoca. Muchas veces el error visible es solo la consecuencia de algo que ocurrió varios pasos antes.

Por eso el análisis UX no se queda en detectar que alguien ha tenido dificultades con un formulario: hay que entender qué las desencadenó, qué esperaba la persona que ocurriera y qué parte de la interfaz hizo que su comportamiento se desviara.

En el estudio, los modelos identificaron varios de los problemas observados por el investigador, pero ninguno detectó algunos aspectos importantes del comportamiento del formulario. También interpretaron mal determinadas acciones. Y eso importa, porque una recomendación basada en un diagnóstico incorrecto puede llevarnos a cambiar algo que no necesitaba cambiarse.

La IA es muy buena encontrando patrones. Otra cosa es interpretarlos

Aun así, creo que la IA puede ayudarnos muchísimo en UX Research con tareas como transcribir entrevistas, clasificar respuestas abiertas o preparar una primera estructura de resultados.

Otro estudio de MeasuringU publicado el 29 de septiembre encontró que un modelo reciente de ChatGPT alcanzaba niveles de coincidencia con investigadores humanos comparables a los que estos obtenían entre sí cuando clasificaban comentarios abiertos. Es un buen resultado, aunque clasificar respuestas en categorías está bastante lejos de interpretar una sesión de usabilidad.

Y esa diferencia me parece fundamental. Una IA puede agrupar cincuenta comentarios sobre problemas de navegación y detectar que varios usuarios mencionan dificultades para encontrar ciertos contenidos. Pero decidir si el problema está en la arquitectura de información, en la jerarquía visual o en las expectativas de los usuarios requiere un análisis más profundo.

Además, los comentarios no siempre explican bien lo que está ocurriendo. Un usuario puede decir que una aplicación es lenta cuando en realidad está perdido en la navegación. Otro puede afirmar que un botón no funciona cuando lo que pasa es que no entiende el resultado de la acción. Lo que las personas dicen, lo que hacen y lo que realmente necesitan no siempre coincide.

Por eso me parece importante distinguir entre automatizar la organización de la información y automatizar su interpretación. Son dos niveles de trabajo muy distintos.

Las herramientas de UX Research también están cambiando

Mientras aparecen investigaciones como esta, las plataformas especializadas siguen incorporando funciones de inteligencia artificial. El 7 de octubre, Userlytics anunció AI Study Designer y Qual Reporting, dos herramientas que permiten generar borradores de estudios a partir de objetivos de investigación y elaborar informes cualitativos con los datos recopilados durante las sesiones.

La propuesta tiene sentido. Preparar un estudio, revisar transcripciones y sintetizar resultados consume mucho tiempo, y si conseguimos reducirlo podremos dedicar más esfuerzo a comprender los problemas y discutir posibles soluciones con el equipo.

Pero también hay un riesgo: cuanto más sencillo sea generar un informe, más fácil será confundir un documento bien presentado con una investigación bien realizada.

Un informe puede tener una estructura impecable y recomendaciones muy razonables. Pero si parte de observaciones incorrectas o interpreta mal el comportamiento de los participantes, todo ese trabajo pierde valor.

Y hay otra cuestión: la calidad de una investigación empieza mucho antes de analizar los resultados. Elegir bien a los participantes, evitar preguntas que condicionen las respuestas y definir qué queremos aprender son decisiones que influyen directamente en lo que descubriremos después.

¿Cómo utilizaría la IA en una investigación UX?

Creo que la mejor manera de aprovechar estas herramientas es usarlas como apoyo durante el proceso, sin delegar automáticamente las conclusiones. Por ejemplo, podemos pedirle a la IA una primera clasificación de observaciones y contrastarla después con las grabaciones originales, o usarla para localizar patrones entre sesiones y proponer hipótesis que luego tendremos que validar.

Yo me fijaría sobre todo en tres cosas. La primera es mantener la trazabilidad: cada problema identificado debería poder relacionarse con una observación concreta o un momento determinado de la grabación. La segunda es separar hechos de interpretaciones: que un usuario pulse tres veces un botón es un hecho; que no entienda cómo funciona es una interpretación.

La tercera es la revisión. Si una herramienta identifica un problema, deberíamos poder comprobarlo antes de incorporarlo al informe, y si propone una solución, entender qué evidencia la respalda. Y en investigaciones con participantes reales hay que cuidar también la confidencialidad de las grabaciones y las condiciones en las que esos datos pueden compartirse con herramientas externas.

En definitiva, cuanto más trabajo automaticemos, más importante será no renunciar al método: necesitamos un proceso que nos permita comprobar que las conclusiones tienen sentido.

Velocidad y criterio

Los investigadores humanos también cometemos errores. Podemos pasar por alto una dificultad, interpretar mal un comportamiento o dar demasiada importancia a un problema aislado. Por eso existen metodologías, criterios de evaluación y formas de contrastar resultados.

La inteligencia artificial puede aportar muchísimo en este proceso: resumir sesiones, detectar patrones y ayudarnos a llegar antes a ciertos hallazgos. Y cuanto mejores sean estas herramientas, más tiempo tendremos para lo que de verdad importa: entender por qué ocurre algo y convertirlo en decisiones de diseño útiles.

Creo que estas herramientas van a cambiar mucho la forma en la que hacemos investigación UX. Seguramente dedicaremos menos tiempo a transcribir y clasificar, y más a revisar evidencias y decidir qué cambios pueden mejorar de verdad la experiencia.

Ahí es donde el investigador y el diseñador ganan todavía más peso. La IA puede ayudarnos a ver más información y a procesarla más rápido, pero las personas somos las que ponemos el contexto y el criterio para entender qué significa lo que estamos viendo.

Y el objetivo de una prueba de usabilidad sigue siendo el mismo: entender qué le está dificultando la experiencia a una persona y encontrar la mejor manera de solucionarlo. Lo demás, el número de problemas o la rapidez del informe, es secundario.

Si conseguimos combinar la capacidad de análisis de la IA con la experiencia y el criterio humano, no estaremos sustituyendo la investigación UX: la haremos más rápida y, con un poco de suerte, mejor.