Cómo analizar y representar los resultados de un Card Sorting

"En casa del herrero, cuchillo de palo"

Arrancamos con un refrán que nos pone en una situación paradójica, que por desgracia, es mucho más frecuente de lo que a todos nos gustaría. En este caso viene a cuento porque en ocasiones la forma en la que comunicamos los resultados que se obtienen de algunas pruebas o técnicas complejas que utilizamos, no siempre va en concordancia con la filosofía de la legibilidad, comprensión o usabilidad que predicamos.

Cuando tenemos que presentar los resultados de una prueba, lo primero que tenemos que hacer, es pensar muy bien a quién nos estamos dirigiendo y, en función de ello, adaptar la forma de comunicar los resultados a ese público objetivo. Y si, esta regla es aplicable para cualquier entregable.

Los primeros datos que se obtienen de un card sorting

Normalmente y según el método de card sorting que empleemos (abierto o cerrado) e independientemente de la forma que utilicemos para recoger los datos, al final obtendremos una pila de números que normalmente recogeremos en hojas de cálculo. Estos números o datos hay que representarlos en matrices simétricas, las cuales significan el primer paso para el análisis de los resultados que hemos obtenido.

Matrices simétricas, datos absolutos y distancias entre términos

Para poder manejar este tipo de datos es necesario tener algunos conocimientos de estadística, en concreto de técnicas de clustering o análisis de conglomerados. Introduzcamos algunos conceptos fundamentales sobre cómo y qué datos vamos a manejar:

· Matriz simétrica: es una tabla de datos generada en una hoja de cálculo que muestra el número de veces o co-ocurrencias que se dan para un determinado término. Es decir, el número de veces que los diferentes participantes durante la prueba han agrupado un término junto a otro.

Para diseñar la matriz solo es necesario poner tantas filas y columnas como categorías o términos estemos estudiando.

Imaginemos un ejemplo sencillo en el que estemos estudiando solo 4 términos. La matriz quedaría de la siguiente forma:

• Datos absolutos: en la matriz que acabamos de ver como ejemplo, los datos absolutos serían las propias co-ocurrencias entre dos términos. Por ejemplo, los términos “Bujías” y “Motor” han sido clasificados en el mismo grupo 17 veces. Éste, es un dato absoluto.

• Matriz de distancias: es otro tipo de matriz simétrica, solo que los datos en lugar de ser absolutos, reflejan la distancia entre dos términos, de forma que podemos saber la cercanía que hay entre ellos. Cuanto más cercano al valor 1, mayor será concordancia y menor la distancia entre los dos términos. Veamos un ejemplo con los mismos términos

Esta forma de representar los datos puede ser comprensible para quien tenga ciertos conocimientos de lo que está haciendo, pero resultaría un tanto engorrosa para quien espera ver conclusiones y no una gran cantidad de datos que luego tenga que analizar e interpretar.

Representación gráfica de los datos: dendogramas y MDS

Para una mejor compresión de todos estos datos y realizar una análisis de forma adecuada, es necesario representarlos de forma gráfica. Para ello existen dos formas de representación que nos permitirán analizar y decidir los grupos de términos que podemos formar:

1. Dendograma

2. Gráfico de Escalado Multidimensional (MDS)

Dendogramas

El dendograma es el tipo de gráfico más común para representar la cercanía entre los términos que hemos elegido testar con los usuarios, generando de forma automática grupos lógicos de términos, que por ejemplo, podrían formar parte de una sección o subsección.

1

Como podemos ver en la imagen, los términos que son más cercanos entre sí se agrupan en conjuntos de colores. Esto significaría que según los usuarios, cada uno de éstos grupos de términos podrían formar parte de una misma sección o subsección. La línea roja indica el límite (x) para crear las agrupaciones.

La imagen anterior muestra 4 grupos creados por una distancia x entre los términos, pero se pueden formar más o menos grupos de términos para valorar otras posibles agrupaciones. Así podemos ver en la siguiente imagen que alterando el valor de x se forman 3 grupos en lugar de 4:

2

La decisión de la distancia (x), y por ende el número de grupos resultantes, forma parte del análisis, y para hacerlo correctamente hay que tener en cuenta muchas variables que, en función de los requisitos, resultados de otras actividades de UX y los objetivos del proyecto, nos ayudarán a “despejar” el valor adecuado para x y conocer cuantos grupos queremos… o necesitamos.

Los dendogramas son útiles y comprensibles cuando los resultados son muy claros, es decir, cuando las distancias entre los términos son mínimas y se forman los grupos sin dejar lugar a dudas.

MDS: Gráfico de Escalado Multidimensional

MDS es el acrónimo de Escalado Multidimensional (en inglés: Multidimensional Scaling), otra técnica estadística utilizada para representar los datos en dos dimensiones, de tal forma que se puede apreciar mejor la cercanía entre términos o elementos.

La gran ventaja del gráfico MDS frente al dendograma es que al representarse los datos sobre dos ejes, se puede apreciar físicamente la cercanía entre los términos, creando grupos de forma mucho más visual y comprensible. En la siguiente imagen podemos ver un ejemplo de un gráfico MDS utilizando los mismos términos de los ejemplos anteriores.

3

Visualmente vemos que queda mucho más claro los grupos de términos que se forman por cercanía física entre ellos en el espacio bidimensional. En el siguiente ejemplo podemos ver los grupos formados rodeados de un círculo, para crear y definir los grupos de términos:

4

¿Cómo genero los dendogramas y los gráficos MDS?

Para la generación de este tipo de gráficos es necesario disponer de algún software estadístico tipo SPSS Statisctis que poseen los algoritmos necesarios para generar los gráficos. Solo es necesario importar las matrices simétricas desde Excel a SPSS y aplicar el tipo de análisis necesario para generar los gráficos.

Por regla general las herramientas específicas para realizar pruebas de card sorting suelen dar la opción de generar al menos dendogramas. En todo caso siempre vamos a poder exportar los datos y posteriormente tratarlos en Excel para poder generar prácticamente cualquier tipo de representación gráfica que necesitemos.

Nuestro consejo si utilizas alguna de estas herramientas, es que recojas los datos en un formato de archivo que te genere las tablas en una hoja de cálculo y los explotes después de forma independiente con alguna herramienta estadística.

¿Qué tipo de representación gráfica escogemos para comunicar los resultados?

Nuevamente ésta es una cuestión en la que tienes que tener en cuenta a quién vas a dirigir tus resultados, por lo que tendrás que valorar que representación es la más comprensible para el público al que te vas a dirigir.

Si vas a escribir un informe completo de resultados, puedes combinar ambos tipos de gráficos y reflejar una explicación o ayuda de como interpretar cada uno de ellos.

Si vas a hacer una presentación, lo mejor es que utilices los gráficos MDS, ya que son mucho más visuales y comprensibles que los dendogramas.

Conclusiones

Si no tienes conocimientos de estadística, investiga y lee un poco sobre el tema, no te llevará mucho tiempo familiarizarte con los análisis de clustering, escalado multidimensional, matrices simétricas y similares.

Utiliza herramientas que te permitan recoger los datos de forma automática para exportarlos a una hoja de cálculo. Si lo haces de forma manual puede ser una auténtica pesadilla y perderías demasiadas horas en la recogida y tabulación de los datos.

Explota los datos en una aplicación estadística que te permita importar las matrices desde la hoja de cálculo para crear los gráficos.

Valora la mejor forma de representar los datos en función de lo que tengas que contar y a quién. Recomiendo utilizar siempre MDS por ser más visual y comprensible por cualquier modelo mental.