¿Qué es un test de usabilidad?

Un test de usabilidad con usuarios consiste en la monitorización de usuarios interactuando con la plataforma. Se les pide que naveguen y realicen tareas específicas. Mientras el usuario realiza estas tareas se graban las reacciones faciales del usuario, la verbalización de los pasos que va realizando mientras lleva a cabo diversas tareas y la pantalla en cada momento.

El test de usabilidad que vamos a hacer es de uso pauteado del producto a través de una entrevista personal (online). Esta entrevista se lleva a cabo a través de pruebas moderadas (lista de tareas indicadas por el entrevistador). 

Por otro lado, para recopilar información sobre la satisfacción de usuario utilizando la plataforma (en vez de enviarle una encuesta de satisfacción al final) es que vamos a utilizar el concurrent thinking aloud a lo largo de todo el test, para que además de medir podamos entender el nivel de satisfacción indirecto del usuario (que se logra pidiendo que vaya expresando sus sensaciones en voz alta).

De esta manera en la misma cantidad de tiempo cubrimos varios aspectos del test y recopilamos información más variada para post análisis.

¿Por qué son importantes las pruebas de usabilidad?

Las pruebas de usabilidad las realizan usuarios reales, que probablemente revelen problemas que las personas familiarizadas con un sitio web ya no pueden identificar; muy a menudo, un conocimiento profundo puede cegar a los diseñadores, especialistas en marketing y propietarios de productos a los problemas de usabilidad de un sitio web.

Atraer a nuevos usuarios para que prueben su sitio y / u observar cómo las personas reales ya lo están usando son formas efectivas de determinar si sus visitantes:

• Comprenda cómo funciona su sitio y no se 'pierda' ni se confunda

• Puede completar las acciones principales que necesitan para

• No encuentre problemas de usabilidad o errores

• Tener una experiencia funcional y eficiente

• Observe cualquier otro problema de usabilidad

• Este tipo de investigación es excepcionalmente importante con nuevos productos o nuevas actualizaciones de diseño: sin él, es posible que se quede atrapado en un proceso de diseño que los miembros de su equipo comprenden, pero su público objetivo no.

Objetivo

El objetivo de este test es estandarizar el flujo de navegación y la usabilidad, la estructura del software (arquitectura de información) y jerarquía visual de todos los componentes de las diferentes partes de la plataforma para lograr que la experiencia de usuario sea lo más fluida posible tanto como en desktop y mobile.

El objetivo es revelar áreas de confusión y descubrir oportunidades para mejorar la experiencia general del usuario.

Técnica de testing

Uso pauteado del producto

Cuentan con un moderador que impone un listado de tareas a realizar, monitoreando cada acción realizada por el usuario. Cada prueba se orienta a identificar y analizar los diversos problemas que dificultan la interacción del usuario en una interfaz digital. Una buena forma de comprobar las conclusiones es aplicar varios métodos complementarios y contrastar los resultados con métricas generadas por la versión online de la plataforma si esta existe.

Pruebas moderadas

Conjunto de tareas encomendadas a un usuario para completar en una plataforma digital.

¿Cuál es su objetivo principal?

Probar funcionalidades específicas de un sitio, evaluando elementos del diseño o interacción que presentan mayor grado de dificultad y son parte fundamental del negocio. Entrega datos esenciales para realizar mejoras en arquitectura, diseño y contenidos relacionados con las interacciones del sitio.

¿Cómo lo aplicamos?

Creamos un listado de acciones para que el usuario realice mientras registramos sus reacciones. Un moderador guía a los participantes, responde preguntas y asegura que no existan confusiones. Además, debe estar atento al lenguaje corporal de los usuarios, identificando cualquier comportamiento anormal durante el uso. Todo esto respaldado por un registro audiovisual frontal, de contexto y de video en pantalla, lo que permite revisiones posteriores que apoyan el informe final.

Concurrent Think Aloud (CTA)

Es un análisis cualitativo que se ejecuta mediante entrevistas en persona (o online) donde se pide a los participantes que expresen sus pensamientos y emociones a medida que realizan las tareas. La desventaja de esta técnica es que puede interferir con el tiempo en la precisión de la tarea, pero como el sistema no se evaluará en comparación con un punto de referencia o un diseño concurrente, la CTA  funciona bien para este estudio.

Métricas de usabilidad

Errores críticos

Se considera un error crítico todas las desviaciones que haya al completarse los objetivos del escenario o la incapacidad del usuario para completar el escenario.

Los errores críticos también se asignan cuando el participante inició (o intentó iniciar) una acción que resultaría en una desviación de las metas propuestas.

Errores no críticos

Los errores no críticos son errores encontrados por el participante pero que no presentan un gran problema para lograr los objetivos propuestos o el uso de la herramienta.

Niveles de impacto

El impacto es la clasificación de las consecuencias del problema o error. Al definir el nivel de impacto que tiene el problema en la finalización exitosa de la tarea.

Se consideran tres niveles de impacto:

1. Alto: evita que el usuario complete la tarea (error crítico)

2. Moderado: causa dificultades al usuario, pero la tarea se puede completar (error no crítico)

3. Bajo: que no afectan significativamente la finalización de la tarea (error no crítico) Pero que dejar opción para mejorarlos.

Técnicas de comunicación 

Para emplear durante las pruebas de usabilidad moderadas.

Los moderadores de las pruebas de usabilidad deben tener cuidado con la forma en que interactúan con los participantes durante la fase de prueba para que sus palabras no influyan en la prueba de manera significativa. Si está dirigiendo la sesión usted mismo, asegúrese de no hacer preguntas de manera anticipada o responder preguntas de una manera que pueda brindar al usuario sugerencias o información adicional sobre las tareas que deben completar.

Esto puede ser un desafío cuando un sujeto tiene preguntas durante la prueba. Existen algunas técnicas de comunicación comunes que los moderadores suelen utilizar para responder a las preguntas de los usuarios durante las pruebas. Éstos incluyen:

1. el "eco", donde el moderador repite la última frase que dijo el usuario, como una pregunta. Por ejemplo, si el participante dice "este carrito no funciona", el moderador simplemente lo repite como "este carrito no funciona ...?"

2. el "boomerang", donde el moderador usa preguntas genéricas y neutrales como, "¿Qué opinas?" en respuesta a cualquiera de las consultas del participante

3. el 'Columbo', donde el moderador canaliza su Detective Columbo interior y elimina una oración o pregunta, para que el participante pueda intervenir y llenar el silencio con más detalles.

Cuando escriba preguntas de prueba de usabilidad, manténgalas claras, específicas y directamente relacionadas con los objetivos de su prueba para garantizar que los datos que recopile al final de su prueba de usabilidad sean relevantes y procesables.

Sus metas y objetivos lo ayudarán a decidir qué tipo de preguntas hacer durante cada una de las cuatro etapas de las pruebas de usabilidad (como se mencionó anteriormente). Por ejemplo, si necesita recopilar datos cualitativos, haga preguntas abiertas como "¿Puede decirme por qué hizo clic en A en lugar de B?". Si necesita datos cuantitativos, haga preguntas cerradas: sí / no, de opción múltiple y preguntas en una escala (por ejemplo, de 0 a 10) son buenos ejemplos de preguntas cerradas que le darán resultados medibles.

Sugerencia: conozca los beneficios de las pruebas de usabilidad para ayudarlo a desarrollar metas y objetivos para que pueda averiguar qué tipo de preguntas necesita hacer

Evite hacer preguntas capciosas que impliquen o contengan su propia respuesta, que podrían sesgar los resultados de su prueba de usabilidad; y tenga cuidado de no hacer preguntas vagas que no aporten valor a los resultados de su prueba. En caso de duda, haga una pregunta abierta (¿Cómo estuvo X?) En lugar de una pregunta de sí / no (¿Fue fácil X?). Algunos ejemplos de preguntas para evitar:

• ¿Te gustaron los nuevos gráficos en nuestra página de pago?

• ¿La página del producto se cargó lentamente?

• ¿Le gusta más esta versión de nuestro sitio que la anterior?

• ¿Fue fácil utilizar nuestro sitio web?

• ¿Comprará en nuestro sitio en el futuro?

Moderación de sesiones

¿Qué hacer y qué no hacer?

Hay un arte en ejecutar una sección de prueba moderada que implica establecer una relación con el sujeto y guiarlo naturalmente a través de las tareas. 

• Utilice instrucciones claras y neutrales. Debe asegurarse absolutamente de que su pregunta no esté abierta a interpretación.

• No anote las tareas o, al menos, no siga la lista de tareas al pie de la letra, ya que puede dar demasiada formalidad a los procedimientos. El participante se sentirá más cómodo si personaliza la tarea y su redacción en función del contexto.

• Esté atento a las señales verbales y el lenguaje corporal. A veces, los usuarios no dirán explícitamente que están confundidos, pero se puede deducir por sus acciones. Un ejemplo sería alguien que antes estaba en silencio diciendo “Hmm. . . " o suspirando de frustración.

• No hables demasiado. Quiere interferir con los procesos de pensamiento del usuario lo menos posible; proponga la tarea, pídales que hablen sobre lo que están pensando y qué acciones están haciendo, y observe en silencio cómo lo hacen.

• Mantén un tono uniforme. No esté demasiado de acuerdo o en desacuerdo con el usuario; hacerlo podría influir en sus opiniones finales (como en: podrían intentar "agradarle" y decirle lo que creen que quiere escuchar). Trate de ser lo más neutral posible con su habla y lenguaje corporal.

• No tome el control de la tarea. Tan pronto como comience la prueba, el usuario debe tener el control total. Nunca tome su mouse o navegue un paso por ellos.

Preguntas cerradas

Las preguntas cerradas son preguntas que sólo pueden responderse seleccionando entre un número limitado de opciones, generalmente de opción múltiple, "sí" o "no", o una escala de calificación (p. Ej., De totalmente de acuerdo a totalmente en desacuerdo).

Las preguntas cerradas brindan información limitada, pero se pueden analizar fácilmente para obtener datos cuantitativos. Por ejemplo, una de las preguntas cerradas más populares en marketing es la pregunta Net Promoter Score® (NPS), que pregunta a las personas "¿Qué probabilidades hay de que recomiende este producto / servicio en una escala de 0 a 10?" y utiliza respuestas numéricas para calcular las tendencias generales de puntuación.

Usuarios target (Personas)

Para poder hacer preguntas adecuadas es muy importante entender al usuario, con esto llegaremos a un nivel de detalle necesario. Puedes ver más detalle de como construir personas y técnicas de entrevista.

Preguntas 

Iniciales (screening)

Cliente

1. ¿Has comprado productos o servicios online?

   1. Si

      1. ¿Cuán seguido compras online? 

         1. Una vez por semana

         2. Una vez por mes

         3. Una vez por semestre

      2. ¿Cuándo fue la última vez que compraste online?

         1. Hace menos de una semana

         2. Entre una semana y un mes

         3. Más de un mes

      3. ¿Ha comprado online alguno de estos servicios para el hogar?

         1. Aseo hogar

         2. Planchado

         3. Instalación de cerradura

         4. Instalación aire acondicionado

      4. ¿Has usado una aplicación similar? 

         1. Si, ¿Cuales aplicaciones has usado?

         2. No

   2. No

      1. ¿Por qué motivo no has comprado servicios online?

         1. Se siente inseguro

         2. No ha tenido la necesidad

         3. Otro motivo. ¿Cuál?

1. ¿Qué dispositivo usas habitualmente para navegar online?

   1. Smartphone

   2. Tablet

   3. Computador de escritorio

2. ¿Has usado este sitio antes?

   1. Si

      1. ¿Qué servicio compró?

         1. Aseo hogar

         2. Planchado

         3. Instalación de cerradura

         4. Instalación aire acondicionado

   2. No

3. ¿Cómo busca un servicio para su hogar normalmente?

   1. Respuesta abierta

4. ¿Qué influye en su decisión de compra?

   1. Valor

   2. Velocidad / Tiempo

   3. Calidad

Finales (satisfacción)

Después de una prueba de usabilidad, existe una última oportunidad de hacerle preguntas al usuario que no se han tratado en otro lugar. Este es el momento de recopilar comentarios sobre sus impresiones y opiniones de su sitio web y tener una idea de la experiencia general del usuario.

De 1 a 5, entendiendo que 1 es muy disconforme y 5 es muy conforme

1. ¿Cómo fue su experiencia general en nuestra app?

   1. ¿Qué fue lo mejor / lo peor?

   2. ¿Cómo cambiarías eso?

2. ¿Cómo evalúas el proceso de pago?

3. ¿Qué cambiaría en la página del servicio? ¿Por qué?

4. ¿Cuán fácil fue llevar a cabo las tareas propuestas?

5. Califica tu experiencia del servicio "nombre del servicio" 

6. Qué tan fácil fue llevar a cabo la búsqueda del servicio

7. Que tan facil fue hacer la cotización

8. ¿Recomendaría nuestro producto / servicio?

9. ¿Experimentó un buen servicio al cliente?

10. ¿Consideraría volver a utilizar nuestro producto / servicio?

11. ¿Le gustó nuestro producto / servicio?

12. ¿Está interesado en comprar un producto / servicio hoy?

13. ¿Estás contento con tu experiencia con nosotros?

14. ¿Cómo fue su experiencia general?

    1. ¿Qué fue lo mejor / lo peor?

    2. ¿Cómo cambiarías eso?

15. ¿Qué cambiaría en la página del servicio? ¿Por qué?

16. ¿Cuán fácil fue llevar a cabo las tareas propuestas?

17. Califica tu experiencia en la gestión del servicio "nombre del servicio" 

18. Qué tan fácil fue llevar a cabo la gestión

19. Que tan facil fue hacer la cotización

20. ¿Recomendaría nuestros servicios?

21. ¿Cómo fue su experiencia general?

22. ¿Qué fue lo mejor / lo peor?

23. ¿Cómo cambiarías eso?

24. ¿Qué cambiaría en la página del servicio? ¿Por qué?

25. ¿Cuán fácil fue llevar a cabo las tareas propuestas?

26. Califica tu experiencia en la entrega del servicio "nombre del servicio" 

27. Qué tan fácil fue llevar a cabo la agenda

28. ¿Recomendaría nuestros servicios?

Métricas de análisis

• >95% excelente

• 80-94,9% bueno

• <79,9 malo

Tareas a medir 

Tareas (4-8 / 20 min)

Cliente

1. Landing

2. Buscador de servicios 

3. Categoría de Servicios

4. Cotización de servicio y 

5. Compra de servicio express  

6. Checkout de compra de servicio

7. Sección mi cuenta - Ver servicio comprado (stepper)

8. Cambiar contraseña

9. ¿Es entendible la paleta cromática del calendario?
   

Operaciones

1. Coordinación profesional

2. Agendamiento

3. Monitoreo en tiempo real basado en SLA

4. Dashboards y paneles con información relevante 

5. Seguimiento de servicios y visualización de agendas

6. Visualización georreferenciada

7. ETAs y SLA’s

8. Aprobación / Rechazo de presupuestos

9. Reagendamiento de servicios

10. Reportes y monitoreo KPIs

11. Reportes para supervisión de Buyers y Sellers

12. Asignación automatizada de profesionales

13. Mantenedores

14. ACL (Roles y permisos)
    

Profesional

1. Agendamiento

2. Routing

3. Ejecución de Servicio/ Checklist

4. Finalización del servicio

5. Presupuestos online 

6. Acumulado por sus servicios ejecutados.

7. Recibe orden de trabajo

8. ¿Puede diferenciar servicio normal de express?

9. Flujo normal / express

10. Postulación del Profesional al marketplace

11. Asignación y recepción de servicios (on demand)

12. Agenda del profesional

13. Workflow de atención

14. Seguimiento georreferenciado del pro y ETA

15. Notificaciones

16. Reporte de incidencias

17. Checklist de actividades del servicio

18. Elaboración de presupuestos

19. Histórico de servicios

20. Informes de servicios

21. Visualización de estados del servicio para el cliente

22. Alarmas y notificaciones de cumplimientos de los SLA´s

Transición entre tareas

Por lo general, tendremos varios escenarios por los que deseamos que el usuario testee, pero el orden en el que los complete puede depender del estado de ánimo y el nivel de habilidad del participante. Es importante estar alerta para poder sentir si los participantes se están frustrando, lo que puede indicar que debemos cambiarlos a una tarea más fácil para desarrollar su confianza; o también podemos encontrar al participante súper capacitado que completa la tarea en muy poco tiempo, ahí sería importante investigar por qué hicieron lo que hicieron.

Preguntas luego del cumplimiento de tareas

1. ¿Cómo le pareció la experiencia de utilizar el sitio web para completar esta tarea? 

   1. ¿Qué te pareció el diseño del contenido?

   2. ¿Qué le pareció la experiencia de pago?

   3. ¿Qué le parecieron las explicaciones de la página?

2. Noté que hiciste ____. ¿Puedes decirme porque? Haga un seguimiento de cualquier comportamiento interesante que observe durante la prueba para tener una mejor idea del proceso de pensamiento detrás de las acciones del usuario.

3. ¿Notó si había alguna otra forma de ___? Está intentando determinar por qué el usuario hizo una cosa en lugar de otra.

4. ¿Cuál de estos dos enfoques / opciones encuentra mejor? ¿Por qué? Esto es útil si está tratando de determinar cuál es la más atractiva de varias opciones.

5. ¿Puedes decirme qué piensas de ___? Al preguntar sobre aspectos específicos de la página (iconos, menús, texto), recopilará opiniones sobre el diseño y la funcionalidad del sitio y reelaborará los componentes confusos.

Ejecución del test

Tareas y Responsables

• Armar plan.

• Probar el test completo internamente antes de llevarlo a los usuarios.

• Automatizar formulario con preguntas iniciales, tareas y preguntas finales.

• Participantes para hacer el test del test.

• Ejecutor y moderador del test.

• Coordinación participantes.

• Análisis de la data y Reporte.

Detalle sesiones 

Agenda

• Introducción (5 min)

• Preguntas Iniciales (5 min)

• Tares propuestas: (20 min)

  • Explicar tareas a ejecutar.

  • Hacer preguntas

• Preguntas finales (5 min)

• Cierre

Detalle (ver formularios para más detalle)

• Introducción: Explicación del objetivo del test al usuario, Descripción general, Duración, overview CTA. 

• Preguntas iniciales

• Explicar tareas a ejecutar: Preguntas luego de cada tarea

• Preguntas finales del test

Cita Participantes

Enviar la cita y una descripción de la herramienta que utilizaremos y los pasos a seguir. Datos de prueba y forma de probar. Explicar que la sesión se va a grabar y pedir consentimiento.

• Ver data de prueba

• Grabar video introducción

• Evaluar cantidad de gente
  

Asunto: Sesión de test de usabilidad Sodimac Nombre Apellido

Información participantes

Participantes perfil 1

1. Participante 1

   • Nombre

   • Correo

   • Teléfono

   • Formulario de consentimiento

Análisis de data

Análisis heurístico

• Accesibilidad

• Usabilidad

• Estilo e Identidad visual

• Cumplimiento de las tareas

• Navegación y Layout

• Ingreso de información

• Confianza

• Calidad del contenido y redacción

• Ayuda que le entregamos al usuario

Análisis por páginas

• Landing

• Login

• Registro

Análisis Competencia

• Competidores directos 

• indirectos

Analizar métricas de usabilidad

Filtrar la data recolectada según las métricas de usabilidad (definición página)

Reporte

• El proceso

• Conclusiones

• Compartir como modelo.

• Test de usabilidad 2.0 con onboarding.