La utilización de las encuestas o cuestionarios online como medio para conocer a los usuarios ha crecido de manera exponencial en los últimos años. Uno de los motivos principales de este crecimiento es la proliferación de plataformas de encuestas online que permiten realizar trabajos de campo de manera ágil y eficaz con un coste muy reducido (o incluso a coste 0).
Los posibles riesgos de esta creciente “oferta” de encuestas pueden ser varios. Uno de ellos es el “efecto saturación”: cada vez hay más encuestas en circulación y los usuarios se cansan de contestarlas, lo que tiene una clara incidencia en las tasas de respuesta y consecuentemente en la calidad de los datos.
La existencia de paneles y panelistas que contestan a cambio de una gratificación mitigan en parte este problema. Sin embargo, las respuestas de panelistas están sujetas a otros posibles sesgos sobre los que también es conveniente reflexionar. Uno de ellos sería, por ejemplo, lo que podríamos denominar como “profesionalización de las respuestas”: como efecto de que los panelistas están muy familiarizados con la realización de encuestas, potencialmente pueden emplear “trucos” tales como minimizar la carga de respuesta y el tiempo de ejecución, que pueden incidir en la veracidad de las respuestas.
Otro de los posibles riesgos de la sobreproducción de encuestas es su “banalización”. En este sentido los efectos principales pueden ser dos:
- Generar un uso desenfocado, es decir, usarlas para estudios en los que serían más adecuadas otras técnicas.
- Elaborarlas con menor rigor metodológico, sin atender a los criterios técnicos adecuados, lo que genera que los cuestionarios puedan introducir errores en las respuestas.
Este segundo aspecto, los sesgos y errores que se pueden cometer cuando se realizan cuestionarios, es algo fundamental en lo que incidimos especialmente en los cursos sobre diseños de cuestionarios online que impartimos las personas del equipo de Legridd. Transmitimos la importancia de diseñar encuestas con rigor científico y enseñamos a evitar los errores que provoca un cuestionario mal elaborado, algo fundamental si no queremos fundamentar nuestras decisiones en datos erróneos.
En la red se pueden encontrar textos muy útiles con consejos para elaborar correctamente encuestas y cuestionarios online. Pero antes de entrar más en detalle en acciones concretas, algo que haremos en un próximo post, queremos ordenar las ideas agrupando en una tipología los principales errores que se pueden cometer cuando se elabora un cuestionario. Te los mostramos en el siguiente cuadro:
Las soluciones para todos estos errores son las mismas: investigar de manera adecuada sobre lo que queremos medir, utilizar técnicas cualitativas previamente para enfocar correctamente el cuestionario y sobre todo, ser exhaustivos en la realización de pre-test. Veamos a grandes rasgos en qué consiste cada uno de estos errores.
- Errores de estructura
Estos errores hacen referencia a aspectos que no se refieren tanto a preguntas concretas, si no a la estructura u ordenamiento general del cuestionario. Los más comunes son aquellos que vienen provocados por un exceso de duración del cuestionario o errores en el formato de la encuesta que dificultan la lectura de las preguntas (por ejemplo, una letra que se lea mal o algún problema de visualización de la interfaz). - Errores de especificación
Estos errores se producen cuando alguno aspecto necesario para medir lo que queremos no está incluida (una dimensión, tema, ítem, etc.), o bien, no está definida de manera adecuada en nuestro cuestionario. Por ejemplo, imaginemos que queremos medir la satisfacción de un usuario con el uso de una interfaz de e-commerce; para muchos de nuestros usuarios un elemento clave de su experiencia es que pueda pagar con Paypal sin comisión, pero no hemos detectado este aspecto. Si no se introdujese en nuestro cuestionario ninguna pregunta sobre el método de pago, estaríamos cometiendo un error de especificación porque no estaríamos midiendo la satisfacción de un elemento clave para nuestros usuarios. - Errores de medición:
Los errores de medición son aquellos que se derivan de la formulación de las preguntas y pueden ser de muy distinto tipo:- Los que se deben a posibles problemas de interpretación que los encuestados hagan de los términos de la pregunta,
- Los que vienen dados por la forma de enunciar la pregunta, los que vienen dados por aspectos relacionados con las opciones de respuesta,
- Aquellos que tienen que ver con la secuencia en la que están ordenadas las preguntas en el cuestionario, etc.
En muchas ocasiones los errores de medición son los más complicados de solucionar y de detectar, porque en gran medida tienen que ver con la complejidad del uso del lenguaje y su conexión con el contexto cultural de recepción.
En el próximo post nos centraremos en este último tipo de errores, los errores de medición. Pondremos el foco en algunos que son más comunes en el diseño de cuestionarios y que por tanto pueden tener potencialmente un impacto mayor cuando tomamos decisiones estratégicas basadas en los datos de las encuestas.
[…] el post anterior sobre errores en la elaboración de cuestionarios online, clasificábamos los tipos de errores de las encuestas y anticipábamos la publicación de una […]