En el post anterior sobre errores en la elaboración de cuestionarios online, clasificábamos los tipos de errores de las encuestas y anticipábamos la publicación de una nueva entrada más centrada en los errores de medición: aquellos que se producen como consecuencia de errores en la formulación de las preguntas.
La formulación de preguntas de un cuestionario es algo que a priori parece sencillo. En la vida cotidiana realizamos preguntas constantemente, y nuestros interlocutores nos entienden y nos responden sin ningún problema. Por tanto, ¿por qué va a ser difícil elaborar un cuestionario? Al fin y al cabo es un proceso comunicativo al que estamos acostumbrados en el día a día. ¿Dónde está el misterio entonces?
Una breve escena de la película “La llegada” explica bien la complejidad que puede generar el establecimiento de elementos comunes en la comunicación. La trama de esta peli se basa en la llegada de unos alienígenas a la Tierra. El gobierno de EEUU contrata a una prestigiosa lingüista para que se comunique con ellos. Poco a poco ella va a aprendiendo la lengua de los extraterrestres, pero los primeros pasos son muy complejos porque se tienen que establecer elementos comunes en ambas lenguas para que haya una mínima base de entendimiento.
Más allá de usar un mismo código lingüístico, se trata de llegar a acuerdos semánticos que permitan establecer una base común de comunicación: ¿Hay interrogaciones en esa lengua o para solventar una duda utilizan otras estructuras que no tienen que ver con una secuencia de pregunta-respuesta? ¿Los conceptos tal y como los entendemos nosotros, tienen el mismo significado para nuestro receptor?
¿Qué tiene que ver esta escena con la elaboración de un cuestionario? Las personas que queremos que contesten a nuestra encuesta no son extraterrestres (creo), pero en ocasiones el lenguaje que hay que utilizar en un cuestionario se tiene que elaborar de tal modo que no hay que dar por supuesto que nuestro receptor va comprender lo que queremos transmitir de la forma en qué suponemos que va a entenderlo.
Lo primero que hay que tener presente cuando redactamos preguntas de un cuestionario es que una encuesta es una especie de “situación comunicativa artificial”, que es diferente a lo que podríamos denominar como una situación comunicativa natural. Por ejemplo, cuando se realizan las preguntas de un cuestionario online no solemos tener información de contexto en relación a nuestro receptor.
Además el cuestionario tiene que ser el mismo para todo el mundo, por lo que no podemos adaptar o cambiar el lenguaje de las preguntas para hacernos comprender mejor. En un cuestionario la misma pregunta tiene que ser comprendida por personas muy distintas de las que además no conocemos de nada. Es decir, tenemos que buscar un código de lenguaje que sea comprendido por cualquier persona, independientemente de cualquier característica personal que tenga y cuál sea su condición social.
Esto además es más pronunciado cuando se trata de un cuestionario online. Las encuestas online son autoadministradas, lo que supone que no hay encuestadores que permitan ajustar el contexto de comunicación y establecer aclaraciones cuando los encuestados tienen dudas.
Por tanto, la elaboración de preguntas para un cuestionario, especialmente en los cuestionarios online, en un proceso técnico-artesanal de búsqueda de un lenguaje que permita maximizar la comprensión de las preguntas y minimizar los posibles sesgos en las respuestas de los encuestados, teniendo presente que tenemos que manejar un código único y que nos falta información de contexto para adaptar la comunicación.
A continuación explicamos cómo evitar algunos de los peligros que pueden surgir a la hora de elaborar un cuestionario y así no cometer errores en la formulación de las preguntas:
1.- Categorías unívocas, mutuamente excluyentes y exhaustivas
Estos son unos de los criterios más básicos para elaborar un cuestionario, y sin embargo, en muchas ocasiones todavía se encuentran preguntas en los cuestionarios que no lo tienen presente. Utilicemos ejemplos para ver estos errores.
Una persona que está indecisa sobre si ir a votar en las próximas elecciones ¿qué opción escogería? En esta pregunta las categorías no son ni unívocas ni mutuamente excluyentes ya que las personas con dudas sobre su intención de votar en las próximas elecciones podrían contestar igualmente a varias categorías.
En esta otra pregunta el problema viene dado porque las categorías no son exhaustivas. ¿Todo el mundo conoce qué es Unilever? Faltaría una categoría tipo “No conozco esta marca”. No obstante este es un dilema en los cuestionarios online. Poner respuestas tipo NS/NC puede generar que las personas encuestadas acudan a ellas como recurso para no posicionarse en las respuestas. Por ello hay que reservarlo para las preguntas en las que pensamos que puede haber dudas razonables en las personas encuestadas.
2.- La búsqueda de la neutralidad semántica
La elección y redacción de las palabras en un cuestionario es fundamental para no sesgar las respuestas de los encuestados. Numerosas investigaciones han demostrado como pueden variar los porcentajes de respuesta según el lenguaje que se utiliza.
Uno de los estudios pioneros en este sentido fue el elaborado por Rugg (1941). Para conocer el nivel de apoyo la libertad de expresión de los estadounidenses, formuló dos preguntas dicotómicas con posible respuesta de Sí/No:
- a) ¿Cree Ud. que en los Estados Unidos se deberían prohibir públicos contra la democracia?
- b) ¿Cree Ud. que en los Estados Unidos no se deberían permitir dar discursos públicos contra la democracia?
En la primera redacción la distribución de respuestas fue «Sí «54 % y «No» 46 %; en la segunda fue «Sí» 75 % y «No» 25 %. Aunque las preguntas pueden ser equivalentes conceptualmente, la diferencia de carga semántica de la palabra prohibir modificaba notablemente los resultados.
¿Qué hay que hacer para que no se produzcan estas situaciones en nuestro cuestionario? El objetivo es buscar lo que podemos denominar como “neutralidad semántica” en la redacción de las preguntas; es decir, buscar términos que mantengan el sentido de la pregunta pero sin activar elementos emocionales u opináticos en las personas encuestadas.
A veces, es difícil encontrar la solución en la redacción de la pregunta y es más efectivo cambiar su formato. Utilizando el ejemplo anterior, huyendo de respuestas dicotómicas de Sí o No que obligan a posicionarse en posiciones muy determinadas, una posible forma de redactar la pregunta sería construir una Escala Likert que profundizase en distintas dimensiones que explorase los límites al apoyo a la libertad de expresión de los ciudadanos.
3.- Evitar la “deseabilidad social”
Este sesgo se puede producir cuando se sospecha que los encuestados no responden en base a cómo piensan o actúan, sino adecuando sus respuestas a lo que creen que es socialmente esperado o aceptado.
Por ejemplo, para medir actitudes racistas y xenófobas una pregunta directa introduciría este tipo de error: normalmente nadie se considera abiertamente racista o xenófobo. ¿Cómo se podría medir este tipo de actitudes entonces? En el siguiente ejemplo del Barómetro del CIS se muestra un ejemplo. Mediante una pregunta indirecta en el que a las personas se les plantea una situación concreta, se puede esquivar en buena medida el sesgo de deseabilidad social.
4.- Errores por visualización del cuestionario: la importancia de la usabilidad
La realización de una encuesta online no deja de ser una experiencia de usuario en una interfaz. Por tanto, para su diseño es fundamental utilizar todo el background que se tenga en UX para implementar en nuestro cuestionario criterios de usabilidad relacionados con el diseño, la interacción, la arquitectura, la comprensión del etiquetaje, el análisis de la secuencia de la visualización de la pantalla, etc.
Veamos un ejemplo en este sentido. Observando la siguiente parrilla ¿podría influir el orden de lectura de la pregunta en el tipo de respuesta?
Para cada una de estas marcas de ropa, dinos por favor cuál es tu relación con cada una de ellas.
Las categorías de respuesta se podrían leer de dos formas: a) los usuarios pueden leer todas las marcas y luego contestar y b) los usuarios pueden contestar fila a fila sin tener presentes todas las marcas. En el primer caso, valoramos la marca en relación al resto, en el segundo, la valoramos de forma aislada, por lo que no se ha establecido una preferencia comparativa. Este tipo de cuestiones que tienen que ver con aspectos relacionados con la arquitectura y la secuencia de visualización de la pantalla, son fundamentales para poder acoplar el diseño a los objetivos de nuestra investigación sin provocar sesgos de respuesta.
Estos son algunos de los errores de medición que se pueden cometer con más frecuencia. Esperamos que os hayan sido útiles para mejorar los diseños de vuestros cuestionarios.