Как разработать хороший опрос (руководство)

Простое руководство по созданию хорошего опроса

LimeSurvey позволяет очень быстро собрать опрос. К сожалению, это означает, что так же легко можно создать и плохой опрос.

На этой странице вы найдёте простое руководство по составлению опроса, который не только будет легко заполнить вашей аудитории, но и позволит вам получить содержательные ответы.

В блоге "Survey design tips & tricks" также можно найти много другой полезной информации.

Перед созданием опроса

Прежде чем разрабатывать любой опрос, нужно ответить на несколько важных вопросов — точнее, даже прежде чем решить, подходит ли вам опрос вообще.

Что именно вы на самом деле хотите выяснить в ходе своего исследования?

Когда вы ответите на этот вопрос, задайте себе следующие:

• Поможет ли опрос получить информацию, необходимую для моего исследования?
• Кого лучше всего попросить пройти опрос?
• Как убедиться, что опрос дойдёт до нужных людей?
• Как лучше всего помочь участникам опроса полностью понять вопросы (чтобы полученная информация была точной и полезной)?
• Какие статистические методы (для анализа данных), если они вообще нужны, я хочу или должен применить к данным после их сбора?
• Какие персональные данные мне действительно нужны и как я их защищу?

Это лишь некоторые из вопросов, на которые нужно получить чёткие ответы, решая, подходит ли вам LimeSurvey.

LimeSurvey отлично подходит для полностью структурированных (вы знаете все вопросы, которые может понадобиться задать, ещё до начала интервью), стандартизированных (все получают примерно один и тот же опрос), преимущественно количественных (речь в основном о числах или вопросах с заранее определёнными ответами) опросов, которые проводятся онлайн.

Разумеется, до некоторой степени от этого можно отступать. Вы можете использовать LimeSurvey для ввода ответов, полученных в ходе интервью, например телефонных. Также можно собирать качественные данные, например, с помощью текстовых вопросов.

Но в какой-то момент вы можете прийти к выводу, что другие методы исследования подходят лучше.

Структура опроса

Чтобы решить, в каком порядке задавать вопросы и как их группировать, нужно учесть несколько аспектов.

По возможности начинайте с вопросов, на которые легко ответить и на которые все участники отвечают без затруднений. Часто это отборочные вопросы, то есть вопросы, которые нужно задать, чтобы выяснить, те ли люди проходят опрос (для работы с такими вопросами используйте условия и/или квоты).

Размещение таких вопросов в начале поможет предотвратить уход участников до завершения опроса, так как люди реже прерывают опрос, когда уже вложили некоторые усилия в ответы на эти вводные/отборочные вопросы.

Примеры:

Which of the following fruit do you like?
#Apples   ()
#Bananas  ()
#Cherries ()

(несколько ответов)

Вы можете использовать условия, чтобы следующие вопросы о вишне показывались только участникам, которые выбрали ''Cherries''.

Why do you like cherries?
#They are tasty
#I love the color
#They are healthy
#They are juicy
#I love cherry pie

(несколько ответов)

How much do you like cherries?
#1) Not much more than other fruit
#2) Like them more than other fruit
#3) It's one of my favourite fruits!
#4) I ADORE CHERRIES!

(одиночный выбор)

Do you know any recipes with cherries?

[textfield]

Выше приведён пример простых вводных вопросов, за которыми следует основной вопрос.

Цель состояла в том, чтобы собрать рецепты с фруктами. Вводные вопросы легко отвечать, и они гарантируют, что вопросы о вишне задаются только тем участникам, которым она нравится.

С другой стороны, если вам нужно задать сложные вопросы, подумайте о том, чтобы разместить каждый вопрос или группу вопросов на отдельной странице (установите для опроса Формат в общих настройках Группа за группой или Вопрос за вопросом) и поставить эти сложные вопросы в самый конец. Тогда, если участники решат не завершать опрос, хотя бы их предыдущие ответы будут сохранены.

Ещё один момент, связанный со структурой: избегайте искажений, которые вносит сам опрос.

Например, в маркетинговых исследованиях используются понятия, требующие вопросов без подсказки и вопросов с подсказкой.

Примером вопроса без подсказки может быть:

"Which brands of chocolate are you familiar with?"

(далее следует пустое текстовое поле)

Ниже приведён пример вопроса с подсказкой:

 "Which of the following brands of chocolate are you familiar with?"

(далее следует список марок (несколько ответов))

Если вы решите включить в один опрос оба типа вопросов (с подсказкой и без), размещайте их на разных страницах и ставьте вопросы без подсказки перед вопросами с подсказкой. Если поставить вопрос с подсказкой перед вопросом без подсказки, это может невольно повлиять на ответы участников и сделать ваши результаты недействительными. По той же причине подумайте об отключении навигации назад, чтобы участники не могли вернуться и изменить свои ответы на вопросы без подсказки после того, как увидели список.

Отдельные вопросы

Вопросы должны быть нейтральными. «Что вы думаете о LimeSurvey?» — допустимый (нейтральный) вопрос, а «Вы не согласны, что LimeSurvey — действительно замечательный инструмент?» — наводящий.

Другие примеры и рекомендации по формулировке вопросов:

Люди, скорее всего, ответят «да» на предложение пожертвовать деньги, если задать вопросы следующим образом:

• Вы любите природу?
• Пожертвуете ли вы деньги на помощь реке?

Скорее всего, они ответят «нет», если задать вопросы так:

• Нехватка денег для вас проблема?
• Пожертвуете ли вы деньги на помощь реке?

Чтобы получить корректные ответы, располагайте вопросы в таком порядке:

• от наименее деликатных к наиболее деликатным
• от общих к более конкретным
• от вопросов о фактах к вопросам о мнениях

При формулировании вопроса также учитывайте следующее:

• Спрашивайте о чём-то одном. На вопрос «Насколько вы довольны ценой и качеством нашего продукта?» не сможет правильно ответить тот, кому нравится качество, но не нравится цена. Разделите его на два вопроса.
• Используйте простые, повседневные слова и избегайте сокращений и технических терминов, которые могут быть незнакомы участникам.
• Избегайте отрицаний, особенно двойных, например: «Согласны ли вы, что реку не нужно очищать?».
• Чётко указывайте временные рамки. На вопрос «Как часто вы бывали на реке за последние 12 месяцев?» отвечать и сравнивать ответы проще, чем на вопрос «Как часто вы бываете на реке?».

Кроме того, вопрос опроса может быть:

• открытым (человек отвечает своими словами) или
• закрытым (человек выбирает из ограниченного числа вариантов)

Закрытые вопросы гораздо проще анализировать, но они могут не позволить респондентам дать тот ответ, который они действительно хотят.

Пример: «Какой ваш любимый цвет?»

Открытый вопрос: кто-то может ответить «тёмная фуксия», и тогда в результатах вам понадобится категория «тёмная фуксия».

Закрытый вопрос: при выборе всего из 12 цветов ваша работа упростится, но респонденты могут не найти свой точный любимый цвет.

Внимательно обдумайте каждый вопрос и решите, должен ли он быть открытым или закрытым. Если вам нужно глубже понять ответы, используйте открытые вопросы. В остальных случаях можно использовать закрытые вопросы.

Пример (открытый вопрос): «Как, по вашему мнению, лучше всего очистить реку?»

Сделайте его открытым: ответы будет непросто свести в таблицу или диаграмму, но вы сможете глубже понять чувства и идеи людей об очистке реки или окружающей среды и использовать прямые цитаты в отчёте.

Пример (закрытый вопрос): «Как часто вы бывали на реке за последние 12 месяцев?»

Сделайте его закрытым со следующими вариантами:

• Почти каждый день
• Не менее 5 раз
• От 1 до 4 раз
• Ни разу

Эти данные можно будет наглядно представить в виде столбчатой диаграммы.

При работе с вопросами с выбором одного или нескольких ответов выбирайте подходящий тип вопроса и правильно формулируйте как вопросы, так и ответы.

Например:

Which of the following fruit do you like?
#Apples   ()
#Bananas  ()
#Cherries ()

Выше приведён типичный вопрос с несколькими ответами, так как вам может нравиться сразу несколько пунктов списка. С другой стороны, вопрос «Какой из следующих фруктов вам нравится больше всего?» — это вопрос с одиночным выбором.

Оба примера с фруктами сформулированы так, чтобы было понятно, что вас интересуют только перечисленные фрукты. Если вы зададите вопрос «Какой ваш любимый фрукт?», то вам потребуется либо действительно исчерпывающий список фруктов, либо, что более вероятно, параметр «Другое» в LimeSurvey, чтобы добавить текстовое поле для ответов, которых нет в списке. В целом варианты ответов в большинстве случаев должны быть полными, взаимоисключающими и однозначными.

Если некоторые участники могут не суметь ответить на вопрос, дайте им выход, например вариант ответа «Не знаю» или «Неприменимо». Для необязательных вопросов LimeSurvey также может показывать вариант «Нет ответа». Иначе люди могут выбрать случайный ответ только ради того, чтобы продолжить, что снижает надёжность ваших данных.

Если в вопросах с выбором одного или нескольких ответов много вариантов, учтите, что это может привести к другому смещению: участники, как правило, концентрируют внимание на самых первых вариантах, а не на тех, что находятся в середине. Чтобы уменьшить эту проблему, вы можете установить для порядка вариантов ответов вопроса значение Случайный, чтобы каждый участник видел варианты в разном порядке. Таким же образом можно использовать группы рандомизации, чтобы показывать вопросы в случайном порядке.

Что делает опрос хорошим?

Есть три особенности опроса, которые помогают получить правильные ответы для более точной оценки:

1. Вопросы ясные и точные, что в совокупности позволяет получить подробные, однозначные и содержательные ответы.
2. Все предопределённые ответы и их форматы соответствуют вопросу.
3. У людей есть возможность добавить дополнительную информацию, если им это нужно.

Кроме того, всегда помните об удобстве для пользователя. Чтение, прокрутка и щелчки мышью утомляют. Поэтому:

1. Избегайте ненужных вопросов.
2. Используйте условия, чтобы не задавать вопросы, не относящиеся к конкретному участнику.
3. Делайте вопросы и ответы короткими и удобными для чтения - используйте подходящую разметку.
4. Подумайте о компромиссе между прокруткой и щелчками. Для коротких опросов (5-15 вопросов, в зависимости от сложности вопросов) отображайте всё на одной странице. Для более длинных опросов разумно используйте группы, то есть группируйте вопросы понятным образом. Используйте описания групп, чтобы чётко обозначить тему следующих вопросов.
5. Не запутывайте участников разными шкалами: по возможности ограничьте количество разных типов шкал, диапазонов шкал и разных описаний шкал. Старайтесь не менять направление шкал (есть некоторые методологические исключения).
6. Используйте сбалансированные оценочные шкалы, то есть с одинаковым количеством положительных и отрицательных вариантов. Выбирайте осознанно: нечётное количество вариантов с нейтральной серединой или чётное, которое заставляет участников склониться в одну сторону (см. примеры ниже).
7. Делайте вопросы обязательными, только если ответ действительно необходим. Участники, которых заставляют отвечать на вопрос, на который они не хотят отвечать, часто дают случайный ответ или покидают опрос. Настройка обязательности Мягкий напоминает участникам о вопросах без ответа, но позволяет им продолжить.
8. Помните, что многие участники будут проходить ваш опрос на смартфоне. Большими массивами (матричными вопросами) со множеством столбцов трудно пользоваться на маленьком экране, поэтому делайте их небольшими или разбивайте на части и проверьте опрос на телефоне до начала.

Сбалансированная шкала с чётным количеством вариантов (без нейтрального варианта):

1. Очень хорошо
2. Хорошо
3. Плохо
4. Очень плохо

Сбалансированная шкала с нечётным количеством вариантов (с нейтральным вариантом):

1. Очень хорошо
2. Хорошо
3. Ни хорошо, ни плохо
4. Плохо
5. Очень плохо

Несбалансированная шкала (избегайте - три положительных варианта и только один отрицательный):

1. Отлично
2. Очень хорошо
3. Хорошо
4. Плохо

Лучший способ начать разработку опроса - потратить минуту и представить идеальную обратную связь. Само собой разумеется, что содержательные ответы наиболее полезны, поэтому старайтесь создавать вопросы, которые побуждают к таким ответам.

Как это сделать? Лучший метод - разделить все области и решить, какая информация вам нужна.

Например, представьте, что вы провели открытое для публики мероприятие и вам нужно получить общую обратную связь о нём.

Следующий опрос - пример того, который может не подойти для получения полезных ответов:

Вам понравилось мероприятие?

( ) Да

( ) Нет

Насколько хорошим был Wi-Fi?

1 2 3 4 5 6 7 8 9 10

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

Были ли у вас проблемы с тем, чтобы добраться до мероприятия?

( ) Да

( ) Нет

Была ли предоставленная карта полезной?

( ) Да

( ) Нет

Что вы думаете о составе докладчиков?

( ) Очень грустно ( ) Грустно ( ) Нейтрально ( ) Радостно ( ) Очень радостно

Улучшение примера опроса

Оценочные шкалы полезны, но только если вы можете использовать полученные ответы. Вопрос, в котором просят лишь поставить оценку, показывает, что было хорошим или плохим, но не почему. Помните, что длинный список обязательных вопросов с оценкой может отталкивать вашу аудиторию, поскольку он не позволяет поделиться никакой дополнительной информацией.

Скорее всего, если человек проходит ваш опрос, он хочет оставить отзыв, а если он считает, что ему нечего сказать по делу, он просто закроет окно и займётся другими делами.

Так что же не так с приведённым выше опросом?

Давайте рассмотрим каждый вопрос по отдельности.

Вопрос 1 на самом деле ничего не даёт. Представьте, что вы получили 100 ответов «нет». Сам по себе такой ответ не даёт никакой полезной информации о том, почему участнику не понравилось мероприятие. Вы будете гадать о причинах ответов «нет» и не будете знать, что с ними делать. Возможное улучшение мы рассмотрим чуть позже.

Вопрос 2 хуже первого. Вспомним три признака хорошего опроса: вопросы должны быть ясными и точными. «Насколько хорошо» может означать скорость, зону покрытия, надёжность или простоту подключения - каждый участник может оценивать что-то своё. Более того, такой вопрос не позволяет получить содержательный ответ на вопрос вроде: «Что вы будете делать, зная, что 33 % людей оценили ваш Wi-Fi как хороший, а не только 23 %?» Три признака хорошего опроса также гласят, что предопределённые ответы должны соответствовать вопросу.

Совершенно очевидно, что использование шкалы для этого вопроса не поможет вам улучшить качество Wi-Fi. Для этого вопроса определённо необходимо предусмотреть место, где люди смогут добавить дополнительную информацию. Как иначе сообщить о конкретной проблеме, не имея возможности описать её подробнее?

В таком случае почти невозможно получить достаточно информации, чтобы должным образом устранить проблемы, с которыми столкнулись участники при использовании Wi-Fi. Смысл опросов в том, чтобы получать полезную информацию, с которой можно работать или из которой можно извлечь уроки.

Вопросы 3 и 4 дадут те же результаты, что и первые два вопроса. Они допускают только ответ «да» или «нет», и ни один из них не даёт возможности добавить подробности. Ниже мы предлагаем рекомендации о том, как улучшить такие вопросы.

Вопрос 5, последний, тоже неэффективен. Спрашивать участников, что они «чувствуют» по поводу состава докладчиков, со шкалой от «очень грустно» до «очень радостно» малополезно: у каждого человека свои интересы, поэтому у всех, скорее всего, будет разное мнение о каждом докладчике. Это ещё один пример того, когда используется вопрос со шкалой, хотя этого делать не следует.

Посмотрите на улучшенный опрос ниже. Вопросы вроде «Если у вас возникли проблемы, не могли бы вы кратко их описать?» нужно показывать только тем участникам, которые сообщили о проблеме - для этого используйте условия.

Пользовались ли вы Wi-Fi на территории мероприятия?

( ) Да

( ) Нет

Возникали ли у вас проблемы с Wi-Fi?

( ) Никаких проблем

( ) Несколько небольших неполадок, ничего серьёзного

( ) Одна-две серьёзные проблемы

( ) Wi-Fi был почти полностью непригоден для использования.

Если у вас возникли проблемы, не могли бы вы кратко их описать? (Текстовое поле)

Возникали ли у вас проблемы с добиранием до мероприятия?

( ) Да

( ) Нет

Как вы добрались до нашего мероприятия?

( ) На поезде

( ) На машине

( ) На автобусе

( ) Метро или трамвай

( ) Пешком

( ) Другое: ________

Вы пользовались картой с нашего сайта?

( ) Да

( ) Нет

Если вы смотрели карту, была ли она достаточно подробной?

( ) Да

( ) Она дала общее представление, но для большей детализации я использовал(а) другую карту.

( ) Совсем не подробная

Если вы не пользовались картой, почему?

( ) Недостаточно подробная

( ) Я использовал(а) навигационное приложение.

( ) Я даже не знал(а), что она существует!

В целом, были ли докладчики интересными? Понравились ли вам выступления?

( ) Почти все были интересными и доставили огромное удовольствие

( ) В основном понравилось, но было несколько менее интересных докладов.

( ) Пятьдесят на пятьдесят

( ) Скучных больше, чем интересных

( ) Не нашел(ла) ни одного интересного

Пожалуйста, поясните ваш ответ на предыдущий вопрос. Вы можете упомянуть

конкретных людей или доклады. (Текстовое поле)

Если мы могли бы улучшить подборку докладов или у вас есть другие интересные идеи относительно

докладов, укажите их ниже (Текстовое поле)

Если у вас есть другие рекомендации или идеи, укажите их ниже. (Текстовое поле)

Этот опрос может быть немного длиннее, но на него намного проще отвечать, а ответы легче интерпретировать. Если задать два-три вопроса по каждой теме, при обработке результатов можно провести более глубокий анализ. Например, представьте, что в ответ на первый вопрос опроса 30 человек сообщили, что у них возникли проблемы с тем, чтобы добраться до мероприятия.

Это было бы всё, что можно извлечь из результатов, но с новым набором вопросов можно определить, какие виды транспорта вызвали у людей затруднения. Более того, можно выяснить, пользовались ли они предоставленной картой или другим средством навигации, и использовать это для целенаправленных улучшений в будущем.

Помните, что каждый дополнительный вопрос повышает вероятность того, что участники прекратят отвечать. Делайте опрос как можно короче, сообщите участникам в приветственном тексте, сколько времени он займёт, и подумайте о том, чтобы показать индикатор прогресса.

Другое важное дополнение — вопросы с текстовым полем. Они позволяют участникам оставить конкретные отзывы, которые вы сможете использовать. Лучше не делать такие вопросы обязательными, так как это может отбить у людей желание отвечать.

В заключение: при составлении опроса стремитесь задавать конкретные вопросы, чтобы получить более полезную для анализа информацию. Также помните, что полезно собрать немного дополнительной справочной информации: она поможет лучше проанализировать ответы.

Также важно правильно формулировать вопросы. Если людям нужно ответить на вопросы, а они их не понимают, они закроют окно и уйдут. По возможности попросите кого-нибудь ещё вычитать ваш опрос перед публикацией, чтобы убедиться, что вопросы понятны.

Предвзятость в опросах

При проведении маркетинговых исследований важно для получения непредвзятых ответов не задавать участникам опроса вопросы, которые могут повлиять на их ответы. Исключение предвзятости помогает избежать ответов, которые могут сделать собранные данные недействительными или исказить их. Компании или частному лицу без должной подготовки и знаний в области маркетинговых исследований легко и привычно допустить такую ошибку. Это относится ко многим аспектам: к формулировке вопроса, к типам доступных вариантов ответа, к тому, как интервьюер задаёт вопросы при сборе данных по телефону или при личной встрече.

Ниже приведён пример предвзятого вопроса:

Насколько вам понравилось мероприятие?

( )Очень понравилось

( )Совсем немного

( )Не очень

( )Совсем не понравилось

На первый взгляд кажется, что со структурой этого вопроса всё в порядке. В конце концов, у респондента есть варианты от «очень понравилось» до «совсем не понравилось». Однако проблема в формулировке вопроса. Спрашивая участника, «насколько» ему понравилось мероприятие, проводящий опрос уже создаёт предвзятость, предполагая, что мероприятие так или иначе понравилось респонденту, хотя это может быть не так.

Следующий пример показывает, как лучше задать вопрос, чтобы не влиять на ответ участника:

Как бы вы оценили своё общее впечатление от мероприятия по шкале от 1 до 5: 1 = «Совсем не понравилось», 5 = «Очень понравилось»

1 2 3 4 5

( ) ( ) ( ) ( ) ( )

Изменённая формулировка позволяет респондентам отвечать по шкале, которая помогает легко указать уровень удовольствия, а проводящему опрос — легко свести результаты в таблицу и сравнить их с ответами других респондентов. Разумеется, следует добавить и другие вопросы, чтобы выяснить подробности того, что участникам понравилось или не понравилось.

Это лишь один пример того, как небольшие изменения в формулировках могут улучшить ваш опрос.

Протестируйте опрос перед запуском

Прежде чем отправлять опрос участникам, тщательно протестируйте его:

• Используйте предварительный просмотр, чтобы самостоятельно пройти опрос, и попробуйте разные ответы, чтобы убедиться, что ваши условия показывают и скрывают нужные вопросы. Файл логики опроса поможет найти ошибки в условиях и выражениях.
• Откройте опрос как на смартфоне, так и на компьютере.
• Попросите нескольких человек из вашей целевой аудитории пройти опрос (пилотное тестирование) и спросите, какие вопросы были непонятны. Также изучите их ответы: если многие выбрали «Другое» или оставили вопрос без ответа, возможно, вопрос или варианты ответов нужно улучшить.
• Убедитесь, что экспортированные результаты можно проанализировать так, как вы планировали.

Вносите изменения до того, как активируете опрос. После того как опрос станет активным, добавлять и удалять вопросы уже нельзя. Чтобы изменить структуру опроса, его нужно деактивировать, при этом собранные к этому моменту ответы будут перенесены в архивную таблицу.

Защитите данные ваших участников

Запрашивайте только те персональные данные, которые действительно нужны для вашего исследования. Участники охотнее отвечают честно, если знают, что будет с их ответами.

• Объясните в приветственном тексте, кто проводит опрос, для чего будут использоваться данные и как долго они будут храниться.
• Если вам не нужно связывать ответы с конкретными участниками, включите анонимные ответы.
• Используйте настройки политики данных, чтобы показывать уведомление о защите данных, которое участники должны принять перед началом опроса.