Как да проектираме добро проучване (ръководство)
From LimeSurvey Manual
Просто ръководство за създаване на добро проучване
LimeSurvey улеснява много бързото съставяне на проучване. За съжаление, това също прави съставянето на лошо проучване много лесно.
На тази страница ще намерите просто ръководство за съставяне на проучване, което не само ще е лесно за попълване от вашата аудитория, но и ще ви даде смислени отговори.
Блогът "Survey design tips & tricks" предоставя и друга много полезна информация.
Преди да създадете проучване
Преди да изготвите което и да е проучване, трябва да отговорите на някои важни въпроси - всъщност дори преди да решите дали проучването е правилният подход.
Какво наистина искате да разберете с вашето изследване?
След като отговорите на този въпрос, си задайте следните въпроси:
- Ще ми помогне ли проучването да получа информацията, от която се нуждая за моето изследване?
- Кои са подходящите хора, които да помоля да попълнят проучването?
- Как мога да се уверя, че достигам до подходящите хора?
- Кой е най-добрият начин да помогна на участниците напълно да разберат въпросите (така че получената информация да е точна и полезна)?
- Кои статистически методи (за анализ на данни), ако изобщо има такива, искам или трябва да приложа върху данните, след като бъдат събрани?
- Какви лични данни наистина са ми необходими и как ще ги защитя?
Това са само няколко от въпросите, на които се нуждаете от ясни отговори, когато решавате дали LimeSurvey е правилният инструмент за вас.
LimeSurvey е чудесен за изцяло структурирани (знаете всички въпроси, които може да се наложи да зададете, преди да започнете интервюто), стандартизирани (всеки получава повече или по-малко едно и също проучване), предимно количествени (основно с числа или въпроси с предварително зададени отговори) проучвания, които се провеждат онлайн.
До известна степен, разбира се, можете да се отклоните от това. Можете да използвате LimeSurvey, за да въвеждате отговори от интервюта, например телефонни интервюта. Можете също да го използвате за събиране на качествени данни, например чрез текстови въпроси.
Но в един момент може да стигнете до заключението, че други методи на изследване са по-подходящи.
Структуриране на проучване
За да решите в кой ред да задавате въпроси и как да ги групирате, трябва да вземете предвид някои аспекти.
Ако е възможно, започнете с въпроси, на които е лесно да се отговори и на които всички участници са удобни да отговорят. Често това ще бъдат въпроси за проверка, т.е. въпроси, които трябва да зададете, за да разберете дали питате правилните хора (използвайте условия и/или квоти, за да се справите с тези проверки въпроси).
Поставянето на този тип въпроси в началото може да помогне на участниците да не напускат анкетата ви, преди да са я попълнили, тъй като е по-малко вероятно хората да прекратят, след като вече са положили малко работа, за да отговорят на тези въвеждащи/проверъчни въпроси.
Примери:
Which of the following fruit do you like?
#Apples ()
#Bananas ()
#Cherries ()
(множество възможности)
Можете да използвате условия, за да покажете следващите въпроси за черешите само на участниците, които са избрали ''Череши''.
Защо обичате черешите?
#Вкусни са
#Обичам цвета им
#Здравословни са
#Сочни са
#Обичам черешов пай
(множество възможности)
Колко обичате череши?
#1) Не много повече от други плодове
#2) Харесвате ги повече от други плодове
#3) Това е един от любимите ми плодове!
#4) ОБОЖАВАМ ЧЕРЕШИ!
(един избор)
Знаете ли рецепти с череши?
[текстово поле]
По-горе е даден пример за лесни за отговор въвеждащи въпроси, последвани от основния въпрос.
Целта беше да се съберат рецепти с плодове. Въпросите за въвеждане са лесни за отговаряне и гарантират, че въпроси за черешите ще бъдат зададени само на участници, които обичат череши.
От друга страна, ако трябва да зададете въпроси, на които е трудно да се отговори, може да помислите да използвате отделни страници за всеки въпрос или група въпроси (задайте Формат на проучването в общите настройки на Група по група или Въпрос по въпрос) и да поставите тези трудни въпроси в самия край. По този начин, ако участниците решат да не довършат проучването, поне предишните им отговори ще бъдат запазени.
Друго нещо, което трябва да имате предвид по отношение на структурата - избягвайте пристрастия, въведени от самото проучване.
Например в проучването на пазара има концепции, които изискват неподпомогнати и подпомогнати въпроси.
Пример за неподпомогнат въпрос би бил:
"Which brands of chocolate are you familiar with?"
(последвано от празно текстово поле)
Следното е пример за подпомогнат въпрос:
"Which of the following brands of chocolate are you familiar with?"
(последван от списък с марки (множествен избор))
Ако решите да включите и двата типа въпроси (подпомагани и неподпомагани) в едно и също проучване, трябва да ги поставите на различни страници и да поставите неподпомаганите въпроси преди подпомаганите. Поставянето на подпомаган въпрос преди неподпомаган може неволно да повлияе на отговорите на участниците, което би обезсилило резултатите ви. По същата причина обмислете изключване на навигацията назад, така че участниците да не могат да се върнат и да променят неподпомаганите си отговори, след като са видели списъка.
Отделни въпроси
Въпросите не трябва да са внушителни. „Какво е мнението ви за LimeSurvey?“ е приемлив (несугестивен) въпрос, докато „Не сте ли съгласни, че LimeSurvey е наистина страхотен инструмент?“ е подсказващ въпрос.
Други примери и предложения за формулиране на въпроси:
Хората могат да кажат "да" на даряването на пари, ако им бъдат зададени въпроси по следния начин:
- Обичате ли природата?
- Ще дарите ли пари в помощ на реката ?
Те вероятно ще кажат "не", когато им бъдат зададени въпросите по този начин:
- Липсата на пари проблем ли е за вас?
- Ще дарите ли пари, за да помогнете на река?
За да подпомогнете търсенето на правилните отговори, подредете въпросите си:
- от най-малко чувствителните към най-чувствителните
- от общи към по-конкретни
- от въпроси за факти до въпроси за мнения
Когато формулирате въпрос, имайте предвид и следното:
- Питайте само за едно нещо наведнъж. На въпроса „Доколко сте доволни от цената и качеството на нашия продукт?“ не може да се отговори правилно от човек, на когото харесва качеството, но не и цената. Разделете го на два въпроса.
- Използвайте прости, ежедневни думи и избягвайте съкращения и технически термини, които участниците ви може да не знаят.
- Избягвайте отрицанията, особено двойните отрицания като „Несъгласни ли сте, че реката не трябва да се почиства?“.
- Бъдете конкретни относно периодите от време. На въпроса „Колко често посещавахте реката през последните 12 месеца?“ е по-лесно да се отговори и да се сравнят отговорите, отколкото на „Колко често посещавате реката?“.
Също така, анкетен въпрос може да бъде:
- 'Отворен (човекът отговаря със собствените си думи) или
- 'Затворен' (човекът избира от ограничен брой опции)
Затворените въпроси са много по-лесни за анализ, но може да не позволят на респондентите да дадат отговора, който наистина искат.
Пример: „„Кой е любимият ви цвят?““
Отворено: Някой може да отговори "тъмна фуксия", в който случай ще трябва да имате категория "тъмна фуксия" в резултатите си.
Затворен тип: С избор от само 12 цвята работата ви ще бъде по-лесна, но респондентите може да не успеят да изберат точния си любим цвят.
Обмислете внимателно всеки въпрос и решете дали да е отворен или затворен. Ако се нуждаете от по-задълбочена представа за отговорите, използвайте отворени въпроси. В противен случай могат да се използват затворени въпроси.
Пример (отворен): „„Какъв според вас е най-добрият начин за почистване на реката“?“
Направете го отворено: отговорите може да не са лесни за поставяне в таблица или графика, но можете да придобиете дълбока представа за чувствата и идеите на хората относно почистването на реката или околната среда и да използвате директни цитати в вашето отчитане.
Пример (затворен въпрос): „Колко често посещавахте реката през последните 12 месеца?“
Направете го затворен със следните възможности:
- Почти всеки ден
- Поне 5 пъти
- От 1 до 4 пъти
- Никога
Ще можете да представите тези данни в чиста лентова графика.
Когато работите с въпроси с множествен или единичен избор, изберете подходящия тип на въпроса и формулирайте по подходящ начин както въпросите, така и отговорите.
Например:
Which of the following fruit do you like?
#Apples ()
#Bananas ()
#Cherries ()
Горното е типичен въпрос с множествен избор, тъй като можете да харесвате няколко елемента от списъка. От друга страна, „Кой от следните плодове харесвате най-много?“ е въпрос с единичен избор.
И двата примера с плодове са формулирани така, че да е ясно, че ви интересуват само изброените плодове. Ако зададете въпроса „Кой е любимият ви плод?“, трябва или да имате наистина изчерпателен списък с плодове, или, което е по-вероятно, да използвате опцията „Друго“ на LimeSurvey, за да добавите текстово поле за отговори, които не са в списъка. Като цяло възможните отговори в повечето случаи трябва да бъдат пълни, взаимно изключващи се и категорични.
Ако някои участници може да не са в състояние да отговорят на даден въпрос, осигурете им изход, например отговор „Не знам“ или „Неприложимо“. За въпроси, които не са задължителни, LimeSurvey може да покаже и опция „Няма отговор“. В противен случай хората може да изберат произволен отговор само за да продължат, което прави данните ви по-малко надеждни.
Ако имате въпроси с множествен или единичен избор с много възможности, трябва да знаете, че това може да доведе до друго пристрастие, тъй като участниците вероятно ще съсредоточат вниманието си върху първите опции, а не върху тези по средата. За да намалите този проблем, можете да зададете реда на възможните отговори на даден въпрос на Произволен ред, така че всеки участник да вижда опциите в различен ред. По същия начин можете да използвате групи за рандомизация, за да показвате въпросите в произволен ред.
Какво прави едно проучване добро?
Има 3 характеристики на анкета, които ще помогнат за извличане на правилните отговори, необходими за по-точна(и) оценка(и):
- Въпросите са ясни и точни, като заедно позволяват подробни, недвусмислени и смислени отговори.
- Всички предоставени предварително дефинирани отговори и техните формати са подходящи за въпроса.
- Има място за хората да добавят допълнителна информация, ако имат нужда.
Освен това винаги имайте предвид потребителското изживяване. Четенето, превъртането и щракването са уморителни дейности. Затова:
- Избягвайте ненужните въпроси.
- Използвайте условия, за да не задавате въпроси, които не са подходящи за конкретен участник.
- Поддържайте въпросите и отговорите кратки и лесни за четене - използвайте подходящо форматиране.
- Помислете за компромиса между превъртане и щракване. Показвайте всичко на една страница при кратки проучвания (5-15 въпроса, в зависимост от сложността на въпросите). При по-дълги проучвания използвайте разумно групите, т.е. групирайте въпросите по разбираем начин. Използвайте описанията на групите, за да дадете ясна информация за темата на следващите въпроси.
- Избягвайте да объркате участниците с различни скали, т.е. ограничете колкото е възможно повече броя на различните типове скали, обхвати на скали и описания на скали. Опитайте се да не променяте посоката на скалите. (Има някои методологични изключения).
- Използвайте балансирани скали за оценка, т.е. еднакъв брой положителни и отрицателни опции. Решете съзнателно дали искате нечетен брой опции с неутрална опция по средата, или четен брой, който кара участниците да се колебаят към една от страните (вижте примерите по-долу).
- Правете въпросите задължителни само ако наистина се нуждаете от отговора. Участниците, принудени да отговорят на въпрос, на който не желаят да отговарят, често дават случаен отговор или напускат проучването. Настройката Мека настройка за задължителните въпроси напомня на участниците за въпросите без отговор, но им позволява да продължат.
- Имайте предвид, че много участници ще попълват вашето проучване на смартфон. Големите масиви (матрични въпроси) с много колони са трудни за използване на малък екран, затова ги поддържайте малки или ги разделяйте и тествайте проучването си на телефон, преди да започнете.
Балансирана скала с четен брой опции (без неутрална опция):
1. Много добро
2. Добро
3. Лошо
4. Много лошо
Балансирана скала с нечетен брой опции (с неутрална опция):
1. Много добро
2. Добро
3. Нито добро, нито лошо
4. Лошо
5. Много лошо
Небалансирана скала (избягвайте - три положителни опции, но само една отрицателна):
1. Отлично
2. Много добро
3. Добро
4. Лошо
Най-добрият начин да започнете да проектирате проучване е да отделите секунда, за да си представите вашата идеална обратна връзка. От само себе си се разбира, че смислените отговори са най-полезните, така че опитайте се да създадете въпроси, които приканват към тези отговори.
Как можеш да направиш това? Най-добрият метод е да отделите всички области и да решите от каква информация се нуждаете.
Например, представете си, че сте провели събитие, което е отворено за обществеността и трябва да получите обща обратна връзка за събитието.
Следното проучване е пример за такова, което може да е недостатъчно за получаване на полезни отговори:
Хареса ли ви събитието?
( ) Да
( ) Не
Колко добър беше Wi-Fi?
1 2 3 4 5 6 7 8 9 10
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )
Имахте ли проблеми да стигнете до събитието?
( ) Да
( ) Не
Беше ли полезна предоставената карта?
( ) Да
( ) Не
Как се почувствахте за комбинацията от говорители?
( ) Много тъжен ( ) Тъжен ( ) Неутрален ( ) Щастлив ( ) Много щастлив
Подобряване на примерното проучване
Скалите за оценка са полезни, но само ако можете да предприемете действия въз основа на отговорите. Въпрос, който изисква само оценка, ви казва че нещо е било добро или лошо, но не защо. Имайте предвид, че дълъг списък от задължителни въпроси за оценка може да откаже вашата аудитория, защото не позволява споделянето на допълнителна информация.
Шансовете са, че ако някой попълва вашата анкета, той иска да даде обратна връзка и ако не смята, че може да сподели нещо полезно, просто ще затвори прозореца и ще продължи напред.
И така, какво не е наред с проучването по-горе?
Нека разгледаме всеки въпрос един по един.
Въпрос 1 всъщност не постига нищо. Представете си, че получавате 100 отговора „не“. Самият отговор не предоставя полезна информация защо участникът не е харесал събитието. Ще се чудите каква е причината за отговорите „не“ и какво да правите с тях. След малко ще разгледаме възможно подобрение.
Въпрос 2 е по-лош от първия. Връщайки се към 3-те характеристики на доброто проучване, виждаме, че въпросите трябва да бъдат ясни и точни. „Колко добър“ може да означава скорост, покритие, надеждност или колко лесно е било да се свържете - всеки участник може да оценява различно нещо. Нещо повече, той не позволява смислен отговор на въпрос като: „Какво ще правите със знанието, че 33% от хората са оценили вашия Wi-Fi като добър срещу само 23%?“ 3-те характеристики на доброто проучване също гласят, че предварително дефинираните отговори трябва да са подходящи за въпроса.
Съвсем очевидно е, че използването на скала за този въпрос няма да ви помогне да подобрите качеството на вашия Wi-Fi. Съществува определена необходимост този въпрос да има място за хората да добавят допълнителна информация. Как може някой да докладва конкретен проблем, без да може да го разясни?
В този случай би било почти невъзможно да разполагате с достатъчно информация, за да адресирате правилно проблемите, които участниците са имали с Wi-Fi. Проучванията целят да получите полезна информация, с която можете да работите или от която можете да се учите.
Въпроси 3 и 4 биха имали същите резултати като първите два въпроса. Те позволяват само отговор „да“ или „не“ и нито един от тях не дава възможност за добавяне на подробности. По-долу предлагаме как да подобрите този тип въпроси.
Въпрос 5, последният въпрос, е друг неефективен. Питането как участниците „се чувстват“ относно подбора на лектори със скала от „много тъжен“ до „много щастлив“ не е много полезно, тъй като всеки човек има различни интереси и затова всеки вероятно ще има различно мнение за всеки лектор. Това е още един пример за въпрос със „скала“, който се използва, а не би трябвало.
Разгледайте подобреното проучване по-долу. Въпроси като „Ако сте изпитали проблеми, бихте ли ги описали накратко?“ трябва да се показват само на участници, които са съобщили за проблем - използвайте условия за това.
Използвахте ли вътрешния Wi-Fi?
( ) Да
( ) Не
Имахте ли проблеми с Wi-Fi?
( ) Няма никакви проблеми
( ) Няколко малки проблема, нищо сериозно
( ) Един или два сериозни проблема
( ) Wi-Fi беше почти напълно неизползваем.
Ако сте имали проблеми, можете ли да ги опишете накратко? (Текстово поле)
Имахте ли проблеми да стигнете до събитието?
( ) Да
( ) Не
Как дойдохте на нашето събитие?
( ) Влак
( ) Кола
( ) Автобус
( ) Метро или трамвай
( ) Разходка
( ) Друго: ________
Използвахте ли картата от нашия уебсайт?
( ) Да
( ) Не
Ако погледнахте картата, беше ли достатъчно подробна?
( ) Да
( ) Това ми даде груба представа. Все пак използвах друга карта за повече подробности.
( ) Изобщо не е подробно
Ако не сте използвали картата, защо не?
( ) Няма достатъчно подробности
( ) Вместо това използвах навигационно приложение.
( ) Дори не знаех, че съществува!
Като цяло, интересни ли бяха лекторите? Харесаха ли ви презентациите?
( ) Почти всички бяха интересни и изключително забавни
( ) Предимно приятни, но шепа по-малко интересни разговори.
( ) Разделяне 50 - 50
( ) По-скоро скучно, отколкото интересно
( ) Не намерих нищо интересно
Моля, разяснете отговора си на въпроса по-горе. Чувствайте се свободни да посочите всеки
конкретни хора/разговори. (Текстово поле)
Ако можем да подобрим обхвата на разговорите или имате други интересни идеи относно
разговорите, избройте ги по-долу (Текстово поле)
Ако имате други препоръки или идеи, моля, избройте ги по-долу. (Текстово поле)
Тази анкета може да е малко по-дълга, но е много по-лесно да се отговаря и тълкува отговорите. Задаването на два или три въпроса по всяка от темите означава, че когато става въпрос за обработка на резултатите, можете да направите малко повече анализ. Например, представете си, че в отговор на първия въпрос от проучването сте получили 30 души, които казват, че са имали проблеми да стигнат до събитието.
Това би било толкова информация, колкото можете да извлечете от резултатите, но с новия набор от отговори ще бъде възможно да се заключи кои форми на транспорт създават проблеми на хората. Нещо повече, можете да продължите, за да видите дали са използвали предоставената карта или друга форма на навигация и да използвате това, за да насочите подобрения в бъдеще.
Имайте предвид, че всеки допълнителен въпрос увеличава вероятността участниците да спрат да отговарят. Поддържайте проучването възможно най-кратко, съобщете на участниците в приветствения текст колко време ще отнеме и обмислете показването на индикатор на прогреса.
Други важни допълнения са въпросите с текстово поле. Те позволяват на вашите участници да дадат конкретна обратна връзка, от която можете да черпите. Добра идея е да не ги правите задължителни, тъй като може да откажат хората да отговарят.
В заключение, когато съставяте проучване, трябва да се стремите да създадете такова, което задава конкретни въпроси, за да получите повече полезна информация за анализ. Освен това не забравяйте, че е полезно да съберете малко допълнителна основна информация, тъй като тя може да се използва за по-добър анализ на отговорите.
Също така е важно да формулирате въпросите си правилно. Ако хората трябва да отговорят на въпросите и не ги разбират, те ще затворят прозореца и ще продължат нататък. Ако е възможно, помолете някой друг да прочете и коригира вашето проучване, преди да го направите публично достъпно, за да сте сигурни, че въпросите са ясни.
Пристрастност на проучването
При провеждането на пазарни проучвания важен ключ за получаване на безпристрастни отговори е да се избягва задаването на въпроси на участниците, които могат да повлияят на отговорите им. Избягването на пристрастност в проучването помага да се елиминират отговорите, които могат да обезсмислят или изкривят събраните данни. Доста лесно и обичайно е компания или човек без подходящо обучение/познания в проучването на пазара да сгреши по този начин. Това се отнася за много неща - от начина, по който е формулиран въпросът, през видовете отговори, от които може да се избира, до начина, по който интервюиращият представя въпросите, ако данните се събират по телефон или лично.
Следното е пример за пристрастен въпрос:
Колко ви хареса събитието?
( )Много
( )Само малко
( )Не много
( )Въобще не
На пръв поглед изглежда, че няма проблем със структурата на този въпрос. В края на краищата респондентът има избор от „много“ до „изобщо не“. Проблемът обаче е в начина, по който е формулиран въпросът. Като пита участниците „Колко“ са харесали събитието, лицето, провеждащо проучването, вече е създало пристрастност, като приема, че респондентът е харесал събитието по един или друг начин, което може да не е така.
Следният пример би бил по-добър начин да зададете въпроса по начин, който не влияе на отговора на участника:
Как бихте оценили цялостното си удоволствие от събитието по скала от 1 до 5: 1 = „Изобщо не“ и 5 = „Напълно ми хареса“
1 2 3 4 5
( ) ( ) ( ) ( ) ( )
Перифразирането на въпроса позволява на респондентите да отговарят с помощта на скала, която им улеснява да посочат нивото на удоволствие си, и улеснява лицето, което провежда проучването, да таблицира и сравнява резултатите с тези на другите респонденти. Разбира се, трябва да се добавят още въпроси, за да се съберат подробности за това какво е харесало или не е харесало на участниците.
Това е само един пример за това как малки промени във формулировката могат да подобрят вашето проучване.
Тествайте проучването си, преди да започнете
Преди да изпратите проучването на участниците, тествайте го внимателно:
- Използвайте прегледа, за да преминете сами през проучването, и опитайте различни отговори, за да проверите дали вашите условия показват и скриват правилните въпроси. Файлът с логиката на проучването ви помага да намерите грешки в условията и изразите.
- Отворете проучването както на смартфон, така и на компютър.
- Помолете няколко души от вашата целева аудитория да попълнят проучването (пилотен тест) и ги попитайте кои въпроси са били неясни. Погледнете и техните отговори: ако много хора са избрали "Друго" или са оставили въпрос без отговор, може да е необходимо въпросът или възможните отговори да бъдат подобрени.
- Проверете дали експортираните резултати могат да бъдат анализирани по начина, по който сте планирали.
Направете промените си, преди да активирате проучването. След като проучването е активно, вече не можете да добавяте или изтривате въпроси. За да промените структурата на проучването, трябва да го деактивирате, при което досега събраните отговори се преместват в архивна таблица.
Защитете данните на вашите участници
Искайте само лични данни, които наистина са ви необходими за вашето изследване. Участниците са по-склонни да отговарят честно, ако знаят какво се случва с отговорите им.
- Обяснете в приветствения текст кой провежда проучването, за какво ще бъдат използвани данните и колко дълго ще се съхраняват.
- Ако не е необходимо да свързвате отговорите с отделни участници, включете анонимни отговори.
- Използвайте настройките за политика за данните, за да покажете известие за защита на данните, което участниците трябва да приемат, преди да започнат проучването.