Kyselylomakkeen tutkimus- ja testausmenetelmien valinta suunnitellaan aina tapauskohtaisesti. Menetelmiä voivat olla Tilastokeskuksen asiantuntijoiden tekemä konsultointi tai asiantuntijaraadin arviointi tai kyselyn kohderyhmälle tehdyt kognitiiviset haastattelut tai fokusryhmähaastattelut.

Menetelmämme perustuvat keskeisesti kysely-vastaamisprosessin kognitiiviseen malliin.

Kysely-vastaamisprosessin kognitiivinen malli

Kognitiivisen psykologian näkökulmasta lomakekysymyksiin vastaava henkilö suorittaa erilaisia kognitiivisia tehtäviä. Ajattelu on joustava prosessi, joten vastauksen muodostaminen on edestakaista siirtymistä eri vaiheiden välillä. Yleisen mallin mukaisesti vastaajan ensimmäinen tehtävä on ymmärtää ja tulkita kysymys. Toisena tehtävänä vastaaja ikään kuin palauttaa muististaan vastaamiseen tarvittavan relevantin tiedon, tulkintansa jälkeen. Kolmanneksi vastaaja muotoilee ja sovittaa vastauksensa tarjolla oleviin vastausvaihtoehtoihin. Lopuksi vastaaja arvioi antamansa tiedon vaikutuksia tai sopivuutta ennen vastaamista ja päättää, vastaako totuudenmukaisesti vai ei.

Yritysvastaajilla vastaamiseen tulee mukaan lisäksi organisatorisista tekijöistä johtuvia tehtäviä. Ne liittyvät tietojen saamiseen yrityksen järjestelmistä, vastaamistehtävän organisointiin ja yrityksen sisäisiin järjestelyihin luotettavien tietojen tarkistamiseksi ja luovuttamiseksi.

Lomakeasiantuntijoiden konsultointi

Tilastokeskuksen lomakeasiantuntijat arvioivat ja tekevät ehdotuksia kyselylomakkeen sisällöstä ja käytettävyydestä. Huomiota kiinnitetään muun muassa kysymysten ja vastausvaihtoehtojen ymmärrettävyyteen, lomakkeen ulkoasuun ja lomakkeen käytettävyyteen sekä tekstien kieliasuun ja yhtenäisyyteen. Lomakekonsultointi on tarjotuista menetelmistä kevyin.

Asiantuntijaraadin arviointi

Asiantuntijaraadin tekemässä lomakearvioinnissa Tilastokeskuksen asiantuntijat arvioivat kyselylomakkeen käyttäen arviointiluokitusta, joka perustuu yleiseen kysely-vastaamisprosessin malliin. Asiantuntijaraatiin kuuluu noin viisi jäsentä, jotka ovat käyttäytymistieteiden, survey-menetelmän tai kyselyn aihepiirin kokeneita asiantuntijoita. Arvioinneista tehdään kooste, jonka perusteella esiin nousseita ongelmia voidaan korjata.

Kognitiiviset haastattelut kohderyhmälle

Kognitiivisilla haastatteluilla tutkimme ja testaamme lomakeluonnoksia tai yksittäisiä kysymyksiä ja käsitteitä. Kutsumme vastaajaprofiilin sopivia henkilöitä yksilöhaastatteluihin, joissa vastaaja vastaa lomakkeen kysymyksiin. Haastattelun aikana kannustamme häntä ajattelemaan ääneen ja sanoittamaan ajatusprosessiaan. Esitämme vastaajalle lisäkysymyksiä, joilla varmistetaan, että kaikkiin haastattelun tavoitteena oleviin asioihin saadaan vastaus. Kyselylomakkeen sisällön testaamisen rinnalla havainnoimme haastattelussa lomakkeen käytettävyyttä.

Kognitiivisin haastatteluin voidaan saada selville muun muassa seuraavia asioita:

• Mitä vastaaja ajattelee kysymyksellä tai ohjeilla tarkoitettavan?
• Mitä yksittäiset termit ja käsitteet merkitsevät vastaajalle?
• Millaisen informaation mieleen palauttamista vastaajalta edellytetään?
• Minkälaista vastaamisstrategiaa vastaaja käyttää?

Kognitiivista haastattelumenetelmää voidaan soveltaa myös hiukan kevyempänä verkkotestauksena (web probing). Tällöin vastaaja vastaa verkossa itsekseen verkkolomakkeelle liitettyihin etukäteen suunniteltuihin lisäkysymyksiin testattavien kysymysten yhteydessä.

Fokusryhmähaastattelu kohderyhmälle

Fokusryhmähaastattelussa kutsumme pienen joukon kohderyhmään kuuluvia henkilöitä keskustelemaan kiinnostuksen kohteena olevasta aiheesta. Tavoitteena on saada tietoa siitä, millaisia eri näkökulmia, mielipiteitä ja asenteita tutkittavaan aiheeseen liittyy. Fokusryhmähaastattelua voi käyttää myös lomakkeen sisällön arvioimiseen. Fokusryhmähaastattelut auttavat kohderyhmän sanaston ja ajattelutapojen oppimisessa. Ne voivat tarjota oivalluksia myös kvantitatiivisten tulosten tulkintaan.