pilotaż
Co to jest pilotaż?
Pilotaż to metoda testowania narzędzia badawczego pozwalająca usunąć jego wady i błędy zanim jeszcze zostanie użyte na docelowej próbie badawczej.
Celem pilotażu jest sprawdzenie jak pracuje dane narzędzie, czy przynosi poszukiwane informacje, czy respondenci rozumieją pytania oraz zadania, jakie się przed nimi stawia. W sensie formalnym plotaż stanowi rodzaj wywiadu, w trakcie którego usiłujemy ustalić czy nasze nasze narzędzie badawcze (kwestionariusz wywiadu lub ankiety) pracuje tak, jak tego oczekiwaliśmy.
W tzw. pilotażu pogłębionym wywiad ten obejmuje:
Co poddaje się sprawdzaniu?
Elementami, które sprawdza się w trakcie pilotażu są:
Po pierwsze, ma przeprowadizć wywiad kwestionariuszowy od początku do końca tak, jak przewiduje instrukcja. Po drugie, ma wystąpić w roli ankietera pilotażowego, czyli zrealizować polecenia instrukcji pilotażowej aby sprawdzić jak pracuje narzędzie badawcze.
Wiele zadań na raz
Ankieter pilotażowy ma złożone i wielokrotne zadania:
[1] przeprowadzić wywiad kwestionariuszowy (zadawać pytania kwestionariuszowe oraz notować odpowiedzi na nie, czyli otrzymać poszukiwane informacje);
[2] dokonywać obserwacji respondenta i notować spostrzeżenia (jak się zachowuje, co mówi, jak odnosi się do sytuacji wywiadu, jak reaguje na pytania, jakie reakcje i stany emocjonalne prezentuje gdy np. nie umie udzielić odpowiediz na pytanie, gdy jest zmęczony, rozdrażniony, okazuje zdziwienie);
[3] notować wszelkie uwagi i komentarze respondenta dotyczące treści i jakości przygotowanych pytań oraz całej sytuacji badania;
[4] działać w kierunku otrzymywania jak najwięcej informacji dotyczących wartości poszczegolnych pytań i całego kwestionariusza;
[5] zadawać pytania pilotażowe - wszędzie tam, gdzie przewiduej to instrukcja pilotażowa;
[6] obserwować sytuację społeczną wywiadu (w jakich warunkach przebiega, w jakim otoczeniu się odbywa, jaka panuje atmosfera, kto jest obecny w trakcie wywiadu i jak się zachowuje);
[7] sprawdzać jak pracuje narzędzie badawcze (czy instrukcje dla ankietera stanowią wspierający go instrument, czy Karty respondenta są przydatne i jak respondent się nimi posługuje);
[8] dokonywać autoobserwacji (jak sam ankieter czuje się w tej roli? czy nie ma problemu z posługiwaniem się narzędziem badawczym? czy nie pojawiają się u niego utrudniające procesy psychiczne (zażenowanie, wstyd, niepewność, złość) w momencie pracy z kwestionariuszem i w kontakcie z respondentem)
[9] zapisywać swoje uwagi i spostrzeżenia;
[10] wypełnić ankietę do ankietera (zanotować własne propozycje ulepszenia nazrędzia badawczego)
Pytania pilotażowe
Dotyczą dwóch zasadniczych kwestii:
1. Czy respondent zrozumiał właściwie pytanie kwestionariuszowe?
Czy zrozumiał zadanie, jakie (za pośrednictwem ankietera) postawił przed nim badacz? Czy zrozumiał kluczowe terminy wchodzące w skład pytania? Czy zrozumiał alternatywy zawarte w kafeterii? Czy je odróżnia i jest w stanie wybrać którąś z nich? Czy nie ma problemu z posługiwaniem się kartą respondenta - czy chce z niej skorzystać?
Ankieter powinien zwrócić uwagę na zachowania respondenta takie jak:
Procesy te mogą być wywołane cechami samego respondenta (jego aktualnym samopoczuciem, stanem fizycznym, ogólnym poziomem umysłowym) osobą ankietera (jego zachowaniem, cechami, sposobem autoprezentacji) lub ogólną sytuacją wywiadu (miejsce i czas, warunki w jakich toczy się rozmowa, obecnosć osób trzecich).
Ankieter powinien zwrócić uwagę na reakcje takie jak:
Żaden badacz nie jest w stanie siedząc za biurkiem wymyślić dokładnie i zaplanować tego jak będą reagowali respondenci na przygotowywane przez niego narzędzie badawcze. Musi ono zostać sprawdzone w praktyce, w konfrontacji z żywym człowiekiem. Jest to bardzo ważna, choć przez niektórych badaczy lekceważona strona procesu przygotowywania narzędzi badawczych.
Ile wywiadów pilotażowych?
Pilotaż pogłębiony polega na przeprowadzeniu stosunkowo neiwielkiej liczby takich "rozszerzonych" wywiadów (od 30 do 100) przy użyciu specjalnej Instrukcji pilotażowej. Ale doświadczenie pokazuje, że do zwykłego pilotażu wystarczy zrobić już 10 wywiadów aby zorientować się jakie błędy popełniliśmy w trakcie budowania narzędzia.
Kogo badać?
Dobór respondentów do pilotażu ma charakter racjonalny, celowy. "Nie stanowią oni żadnej próby reprezentatywnej w sensie statystycznym i są najczęściej wybierani według kryteriów uwzględniających życzenia badacza". Najczęściej staramy się uzyskać nadreprezentację pewnych kategorii osób: z niższym wykształceniem, mających za sobą określone doświadczenia życiowe, takich, których moglibyśmy zaliczyć do kategorii tzw. "respondentów trudnych". Ich opinie i reakcje są szczególnie godne poznania w trakcie pilotażu, ponieważ zakładamy, że ze względu na swoje cechy społeczno-demograficzne będą nam oni raczej utrudniali niż ułatwiali zadanie przeprowadzenia wywiadu, a dzięki temu, pozwolą szybciej wychwycić wady narzedzia badawczego. Poza tym, jeśli uda nam się przeprowadizć wywiad z jednostkami o cechach skrajnych, które uważamy za trudne, to prawdopodobnie powiedzie się także zrealizowanie go z jednostkami o cechach przeciętnych.
Czas trwania pilotażu
Łatwo się zorientować, że ilość zadań, jakie spoczywają na ankieterze pilotażowym musi znacząco wydłużać czas trwania takiego wywiadu. Trzeba pamiętać o tym, że nawet najsympatyczniejszy i najbardziej cierpliwy respondent nie wytrzyma nerwowo zbyt wielkiej liczby pytań pilotażowych. Dlatego w instrukcji pilotażowej planujemy starannie ich zadawanie i zamieszczamy je jedynie w przypadku pytań najważniejszych z punktu widzenia projektu i takich, co do ktorych mamy podejzrenia, że mogą sprawiać respondentowi kłopot. Instrukcję pilotażową trzeba więc dobrze przemyśleć i dokonać właściwej selekcji pytań pilotażowych, pamiętając zalecenia Jana Lutyńskiego, że nigdy nie dość wysiłku na etapie przygotowania - jeśli chcemy uzyskiwać wartościowe i cenne dane o rzeczywistości społecznej... lub inaczej... jeśli nie chcemy otrzymać danych o wartości śmieciowej.
Literatura:
Pilotaż to metoda testowania narzędzia badawczego pozwalająca usunąć jego wady i błędy zanim jeszcze zostanie użyte na docelowej próbie badawczej.
Celem pilotażu jest sprawdzenie jak pracuje dane narzędzie, czy przynosi poszukiwane informacje, czy respondenci rozumieją pytania oraz zadania, jakie się przed nimi stawia. W sensie formalnym plotaż stanowi rodzaj wywiadu, w trakcie którego usiłujemy ustalić czy nasze nasze narzędzie badawcze (kwestionariusz wywiadu lub ankiety) pracuje tak, jak tego oczekiwaliśmy.
W tzw. pilotażu pogłębionym wywiad ten obejmuje:
- wywiad kwstionariuszowy
- obserwację uczestniczącą
- oraz wywiad o wywiadzie.
Co poddaje się sprawdzaniu?
Elementami, które sprawdza się w trakcie pilotażu są:
- kwestionariusz (jego zawartość, poszczególne pytania i ich kolejność, długość kafeterii)
- instrukcję dla ankieterów (czy stanowi dobre wsparcie dla ankietera prowadzącego wywiad)
- materiały pomocnicze (czy są dla respondentów czytelne)
- wpływ ogólnych warunków rozmowy na uzyskiwanie informacji.
Po pierwsze, ma przeprowadizć wywiad kwestionariuszowy od początku do końca tak, jak przewiduje instrukcja. Po drugie, ma wystąpić w roli ankietera pilotażowego, czyli zrealizować polecenia instrukcji pilotażowej aby sprawdzić jak pracuje narzędzie badawcze.
Wiele zadań na raz
Ankieter pilotażowy ma złożone i wielokrotne zadania:
[1] przeprowadzić wywiad kwestionariuszowy (zadawać pytania kwestionariuszowe oraz notować odpowiedzi na nie, czyli otrzymać poszukiwane informacje);
[2] dokonywać obserwacji respondenta i notować spostrzeżenia (jak się zachowuje, co mówi, jak odnosi się do sytuacji wywiadu, jak reaguje na pytania, jakie reakcje i stany emocjonalne prezentuje gdy np. nie umie udzielić odpowiediz na pytanie, gdy jest zmęczony, rozdrażniony, okazuje zdziwienie);
[3] notować wszelkie uwagi i komentarze respondenta dotyczące treści i jakości przygotowanych pytań oraz całej sytuacji badania;
[4] działać w kierunku otrzymywania jak najwięcej informacji dotyczących wartości poszczegolnych pytań i całego kwestionariusza;
[5] zadawać pytania pilotażowe - wszędzie tam, gdzie przewiduej to instrukcja pilotażowa;
[6] obserwować sytuację społeczną wywiadu (w jakich warunkach przebiega, w jakim otoczeniu się odbywa, jaka panuje atmosfera, kto jest obecny w trakcie wywiadu i jak się zachowuje);
[7] sprawdzać jak pracuje narzędzie badawcze (czy instrukcje dla ankietera stanowią wspierający go instrument, czy Karty respondenta są przydatne i jak respondent się nimi posługuje);
[8] dokonywać autoobserwacji (jak sam ankieter czuje się w tej roli? czy nie ma problemu z posługiwaniem się narzędziem badawczym? czy nie pojawiają się u niego utrudniające procesy psychiczne (zażenowanie, wstyd, niepewność, złość) w momencie pracy z kwestionariuszem i w kontakcie z respondentem)
[9] zapisywać swoje uwagi i spostrzeżenia;
[10] wypełnić ankietę do ankietera (zanotować własne propozycje ulepszenia nazrędzia badawczego)
Pytania pilotażowe
Dotyczą dwóch zasadniczych kwestii:
1. Czy respondent zrozumiał właściwie pytanie kwestionariuszowe?
Czy zrozumiał zadanie, jakie (za pośrednictwem ankietera) postawił przed nim badacz? Czy zrozumiał kluczowe terminy wchodzące w skład pytania? Czy zrozumiał alternatywy zawarte w kafeterii? Czy je odróżnia i jest w stanie wybrać którąś z nich? Czy nie ma problemu z posługiwaniem się kartą respondenta - czy chce z niej skorzystać?
Ankieter powinien zwrócić uwagę na zachowania respondenta takie jak:
- "zwracanie się do ankietera lub osób trzecich z prośbą o wytłumaczenie całego pytania lub pewnych użytych w nim słów, albo też o pomoc w odpowiadaniu"
- wszelkie spontaniczne uwagi i opinie respondentów na temat poszczególnych pytań, ich tematyki, sformułowania, języka, stylu, nawet formy gramatycznej i składni"
- "wszystkie te odpowiedzi respondentów [...] które świadczą, że nie rozumieją go w ten sam sposób jak badacz" (Lutyńska 1984: 180)
Procesy te mogą być wywołane cechami samego respondenta (jego aktualnym samopoczuciem, stanem fizycznym, ogólnym poziomem umysłowym) osobą ankietera (jego zachowaniem, cechami, sposobem autoprezentacji) lub ogólną sytuacją wywiadu (miejsce i czas, warunki w jakich toczy się rozmowa, obecnosć osób trzecich).
Ankieter powinien zwrócić uwagę na reakcje takie jak:
- wahanie się
- zmiana zdania
- uśmiechy
- płacz
- pocenie się
- kręcenie się na krześle
- spoglądanie na osoby asystujące przy wywiadzie
- objawy zaniepokojenia, lęku
- gniew
- zainteresowanie
- wzruszenie
- niechęć,
- wesołość
- zażenowanie
- zdenerwowanie
- zniecierpliwienie
Żaden badacz nie jest w stanie siedząc za biurkiem wymyślić dokładnie i zaplanować tego jak będą reagowali respondenci na przygotowywane przez niego narzędzie badawcze. Musi ono zostać sprawdzone w praktyce, w konfrontacji z żywym człowiekiem. Jest to bardzo ważna, choć przez niektórych badaczy lekceważona strona procesu przygotowywania narzędzi badawczych.
Ile wywiadów pilotażowych?
Pilotaż pogłębiony polega na przeprowadzeniu stosunkowo neiwielkiej liczby takich "rozszerzonych" wywiadów (od 30 do 100) przy użyciu specjalnej Instrukcji pilotażowej. Ale doświadczenie pokazuje, że do zwykłego pilotażu wystarczy zrobić już 10 wywiadów aby zorientować się jakie błędy popełniliśmy w trakcie budowania narzędzia.
Kogo badać?
Dobór respondentów do pilotażu ma charakter racjonalny, celowy. "Nie stanowią oni żadnej próby reprezentatywnej w sensie statystycznym i są najczęściej wybierani według kryteriów uwzględniających życzenia badacza". Najczęściej staramy się uzyskać nadreprezentację pewnych kategorii osób: z niższym wykształceniem, mających za sobą określone doświadczenia życiowe, takich, których moglibyśmy zaliczyć do kategorii tzw. "respondentów trudnych". Ich opinie i reakcje są szczególnie godne poznania w trakcie pilotażu, ponieważ zakładamy, że ze względu na swoje cechy społeczno-demograficzne będą nam oni raczej utrudniali niż ułatwiali zadanie przeprowadzenia wywiadu, a dzięki temu, pozwolą szybciej wychwycić wady narzedzia badawczego. Poza tym, jeśli uda nam się przeprowadizć wywiad z jednostkami o cechach skrajnych, które uważamy za trudne, to prawdopodobnie powiedzie się także zrealizowanie go z jednostkami o cechach przeciętnych.
Czas trwania pilotażu
Łatwo się zorientować, że ilość zadań, jakie spoczywają na ankieterze pilotażowym musi znacząco wydłużać czas trwania takiego wywiadu. Trzeba pamiętać o tym, że nawet najsympatyczniejszy i najbardziej cierpliwy respondent nie wytrzyma nerwowo zbyt wielkiej liczby pytań pilotażowych. Dlatego w instrukcji pilotażowej planujemy starannie ich zadawanie i zamieszczamy je jedynie w przypadku pytań najważniejszych z punktu widzenia projektu i takich, co do ktorych mamy podejzrenia, że mogą sprawiać respondentowi kłopot. Instrukcję pilotażową trzeba więc dobrze przemyśleć i dokonać właściwej selekcji pytań pilotażowych, pamiętając zalecenia Jana Lutyńskiego, że nigdy nie dość wysiłku na etapie przygotowania - jeśli chcemy uzyskiwać wartościowe i cenne dane o rzeczywistości społecznej... lub inaczej... jeśli nie chcemy otrzymać danych o wartości śmieciowej.
Literatura:
- Krystyna Lutyńska (1984) Wywiad kwestionariuszowy. Przygotowanie i sprawdzenie narzędzia badawczego, Ossolineum, rozdział IV.
- Katarzyna Grzeszkiewicz-Radulska (2013) Metody badań pilotażowych, "Folia Sociologica", nr 42.
Komentarze