Exit poll precyzyjniejsze od telefonów - branża o sondażach

Sondażowe wyniki I tury wyborów prezydenckich - opublikowane w niedzielę wieczorem w TVP, TVN i Polsat News - różniły się znacznie między sobą (więcej). W badaniach SMG/KRC dla TVN i Homo Homini dla Polsatu News Bronisław Komorowski uzyskał poparcie ok. 45 proc. ankietowanych a 35 proc. Jarosław Kaczyński. Tymczasem w sondażu przeprowadzonym przez TNS OBOP dla TVP Komorowskiego wskazało nieco ponad 41 proc. respondentów, a Kaczyńskiego – prawie 36 proc.

SMG/KRC i Homo Homini zrealizowały swoje badania telefonicznie – w formie odpowiednio 6 tys. i 5 tys. wywiadów. Natomiast TNS OBOP przeprowadziło sondaż typu exit poll wśród 50 tys. osób, które wychodziły z 500 lokali wyborczych. Ostatecznie rezultaty właśnie tego badania okazały się najbliższe oficjalnym wynikom wyborów podanym przez PKW.  

Przedstawiciele SMG/KRC i Homo Homini wyjaśniają, że duża nieprecyzyjność sondaży przeprowadzonych przez te firmy wynika z faktu, że spora część respondentów odmawiała odpowiedzi na pytanie na kogo zagłosowali.

W czasie drugiej tury wyborów SMG/KRC przeprowadzi dla TVN badanie typu exit poll, natomiast Homo Homini na zlecenie Polsatu News pozostanie przy wywiadach telefonicznych, ale grupę objętą nimi zwiększy do 7,5 tys. osób.

KOMENTARZE DLA PORTALU WIRTUALNEMEDIA.PL

Urszula Krassowska, dyrektor działu badań społecznych i politycznych w TNS OBOP
Różnica w wynikach tych sondaży wynika przede wszystkim z odmiennych sposobów ich realizacji. Jako TNS OBOP przeprowadziliśmy badanie bezpośrednie wśród głosujących, którzy właśnie wychodzili z lokali wyborczych. Natomiast SMG/KRC i Homo Homini telefonicznie ankietowali respondentów, którzy jedynie deklarowali na kogo oddali głos, ale nie do końca wiadomo, czy rzeczywiście to zrobili. Ogółem metodologia exit polls jest najbardziej precyzyjna w sondażach wyborczych i nawet jeśli jest wykorzystywana w badaniu obejmującym mniejszą grupę niż kilkanaście-kilkadziesiąt tysięcy respondentów, pozwala z dużym przybliżeniem oszacować całościowe wyniki głosowania.

Innym czynnikiem jest poprawność polityczna, która zawsze powoduje, że faktyczny wynik wyborczy liderującego kandydata jest niższy niż jego rezultaty w sondażach – podobnie było podczas wyborów w 2005 roku.
 

Marcin Duma, prezes Homo Homini
Błąd w naszym badaniu wyborczym wynika z niespotykanie wysokiego odsetka respondentów, którzy deklarując, że brali udział w wyborach, odmawiali odpowiedzi pytanie, na kogo oddali swój głos. Takie odmowy stanowiły 25 proc. wszystkich odpowiedzi z godziny 19.00. W związku z tym zastosowano standardową procedurę, czyli eliminację tych odpowiedzi z próby. Operacja ta dała wynik w postaci danych, które przesłaliśmy do Polsat News o 19.30. Po kolejnej godzinie zbierania ankiet (19:00 – 20:00) wyniki uległy pewnej zmianie, a odsetek udziału odmów w próbie spadł do 22 proc. Zastosowano podobną procedurę, jak o godzinie 19.00, uzyskując wyniki, które podano do wiadomości publicznej.

Natomiast exit poll to niejako powtórzenie aktu wyborczego – nie trzeba wprost odpowiadać ankieterowi, na kogo się głosował, tylko zaznacza się to kwestionariuszu, który jest następnie wrzucany do urny. Takie badanie ze względu na technikę realizacji jest więc obarczone dużo mniejszym błędem.

W czasie drugiej tury wyborów również przeprowadzimy wywiady telefoniczne, ale na grupie 7,5 tys. respondentów. To przewiduje bowiem nasza umowa z Polsatem News.


Jakub Antoszewski, PR manager Millward Brown SMG/KRC
Dokładność przygotowanego przez nas telefonicznego sondażu wypadła poniżej naszych oczekiwań, dlatego będziemy drobiazgowo sprawdzać wszystkie elementy, które mogły na to wpłynąć.

Przede wszystkim we wszystkich badaniach poparcia – zarówno przedwyborczych, jak i w dniu wyborów – odnotowywaliśmy spory odsetek osób niezdecydowanych, na kogo zagłosują. Okazało się, że grupa ta nie rozłożyła się równomiernie wśród startujących kandydatów, tylko przeważali w niej zwolennicy Jarosława Kaczyńskiego.

Podobna prawidłowość zachodzi w przypadku osób odmawiających udziału w sondażu telefonicznym – większość z nich stanowili głosujący na kandydata PiS. Zresztą odmowy są rzeczywiście problemem dla badaczy, ale nie stanowią one – jak twierdzą niektórzy – 50 czy 60 proc. wszystkich rozpoczętych wywiadów. Wiele ankiet telefonicznych nie może być zakończonych ze względów losowych, jednak grupa ok. 10 proc. respondentów świadomie odmawia udziału w badaniu.

Nie należy również zapominać, że w ostatnich tygodniach część  mediów i osób publicznych, na niespotykaną dotąd skalę, dokładała starań, aby zdyskredytować badania opinii społecznej, w tym zwłaszcza sondaże, co mogło przełożyć się na brak zaufania ze strony respondentów, czy wręcz chęć świadomego wprowadzenia badaczy w błąd. Oczywiście z takimi sytuacjami mieliśmy do czynienia zawsze, jednak w tym wypadku skala negatywnych komentarzy mogła znacząco wpłynąć na rozkład wyników.
Mimo to warto zaznaczyć, że w naszym sondażu trafnie został wskazany ranking kandydatów i wyniki tych, którzy nie weszli do drugiej tury, a frekwencja została oszacowana w ramach założonego marginesu błędu. Wybierając metodę badania, przyjęliśmy założenie, że w pierwszej turze wystarczą nam wyniki przybliżone. Natomiast dużo dokładniejszy sondaż metodą exit poll planujemy na drugą turę wyborów.
 

Łukasz Mazurkiewicz, prezes ARC Rynek i Opinia
Poczciwy, stosunkowo skromny exit poll wygrał z wielkim badaniem telefonicznym. Czy świadczy to o generalnej wyższości wywiadów bezpośrednich realizowanych w lokalach wyborczych ponad sondażem CATI na dużej próbie? Wydaje się, że w dniu wyborów sondaż telefoniczny nie jest rozwiązaniem najlepszym z przyczyn natury organizacyjno-technicznej. Uchwycenie dynamiki głosowania przez cały czas otwarcia lokali wyborczych, w tym zwłaszcza w ostatnich godzinach, może nastręczać problemów i zakłócać precyzję pomiaru. Warto by prześledzić wyniki z kolejnych godzin, by upewnić się, na ile na ostatecznym wyniku zaważyły właśnie godziny wieczorne. Nie widzę natomiast powodów, by mieć zastrzeżenia do sondaży CATI realizowanych w okresie przed wyborami.

Niezależnie od powodów zaistniałych rozbieżności, powraca potrzeba poważnej debaty o sposobie funkcjonowania sondaży w debacie publicznej. Zamiast konwencji medialnego show (szybkie, efektowne badania przy ograniczonym budżecie) potrzebujemy spokojniejszej, bardziej przemyślanej strategii obecności w mediach.
 

Ryszard Pieńkowski, zastępca prezesa PBS DGA

Różnica rzetelności pomiaru wynika wyłącznie z metody badawczej. TNS OBOP przeprowadził klasyczny exit poll, a firmy pracujące dla TVN i dla Polsatu zrealizowały badania telefoniczne, dzwoniąc do domów respondentów. Każda z tych metodologii ma bardzo różny poziom realizacji próby – w exit poll jest on bardzo wysoki (udziału odmawia nie więcej niż 7 proc. zagadniętych przed lokalami wyborczymi), podczas gdy w sondażu telefonicznym, realizowanym w dużym pośpiechu w ciągu dwóch godzin, może to być kilkadziesiąt procent, dając w efekcie istotne skrzywienie próby.

Porównując obie metody, warto pamiętać o kwestiach finansowych: exit poll kosztował na pewno dziesięć-piętnaście razy więcej od badania telefonicznego. W tej perspektywie niedzielna rzetelność sondaży telefonicznych wcale nie jest katastrofą.

Pozostaje pytanie, czy stacja telewizyjna przygotowująca wieczór wyborczy powinna w imię oszczędności iść na takie ryzyko.

Janusz Durlik, prezes Organizacji Firm Badania Opinii i Rynku, zastępca dyrektora Fundacji Centrum Badania Opini Społecznej
Od razu muszę zaznaczyć, że nie chciałbym komentować wyników sondażu Homo Homini, ponieważ ta firma nie należy do OFBOR-u, w związku z czym nie posiada certyfikatu naszej organizacji ani nie jest objęta kontrolą.

Natomiast co do różnic między badaniem SMG/KRC i Homo Homini a sondażem TNS OBOP, to wynikają one oczywiście z odmiennej metodologii. Zauważmy, że w przypadku ankiety telefonicznej część respondentów nie przyznaje się, że nie głosowało, ponieważ udział w wyborach jest postrzegany jako obowiązek obywatelski. Możliwe, że niektóre osoby nie powiedziały ankieterom prawdy, że oddały głos na Jarosława Kaczyńskiego. Z kolei badanie exit poll jest z zasady najbardziej wiarygodne i daje rezultaty najbardziej zbliżone do faktycznych wyników wyborów. Oczywiście metodologia face to face i większa próba respondentów wiążą się z wyższym kosztem przeprowadzenia takiego badania.

Ponadto krytyka badań sondażowych – często ignorancka i nieodpowiedzialna – powoduje, że potencjalni respondenci tracą zaufanie do takich badań i albo w ogóle odmawiają w nich udziału, albo nie odpowiadają na poszczególne pytania, przez co oddalają badaczy od prawdy.

Niedobrze się stało, że dwie czołowe stacje telewizyjne w Polsce podawały jednocześnie wyniki sondaży wyborczych opartych na odmiennych metodologiach. W takiej sytuacji widzowie mogli być zdezorientowani. Chciałbym więc zaapelować do mediów, żeby przy okazji drugiej tury wyborów zdecydowały się na spójną metodologię sondażową. Najlepiej jeśli to będzie exit poll.

Rafał Janowicz, prezes Pentor Research International Poznań
Różnice między wynikami sondaży wyborczych SMG/KRC i Homo Homini a badaniem TNS OBOP mogą wynikać z kilku przyczyn. Pierwszą z nich jest różnica metodologii. Chciałbym zwrócić uwagę na kilka istotnych kwestii w tym kontekście. Przede wszystkich badanie exit poll – takie jak to zrealizowane w niedzielę wyborczą przez TNS OBOP – odtwarza naturalną metodę udziału w wyborach: respondent otrzymuje kartkę z nazwiskami kandydatów i zaznacza, na kogo zagłosował, a następnie tę kartkę wrzuca do urny. Ankieter ma w takiej sytuacji minimalny wpływ na deklarację uczestnika sondażu.

Kolejną kwestią są odmowy odpowiedzi. O ile dobrze pamiętam, przedstawiciele SMG/KRC deklarowali, że pewien odsetek badanych odmówiło udzielenia odpowiedzi na pytanie na kogo odda / oddało głosy w wyborach (odsetek takich respondentów wynosił ok. 7 proc.) To może mieć wpływ na wynik sondażu. Ponadto należy uwzględnić, że część ankietowanych w z udziałem ankietera może nie przyznawać, że poparło kandydata o mniej akceptowalnym społecznie wizerunku„ W obecnych sondażach wyborczych taka postawa respondentów mogła dotyczyć Jarosława Kaczyńskiego i być może Janusza Korwina-Mikke, a przy poprzednich wyborach, m.in. Andrzeja Leppera i Ligi Polskich Rodzin.

Osobną kwestią pozostaje to, jak dobrano próbę respondentów w badaniach telefonicznych (np. w województwach południowej i wschodniej części kraju, w których głosowanie wygrał Jarosław Kaczyński) - należy sobie zadać pytanie, czy stopień i struktura telefonizacji tych regionów odzwierciedla całościowy przekrój mieszkających tam wyborców. Choć w tym względzie wierzę, że autorzy metodologii dochowali należytej staranności.