Sondaże, czyli kostur niedobrego pasterza

Dlaczego gorsza prognoza CBOS została przez audytorów uznana za lepszą od bliższego rzeczywistości wyniku TNS OBOP?  

Po pierwszej turze wyborów prezydenckich Krzysztof Świątek z „Tygodnika Solidarność” zauważył, że wyniki przedwyborczych sondaży, nawet tych robionych przez nominalnie zagraniczne firmy badawcze o niby ustalonej renomie, nie dość że nie mieszczą się w granicach dopuszczalnego błędu (± 3 proc.), osiągając niekiedy kominowe wręcz odchylenia powyżej 10 pp., to jeszcze wyraźnie wskazują na zastanawiającą chęć przychylenia nieba drugiej kadencji Bronisławowi Komorowskiemu.
 
Ogromne błędy w wynikach, a zwłaszcza „przeoczenie” trendów  wzrostu dla kandydatur Andrzeja Dudy i Pawła Kukiza, to – zdaniem Świątka – kompromitacja firm badawczych zaangażowanych w badanie przedwyborczych nastrojów społeczeństwa. Publicysta „Tysola” uważa, że w tej sytuacji szefowie tych sondażowni powinni podać się do dymisji, bo – jak twierdzi – nikt rozsądny nie będzie chciał wydać choćby złotówki na opracowania tak zawodnych firm badawczych.
 
Sądzę jednak, że Krzysztof Świątek zakłada zbyt romantyczną wizję rzeczywistości. Owszem, jeszcze pięć lat temu, po analogicznej kompromitacji z kłamliwymi prognozami wyborczymi, które w dużej mierze ułatwiły Komorowskiemu drogę do pałacu prezydenckiego, próbowano zapewnić quasi-naukowe alibi dla speców od manipulacji opinią publiczną, o czym będzie poniżej. Ale teraz robić już tego nie trzeba, bo na drodze ku autorytaryzmowi w demokratycznym przebraniu zaszliśmy niestety znacznie dalej niż byliśmy wtedy.
 
*
Nie od dziś wiadomo, że podejmowane badania opinii publicznej mogą albo realnie odzwierciedlać nastroje społeczne, albo być narzędziem kontroli nad społecznością. I to narzędziem efektywnie kształtującym opinię publiczną, a w konsekwencji ułatwiającym manipulatorom sterowanie zachowaniami wielkich grup społecznych czy wręcz narodów. Od czasu, gdy amerykański badacz Robert K. Merton zdefiniował i opisał fenomen tzw. samospełniających się lub samoobalających się prognoz minęło już przeszło pół wieku.
 
Od tego czasu techniki wykorzystywania tego narzędzia manipulacji  mocno udoskonalono, zwłaszcza dzięki rosnącemu wciąż zasięgowi oraz technologicznej finezji środków masowego przekazu. Już choćby z tego względu, sporządzanie przez filie zagranicznych ośrodków badawczych i publikowanie prognoz wyborczych w mediach, często  będących we władaniu kapitału zagranicznego, powinno być zakazane. Przynajmniej podczas kampanii przedwyborczych oraz samych wyborów. A jak jest, każdy widzi.
 
Firmy badawcze spełniają po prostu oczekiwania podmiotów zamawiających. Potrafią robić (i robią) badania realnego stanu nastrojów, tyle że takie wyniki nie docierają z reguły do opinii publicznej. Tę bowiem karmi się sieczką sondażową od sasa do lasa, przyrządzoną pod kontrahenta według recepty: sondaż telefoniczny, na próbie około tysiąca osób, co jak wiadomo nie zapewnia w Polsce reprezentatywności. Obie strony najwyraźniej umieją się ze sobą dogadywać, dlatego też sprawiedliwa i pożądana skądinąd wizja sondażowni bankrutujących po kilku kompromitujących wpadkach jest niestety mało realna.
 
*
Kłamliwe prognozy przed pierwszą tegoroczną turą to w zasadzie powtórka manipulacyjnych praktyk z przedterminowych wyborów prezydenckich u progu lata 2010. Oczywiście, różni politycy już wcześniej zgłaszali pretensje, że w prognozach przedwyborczych ich poparcie w stosunku do realnie później uzyskanego bywało zaniżane. Nieraz też wskazywano, że rzeczywisty wynik wyborczy osób lub ugrupowań cieszących się poparciem mediów mejnstrimowych okazywał się znacznie gorszy do sugerowanego przez sondaże. Takie klasyczne pompowanie lub uszczuplanie szans, według modelu odkrytego i opisanego przez wspomnianego wyżej Mertona, odbywało się niestety w III RP na porządku dziennym.
 
Po 20 czerwca 2010 roku, czyli po pierwszej turze poprzednich wyborów, do krytyki firm badawczych przyłączyli się dziennikarze i publicyści. Sondażowniom zarzucono wprost nierzetelność. Było to przecież krótko po tragedii w Smoleńsku, więc sugerowane przez sondaże słupki poparcia dla dwóch głównych kandydatów rozjeżdżały się z dość powszechnym odczuciem społecznym. Co więcej, przed drugą turą zaczęto już wyraźnie kojarzyć niektóre firmy z konkretnymi kandydatami i telewizjami.
 
Zaniepokojone takim obrotem spraw szefostwo Organizacji Firm Badania Opinii i Rynku podjęło decyzję o zewnętrznym audycie, toteż  będący wtedy prezesem OFBOR Janusz Durlik zwrócił się o sporządzenie niezależnego raportu do prof. Henryka Domańskiego, wówczas dyrektora Instytutu Filozofii i Socjologii PAN.
 
*   
Komisja, w której skład weszli prof. prof. Henryk Domański, Radosław Markowski, Paweł B. Sztabiński oraz dr hab. Zbigniew Sawiński (wszyscy z PAN), pracę wykonała, stawiając sobie za cel „ustalenie przyczyn rozbieżności pomiędzy wynikami podawanymi przez firmy a rzeczywistym wynikiem wyborów oraz wskazanie źródeł rozbieżności między firmami”. Analizie poddano wyniki badań pięciu firm: CBOS, Gfk Polonia, TNS OBOP, PBS DGA i Millward Brown SMG/KRC, które na ten audyt wyraziły zgodę.
 
Uczestniczyłem w publicznej prezentacji wyników prac komisji prof. Domańskiego. Znany socjolog, specjalizujący się w socjometrii, zaznaczył, że kierowany przez niego zespół przystąpił do pracy dopiero po wyborach i wszystkich danych od firm nie otrzymał, bo te powoływały się na tajemnicę handlową oraz zasadę konkurencyjności. Tezy raportu nie były sensacyjne. Audytorzy nie stwierdzili ani uchybień warsztatowych, ani tym bardziej nierzetelności.
 
– Wyniki są takie, jak być powinny. Różnice wynikają z błędu trafności, bo każde zjawisko może być mierzone gorzej lub lepiej – wyjaśniał prof. Domański. Wskazano również, że wyniki badanych firm, może z wyjątkiem jednej, były do siebie dość podobne. I na tej zbieżności wyników sondaży oparto wniosek o ich poprawności metodologicznej.
 
*
Warto tutaj przypomnieć, że główną przyczyną krytyki chybionych prognoz wyborczych z roku 2010 było trwałe przeszacowanie szans kandydata Komorowskiego oraz analogiczne niedoszacowanie poparcia dla kandydata Kaczyńskiego. I to w obu turach. Zdaniem Zbigniewa Sawińskiego, jednego z audytorów, stało się tak, bo firmy nie skonfrontowały sondaży z wynikami pierwszej tury. Przykładowo: odejmując 3 proc. przeszacowanemu i dodając je drugiemu z kandydatów, można było skonstruować prognozę trafną.

– To prawda, że Kaczyński był w sondażach niedoszacowany, ale błąd mieści się w pięcioprocentowym przedziale ufności, co oznacza, że został spowodowany statystyką – mówił Henryk Domański. Nie wszyscy jednak podzielali optymizm szefa audytorów.

– Gdyby te odchylenia wyników sondaży od realnego wyniku wyborów miały być skutkiem przypadkowych błędów statystycznych, to z grubsza połowa punktów powinna znaleźć się po jednej, a połowa po drugiej stronie wykresu, podczas gdy na rycinach, zamieszczonych w raporcie, właściwie wszystkie punkty znalazły się po jednej stronie – ripostował dr Jacek Chołoniewski, dyrektor firmy Estymator.

Z szefem komisji polemizował też Andrzej Olszewski, prezes zarządu firmy badawczej TSN OBOP: – Fakt, że przedstawione przez nas wyniki nie były zbieżne z wynikami innych firm, lecz raczej z faktycznym rezultatem wyborów, chyba naszych badań nie dyskredytuje. Jednak czytając w raporcie zdanie, że prognozy OBOP „nie są zgodne z trendem wspólnym dla pozostałych badań”, można pomyśleć, że to my zrobiliśmy coś niewłaściwego.

*
Niespełna dwa lata wcześniej ten sam prof. Domański udzielił „Gazecie Wyborczej”, z 7 maja 2009, ciekawej wypowiedzi na temat neutralności badawczej ludzi nauki:
 
„W socjologii, w naukach społecznych, w których badania dotyczą wartości, interesów i postaw, zaangażowanie się działalność polityczną może rodzić podejrzenie wobec wiarygodności ustaleń takiego badacza. Bo wchodząc w politykę badacz – z konieczności – deklaruje się po czyjejś stronie, angażuje się w rozmaite interesy, może chce coś załatwić, co naraża go na zarzut braku obiektywności, a więc ‘nienaukowego podejścia’. Konsekwencją tego może być osłabienie pozycji naukowej, a poza tym może obniżać status nauki, jeżeli takich przejść do świata polityki jest dużo.
 
Od kiedy socjologowie w Polsce robią badania nad prestiżem zawodów, zawsze najwyższym prestiżem obdarzany jest profesor uniwersytetu – symbol nauki. Ta estyma wynika m.in. ze ‘zdystansowania się’ roli profesora wobec życia codziennego, w tym polityki” – konkludował Henryk Domański.    
 
Z przytoczonej wypowiedzi znanego naukowca emanuje daleko posunięty, wymagający, ale i chwalebny rygoryzm. Dlaczego do niej wracam? Bo prócz mocno zaakcentowanego zalecenia, aby humaniści i przedstawiciele nauk społecznych, może szczególnie oni, unikali osobistych zaangażowań politycznych, zawiera się w niej również dyrektywa unikania czegokolwiek, co mogłoby sugerować badawczą stronniczość motywowaną tzw. konfliktem interesów.
 
Tymczasem warto przypomnieć, że szef zespołu, który jesienią 2010 i zimą 2011 dokonywał audytu pięciu firm badawczych – CBOS, Gfk Polonia, TNS OBOP, PBS DGA i Millward Brown SMG/KRC – osobiście w ciągu minionej dekady bodaj trzykrotnie zasiadał we władzach jednej z nich. Myślę tu o członkostwie w radzie Fundacji CBOS, współfinansowanej z budżetu państwa, a konkretnie przez Kancelarię Prezesa Rady Ministrów. Prof. Domański jest zresztą członkiem tej rady obecnie, podobnie jak dr hab. Radosław Markowski, prof. SWPS, drugi z czteroosobowego grona audytorów.
 
Czy dlatego gorsza prognoza CBOS została uznana za lepszą od bliższego rzeczywistości wyniku TNS OBOP? Pewnie nie, ale muszę przyznać, że niełatwo bronić się przed takimi wątpliwościami, zwłaszcza uznając za niewątpliwie słuszną dyrektywę wysokich standardów etycznych, które – jak orzekł prof. Henryk Domański – powinny trwale charakteryzować polską profesurę.