Перед любыми выборами публичное пространство заполняется процентами: у одного кандидата столько-то, у другого — на пару пунктов меньше, «отрыв сократился». Опросы действительно один из лучших доступных способов узнать, что думает общество. Но читать их нужно с пониманием того, как они устроены, — иначе легко принять статистический шум за перемену настроений.
Почему тысячи человек бывает достаточно
Главный вопрос скептиков: как можно судить о миллионах людей по ответам тысячи? Ответ дают законы теории вероятностей. Если выборка по-настоящему случайна, то есть у каждого члена изучаемой совокупности есть известный шанс в неё попасть, результат опроса с предсказуемой точностью приближается к реальному распределению мнений.
Здесь есть неочевидный момент: точность зависит прежде всего от размера выборки, а не от размера страны. Опрос тысячи человек даёт примерно одинаковую точность и для небольшого государства, и для огромного — при условии, что выборка построена правильно.
Классический урок на эту тему преподали американские президентские выборы 1936 года. Журнал Literary Digest разослал миллионы анкет, опираясь на списки владельцев телефонов и автомобилей, и предсказал поражение Франклина Рузвельта. Гораздо меньшие по объёму, но тщательнее построенные опросы Джорджа Гэллапа указали на победу Рузвельта и оказались правы. Огромная, но смещённая выборка проиграла скромной, но репрезентативной.
Что такое погрешность
Даже идеальная случайная выборка не совпадает с генеральной совокупностью в точности. Предел погрешности показывает, в каком диапазоне вокруг полученной цифры с высокой вероятностью — обычно 95% — находится истинное значение. Для выборки примерно в тысячу человек он составляет около трёх процентных пунктов в каждую сторону. Из этого следуют практические выводы:
- если у кандидата 42%, правильнее читать это как «примерно от 39 до 45%»;
- разница между двумя кандидатами в два-три пункта при такой выборке часто находится в пределах погрешности, и говорить о «лидере» некорректно — погрешность самой разницы заметно больше, чем у каждой отдельной цифры;
- для подгрупп, например молодёжи или жителей отдельного региона, выборка меньше, а погрешность больше, иногда в разы;
- изменение на один-два пункта между двумя волнами опроса чаще всего ничего не говорит о реальной динамике.
Стоит помнить и о том, что погрешность сокращается медленно: чтобы уменьшить её вдвое, выборку нужно увеличить примерно в четыре раза. Поэтому большинство исследователей останавливаются на разумном компромиссе между точностью и стоимостью работы.
Ошибки, которых не видно в цифре погрешности
Предел погрешности описывает только случайную ошибку выборки. Но есть систематические источники искажений, которые он не учитывает. Часть людей отказывается отвечать, и если отказавшиеся отличаются по взглядам от согласившихся, результат смещается. Формулировка и порядок вопросов могут подталкивать к определённому ответу, а некоторые респонденты дают «социально одобряемый» ответ вместо искреннего.
Свои ограничения есть у каждого способа сбора данных. Телефонные опросы сталкиваются с тем, что всё меньше людей отвечают на звонки с незнакомых номеров. Онлайн-панели дешевле и быстрее, но в них участвуют те, кто сам согласился, поэтому такая выборка изначально не случайна, и качество результата во многом зависит от того, как её корректируют.
Чтобы компенсировать известные перекосы, социологи взвешивают данные — придают ответам разных групп вес в соответствии с их долей в населении. Это необходимая процедура, но она тоже основана на допущениях. Отдельная сложность предвыборных опросов — понять, кто из опрошенных действительно придёт голосовать.
Опрос — это не прогноз, а снимок: он показывает настроения в момент, когда задавались вопросы, а не результат, который будет в день голосования.
Пять вопросов к любому опросу
Прежде чем делать выводы, полезно проверить несколько вещей. Кто проводил опрос и кто его заказал? Каким способом опрашивали — по телефону, лично, через интернет — и как формировалась выборка? Сколько человек ответили и какова погрешность? Когда проходил опрос и как именно звучал вопрос? Наконец, совпадает ли результат с данными других исследований?
Последний пункт, пожалуй, самый полезный. Один опрос может случайно оказаться на краю диапазона погрешности. Когда несколько независимых исследований разными методами показывают похожую картину, ей можно доверять гораздо больше. Именно поэтому аналитики предпочитают смотреть на средние значения по многим опросам и на устойчивые тренды, а не на отдельные громкие цифры.
Комментарии
Пока нет комментариев — будьте первым.