'Вопросы к интервью
07 октября 2009
Z Лукавая цифра Все выпуски

Можно ли доверять предвыборным опросам


Время выхода в эфир: 07 октября 2009, 22:12



АНТОНИНА САМСОНОВА: Добрый вечер. Вы слушаете и смотрите программу «Лукавая цифра». Меня зовут Тоня Самсонова, со мной моя коллега Алина Гребнева.

АЛИНА ГРЕБНЕВА: Здравствуйте.

А. САМСОНОВА: Сегодня тема нашей программы «Можно ли доверять предвыборным опросам общественного мнения?» Я с удовольствием представляю наших гостей. Дмитрий Орешкин, независимый политолог. Здравствуйте.

ДМИТРИЙ ОРЕШКИН: Здравствуйте.

А. САМСОНОВА: Елена Башкирова, директор независимой социологической службы «Башкирова и партнеры». Здравствуйте.

Материалы по теме

Как Вы относитесь к социологическим рейтингам политических партий?

не доверяю
93%
доверяю
5%
затрудняюсь ответить
2%


ЕЛЕНА БАШКИРОВА: Добрый вечер.

А. ГРЕБНЕВА: Сразу расскажем нашим слушателям, телезрителям, чтобы не нарушать законодательство, мы не будем называть ни рейтинги партий.. Хотя понятно, что главная новость последних дней – это выборы в Мосгордуму. Но мы будем концентрироваться на том вообще, зачем нужны такие предвыборные опросы, рейтинги партий, и кто их делает, и откуда такие результаты появляются.

А. САМСОНОВА: Откуда у Вас такие лукавые цифры. Вопрос был поставлен одним из лидеров и одним из кандидатов в Московскую городскую думу накануне выборов, когда он сказал, что он вообще не доверяет этим опросам, потому что, понятно, что социологи будут рисовать те цифры, которые выгодны их заказчику. И никакого научного интереса в этих опросах нет и быть не может. Во всяком случае, что касается политических и предвыборных опросов. Согласны? Елена Ивановна?

Е. БАШКИРОВА: Ну, хорошо. Я хотела Вам задать вопрос, задал ли этот человек, который так поставил вопрос, не был ли  он  недоволен лично своим рейтингом?

Материалы по теме

Важно ли, чтобы социологи информировали политиков о состоянии дел в стране?

да
92%
нет
7%
затрудняюсь ответить
1%


А. САМСОНОВА: Ну, естественно.

Е. БАШКИРОВА: Как руководителя партии и рейтингом партии?

А. САМСОНОВА: Конечно. Ну, покажите мне того, кто доволен.

Е. БАШКИРОВА: Ну, почему. Есть такие. Конечно. Но я могу сказать, что это не новость для нас. Мы не первый раз даже встречаемся, в этой аудитории мы встречались. Это всегда происходит накануне выборов и местных, и федерального уровня. Всегда возникают люди, которые высказывают такое недовольство. Причем, как правило, это люди обиженные, которые считают, что неверно посчитали им рейтинг. И  они обычно у них есть претензия к какой-то определенной одной компании, которая каким-то образом неверно, как они считают, померила этот рейтинг. Но при этом они совершено несправедливо, неправильно, некорректно бросают вот такое огульное обвинение в адрес всех социологов. Давайте посмотрим ситуацию сейчас по московским выборам. Практически я знаю одну компанию, Вы, по-моему. Сейчас вспомнили еще одну вторую, которая делала эти замеры. Все остальные особенно вот серьезные компании, которые обычно на выборах в Госдуму, или на президентских выборах делают эти рейтинги, эти замеры не делали. Поэтому понятно, что в а почему этот человек обижен. Значит, что должен сделать этот человек? Можно я сразу отвечу на вопрос, что он должен сделать. Во-первых, человек должен этот заниматься образом, имиджем и своим личным, и своей партии постоянно, не перед выборами. Это просто даже смешно и несерьезно. Должна быть своя служба. Служба лучше всего иметь в каких-то независимых компаниях, и нанимать и постоянно следить за своим образом. Методики очень сложные, тонкие сейчас. Это непросто, скажите, нравлюсь ли я Вам. Или должен ли быть кандидат умным, честным. Понятно, что все отвечают – да. Второе, если возникают такие обиды, что должен делать человек. Он должен, перед тем как делать такое заявление, должен прийти в СМИ, если он у Вас выступал, или в каких-то других СМИ, он должен предоставить аргументировано. Понимаете, он должен кого-то обвинять аргументировано. Аргументировано обвинить всех социологов он не может. Потому что многие социологи вообще не занимаются выборами. Выборами у нас занимается буквально несколько компаний. 4 компании не больше.

Д. ОРЕШКИН: Серьезных компаний.

Е. БАШКИРОВА: Серьезных, на мнение которых ориентируются и журналисты, и политики. Поэтому обвинить всех нельзя. Значит, надо взять, либо предоставить свои результаты и доказать аргументировано, что у нас такой рейтинг проведен. Мы делали мониторинг в течение целого года, какие-то произошли изменения. Если этого нет, я понимаю, люди экономят на деньгах, что неправильно. Это самая большая ошибка. Надо обязательно тратить деньги, вкладываться. Делать исследования.

Д. ОРЕШКИН: Больше платить социологам.

А. ГРЕБНЕВА: Лобби у нас тут такое. Хотелось бы понять. Опросы проводятся для чего? Собственно опросы для парий, чтобы они поняли, с какими рейтингами они выходят на день голосования. Или как?

Е. БАШКИРОВА: Нет, они должны их начинать проводить в тот момент, как закончились одни выборы, должны они начинать работать на следующий день. Для того чтобы понять, какие ошибки, почему их не любят, почему не раскрученный образ. Почему сейчас сменились лидеры некоторых партий. Народ до сих пор уверен, что лидерами остался там и Явлинский, и какие-то другие люди. Не знают они, надо говорить, надо выступать, надо понимать, что хочет народ. Где что надо сказать, что надо пообещать. Я не имею в виду пустые обещания. Ну, мы работаем, и те партии, которые вошли в Госудуму, мы точно знаем, что там есть очень серьезная работа многолетняя, мониторинги, есть рекомендации не только социологов, там и психологи работают, и политологи. Не сводится работа и не должна она сводиться к тому, чтобы кому-то там подрисовать рейтинг. Потому что это не работает. Не помогает. Мы, по-моему, тоже с вами об этом говорили много, много раз. Это просто портит имидж.

А. САМСОНОВА: Дмитрий Борисович, вопрос к Вам. Елена Ивановна Башкирова сказала, что в этот раз перед этими выборами буквально там 2 опроса появилось о том…

Д. ОРЕШКИН: Фирмы-то мы можем называть? Или черное, белое…

А. САМСОНОВА: Ну, я знаю Левадовский опрос.

Д. ОРЕШКИН: Левадовский, Вциомовский.

А. САМСОНОВА: Да, все остальные как-то не стали этим заниматься. Создается такое впечатление, что вся эта история с рейтингами предвыборными вообще уже никому не нужна и не интересна, если даже опросные центры не занимаются этим.

Д. ОРЕШКИН: Ну, в этом есть рациональное зерно, потому что все понимают, какие нынче выборы. Все понимают, насколько сильно они зависят от административного ресурса. Поэтому некоторые крупные фирмы вообще предпочитают с этим делом не связываться.

А. САМСОНОВА: Почему? Это репутационные издержки или что?

Д. ОРЕШКИН: Репутационные издержки. А потом, понимаете, когда ты делаешь прогноз, это уже мы в кухню можем погрузиться. Я думаю, это может быть только и интересно. Потому что мы же не можем где цифры называть ничего. Когда ты делаешь опрос, ты узнаешь, как люди тебе отвечают. Нет гарантии, что они отвечают тебе так, как они на самом деле думают, во-первых. Ну, например, всегда за партию власти на опросах люди дают несколько больший ответ. На всякий случай. Потому что есть некоторые люди, которые побаиваются. Лучше скажем – за Единую Россию. Поэтому есть такая профессиональная не традиция, а правило. Если ты узнаешь, что за такую-то партии, партию власти, 60%, то на самом деле знаешь, что в реальности будет немножко больше.

А. САМСОНОВА: Т.е. когда ты делаешь прогноз или опрос, ты выводишь другие цифры.

Д. ОРЕШКИН: Ты вводишь поправочный коэффициент. И здесь как раз самое тяжелое неформальное, недоказуемая работа. Потому что тут ты включаешь свой экспертный мозг и соображаешь. Вот здесь немножко люди перебрали, здесь скорее недобрали. Ну, частый такой пример – это с партией ЛДПР, не касается данных выборов. Вообще, всегда, особенно в таких индустриальных центрах неудобно людям говорить, что они поддерживают вот эту партию. Поэтому у Жириновского почти всегда реально результат получается немножко выше, чем ему сказали люди при ответе на вопросы.

Е. БАШКИРОВА: Отчасти у коммунистов тоже.

Д. ОРЕШКИН: Да. Боятся сказать, что я поддерживаю коммунистов. Тоже такое бывает.

А. САМСОНОВА: Ну, социально желательный ответ присутствует и здесь.

Д. ОРЕШКИН: Тут надо понимать, опрос, значит, там есть чисто методическая ошибка. Потому что мы опрашиваем всего там полторы тысячи человек или тысячу человек. Может быть, что случайно Вы проводили этот опрос, условно говоря, рядом с военной частью. Значит, у Вас в выборке много людей из военного сектора. Они по определенному виду мыслят реальность. Соответственно, у них более будет сдвиг в патриотическую какую-то тематику. Это называется ошибка метода, + 2-3% обычно она бывает. И есть еще ошибка вот того шаманства профессионального. Когда ну ты видишь цифры, закрываешь комнату, гасишь свет, думаешь над ними и говоришь: из этих цифр я делаю такой-то вывод. Вот мой прогноз. И в конечном итоге насколько точно ты угадал, это твое профессиональное реноме. Сейчас проблема в том, что поскольку в этих выборах всегда есть существенная, трудно сказать, какая именно доля административного ресурса, или если угодно фальсификата. Ну, фальсификат – более узкое понятие, чем административный ресурс. То  ты же угадываешь не реальное настроение людей, а ты угадываешь финальную цифру. А в эту финальную цифру зашит вот этот самый административный ресурс.

А. ГРЕБНЕВА: Фактор Х такой.

Д. ОРЕШКИН: Да. И вот как ты своим опытом этот фактор Х…

Е. БАШКИРОВА: Интуицией.

Д. ОРЕШКИН: Да. Оцениваешь, от этого зависит твоя точность прогноза. Но сейчас я наблюдаю очень интересный момент, когда административный ресурс иной раз потягивается под данные социологов. Вот социологи дали такой результат, как Владимир Евгеньевич Чуров сказал. Что гарантией правильных итогов выборов является их совпадение с данными социологического проса.

А. ГРЕБНЕВА: Просто это Вы подвели к тому, если мы вернемся, вспомним думскую кампанию декабря 2007го, там удивительно наши социологи, они блеснули прямо чуть ли не цифра в цифру и пара процентов плюс минус.

Д. ОРЕШКИН: Ну, вот у меня есть некоторое экспертное сомнение. Я думаю, что здесь еще и заслуга административного ресурса при подведении такое вот точное совпадение.

А. САМСОНОВА: А мы как раз хотели подумать, что и социологи честно поработали, и все граждане отдали голоса за те партии, которые прошли…

Д. ОРЕШКИН: Ну, слушайте, если в Чечне, 100%, ну, 92. Были прежние времена – 100% голосовали. И все 100 или все 90 за известную всем партию. Понятно, что это результат не волеизъявления, а работы вот этого самого административного ресурса. Соответственно если социологи работают в Чечне, они получают совсем другие цифры. Но они заранее знают, что там все равно будет явка 90, и как надо. Они это закладывают в свой прогноз неизбежно, иначе они ошибутся, промахнутся мимо… А таких регионов довольно много.

А. САМСОНОВА: Получается какая-то бешеная самонастройка социологов к административному ресурсу…

Д. ОРЕШКИН: Да, поэтому появляется особая наука, как разбираться в этих цифрах. Т.е. вот тебе цифры эти дают, Елена понимает, что они значат на самом деле. Я понимаю, что они значат на самом деле. Ну, в той или иной степени, в какой мы вообще что-то можем понимать. А люди, когда их видят, у них глаза на лоб. Они не понимают, верить или не верить. И в данной ситуации, я думаю, скорее, лучше не верить…

А. САМСОНОВА: То, что Вы рассказываете, ставит с ног на голову наши данные.

Е. БАШКИРОВА: Вы говорите о прогнозе. Вы говорите о том, что получается после того, как делается опрос. Вот сейчас мы имеем дело. И мы видели, вы нас познакомили с данными того социологического опроса. Здесь никакого отношения к прогнозу нет. Просто чистый. Поэтому вот эти обиды, я все-таки хочу вернуться к этому руководителю этой партии, что они необоснованные сейчас. Потому что здесь большое количество людей, которые затруднились ответить. По этим данным, правда, я так и не могла понять, здесь было 5 разных цифр в ответе на разные пять вопросов, которые характеризуют количество людей, которые не придут на выборы. В одном случае это было 10 %, ну, около 10, в другой до 40.

А. САМСОНОВА: Пять разных цифр.

Е. БАШКИРОВА: Извините, да, я забыла.

Д. ОРЕШКИН: Мы не хотели. Мы просто проболтались.

А. САМСОНОВА: Простите нас г-н Чуров.

Е. БАШКИРОВА: Я просто говорю о самом методе, что, наверное, здесь тоже какая-то есть проблема. Не может быть на один ответ, ну. может быть, различие в 2-3%, но не в разы.

А. САМСОНОВА: Мы перейдем, давайте к вопросу методологии, на чем даже человек далекий от социологии может ловить и проверять качество опроса. После того как мы запустим голосование. Хотя смысл его в свете того, что нам рассказ Дмитрий Борисович, и Вы, Елена Ивановна, все меньше и меньше.

А. ГРЕБНЕВА: Мы хотим спросить у слушателей «Эхо Москвы», как Вы лично относитесь к социологическим рейтингам политических партий, если Вы доверяете этим рейтингам, Ваш телефон 66-00-66-4. Если Вы считаете, что все эти рейтинги купленные, Ваш телефон 66-00-66-5.

А. САМСОНОВА: Итак, я еще раз повторю вопрос. Как Вы лично относитесь к социологическим рейтингам политических партий. Если Вы относитесь к ним с доверием, читаете их, интересуетесь, с доверием относитесь, 66-00-66-4. Если без доверяя, считаете что они все купленные, 66-00-66-5. Мы, кстати, тему купленные вообще не затрагиваем.

Е. БАШКИРОВА: Я не согласна в Вашей формулировкой вопроса, как социолог, я протестую. Она некорректная, потому что источником неправильных, не совсем точных данных может быть два основных источника. Первый, который Вы обозвали купленный. Т.е. люди рисуют за то, что им платят деньги, второй, низкий уровень профессионализма. И зная ситуацию на рынке, я могу сказать, что ну я очень мало знаю таких людей, которые будут своей репутацией рисковать и будут вот так вот в наглую подрисовывать.

А. ГРЕБНЕВА: Но другой момент, приходит партия, и говорит: вот у нас выборы. Мы хотим узнать, сколько процентов нас поддержит. Мы даем Вам деньги, поскольку мы все знаем, что социологические исследования – это дорогостоящая вещь. Вот мы даем Вам деньги, узнайте. Естественно кажется, что социологическая служба, поскольку им принесли деньги, известно из какого источника, что-нибудь там чуть-чуть дорисует, чтобы клиенту было приятнее, что не 10, а 12, 15.

Е. БАШКИРОВА: Такого нет, поверьте, вот эти основные агентства и мы с Дмитрием Борисовичем…

А. САМСОНОВА: Оплата идет постфактум? По сделанной работе?

Е. БАШКИРОВА: Нет, это совершенно у Вас какие-то дремучие представления. Заключается договор, и оплата, предоплата, все идет в соответствии с тем, что заказали, тои дали. Поверьте мне, если вы можете мне поверить, что мне ни разу в жизни в моей такого рода предложения не делались. На выборах вообще никогда. Ну, может, просто известна моя репутация…

А. САМСОНОВА: Ну, Вам не посмели, кому-то…

Е. БАШКИРОВА: В других исследованиях был намек «мы бы хотели». Я сказала, что мы… обращайтесь либо в другое агентство…

А. САМСОНОВА: Нет такой практики вообще что ли?

Е. БАШКИРОВА: Нет, я думаю, такая практика есть. Но серьезные агентства, которые думают, потому что мы продаем качество работы, мы продаем свою репутацию. Мы не хотим один раз получить какие-то деньги, и потом потерять клиентов навсегда. Потому что о подрисовке становится известно очень быстро. Я говорю о другом, более серьезном источнике деформации этой информации. Это неправильная работа, недостаточный уровень профессионализма. Ну, давайте возьмем какое-то исследование, вот цифры у меня лежат. Первое, какие тут моменты надо отслеживать. Простой народ этого отследить не сможет. Это могут делать только профессионалы.

А. ГРЕБНЕВА: Наталья из Москвы на смс спрашивает, каким вообще социологическим службам доверять в таких случаях. Вот после всего, что мы успели наговорить…

Е. БАШКИРОВА: Ну, мы сами социологи. Я считаю, что ФОМ, ВЦИОМ, «Башкирова и партнеры», Ваша компания, которую возглавляете Вы…

Д. ОРЕШКИН: А я уже никакую компанию не возглавляю.

Е. БАШКИРОВА: Ну, та, компания, с которой Вы работали, всегда вызывала уважение, по крайней мере. Потому что эти компании, они себя ничем не запятнали. Потому что вот таких подозрений никогда ни у кого не возникало. Я, во всяком случае, не участвовала ни в одной передаче, чтобы говорили, давайте-ка, мы разберемся, почему высокие или низкие рейтинги.

А. САМСОНОВА: Давайте, прежде, чем мы Вам дадим слово, я просто нажала «Стоп», чтобы узнать результаты голосования. Мы задавали вопрос: как Вы относитесь к социологическим рейтингам политических партий? С доверием относится 10%. С недоверием, и считают, что они купленные, 90%. Может быть это формулировка вопроса неправильная…

Е. БАШКИРОВА: Формулировка вопрос стопроцентно.

А. САМСОНОВА: Но 90%, т.е. 9 из 10 человек считаю и не доверяют по тем или иным причинам.

Д. ОРЕШКИН: Ну, «купленные» это грубое слово. Но, в общем, предвзятое. Я так понимаю людей.

А. САМСОНОВА: 9 из 10, это ставит очень серьезные вопросы о том, кому они нужны. И стоит ли их вообще приводить.

Д. ОРЕШКИН: Это тот случай, который сформулировал Максим Горький относительно критиков. Писателю критиков следует слушать, но не следует слушаться. Вот социологи то же самое. Надо смотреть и сохранять при этом трезвую скептичность по отношению к этому.

А. САМСОНОВА: А престиж профессии? 9 из 10 Вам не доверяют.

Д. ОРЕШКИН: Нельзя так говорить, что вообще всем не доверяют. Люди понимают, что социологи разные, и группы разные. Если мы читаем в газете «Ведомости», что коммунисты провели социологический опрос партийный и получили результат. Понятно, я бы внес некоторую поправку в этот результат с минусом, скорее. А потом какая-то другая партия провела аналогичный опрос «Справедливая Россия» и дает такие-то результаты. И я тоже туда вношу поправку, т.е. тут нужно некоторый трезвый скептицизм, если не сказать цинизм. Если мы говорим о серьезных, крупных, которые Елена назвала, компаниях, то скептицизм тоже нужен на самом деле.

Е. БАШКИРОВА: Нужна проверка, не столько скептицизм.

Д. ОРЕШКИН: Да, ну, это проблема опять же для специалистов, потому что ну нормальный человек, он же не специалист в этом деле.

Е. БАШКИРОВА: Ну, это же не для населения делается, подождите, минуточку. Основная наша функция – чтобы снабдить необходимой информацией сами партии. О чем я начала говорить, чтобы сами партии могли понимать, уважает их народ, не уважает, как они работают на местах. Вот эти опросы, которые данные присутствуют, это маленькая вершина айсберга. На самом деле мы работаем с очень серьезными методиками, гораздо более и психологичны они, и люди нам так рассказывают, и мы их не можем остановить.

А. ГРЕБНЕВА: Давайте сейчас сделаем буквально паузу. Заинтригуем наших слушателей, все вообще секреты социологических исследований расскажем после перерыва. Обсуждаем предвыборные опросы с Дмитрием Орешкиным, независимым политологом и Еленой Башкировой, директором независимой социологической службы «Башкирова и партнеры» после небольшого перерыва «Лукавая цифра» вернется в эту студию. А на +7 985 970-45-45 Вы можете уже сейчас присылать свои вопросы нашим гостям.

НОВОСТИ

А. САМСОНОВА: Добрый вечер, мы вновь в студии, чтобы продолжить программу «Лукавя цифра», и сегодня в эфире мы обсуждаем тему: можно ли доверять предвыборным опросам общественного мнения. Меня зовут тоня Самсонова. Со мной по-прежнему моя коллега Алина Гребнева.

А. ГРЕБНЕВА: Здравствуйте еще раз.

А. САМСОНОВА: Еще раз с удовольствием представляю наших гостей. Елена Башкирова, директор независимой социологической «Башкирова и партнеры», здравствуйте еще раз.

Е. БАШКИРОВА: Здравствуйте.

А. САМСОНОВА: И независимый политолог Дмитрий Орешкин.

Д. ОРЕШКИН: Добрый вечер.

А. ГРЕБНЕВА: Мы пообещали до перерыва, что откроем все тайные секреты социологов…

А. САМСОНОВА: Знаете, в каком ключе. Извини, Алин. Мы хотели Вас попросить объяснить людям, далеким от социологии, как, увидев распределение ответов, респондентов, анкетные вопросы и т.д., понять, можно этому опросу доверять, или нет. На что обращать внимание, кому важна эта выборка, кому нужна эта погрешность, что это такое вообще, и на что обратить внимание, чтобы понять, как относиться к результатам опроса.

Е. БАШКИРОВА: Ну, Вы сами-то понимаете, что Вы замахнулись на Вильяма нашего на Шекспира. Это примерно я бы Вас попросила, вы могли бы, к врачу обращаясь, вы могли бы, вот вы врач-офтальмолог, сейчас нас коротенечко сказать, какую операцию надо делать людям. И как они должны понять, надо ли  им идти в институт Федорова или нет.

А. САМСОНОВА: Ну, я хотя бы могу сказать, человек видит или не видит. Два глаза или один.

Е. БАШКИРОВА: У нас отдельная профессия, это отдельная наука. Некоторые люди ее пытаются низвести к тому, что любой человек может сформулировать вопросики, пойти к кому-то их задать на улице. Меня особенно радуют уличные опросы, которые вообще некорректны, их вообще не надо проводить.

А. САМСОНОВА: Т.е. социологи не на улицах опрашивают?

Е. БАШКИРОВА: Конечно, нет.

А. ГРЕБНЕВА: А откуда вообще берутся заветные 1600 человек? Вот интересно, как и почему эти 1600 представляют всю Россию?

Е. БАШКИРОВА: Потому что это все посчитано, потому что есть такая профессия. В ней люди уже работают много-много лет. И как формулировать вопрос, это не просто мое желание, я вот так хочу спросить, а ВЦИОМ или ФОМ, или Левада и партнеры хотят свой вопросик задать. За каждой формулировкой вопроса стоят кропотливая работа многих, многих лет. Потому что люди пробуют, я, например, когда писала диссертацию, у меня было 7 разных шкал по измерению, как просто задать вопрос: смотрите Вы телевизор или нет? И как часто? Это большая очень работа. Она проверяется на очень больших подопытных респондентах. Поэтому есть некие правила. И, конечно, простой человек, глядя просто на цифры, он никак не может понять, можно доверять или нет. Единственный момент, на который надо обращать внимание, мы здесь уже говорили, на фирмы. Потому что компании уже известные, у которых есть репутация, все-таки к ним надо относиться с большим доверием. И как Дмитрий Борисович сказал, может, с некоторым скептицизмом и проверять. Т.е. смотреть, какой объем выборки. Конечно, объем выборки, он определен, что для нашей страны для большей, достаточно 1500-1600 человек опросить для такого не  очень глубокого уровня анализа. Я не буду сейчас в детали вдаваться. Вы, как социолог понимаете, что значит 30 в ячейке…

А. САМСОНОВА: Я, как социолог, боюсь очень, что если мы начнем сейчас про выборку говорить, то закончим завтра вечером.

Е. БАШКИРОВА: Мы не будем говорить про выборку. Есть определенные правила. Они уже признаны наукой. Если они не соблюдаются, значит, эта компания не достаточно корректно работает. Каковы эти правила. Давайте начнем с формулировки вопроса. Потому что про выборку мы потом можем поговорить. Очень важно, очень легко повлиять на респондентов. Как сейчас Вы легко и изящно повлияли на Вашу аудиторию, Вы так сформулировали вопрос, и Вы так задали все, а вот эта атмосфера сама опроса, она была не совсем верная. Вы повлияли на то, что люди сказали: да и не надо им доверять. Не хочу сказать, что если бы иначе, если бы я задавала вопросы, давайте вот проведем эксперимент.

А. САМСОНОВА: Я как раз нажимаю на кнопочку, чтобы провести эксперимент.

А. ГРЕБНЕВА: И Вы можете сформулировать.

Е. БАШКИРОВА: На ту же тему я не могу говорить.

А. ГРЕБНЕВА: На другую какую-нибудь.

Е. БАШКИРОВА: Ну, давайте я задам вопрос. Я Вас прошу, уважаемые радиослушатели и телезрители попытаться ответить на такой вопрос. Важно ли это на Ваш взгляд, чтобы социологи снабжали наши органы власти, или различные партии вот такой полезной информацией для того, чтобы обеспечить обратную связь. Чтобы люди и президент наш, и Госдума, и разные лидеры партий понимали, чтобы до них донести вовремя сведения, что, например, народ им не доверяет. Или он к ним плохо относится. Или он хочет, чтобы они больше появлялись на людях, или чтобы они в первую очередь решали вопросы не повышения зарплаты чиновникам, а в первую очередь, чтобы они увеличивали пенсии, чтобы обеспечивали людей квартирами и т.д. Считаете ли Вы, что это очень важно и необходимо в нашей стране и особенно сейчас во время кризиса? Да или нет?

А. САМСОНОВА: Да или нет? Если Вы считаете, что то, о чем говорила только что Елена Ивановна Башкирова важно, звоните по телефону 66-00-66-4. Если Вы считаете, что это все не важно, и не имеет значения, тогда Ваш телефон 66-00-66-5. Я прошу Вас еще раз сформулировать вопрос, чтобы я назвала номера телефонов.

А. ГРЕБНЕВА: Т.е. условно, важно ли, что социологические службы информируют органы власти, партии, о том, доверяют им или нет, и том, как вообще относятся…

Е. БАШКИРОВА: Вообще, о положении дел в стране. Потому что мы знаем, что есть большой разрыв между властью и народом.

А. САМСОНОВА: Важно это или нет?

А. ГРЕБНЕВА: Важно: 66-00-66-4. Не важно: 66-00-66-5.

А. САМСОНОВА: Продолжается голосование. Это наш эксперимент. Ну, и Елена Ивановна, продолжайте. Мы сейчас наберем какое-то количество голосов, и я тогда скажу результат.

Е. БАШКИРОВА: Ну, хорошо, значит, это есть наука и искусство социология, и очень важно формулировать вопросы корректно. Вопросы должны быть сбалансированы. Вот это вот народ может понять. Сейчас я всех научу. Нельзя ни в коем случае задавать вопрос так, как задан, например, в конкретной этой анкете. Собираетесь ли Вы голосовать?

А. ГРЕБНЕВА: Почему? Мне кажется, что это невинный вопрос.

Е. БАШКИРОВА: Это Вам кажется, потому что Вы представитель народа, а мы представители вот этой профессии. Поэтому обязательно надо балансировать. Считаете ли Вы что, или собираетесь ли Вы голосовать, или Вы голосовать не будете? Вы должны дать абсолютно равные шансы. Люди должны понимать, что они могут ответить нет или да. И не будет на них никакого психологического давления. Если мы задаем вопрос: по каким причинам Вы не будете голосовать, например. Вы нас так резко сдвигаете людей в сторону того, что вообще голосовать то и не надо. Те, кто сомневались, сразу быстро приняли решение. А не надо голосовать. Тут же начинают выдумывать причину. Задавать вопрос можно только так. Собираетесь ли Вы голосовать, да, или не собираетесь. Это фильтровой вопрос. Вы сразу разводите на две группы. Потом обязательно надо задать вопрос: если Вы собираетесь голосовать, по каким причинам, чему это может помочь. Это Ваш долг, или какие-то другие причины. Если не собираетесь, пожалуйста, ну, такие вопросы, которые у Вас эмоционально окрашены – все куплено, задавать нельзя. Все должно быть очень нейтрально.

А. САМСОНОВА: У нас есть результаты эксперимента. Значит, смотрите, рассказываю с самого начала. Когда мы в первой части программы задавали вопрос об отношении к опросам общественного мнения в формулировке «как Вы относитесь к социологическим рейтингам политических партий с доверием или считаете, что они купленные?» тогда наши слушатели проголосовали следующим образом: 10% с доверием, 90%, что они купленные. В той формулировке, которую озвучила Елена Ивановна, повторите коротко…

Е. БАШКИРОВА: Ну, зачем повторять. Важно или не важно…

А. САМСОНОВА: Важно ли информировать власть о…

А. ГРЕБНЕВА: Положении дел в стране.

А. САМСОНОВА: 50 на 50 Ровно, ровно.

Е. БАШКИРОВА: Притом, что это был нечистый эксперимент. Вы уже сдвинули сознание. Если бы я начала с этого, было бы, я Вас уверяю, было бы 60 на 40 или 70 на 30.

А. САМСОНОВА: Ну, и Вы сдвинули сознание моментально. 40%...

Е. БАШКИРОВА: Я не сдвинула, я корректно задала вопрос. Я задала вопрос: важно ли, или не важно.

А. ГРЕБНЕВА: Вот оно манипулирование в прямом эфире.

Е. БАШКИРОВА: Я не манипулировала.

А. САМСОНОВА: Не надо ничего рисовать.

А. ГРЕБНЕВА: Нет, не Вы, мы.

Е. БАШКИРОВА: При этом Вы не манипулировали, я Вас к этому и подвожу. У Вас не было намерения. Вы честные журналисты. Но Вы, не зная методики, не желая того, сдвинули. То же самое имеем, вот перед нами этот опрос. Мы обсуждали до этого. Что здесь сделано? Два вопроса в одном. Считаете ли Вы, что мэр Москвы коррумпирован, и что его жена получает необоснованные льготы. Два вопроса. Человек теряется. Он не знает, на какой отвечать.

А. САМСОНОВА: А если я считаю одно, а другое не считаю.

Е. БАШКИРОВА: Более того, таким образом, если говорить о манипулировании, в данном случае я не говорю про манипулирование, я говорю про некорректный вопрос. Вы увеличиваете количество людей, которые отвечают на тот вопрос: да, мы считаем, что… Потому что часть людей отвечают про коррумпированность мэра, а часть людей отвечают про коррумпированность его жены. Вы понимаете, что так легко это все испортить. Мы продолжаем, как мы учим людей. Значит, должна быть сбалансированная шкала. Если мы задаем вопрос и даем подсказки, например, количество позитивных высказываний, Вы моете оценивать любые высказывания, про кого угодно. Я могу задать, например, вопрос про Вас. Сейчас в эфир я задаю вопрос: нравится ли Вам наша ведущая. Такой вопрос будет некорректный, потому что Вы две разные личности. Потому что надо задать вопрос про одну девушку, второй вопрос про другую.

А. ГРЕБНЕВА: И два варианта ответа, и оба «нравится», я хочу.

А. САМСОНОВА: Ну, только по разным причинам.

Е. БАШКИРОВА: Да. Но если я задам вопрос, например, что именно Вам нравится в Тоне, например? И скажу: Вам нравится ее прическа, и прекрасная фигура, как она прекрасно говорит или довольно критическая настроенность по отношению к ее гостям. Это будет некорректный вопрос. Потому что у нас должно быть количество позитивных подсказок должно соответствовать количеству негативных. И если я буду задавать только про позитив, тогда я должна обозначить, что это позитивные характеристики. Я тоже сдвину, потому что точно так же не буду это произносить. Я могу сделать набор таких же отрицательных величин.

Д. ОРЕШКИН: Я бы, знаете, во что вклинился. С одной стороны понятно, что ты даже не можешь корректно померить температуру воды с помощью термометра. Потому что ты погружаешь термометр, который, скажем, отличается по температуре от воды, и таким образом, ты меняешь температуру смеси. Чуть-чуть, но меняешь.

Е. БАШКИРОВА: Смотря, куда опускаешь. Если в море опускаешь, то ты вряд ли…

Д. ОРЕШКИН: Ну, я говорю, в стакан воды, в выборку. Т.е. на самом деле, конечно, вопрос, так или иначе, влияет на ответ. Это понятно. Но люди сейчас другим заняты. Мне кажется, надо говорить не только о внутренних этих проблемах. А о внешних. Внешне это значит, в каком контексте эти опросы плавают. А  они плавают в плохом контексте, потому что результаты социологических опросов часто используются, как форма давления на избирателя. Говорят, например, избирателю. Вот такая-то партия сильно всех опережает. А у очень у многих людей, не у большинства, но у многих есть стремление присоединяться к большинству. Значит, раз все так, то и я так. Это уже манипуляция общественным мнением. Блистательный пример манипуляции общественным мнением, вопрос о сохранении Советского Союза тогда был задан. Согласны ли Вы…

Е. БАШКИРОВА: Два в одном.

Д. ОРЕШКИН: Формулировка была примерно такая: поддерживаете ли  Вы идею о сохранении Советского Союза, как нового какого-то демократического союза людей.

Е. БАШКИРОВА: Там было два и чего-то такое. И не понятно, что человек отвечает. Он за сохранение Советского Союза или за то, что он будет новый, модернизированный и т.д. И когда теперь нам говорят, что вот столько-то людей проголосовали «за», то не понятно на самом деле за что они голосовали. Об этом никто не говорит. Еще одно. Я позволю себе вернуться к тому, о чем Вы говорить не велели. О выборках. Вещь очень понятная. Почему 1600 человек. Вы представьте, Вам надо узнать, сколько у нас в стране мужчин и женщин. Если Вы встретите на улице трех человек, выборку из  трех человек составите, у Вас получится две женщины и один мужчина.

А. ГРЕБНЕВА: А если трое мужчин?

Д. ОРЕШКИН: В лучшем случае. Т.е. Вы все равно не можете получить правильный ответ. Потому что в лучшем случае у Вас будет 66% женщин и 30%...

А. САМСОНОВА: Сколько человек мне надо встретить на улице?

Д. ОРЕШКИН: Вот. А если вы проводите наблюдение у женской бани, то у Вас получится, что там 70% женщин.

Е. БАШКИРОВА: Да, это интересно.

Д. ОРЕШКИН: Или у стадиона после футбольного матча. Там будет больше мужчин. Понятно, что десятерых посчитать. Ты уже приближаешься, но все равно это недостаточно. 100, уже хороший результат ты получишь по этому простому вопросу. Тысяча. Почти идеальный будет ответ. 10 000 практически ничего не изменится. Ты можешь и 10 уже опросить, и 500, но все равно будет то же самое соотношение. Значит, надо где-то на каком-то уровне остановиться. Это называет репрезентативная выборка. Вот 1600 считается достаточным. Для того чтобы дать оценку с точностью + 2%. Это считается приемлемым.

А. САМСОНОВА: По одному парламенту.

Д. ОРЕШКИН: По тому параметру, по которому корректно задан вопрос. Т.е. социология на самом деле достаточно хорошая, толковая наука. Дело все в том, что у нас ее используют точно так же, как мы с Вами все меньше доверяем выборам, есть такое дело. Все меньше доверяем парламенту, политическим партиям, идет общая деградация общественных институтов. В том числе, снижается доверие и к социологии. Это самое печальное, что я наблюдаю в течение нескольких последних лет. Все врут. И ваша формулировка, на самом деле, она провокационная конечно, насчет купленная не купленная. Но стоит в этом контексте задать любой вопрос, и Вам сразу все ответят, что да, куплена. Парламент куплен? Куплен, — ответят люди. И то же самое 9 к 10. Партия купленная? Купленная.

А. САМСОНОВА: А президент? Ответят так?

Д. ОРЕШКИН: Ну, вот спросите. Я хочу, сказать мы плаваем в таком бульоне, где вообще дефицит доверия всех ко всем. И это отвратительные итоги политической реальности именно последних нескольких лет. До того, все-таки в предыдущие, в конце 90х и в начале нулевых годов, гораздо проще было работать с социологическими опросами, и  они вызывали у людей больше доверия. И результаты выборов тоже вызывали больше доверия.

А. САМСОНОВА: Люди Вам скажут: ну, и  с тех пор мы стали умные, мы знаем, чего Вы социологи стоите.

Д. ОРЕШКИН: Они стали умные. Правильно с одной стороны. А с другой стороны, неоднократно убеждались на том, как их разводили на мякине. Это тоже нельзя. Поэтому когда Елена Ивановна говорит про честь мундира, я ее понимаю. Она социолог, ей хочется объяснить, что это хорошая наука. Но из результата хорошей науки можно сделать очень плохое блюдо, скажем так.

А. САМСОНОВА: У нас есть закон, который ограничивает публикацию опросов общественного мнения за неделю до выборов. Ну, за 5 дней. Почему бы не сделать так, чтобы вообще не публиковать опросы, рейтинги партий т.д. Если то обмен такой сугубо двусторонний что социологи рассказывают партиям, политикам и т.д. Зачем это на всю страну объявлять и знать.

Д. ОРЕШКИН: Интересно.

Е. БАШКИРОВА: Ну, это уж замахнуться на демократию.

А. ГРЕБНЕВА: Интересно?

Е. БАШКИРОВА: Это интересно всем. Это интересно людям, я хочу не согласиться с Вами, что было легче работать в 90е годы…

Д. ОРЕШКИН: Не легче, а другая была атмосфера, мне кажется.

Е. БАШКИРОВА: Я в такого рода мероприятиях в защиту социологии, мы уже в 90-х годах сидели, и в избиркоме, если Вы помните нас собирали. Всегда это возникает. Ну, я бы не говорила, про 2-3 года.

Д. ОРЕШКИН: Лет 5-7 я бы сказал.

Е. БАШКИРОВА: Да, я бы сказала, может быть, даже и 10. И доверия к власти нет у нас. У нас только есть 2 позиции, к которым есть достаточно высокий уровень доверия на уровне 70%. Он как держался и держится. Это премьер-министр и президент. Все остальные ветви власти, как они были на  очень низком, ну, около 50 или ниже того. И  высокий уровень доверия у нас только к церкви, и как ни странно, к армии. Все остальные ниже этого. Это было, есть, и это никак не переломили. К сожалению, это продолжается. Но я хочу сказать, что я кроме того, что занимаюсь изучением общественного мнения, выборными всякими делами, мы занимаемся маркетологией. 85% или больше занимает у нас работа по маркетингу.

А. САМСОНОВА: И коммерческие исследования.

Е. БАШКИРОВА: Ну, а эти тоже коммерческие. У нас все коммерческое.

А. САМСОНОВА: В смысле с фирмами, с заказчиками, которые не представляют из себя политические….

Е. БАШКИРОВА: Ну, там разные заказчики есть и производители, есть и такие фирмы исследовательские. Дело в том, что когда людям реально надо знать вот эту правду, там вообще вопросов не возникает. Там есть очень большая степень доверия к нам маркетологам. И никто даже такую проблему не ставит, надо ли доверять. Там просто очень легко все это проверяется. И если продолжить разговор, что надо делать тому человеку, ему надо проверять. Ему надо взять эти данные, посмотреть вот так, как смотрим мы. Вот мы смотрим, вот здесь сильно, например, очень сдвинута выборка. На 7% здесь не добрали людей со средним специальным образованием. Я не говорю о том, что, конечно, нам очень тяжело работать, потому что у нас последняя перепись была в 2002м году, уровень образования у нас измерялся, официальные данные есть только по 2002му году. Обо всем можно только догадываться. Мы понимаем, что уровень высшего образования на 7% увеличился, хотя статистики официальной нет. Но уровень среднего специального образования. Он не увеличился. Он наоборот, либо остался на том же уровне, либо чуть-чуть снизился. Поэтому недобор вот этих людей на 7%, он ведет, это очень серьезная страта. Это как раз та страта, которая достаточно критически, может быть, настроена особенно в Москве.

А. САМСОНОВА: В принципе да.

Д. ОРЕШКИН: Петрушка еще и в том, что в Вашу выборку попали люди военные…

А. ГРЕБНЕВА: Вы уже сказали про заветную цифру 1600. Откуда берутся эти люди?

Е. БАШКИРОВА: Да, это просто посчитано, это есть чисто математические формулы.

А. ГРЕБНЕВА: (ГОВОРЯТ ВМЕСТЕ) Если не на улице? Если Вы сказали, что на улице это вообще.

Е. БАШКИРОВА: По домам. Мы ходим по квартирам, от квартиры в квартиру. Специально рассчитываем. Специально рассчитываем маршрут…

А. ГРЕБНЕВА: И как получается? Есть один военный, есть один пенсионер, или как?

Е. БАШКИРОВА: Нет, есть разные подходы. Есть два типа выборки. Один случайный, там кто попадется. Но если исследование сделано очень хорошо, соблюдены все правила, тогда туда попадают абсолютно все. И тогда не может быть такой ситуации…

Д. ОРЕШКИН: С соответствующим процентом представительства.

Е. БАШКИРОВА: Да, мы делаем микромодель. Если у нас есть 55% женщин в выборке и 45 мужчин, они должны совпасть. Т.е. может быть на 1-2% разница. Если есть различия, мы должны специальную процедуру перевзвешивания, которую мы все знаем, мы ее делаем.

А. САМСОНОВА: «Используете данные спецслужб и каких?» Вопрос на смс.

Е. БАШКИРОВА: Мы – нет. Я лично не использую, может быть, мы использовали бы, но  нам их никто не предоставляет.

Д. ОРЕШКИН: Нет, есть закрытые опросы ФСБ проводит, которые не публикуются. Там они что-то свои используют.

А. САМСОНОВА: ФСБ проводит опросы?

Д. ОРЕШКИН: Конечно. Специально для Кремля. Потому что они как я говорил про скептицизм.

А. ГРЕБНЕВА: Т.е. у нас есть еще одна авторитетная социологическая компания, мы про нее просто не знаем.

Д. ОРЕШКИН: Ну, так это еще и в сталинские время НКВД писало отчеты, как воспринята речь товарища Сталина народонаселением 3 июля 1941 года. Они пишут отчет. Это была закрытая социология, которая, конечно, никогда не публиковалась. Но без этого просто любая власть существовать не может.

Е. БАШКИРОВА: Нет, я не знаю про ФСБ, мы лично никогда таких исследований не проводили. Но я могу сказать, что мы принимали участие в одном исследовании, такой мы получили грант президентский по  изучению образа МВД нашего. Мы проводили как раз много, много разных очень исследований. Мы опрашивали людей, работников разных, разных органов. И  в регионах просто от рядового милиционера до тех людей, которые стоят, когда демонстрации проходят которые разгоняют, засовывают в эти автобусы. Это все для Общественной палаты, мы доложили, там очень интересные результаты. Вот они интересны. Нельзя доводить сводить социологию до каких-то 3% да, нет, затрудняюсь ответить. Она совершенно не в этом, и ответы она дает, потому что то чем мы говорим, это количественные исследования Они действительно измеряют, как любят говорить. Я  не  очень люблю среднюю температуру по городу. Я против этого, но употребляю, потому что она понятна. Вот мы посчитали процент. И большинство любят это, меньшинство любят это. Почему они любят или не любят, мы этим методом не измерим. Мы вступаем уже гораздо более тонкими психологическими методиками. И вот это вот интересно. То, что я Вам говорила, если я сейчас поеду в город Киров, там специальный форум будет. И мы будем там докладывать ситуацию вообще в городе. Какие проблемы людей волнуют. Там ужасная ситуация с дорогами. И мы как раз измеряли образ губернатора Белых, который недавно на этот пост вошел. И там мы будем давать не банальные вещи, которые ну и так понятно, что проблем много. Там ну что у них на первом месте дороги стоят кроме всех остальных, которые типичны для всех нас. Мы их хорошо знаем, и безработица. И низкие уровни зарплаты, и алкоголизм и т.д. И плохая работа всяких соцслужб. Это известно. Мы для того и работаем, чтобы не банальные вещи говорить, которые каждый человек да, выглянул в окно и увидел. Мы должны объяснить, мы должны людей, для которых это делается, подтолкнуть, чтобы они понимали, как эти проблемы решать.

А. ГРЕБНЕВА: У нас уже остается не так много времени. Еще, мне кажется, важно обсудить такое понятие как экзитполы. Потому что как я понимаю, как-то все меньше и меньше у нас практикуется опрос на выходах в день голосования. Хотя западные все выборные компании…

Е. БАШКИРОВА: Это только вопрос денег и профессионализма.

А. САМСОНОВА: Кто заказывает экзитполы, кому они нужны, кто их проводит?

Е. БАШКИРОВА: Они должны быть нужны партии и правительству. Они должны их заказывать точно так же, как опросы, касающиеся выборов в Москву, к сожалению. Нам всем должно было заказать, как я считаю, московское правительство. Они это не сделали. Это наводит…

А. ГРЕБНЕВА: Дмитрий, Вас удивляет, что правительство не сделало такой заказ?

Д. ОРЕШКИН: Не удивляет, потому что они заранее знают, какие результаты выборов, и вдруг в экзитполе получится что-нибудь неправильное. Так что им это не нужно.

Е. БАШКИРОВА: Кроме того, экзитполы, вы согласитесь со мной, Дмитрий, это не все могут делать.

А. САМСОНОВА: Это механизм контроля?

Е. БАШКИРОВА: Конечно.

Д. ОРЕШКИН: Безусловно, на Западе обычно заказывают газеты. Или СМИ. Потому что им хочется заранее. Вопрос простой, Человек выходит с избирательного участка, у него спрашивают: за кого проголосовал. Как правило, в этой ситуации просто ответить, и врать нет смысла. За того-то. Поэтому экзитполы в хороших условиях нормальных, в нормальной среде, они хорошо дают результаты, За несколько часов до подсчета голосов. И  они просты и понятны. У нас это дело испорчено. Потому что у нас опять это часто использовалось, и я это наблюдал, когда был близко к процессу подсчета голосов, как инструмент формирования, как некоторый даже сигнал, какую цифру надо получить.

А. ГРЕБНЕВА: Удивительно.

Д. ОРЕШКИН: Ничего удивительного. После этого, конечно, люди, они не понимают, может быть, хитросплетений всяких, но  они чувствуют, что запах какой-то неприятный идет. И я их понимаю. Да, правильно, идет неприятный запах. Поэтому лучше эти экзитполы приличные фирмы стараются их сейчас не делать. Потому что если они сделают честно и получится не так, как в итоговых документах, скандал. А если они сделают нечестно, ну….

А. САМСОНОВА: А что Вы знаете, будут ли экзитполы на этих выборах в Москве?

Д. ОРЕШКИН: А зачем?

А. САМСОНОВА: Значит, их не будет.

Д. ОРЕШКИН: Ну, конечно.

Е. БАШКИРОВА: Не знаю, я думаю, что он могут быть, но  он и очень дорого стоят. Их  очень дорого организовать по…

А. САМСОНОВА: Сколько дорого.

Д. ОРЕШКИН: Ну, а чего, ну, уже понятно, что чуть-чуть больше половины получит по спискам одна партия…

А. ГРЕБНЕВА: Ну, в общем, да, каждая партия получит свои проценты.

Д. ОРЕШКИН: В округах практически везде выиграет эта же одна партия.

А. ГРЕБНЕВА: Елена Ивановна, последний уже вопрос, все-таки российский респондент, тот, кто участвует в опросах, он сложнее, если учитывать все хитросплетения, которые есть политические. Что если даже  он выходит с участка, он лучше скажет одну партию, а не ту, за которую он проголосовал.

Е. БАШКИРОВА: Нет, я  очень люблю российских респондентов. Мне приходилось, я обучала, и сама проводила опросы за рубежом в Америке в частности. Я считаю, что наш респондент, он лучший в мире. Он лучше, он интереснее. Он задумывается. Может быть, он приходит с пустой головой, но даже когда мы проводим исследования, я просто вижу, как люди начинают думать. И многие благодарят. Спасибо, я об этом не думал. И я не думаю, что они врут. И даже люди в самые далекие времена задают вопрос: как вот Вы опрашивали, был коммунизм, там не разрешали. Да отвечали, мы опрашивали. И люди отвечали, и не боялись. И я опрашивала, о чем только мы не опрашивали. Нужно ли вводить войска в Афганистан, например, в те времена.

Д. ОРЕШКИН: Но какая-то доля все-таки боялась.

Е. БАШКИРОВА: Какая-то доля боялась, как и сейчас. Многие просто ленятся, им неохота.

А. САМСОНОВА: Слава российским респондентам. Понятно. Большое спасибо. Это была программа «Лукавая цифра», в которой мы говорили о том, можно ли доверять предвыборным опросам, и можно им доверять или нет, узнаем после выборов, наверное. Время покажет. Дмитрий Орешкин, независимый политолог и Елена Башкирова, директор независимой социологической службы «Башкирова и партнеры». Алина Гребнева…

А. ГРЕБНЕВА: Тоня Самсонова. Всего доброго.





Загрузка комментариев...

Самое обсуждаемое

Популярное за неделю

Сегодня в эфире