Риски заразиться новым опасным вирусом, выделенные бюджетные средства, рост преступности — цифры постоянно звучат в новостях и публичных заявлениях. А чтобы аргументировать идеи и мнения, приводят статистические данные. Но можно ли им доверять? Чтобы в этом разобраться, стоит чуть пристальнее посмотреть на приемы подачи информации, которые могут исказить наше восприятие. О них Том и Дэвид Чиверсы подробно рассказывают в книге «Цифры врут. Как не дать статистике обмануть себя».
Кто авторы?
Научного журналиста Тома Чиверса и доцента экономики в Даремском университете Дэвида Чиверса объединяет не только общая фамилия (они двоюродные братья), но и интерес к статистике и цифрам. Том — дважды обладатель награды за «Совершенство в статистике» среди журналистов, он пишет для BuzzFeed UK, Telegraph, Observer, Guardian, CNN и других мировых медиа. Первая книга Тома вошла в список лучших научно-популярных книг Times. Дэвид Чиверс представляет академическую среду. Степень PhD он получил в Манчестерском Университете, затем читал лекции в Оксфорде. Его исследовательские интересы лежат в области вопросов экономического роста и развития.
О чем книга?
Том и Дэвид проанализировали, как ученые, журналисты, политики и общественные деятели используют численные показатели, и выделили 21 способ их искажения. Каждому из них посвящены отдельные главы с примерами и формулами для тех, кто хочет копнуть глубже. Впрочем и без формул все довольно понятно. Мы собрали самые распространенные способы исказить данные, с которыми вы наверняка встречались.
Размер эффекта
Мы часто читаем, что то или иное действие повышает или снижает риск какого-то исхода. К сожалению, далеко не всегда уточняется размер этого эффекта и его значимость. К примеру, в медиа постоянно пишут, что из-за чтения с экрана ваш сон может серьезно пострадать. Если же обратиться к первоисточнику, то выяснится, что участников эксперимента просили читать перед сном по четыре часа. Те, кто использовали для чтения гаджеты, засыпали после этого в среднем на 10 минут позже, чем те, кто читали бумажную книгу. Редко кто в обычной жизни читает перед сном так долго. А владея полной картиной, вы можете самостоятельно решить, стоит ли полчаса чтения с iPad потери двух минут сна.
Поэтому, встречая в интернете пугающее утверждение, поищите исходные цифры, чтобы точно оценить, а велик ли эффект.
Причинно-следственные связи
Нередко в новостях или исследованиях путают причинно-следственные связи и корреляцию. В чем разница? Если мы видим совпадения в динамике каких-то явлений, например, X растет и одновременно увеличивается Y, это называется корреляцией. Графики роста у X и Y будут очень похожи, но это не означает причинно-следственной связи между ними. То есть нельзя сказать, что рост X вызывает увеличение Y или наоборот.
Разницу между корреляцией и причинно-следственными связями можно разобрать на примере продаж мороженого и количества утонувших. Дело в том, что рост продаж мороженого совпадает с всплеском смертей от утопления. Очевидно, эти два процесса не влияют друг на друга напрямую, то есть причинно-следственной связи между ними нет. Тогда как объяснить корреляцию? С помощью так называемого искажающего фактора — температуры воздуха. В жаркие дни люди едят больше мороженого и чаще купаются, а плавание, к сожалению, иногда приводит к фатальным последствиям.
Если вы встречаете где-то утверждение, что X связано с Y, не стоит думать, что из этого непременно следует, что X влечет за собой Y или наоборот. Возможно, есть еще скрытое Z, которое вызывает и X, и Y, — делятся общим правилом авторы книги.
Риски абсолютные и относительные
В 2019 году появились сообщения, что у любителей бекона риск заболеть раком кишечника на 20% выше. Звучит как серьезное предостережение! Такое утверждение может восприниматься как рост лично ваших шансов заболеть на два десятка процентов. Но стоит помнить, что этот показатель относителен, и он мало что дает для понимания. Если первоначальное значение ничтожно мало, то даже после роста на 20% оно все еще достаточно небольшим числом. Разберем на примере с беконом.
Авторы приводят данные Фонда исследования рака, согласно которым вероятность заболеть раком кишечника для жителей Великобритании составляет около 7% для мужчин и около 6% для женщин. Рост на 20% означает повышение рисков до 8,4% у мужчин и до 7,2% у женщин. Разница в 1,2–1,4%, конечно, тоже важна, однако дает более точное представление о том, насколько безопасно добавлять бекон в свой рацион.
Авторы советуют разделять относительные и абсолютные риски и оценивать, насколько вероятно произойдет то или иное событие, а не как изменилась эта вероятность.
Изменение подсчетов
Сообщения о росте заболеваемости каким-то недугом вызывают тревогу. Но что, если рост связан не с тем, что заболевших действительно стало больше, а с изменением критериев оценки? Например, диагноз аутизм в последние годы ставится все чаще. Двадцать лет назад расстройства аутистического спектра (РАС) встречались у одного из 150 детей, а в 2016-м — уже у одного из 54, — приводят авторы статистику американских Центров по контролю и профилактике заболеваний. В обществе начали говорить об «эпидемии» аутизма. Рост заболеваемости пытались связать с глютеном, казеином, загрязнением почвы тяжелыми металлами и гербицидами и даже с прививками. Но никто не смог привести достаточно убедительных доказательств в пользу внешних факторов риска. Так с чем же связано растущее число детей с диагнозом аутизм?
Дело в том, что за двадцать лет изменился сам подход к диагностике и оценке РАС. Расширился спектр критериев, по которым производится оценка, все больше врачей стали узнавать о подобном диагнозе, и, соответственно, ставить его детям, приходящим на прием. Кроме того, за это время появились работающие методики, способные улучшить жизнь семей, где воспитывается ребенок с РАС, так что появился стимул обследовать все больше детей.
Мера не равно цель
Одно из экономических правил — закон Гудхарта — гласит: «Как только статистический показатель становится целевой функцией, он перестает работать». То есть когда что-то превращается в KPI, люди начинают работать на достижение этого показателя, а не глобальной цели. Пример — показатели внутрибольничной смертности, которые использовались в Орегоне для расчета рейтингов медицинских учреждений. Больницы были ориентированы на снижение процента смертей среди госпитализированных. В результате это привело к отказам в госпитализации тяжелобольных пациентов из-за риска испортить статистику.
Аналогично складывалась ситуация, когда успешность противоковидных мер пытались измерять количеством сделанных тестов. Британское правительство в какой-то момент поставило цель достичь внушительной цифры в 100 тыс. тестов в день и к маю 2020 года заявило об успешно выполненной задаче. Однако, если разобраться, выяснится, что значительная часть этих тестов рассылалась по почте. Так что неизвестно, были ли они вообще использованы.
Как избежать негативных эффектов при введении целевых показателей? Использовать не одну меру, а несколько, и время от времени менять их. Ну, а если вы не устанавливаете критерии эффективности, а лишь читаете отчеты о чужих достижениях — воспринимайте такие реляции чуть более критично. Рост положительных оценок в выпускных тестах школьников, увы, может показывать не то, что абитуриенты стали умнее и образованнее, а всего лишь натасканность на выполнение определенных заданий.
Цитаты из книги
«Следует с осторожностью относиться к исследованиям с менее чем сотней участников, особенно если получаются какие-то удивительные или малозаметные результаты. По мере роста числа участников исследования — при прочих равных — доверие к его результатам повышается».
«Раньше при проведении политических опросов было принято обзванивать респондентов, потому что стационарные телефоны стояли почти у каждого и так можно было без труда получить случайную выборку — просто выбирая номера случайным образом. Но в наше время этот способ даст сильно смещенную выборку, потому что те, у кого есть домашние телефоны (и кто отвечает на звонки с неизвестных номеров), отличаются от тех, у кого их нет».
«Исследование, проведенное Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов, показало: когда докторам сообщают данные об относительной, а не абсолютной эффективности лекарства, они выше оценивают его эффективность и чаще его прописывают, то есть тоже обманываются».
Зачем читать книгу?
Вы расширите свой диапазон инструментов критического мышления. Умение более точно интерпретировать цифры в новостях, исследованиях об эффективности вакцин или годовых отчетах компаний точно пригодится вам в мире, переполненном цифровой информацией. Ну, а если вы разрывались между ЗОЖ и беконом, ваш выбор станет более обоснованным.