Text
                    Мир
МАТЕМАТИКИ
13
Абсолютная точность
и другие иллюзии
Секреты статистики
D^AGOSTINI

Мир математики
Мир математики Пере Грима Абсолютная точность и другие иллюзии Секреты статистики Москва - 2014 D^AGOSTINI
УДК 51(0.062) ББК 22.1 М63 М63 Мир математики: в 40 т. Т. 13: Пере Грима. Абсолютная точность и другие иллюзии. Секреты статистики./ пер. с исп. — М.: Де Агостини, 2014. Статистика — наука, которая кажется знакомой, ведь мы привыкли слышать упо- минания о ней в СМИ. Иногда к ней относятся несерьезно, потому что статистические прогнозы не всегда сбываются. Однако этот факт не отменяет чрезвычайной важности статистических исследований. Цель статистики — получить знания объективным спосо- бом на основе наблюдений и анализа реальности. В этой книге затронуты некоторые наи- более интересные аспекты статистики, например, вопросы о том, как провести сбор данных и как представить информацию с помощью графиков. Читатель совершит экскурс в тео- рию вероятностей, а также узнает о статистических исследованиях, предвыборных опросах и о том, какие рассуждения лежат в основе всех статистических тестов. ISBN 978-5-9774-0682-6 ISBN 978-5-9774-0706-9 (т. 13) УДК 51(0.062) ББК 22.1 © Pere Grima, 2010 (текст) © RBA Collecionables S.A., 2011 © ООО «Де Агостини», 2014 Иллюстрации предоставлены: age photo stock Все права защищены. Полное или частичное воспроизведение без разрешения издателя запрещено.
Содержание Предисловие . ................................................... 9 Глава 1. Описательная статистика: как извлечь важную информацию из множества данных ............................................. 11 Экскурс в историю: эпидемия холеры 1854 года........................ И В погоне за преступником........................................ 12 Сила графиков................................................... 13 Резюмируем данные (1): показатели центра распределения............. 15 Среднее арифметическое.......................................... 15 Медиана......................................................... 17 Мода............................................................ 17 Резюмируем данные (2): показатели вариации......................... 19 Размах вариации ................................................ 19 Дисперсия и среднеквадратическое отклонение .................... 19 Коэффициент вариации ........................................... 21 Резюмируем данные (3): квантили..................................... 23 Квартили ........................................................ 23 Перцентили....................................................... 24 Проценты: выглядят безобидно, но на самом деле опасны.............. 26 Общие вопросы................................................... 26 В действительности всё не так. Парадокс Симпсона................. 27 Графическое представление переменной................................ 28 Представление взаимосвязи между двумя переменными.................. 36 Масштаб может быть обманчив......................................... 39 Глава 2. Расчет вероятностей: правила, которые помогут нам в мире неопределенности ......................................... 43 Расчет вероятностей и статистика.................................... 45 Вероятность и ее законы............................................. 48 Правило «или»................................................... 51 Правило «и» .................................................... 51 Подсчет исходов................................................. 51 Применение правил................................................ 52 5
СОДЕРЖАНИЕ У случайности есть имя........................................... 55 То, что нам уже знакомо: биномиальное распределение............. 55 От числа погибших от удара копытом лошади в прусской армии к числу забитых мячей в чемпионате Испании по футболу: распределение Пуассона........................................ 58 Колокол Гаусса, или нормальное распределение.................... 61 Другие виды распределения. Рассуждения о «теоретических» моделях. 67 Занимательные задачи: удивительные вероятности..................... 68 Ложноположительные результаты обследования ..................... 68 Задача о днях рождения ......................................... 69 Выигрышная комбинация выпадает дважды........................... 71 Последовательные числа в билетах национальной лотереи........... 72 Глава 3. Как представить целое, зная лишь его часть ............... 75 Сколько рыб в озере? Сколько машин такси в городе?................. 76 Рыбы............................................................ 76 Такси .......................................................... 80 Какова доля домохозяйств, подключенных к Интернету?................ 83 «Партия А опережает партию В на 3,6 пункта» ....................... 87 Вопрос на миллион............................................... 87 Сюрприз! Размер выборки почти не зависит от величины генеральной совокупности....................................... 90 Нужно ли солить суп?............................................ 90 Какая у меня группа крови?...................................... 90 Сила случая........................................................ 92 Опрос, который изменил все опросы: Лэндон против Рузвельта...... 93 Жеребьевка при призыве в армию.................................. 94 «Неформальные» опросы .......................................... 95 Да или да? Значение формулировок вопросов....................... 96 Звонит телефон, но вас нет дома. Телефонные опросы.............. 97 Частный случай: предвыборные опросы................................ 97 Избиратели постепенно изменяют свой выбор....................... 97 За кого голосуют те, кто не определился? ....................... 98 Недостаточно откровенные ответы на вопросы.................... 99 От процента голосов к числу кресел в парламенте ................ 99 Тем не менее законы статистики выполняются......................100 6
СОДЕРЖАНИЕ Глава 4. Как мы рассуждаем, когда принимаем решение. Проверка статистических гипотез .................................101 Рассуждения дегустатора чая.........................................102 Вес, рост, коэффициент корреляции и его значение....................105 Схема рассуждений: проверка статистических гипотез..................108 Что, если нулевую гипотезу нельзя опровергнуть?..................109 Еще один пример: сбалансированы ли игральные кости? ............... 111 До сих пор это верно, далее — нет: границы р-значения...............114 Глава 5. Что лучше? Что эффективнее? Как формировать выборки для ответа на подобные вопросы.................................. 117 Крупномасштабное исследование: вакцина против полиомиелита..........117 Полиомиелит и его особенности....................................118 Контрольная группа...............................................119 Две «наиболее похожие» группы: плацебо и двойной слепой метод....120 Необходимость в выборке очень большого размера...................122 Результаты ......................................................122 Роль статистики. Полиомиелит в наши дни......................... 123 Аспирин и инфаркты..................................................123 Табак и рак легких..................................................125 Случайный отбор и влияние различных факторов........................127 Сделайте это сами...................................................130 Помогает ли чайная ложка удержать газ в бутылке шампанского? ....130 Умеете ли вы выбирать дыни?..................................... 131 Будут ли цветы стоять дольше, если добавить в воду аспирин? .....132 Действительно ли дорогие батарейки работают дольше?..............133 Действительно ли пакеты с водой отпугивают мух? .................137 Библиография .......................................................139 Алфавитный указатель................................................141 7

Посвящается Алисии и Пау Предисловие Статистика — это наука, которая кажется знакомой. Мы привыкли слышать упо- минания о статистике в средствах массовой информации: согласно исследованию (разумеется, статистическому), употребление алкоголя среди молодежи снизилось; результаты опроса показывают, что рейтинг доверия к одному политику выше, чем к другому; партия одержала победу на выборах с перевесом в столько-то пунктов. Даже футбольные комментаторы говорят, например, что, по статистике, одна из ко- манд забивает больше голов во втором тайме. Ответы на вопросы вида «какую ин- формацию можно извлечь из данных» и «какой будет степень достоверности этой информации» не всегда очевидны. Статистику иногда считают несерьезной наукой. Статистические прогнозы не всегда сбываются, и команда, которая, по статистике, всегда забивает гол во вто- ром тайме, в следующем матче может уйти с поля без забитого мяча. В этом заключа- ется разница между статистикой и математикой, которая считается более серьезной наукой. Если футбольная команда «потеряла все математические шансы на победу в чемпионате», это означает, что ей ни при каких обстоятельствах уже не получит- ся стать чемпионом. Статистические данные можно трактовать очень широко, чем активно пользуются политики. Это добавляет штрихи к довольно неприглядному образу статистики в глазах обывателей. Однако статистика применяется намного шире. Она используется в медицин- ских исследованиях (действительно ли новое лекарство лучше старого), в биологии (сколько особей определенного вида обитает на определенной территории и грозит ли им вымирание), при прогнозировании (сколько электричества будет потрачено зав- тра), при анализе рынков (какая упаковка больше нравится клиентам), в социологии (что думает молодежь по конкретному вопросу), в экономике (на сколько выросли цены), при анализе технической надежности (с какой периодичностью нужно осма- тривать детали самолета) и при управлении качеством на предприятиях (на какой проблеме стоит сосредоточить усилия). Возможно, этот перечень слишком велик, но тем не менее он неполон: статистика используется и во многих других областях. 9
ПРЕДИСЛОВИЕ Статистика изучает сбор данных (каким должен быть объем данных и в какой форме следует их собирать) и способы их анализа, позволяющие получить ответы на интересующие нас вопросы. Цель статистики — получить знания объективным способом на основе наблюдений и анализа реальности. Именно в этом заключается суть научного метода. В этой книге рассказывается о некоторых наиболее интересных аспектах стати- стики: как представить информацию с помощью графиков; как избежать пропущен- ных мячей (продолжим пример с футболом), располагая нужными статистическими данными; как провести сбор данных, чтобы ответить на поставленные вопросы. Мы расскажем о статистических исследованиях, предвыборных опросах и о том, какие рассуждения лежат в основе всех статистических тестов. Мы также совершим экс- курс в теорию вероятностей — многим эта тема может показаться сложной и скуч- ной, но в действительности она помогает достаточно просто получить ответы на мно- жество занимательных вопросов. Автор стремился сделать книгу интересной и познавательной. Если мне удалось хотя бы отчасти достигнуть этой цели, за это стоит благодарить моих сокурсни- ков по Политехническому университету Каталонии и увлеченных преподавателей статистики Universidad del Valle в Кали (Колумбия), в частности Роберто Беара. Наконец, я хотел бы выразить благодарность Педро Деликадо, Луису Марко, Лурдес Родеро и Хавьеру Торт-Марторелл за внимательное чтение первого изда- ния этой книги и крайне уместные комментарии и предложения, которые позволили сделать ее намного лучше. 10
Глава 1 Описательная статистика: как извлечь важную информацию из множества данных Что делать, если перед нами — множество данных, из которых нужно извлечь некую информацию? Вне всяких сомнений, сначала рекомендуется оценить их «на глаз», не просматривая числа одно за другим (наш мозг не способен качественно восприни- мать информацию в таком виде), а представив их в виде графиков. Кроме того, можно вычислить некоторые показатели, которые могут быть проанализированы напрямую. Экскурс в историю: эпидемия холеры 1854 года Сохо — один из самых живописных районов британской столицы. Неотразимая смесь современного и традиционного делает его обязательным местом посещения многочисленных туристов, которые уже много лет гуляют мимо удивительно красивых домов, дают отдых усталым ногам в очаровательных парках, разбитых тут и там среди узких переулков. Учитывая великое множество достопримечательностей и суету, при- сущую центру любого большого города, вы вряд ли обратите внимание на тщательно воссозданную копию питьевой колонки XIX века, расположенную на углу улицы Бродвик. Однако этот скромный памятник установлен в память о столь важном со- бытии, что он по праву мог бы возвышаться на сотню метров, ярко освещая ночное лондонское небо. Колонка с питьевой водой на улице Бродвик, установленная в 1992 году в честь британского эпидемиолога Джона Сноу, расположена всего в нескольких метрах от другой точно такой же колонки, которая в 1854 году снабжала местных жителей водой из Темзы. В августе того зловещего года в районе Сохо разразилась ужасная эпидемия холеры, от которой всего за три дня умерло больше ста человек, а за две недели — свыше пятисот. Более трех четвертей населения Сохо оставило свои дома, 11
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ сбегая от болезнетворных паров, которые, как считалось, и были источниками ужас- ной болезни. Джон Сноу, выдающийся врач, который годом ранее лично дал хлороформ ко- ролеве Виктории во время ее восьмых родов, считал иначе. В статье, написанной в 1849 году, он утверждал, что холера передается не через воздух, а через воду. Медицинское сообщество не обратило внимания на его доводы отчасти потому, что в своих рассуждениях Сноу не опирался на какую-то конкретную теорию. Сноу при- менил целый арсенал разнообразных наблюдений, которые помогли ему установить явную связь между водой и распространением холеры. Он использовал исключи- тельно статистические данные, позволившие обнаружить причинно-следственную связь, которую, как мы уже сказали, он не мог объяснить. Несмотря на это, его на- блюдения были столь убедительны и он сумел представить результаты столь удачно, что его современникам не оставалось другого выхода, кроме как признать его право- ту. Так началась радикальная перестройка систем водоснабжения больших городов. В погоне за преступником Холера — это страшное заболевание, основными симптомами которого являются внезапная сильнейшая тошнота и диарея, могущие привести к летальному исходу от обезвоживания. Эпидемию холеры, которая разразилась 31 августа 1854 года, очень быстро стали называть крупнейшей в истории страны. При одном взгляде на цифры волосы встают дыбом: за 72 часа число жертв возросло до 127, большую часть которых составляли дети. Спустя три дня Сноу посетил зону заражения вместе с местным священником Генри Уайтхедом и обнаружил, что большинство умерших жили в домах вблизи колонки с питьевой водой на пересечении улиц Броуд (так в то время называлась улица Бродвик. — Примеч. перев.) и Кембридж. Сноу от- метил: «Изучив район, я обнаружил, что почти все смертельные случаи были зафик- сированы неподалеку от питьевой колонки на улице Броуд. Всего 10 умерших жили в домах, ближайший источник воды к которым был расположен в другом месте. В пяти из этих случаев жители сообщили, что предпочитали брать воду из колонки на улице Броуд, а не из ближайшей к ним; еще в трех случаях дети — жертвы заболевания проходили мимо этой колонки по дороге в школу». 12
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ Изучив источник питьевой воды, Сноу не обнаружил заметных следов зара- жения. Далее он обратился к архивам и составил подробный список всех умерших за последние два дня. Ни один из рабочих пивоварни, расположенной вблизи ис- точника, не заразился, а в приюте для бедняков, также расположенном неподале- ку, где проживали более 500 человек, было зарегистрировано лишь пять летальных исходов. Газеты сообщали о новых жертвах эпидемии, проживавших в отдаленных районах: Хампстеде и Излингтоне. Казалось, что Сноу ошибался. Он удвоил усилия: обойдя дом за домом, он убедился, что и в приюте для бед- няков, и на пивоварне имелись собственные источники питьевой воды. Одно из се- мейств, проживавших в Хампстеде, сообщило, что женщина — жертва холеры, ежедневно приносила воду из источника на улице Броуд, так как ей нравился вкус именно этой воды. Племянница этой женщины, также умершая от холеры, поступа- ла аналогичным образом. «А где жила ее племянница?» — нетрудно представить, что Сноу задал именно этот вопрос. «В Излингтоне», — последовал ответ. Сноу записал: «Вывод моего исследования заключается в том, что в этой части Лондона отсутствует вспышка холеры или видимое присутствие заболевания за ис- ключением тех, кто брал воду в упомянутом источнике». Эта простая фраза позднее изменила систему здравоохранения во всем мире. 7 сентября, когда эпидемия все еще не стихла, Сноу добился созыва срочно- го совещания с местными властями и сообщил им о своем открытии. Он не только выступил с речью, но и представил карту района, на которой отметил численность и место жительства умерших. Карта оказалась настолько убедительной, что уже на следующий день колонка была закрыта. Число умерших резко сократилось, и че- рез некоторое время эпидемия остановилась. Сила графиков Оригинал карты, составленной Сноу, хранится в Британском музее. В 1855 году улуч- шенная версия карты была включена в отредактированную статью Сноу, написанную в 1849 году. Фрагмент этой карты приведен на следующей странице. Современному читателю сложно понять, насколько передовым был тогда такой способ представления данных, ведь сегодня он используется повсеместно. 13
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ Фрагмент карты района Сохо, где в 1854 году разразилась эпидемия холеры. Источник питьевой воды на улице Броуд обозначен словом PUMP в центре карты. Гэризонтальные линии обозначают число умерших в каждом доме. Умершие от холеры обозначены параллельными отрезками. При нанесении этих обозначений на обычную карту рядом с каждым домом сразу же становится по- нятно, где располагался очаг эпидемии. Очевидно, что большинство смертельных исходов зафиксировано рядом с источником питьевой воды (pump) на улице Бро- уд в центральной части карты. Если прибавить к этому скрупулезный труд Сноу по сбору информации, то связь эпидемии с источником питьевой воды не требует дополнительных подтверждений в виде какой-то конкретной теории. Именно так посчитали местные власти и приняли решение закрыть колонку. Очаг заболевания угас, что и стало доказательством того, что холера передается через зараженную воду. Эксперименты, проведенные Луи Пастером в период с 1860 по 1864 год, сыграли ключевую роль в формировании теории патогенов и позволили дать теоретическое объяснение наблюдениям Сноу постфактум. В 1885 году немецкий ученый Роберт 14
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ Кох установил, что возбудителем холеры является бактерия Vibrio cholerae, и уже в конце века системы водоснабжения большей части крупных европейских городов были заменены. Призрак холеры перестал угрожать половине мира. Резюмируем данные (1): показатели центра распределения Описать подозреваемого в преступлении так, чтобы другие смогли гарантированно опознать его, — непростая задача, если только у подозреваемого нет какой-то от- личительной черты. Однако эксперты полиции знают, на что следует обращать вни- мание и какие эпитеты нужно использовать при описании преступника, чтобы другой человек мог себе его представить. Они также знают, как нужно составить фоторобот преступника, чтобы его было легче опознать. Чем-то подобным занимается и статистика. Чтобы обобщить обширное мно- жество данных, рассчитывается несколько показателей (их может быть, например, пять или шесть), которые содержат больше всего информации и помогают получить достаточно точное представление обо всех данных в целом. Эти показатели обыч- но делятся на три группы: показатели центра распределения, показатели вариации и квантили. В этом разделе мы расскажем о показателях первой группы, которые указывают, в окрестности каких значений располагаются данные. Среднее арифметическое Мы все рассчитывали свой средний балл, когда учились в школе или институте. На- пример, баллы выставляются по шкале от 0 до 10, итоговый балл рассчитывается как средний балл трех промежуточных экзаменов, а пороговая оценка равна 5. Оценки 3, 2 и 6 на промежуточных экзаменах означают, что вы не сдали экзамен; оценки 4, 4 и 7 означают успешную сдачу (а как быть, если вы получили 4, 4,5 и 6,3?). Среднее арифметическое — это один из наиболее распространенных показателей центра распределения. Эта величина используется весьма широко благодаря своим особым свойствам и простоте расчетов. Она также демонстрирует нетривиальные свойства при некоторых расчетах. Попробуем, к примеру, найти среднее арифмети- ческое средних арифметических. Среднее арифметическое (3, 4, 5) равно 4, среднее арифметическое (4, 6) равно 5, но среднее арифметическое всех этих чисел равно 4,4, а не среднему значению средних арифметических (4 + 5)/2 = 4,5. Как пра- вило, если дано множество из п1 значений со средним арифметическим и второе 15
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ множество из п2 значений со средним арифметическим х2, то средним арифметиче- ским значений множества из (п} + п2) значений будет _ Гг]^г1 +п2х2 п} +п2 Эта формула эквивалентна формуле расчета среднего для всех значений, так как если выборка содержит п элементов, среднее значение которых равно х, их сумма будет равна пх. Таким образом, числитель общего среднего арифметического равен сумме всех элементов выборки, а знаменатель — общему числу элементов выборки. Рассмотрим пример. Если средний возраст сотрудников-мужчин в компании равен 36 годам, а средний возраст женщин — 32 годам, то каков средний возраст всех сотрудников? Ответ зависит от конкретной численности мужчин и женщин. Если половина сотрудников — мужчины, а половина — женщины, то средний возраст будет равняться 34 годам. Если 75% сотрудников — мужчины, а 25% — женщины, то средний возраст будет равен 35 годам. Заметим, что доля мужчин и женщин рас- считывается по следующим формулам: р1 = nJ (n( + nJ и р2 = nJ (и, + nJ, поэтому первую формулу можно записать в следующем виде: хт +р2х2. В некоторых случаях среднее арифметическое является не самой подходящей ве- личиной. Если мы хотим обобщить данные о сроках доставки товара или о времени поезда в пути, среднее арифметическое не даст нам полезной информации. Может быть так, что по договору срок поставки должен составлять 10 дней, при этом в по- ловине случаев товар доставляется за два дня, что становится неожиданностью для заказчика (на складе может не быть места для товара, к примеру), а в другой поло- вине — за 18 (заказчик уже потерял надежду получить товар). Хотя в среднем сроки поставок соблюдаются идеально точно, означает ли это, что в компании все в порядке? Аналогичная ситуация может произойти и в примере с поездом. Если в половине случаев мы будем приезжать на работу на полчаса раньше, это не компенсирует по- лучасовых опозданий во второй половине случаев, особенно если в офис нельзя по- пасть до начала рабочего дня. В этих примерах наиболее информативной величиной будет процент опозданий или процент случаев, когда поезд опаздывает больше чем на определенное время. Еще один недостаток среднего арифметического — сильная зависимость от край- них значений. Разумеется, странно, что число ног у большинства людей выше сред- него, но это на самом деле так: у некоторых людей всего одна нога или нет ни одной (крайние значения), из-за чего среднее число ног у людей чуть меньше двух. 16
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ Медиана Медиана — это значение, которое будет располагаться точно в центре, если мы упорядочим значения в порядке возрастания. Если даны значения 6, 7, 5, 2 и 9, их медиана равна 6 — именно это значение расположено в центре упорядоченного ряда из этих чисел. Если число элементов четно, медиана рассчитывается как среднее арифметическое двух центральных элементов. Свойства медианы частично компен- сируют недостатки среднего арифметического. Кроме того, она меньше подвержена воздействию крайних значений. К примеру, среднее арифметическое вышеприве- денных чисел равно 5,8, медиана — 6. Если при вводе этих чисел в компьютер мы вместо 9 случайно укажем 99, среднее арифметическое станет равно 23,8, а медиана будет по-прежнему равна 6. Еще одним преимуществом медианы по сравнению со средним арифметическим является тот факт, что по определению ровно 50% значений будут меньше медианы, оставшиеся 50% — больше. Если, например, мы хотим узнать, входим ли мы в число наиболее высокооплачиваемых сотрудников, нужно сравнить нашу зарплату именно с медианой. Рассмотрим 10 сотрудников с зарплатами 0,8; 0,8; 0,9; 0,9; 1,0; 1,0; 1,1; 1,1; 1,2 и 10 тысяч евро. Все сотрудники, за исключением одного (90 % от общего числа), получают зарплату меньше средней, которая равна 1,88 тысяч евро. С меди- аной подобное невозможно: если наша зарплата больше медианы, мы гарантированно входим в 50% наиболее высокооплачиваемых сотрудников. Другой пример. Если для сдачи экзамена нужно набрать 5 баллов и более, а сред- няя оценка в группе равна 5, мы не знаем, сколько студентов сдали экзамен. Если экзамен сдавали 50 студентов, может случиться так, что 41 студент набрал 4 балла и не сдал экзамен, восемь студентов получили 10 баллов, еще один — 6 баллов. В результате средняя оценка равна 5, хотя распределение оценок в группе действи- тельно немного необычно. Если медиана равна 5, то половина студентов в группе точно сдала экзамен. Мода Когда речь идет о показателях центра распределения, также всегда упоминается мода. Мода — это значение, которое встречается наиболее часто. В выборке 0, 2, 7, 2, 8, 2, 5, 4 мода равна 2. Ее имеет смысл использовать для качественных показате- лей. Так, например, если в выборке новорожденных чаще всего встречаются карие глаза, то мода равна карему цвету. Она не содержит какой-то другой информации. 17
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ ФЛОРЕНС НАЙТИНГЕЙЛ Летом 1853 года, разбив турецкую армаду, русский черноморский флот был готов захватить Стамбул и взять под контроль пролив Бос- фор, поставив под угрозу сообщение Великобритании с Индией и на- неся ущерб интересам Франции в Средиземном море. Великобрита- ния объявила России войну, отправив войска на полуостров Крым, где к ним присоединились французская и турецкая армии. Так на- чалась Крымская война, которая завершилась в 1856 году и унесла тысячи жизней. Крымская война считается самой неудачной для британского i о- енного командования. Также это первая война, зафиксированная на фотографиях и в отчетах репортеров. Эта деталь может показаться незначительной, но журналисты в своих статьях рас- сказывали об ужасающих условиях жизни солдат и бедствиях, вызванных некомпетентностью во- енного командования. В результате общество возмутилось, и британский военный министр был вынужден отправить на фронт сестер милосердия, во главе которых стояла увлеченная, умная и опытная Флоренс Найтингейл. Прибыв на фронт, сестры обнаружили, что госпитали находятся в ужасном состоянии. Флоренс Найтингейл объяснила, что большинство смертей было вызвано не ранениями, а инфекционны- ми заболеваниями. Она собирала и документально фиксировала данные, которые свидетель- ствовали о связи между переполненностью госпиталей и уровнем смертности, уделяя основное внимание санитарии, правильному питанию и уходу за ранеными. В течение первых семи месяцев войны, до прибытия Флоренс Найтингейл, раненый британ- ский солдат имел больше шансов выжить, если оставался на поле боя, а не поступал в воен- ный госпиталь. В последние шесть месяцев войны благодаря изменениям в уходе за ранеными смертность снизилась с 40 до 2 %. Флоренс Найтингейл умело отбирала данные, отражающие реальность, и проводила гра- мотный анализ, чтобы понять суть проблемы и возможные способы ее решения. С помощью статистических исследований и грамотно представленных результатов она смогла преодолеть бюрократию и консерватизм военных и убедить верховное командование в необходимости ра- дикального изменения устройства военных госпиталей. Она спасла множество жизней, а многие процедуры введенные ею, до сих пор применяются в современных больницах Флоренс Найтин- гейл - первая женщина, ставшая членом британского Королевского статистического общества. 18
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ Использование моды в этом контексте обусловлено скорее традициями, чем реальной полезностью. Резюмируем данные (2): показатели вариации Разумеется, вы слышали шутку: если один человек съел целую курицу, а второй остался голодным, то, по статистике, каждый съел половину курицы. Или если вы положите ноги в холодильник, а голову — в духовку, то средняя температура вашего тела будет абсолютно нормальной. Подобные недоразумения возникают из-за того, что мы хотим обобщить информацию исключительно с помощью средних значений, не учитывая разброс данных. Еще один пример, указывающий на эту же ошибку, — это попытка определить благосостояние жителей страны, учитывая только средний доход на душу населения. Если бы у вас была возможность выбрать, в какой стране родиться, то следовало бы обращать внимание не только на средний доход, но и на его разброс (вариацию). Лучше жить в стране, где каждому гарантирована четверть курицы, чем в той, где в среднем каждому достается половина курицы, но велика вероятность остаться ни с чем. В конечном счете чтобы обобщить информацию, со- держащуюся в объемной выборке данных, нужно также измерить их вариацию. Для этого используются различные показатели, о которых мы расскажем далее. Размах вариации Размах вариации — это разность между наибольшим и наименьшим значением. Например, если дана выборка 2, 6, 7,12,12,18, размах вариации равен 18 — 2 = 16. Этот показатель очень просто вычислить, но он обладает определенным недостатком: в нем не учитывается информация, содержащаяся во всей выборке. Анализ только крайних значений, которые могут встречаться очень редко, явно недостаточен, осо- бенно если выборка велика. Если элементов выборки мало (например, 4—5), размах вариации — подходящий показатель. Если число элементов выборки равно двум, то этот показатель столь же удобен, как и все остальные. Дисперсия и среднеквадратическое отклонение Наиболее часто используемый показатель вариации — среднеквадратическое от- клонение. Чтобы определить его, начнем с дисперсии, так как среднеквадратическое отклонение рассчитывается как квадратный корень из дисперсии. 19
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ Если бы мы хотели разработать какой-то показатель вариации, то очевидно, что в его расчете должны были бы использоваться все данные, как в случае со средним арифметическим. Например, дана выборка 1, 2, 4, 7 и 9. Можно вычислить сред- нюю разность между каждым значением и средней величиной, равной 4,6: (1 -4 ,6)+ (2- 4,6)+ (4 - 4,6)+ (7 - 4,6)+ (9 - 4,6) 5 Однако этот показатель всегда будет равен нулю вне зависимости от того, каки- ми будут элементы выборки. Следовательно, он не имеет смысла (его значение оди- наково вне зависимости от вариации). Используем абсолютные значения разностей: |1-4,б|+|2-4,б|+|4-4,б|+|7-4,б|+|9-4,б|_ ~~5 ~ ’ Этот показатель называется среднее абсолютное отклонение. Он достаточно удобен, так как большему разбросу данных соответствует большее значение этого показателя. Но все же гораздо более интересными свойствами обладает показатель, в котором проблема взаимного сокращения разностей решается путем возведения их в квадрат: (1 -4.6У + (2-4, б)2 +(4-4, б)2 + (7-4,6> + (9-4,6У — ич*. 5 Разность между каждым значением и средним арифметическим 4,6. Дисперсия — среднее значение квадратов этих разностей. 20
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ Этот показатель называется дисперсией. Он позволяет оценить разброс значе- ний, а также лежит в основе многих статистических методов. Дисперсия обознача- ется О2. Недостаток дисперсии заключается в том, что ее единица измерения — это единица измерения исходных данных, возведенная в квадрат. Если исходная вы- борка состоит из значений длины в метрах, единицей измерения дисперсии будет квадратный метр, что несколько усложнит интерпретацию. Решение этой проблемы очень простое: нужно всего лишь извлечь из дисперсии квадратный корень. Полученное значение, которое мы будем обозначать О, называется среднеквадра- тическим отклонением и является самым распространенным показателем вариации. Обобщение большой выборки данных очень часто производится с помощью всего двух показателей: среднеквадратического отклонения и среднего арифметического. Коэффициент вариации Какая величина варьируется больше — вес котов или вес коров? Допустим, что средний вес кота равен 4 кг и в 95 % случаев он лежит в интервале от 3 до 5 кг. Пред- положим, что вес коровы в 95 % случаев лежит в интервале от 480 до 500 кг. Если мы изучим вес котов, то увидим, что он варьируется очень сильно (некоторые коты весят почти в два раза больше других), а вес коров различается несущественно. Среднеквадратическое отклонение веса котов будет находиться в пределах 0,5 кг. В соответствии с закономерностью вариации весов, 95 % выборки отсто- ит от среднего значения не более чем на два среднеквадратических отклонения. Об этом будет рассказано в следующей главе, посвященной нормальному распреде- лению. Среднеквадратическое отклонение веса коров будет лежать в пределах 5 кг, что в 10 раз больше, однако вес коров варьируется меньше. 21
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ Чтобы разрешить этот парадокс, возникающий при сравнении вариаций, вво- дится коэффициент вариации, который равен частному среднеквадратического от- клонения и среднего значения: у=°. х В нашем примере коэффициент вариации для веса котов равен 0,125, для веса коров — 0,01. Коэффициент вариации — безразмерная величина. ДВЕ КЛАВИШИ ДЛЯ РАСЧЕТА СРЕДНЕКВАДРАТИЧЕСКОГО ОТКЛОНЕНИЯ Несмотря на то что дисперсия и средненвадратичесное отклонение - важнейшие показатели ста- тистики, их часто пытаются скрыть. При попытке обобщить большую выборку данных мы можем столкнуться с одной из следующих ситуаций. 1. Интерес представляют имеющиеся данные. Мы хотим определить среднее значение или средне- квадратическое отклонение этих данных, составляющих так называемую генеральную совокуп- ность. 2. Имеющиеся данные являются выборкой из изучаемой генеральной совокупности. Иными слова- ми, интерес представляет не столько среднее значение или среднеквадратическое отклонение, сколько оценка (некое представление) значений генеральной совокупности. Расчет среднего значения в обоих случаях будет одинаков. Формула не изменится, так как наи- лучшей оценкой среднего значения генеральной совокупности является среднее значение выборки. Если мы хотим сделать какие-то выводы о генеральной совокупности на основании выборки, не- обходимо, чтобы выборка была репрезентативной. При расчете дисперсии ситуация выглядит несколько иначе. Если дана генеральная совокупность, то нужно использовать формулу, указанную выше. Если же дана выборка, а мы хотим оценить дис- персию генеральной совокупности, используется следующая формула: 2 а =—L-------- п-1 Почему? Дело в том, что при работе с выборками вариация рассчитывается с использованием среднего значения по выборке, а не среднего значения генеральной совокупности, которое мы 22
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ Резюмируем данные (3): квантили Некоторые показатели используются часто, но они не характеризуют центр распреде- ления и вариацию. С их помощью «проводят границы» на области данных и получают некие эталонные значения, с которыми можно сравнить все остальные. Квартили Если упорядочить данные по возрастанию, медиана разделит множество данных пополам. Первым квартилем называется медиана первой половины; 25 % значений хотим найти. Можно сказать, что среднее значение выборки подстраивается под данные выборки, что ведет к недооценке вариации генеральной совокупности. При делении на (n-1) результат будет чуть больше, и он будет точнее описывать дисперсию генеральной совокупности. При делении на 4 или на 3 разница окажется большой, но при делении на 100 или на 99 разница будет невелика. На практике для больших объемов выборки подобные расхождения не влияют на результат. Если эта тема кажется вам сложной и вы что-то не понимаете, не волнуйтесь. Если при решении задачи вам придется выбирать между двумя формулами, считайте, что речь идет о выборке. В этом случае нужно делить на (п -1). Если вы используете статистическую программу, где нет возможности выбора из двух формул, знайте: в программе используется формула для выборки. х — среднее арифметическое. о — среднеквадратическое отклонение в случае, когда расчет выполняется для всей генеральной совокупности и интерес представляет среднеквадратическое отклонение «всех» данных. оп х — среднеквадратическое отклонение в случае, когда расчет выполняется для выборки и стоит задача оценить среднеквадратическое отклонение всей генеральной сово- купности, из которой взята выборка. Статистические функции на калькуляторе: одна клавиша используется для расчета среднего арифметического, две клавиши —для вычисления среднеквадратического отклонения. 23
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ будут меньше него, 75 % — больше. Медиана второй половины называется третьим квартилем, 75 % значений меньше него, 25 % — больше. Значения, упорядоченные от меньшего к большему Меньшее----► 50 52 57 58 59 60 61 61 64 68 69 71 72 73 78 78 80 81 82 82 84 Q1 = 61: первый квартиль 50% Me = 75,5: медиана 50% 25% 75% 75% 92 93 94 95 98 Большее----> юо Q3 = 86: третий квартиль 25% Схема расчета медианы и кварт и пей на множестве данных из 30 элементов. Допустим, что первый квартиль зарплаты в вашей компании равен 1000 евро, медиана — 1300 евро, третий квартиль — 2000 евро. Если вы получаете 800 евро, то находитесь среди 25 % тех, кто получает меньше всего. Если ваша зарплата равна 1500 евро, вы входите в 50 % сотрудников, получающих больше остальных, но ми- нимум 25 % зарабатывают больше вас. Если ваша зарплата равна 2100 евро, вы входите в 25 % наиболее высокооплачиваемых сотрудников компании. Перцентили 15-я перцентиль — это значение, меньше которого ровно 15 % упорядоченного мно- жества данных. Очевидно, что 85 % значений будут больше него. Если ваша зарплата равна 70-й перцентили, это означает, что зарплата 70 % сотрудников меньше вашей, или, что аналогично, 30 % получают больше вас — если вы из тех, для кого стакан 24
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ всегда наполовину пуст. Перцентили также используются при оценке результатов тестов на интеллект. Если вы находитесь в 90-й перцентили, это означает, что 90 % участников справились с тестом хуже, чем вы. Многие впервые сталкиваются с перцентилями, когда педиатр говорит, что, на- пример, рост вашего сына находится в 45-й перцентили. Это означает, что 45 % мальчиков (значения для мальчиков и девочек отличаются) того же возраста ниже вашего ребенка. Всемирная организация здравоохранения составляет справочные таблицы и графики, в которых указывается рост детей разного возраста. World №«№ Orgdnitdlion Height-for-age GIRLS 3 io ib amts (percenuTes) ?ОП? WHO ЧНМГЧК» Гоафики роста девочек (вверху) и мальчиков (внизу) в возрасте от 5 до 19 лет, составленные Всемирной организацией здравоохранения, с медианой и 3-й, 15-й, 85-й и 97-й перцентилями. 25
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ Проценты: выглядят безобидно, но на самом деле опасны Чтобы выделить какой-либо важный аспект множества данных, используются про- центы («65 % подростков в возрасте от 10 до 17 лет признаются, что пользовались видеоиграми для взрослых»), но в книгах по статистике эта тема не рассматривается: считается, что она либо выходит за рамки статистики, либо слишком проста и по- этому не заслуживает упоминания. Знак процента можно встретить на простейших калькуляторах. Кажется, что процентами может оперировать любой, однако они часто вызывают путаницу, поэтому будет нелишним рассказать о них подробнее. Общие вопросы Нужно всегда помнить, от какой величины рассчитывается процент. Рассмотрим при- мер. Гель для душа раньше продавался в бутылках по 750 мл, теперь же — в бутылках по 1000 мл по той же цене. Сколько процентов вы получаете в подарок? Правильный ответ зависит от того, от какого значения будет рассчитываться процент. Мы получаем бесплатно 33 % от исходного объема и 25% от нового. Также следует различать проценты и процентные пункты. Так, если прибыль предприятия возросла с 2 до 4 %, то говорят, что она возросла на 2 процентных пункта (но не на 2 %!). Аналогично нужно различать проценты от исходной величины и проценты ее изменения. Лучше понять это различие вам поможет следующий пример. Объем продаж в прошлом году составил 10 миллионов евро. Цель на текущий год — уве- личение объема продаж на 6 %. Объем продаж в нынешнем году составил 10,3 мил- лиона евро. На сколько процентов продавец выполнил намеченную цель? Если целью продавца является рост дохода, то она выполнена всего на 50 %. Однако если мы будем считать целевым значением объем продаж в 10,6 миллиона, а фактическим — 10,3, то получается, что цель выполнена на 97,2 %. Операции с процентами также стоит выполнять очень внимательно. 1. Если цена товара увеличилась на 20 %, а затем снизилась на 20 %, каким будет соотношение начальной и конечной цены? Цена товара изменится: она уменьшится на 4 %. Обозначив исходную цену за х, получим, что итоговая цена равна (х + 0,2х) — 0,2 (х + 0,2х) = х — 0,04х. 2. Товар состоит из 10 компонентов. Стоимость каждого компонента возросла на 2 %. На сколько увеличится стоимость товара? Она возрастет на 2 %. Цена 26
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ отдельных компонентов в этом случае не имеет значения. Если вы все еще со- мневаетесь, выполните расчеты вручную и убедитесь в этом самостоятельно. 3. Если Иван зарабатывает на 1000 % больше Петра, он получает в И раз больше, а не в 10, как может показаться. Если он зарабатывает на 100 % больше, он получает в два раза больше, если на 200 % больше — то в три раза больше. В действительности всё не так. Парадокс Симпсона Когда приводятся проценты для нескольких групп, каждая из которых разбита на подгруппы, может показаться, что налицо определенная зависимость. Однако истинная зависимость будет прямо противоположной. Это явление известно под на- званием парадокс Симпсона. Рассмотрим пример. Крупная компания открывает новый завод и создает 250 рабочих мест в службе продаж, монтажа и в складской службе. На рабочие места претендовали 355 муж- чин и 325 женщин. Работу получили 190 мужчин (53,5 %) и 60 женщин (18,5 %). Уровень подготовки мужчин и женщин был абсолютно одинаков. Можно ли ут- верждать, что имеет место дискриминация женщин при приеме на работу? Нет, это не так. Исходные данные таковы: Служба Рабочие места Кандидаты Принято на работу % принятых на работу Мужчины Женщины Мужчины Женщины Мужчины Женщины Продажи 30 25 100 5 25 20 25 Монтаж 200 250 25 180 20 72 80 Склад 20 80 200 5 15 6,25 7,5 ИТОГО 250 355 325 190 60 53,5 18,5 В действительности процент принятых на работу в каждом отделе выше среди женщин. Причина в том, что в службе, куда было принято больше всего сотрудни- ков, рабочие места получили много мужчин и мало женщин, а в других службах, где требовалось меньше сотрудников, ситуация была обратной. В начале раздела мы приводили цитату о том, что 65 % молодых людей 10— 17 лет пользовались видеоиграми для взрослых. Взята она из реального газетного заголовка. В статье объясняется, откуда взята цифра в 65 %: автор сложил положи- тельные ответы 50 % юношей и 15 % девушек! Любопытно, каков был бы резуль- тат, если бы на этот вопрос положительно ответили 50 % юношей и 60 % девушек? 27
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ Графическое представление переменной Решим еще одну задачу. Владелец пекарни обеспокоен тем, что, как ему кажется, вес готовых булок различается слишком сильно и некоторые булки могут весить меньше, чем допускается стандартом. Для выпечки используются две печи, в которых выпе- кают хлеб два оператора. В какие-то дни работает первый оператор, в какие-то — второй. В следующей таблице указан вес (в граммах) для выборки булок. Измерения производились в течение 20 дней: День Оператор Печь № 1 Печь № 2 1 А 220,3 215,5 219,1 219,2 220,3 208,0 214,4 219,2 2 В 215,8 222,0 218,9 213,6 216,9 213,4 217,7 217,7 3 В 220,4 218,7 218,6 219,6 222,9 219,7 209,4 221,6 4 В 221,5 227,0 219,5 222,5 223,1 215,3 220,4 215,6 5 А 215,7 225,3 223,0 218,0 216,0 210,9 221,4 210,9 6 А 222,7 215,1 219,6 217,3 212,1 213,0 218,0 216,5 7 А 216,0 218,8 217,9 213,0 216,9 216,0 213,5 219,2 8 В 219,4 218,3 216,7 224,1 216,2 218,4 216,6 214,9 9 В 219,8 222,6 219,1 217,7 216,2 212,2 216,9 214,9 10 А 220,2 219,5 222,4 219,9 222,9 214,3 219,1 216,7 И В 218,0 223,9 219,6 221,9 214,9 212,6 219,4 213,3 12 В 219,3 219,6 218,8 219,9 219,0 216,7 216,4 213,5 13 В 220,0 214,1 224,3 217,4 218,0 219,5 219,5 222,3 14 А 223,9 220,6 219,5 219,6 211,8 218,2 218,3 217,4 15 А 218,1 218,8 218,4 217,9 214,6 215,7 218,0 216,4 16 В 216,9 221,6 220,6 222,6 215,6 220,4 217,3 216,2 17 В 217,9 225,7 222,2 216,1 212,5 214,6 209,7 211,3 18 А 224,2 216,2 219,9 220,4 215,8 219,9 216,5 211,9 19 А 214,1 219,7 222,4 224,5 213,7 209,7 216,9 213,1 20 А 221,1 225,0 222,7 222,2 212,5 217,5 217,4 215,7 28
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ Вес булки должен равняться (220 ± 10) граммов. Допустим, что представленная выборка является репрезентативной. Нужно ответить на вопросы, действительно ли существует проблема; что происходит; что нужно сделать, чтобы устранить пробле- му, если она вообще существует. Если вы попытаетесь сделать какие-то выводы «на глаз» на основании дан- ных, представленных в таблице, то, скорее всего, ошибетесь. Хотя речь идет все- го о 160 значениях, выводы, сделанные «на глаз», скорее всего, будут неточными. Также не следует погружаться в объемные вычисления или использовать сложные методы. Достаточно представить данные графически, как показано далее. Минимально Максимально Гистограмма веса 160 хлебобулочных изделий. Эта диаграмма называется гистограммой. Она крайне полезна для анализа вари- ации данных. В нашем примере гистограмма указывает, что проблема действительно существу- ет, так как вес некоторых булок меньше минимально допустимого. Иными словами, речь идет не об исключениях, а о естественной вариации веса булок. На следующих гистограммах представлены данные по каждой печи и по каж- дому оператору в отдельности. Из них четко видно, что неполадки присутствуют в печи № 2, так как центральное значение на соответствующей диаграмме смещено. С печью № 1 все в порядке, и данные для обоих операторов практически совпадают. 29
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ Оператор В Оператор А Вес Вес булок для каждой печи и каждого оператора в отдельности. Даже для очень малого объема данных, например для такого: 21,1; 17,8; 19,7; 18,6; 16,8; 21,7; 28,7; 20,1; 19,5; 17,8, на простой точечной диаграмме видны подробности, которые можно упустить при простом анализе данных «на глаз». В этом случае видно, что одно значение суще- ственно отличается от остальных, и следует проанализировать причины подобного отклонения (возможно, это простая опечатка: оператор ввел 28,7 вместо 18,7). Эти вопросы крайне важны, так как ошибка в исходных данных может перечеркнуть всю проделанную работу. Г 15 П---* * * I ------1--1 I-----1 I I * I 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 Представление множества данных с помощью точечной диаграммы. 30
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ Если мы хотим учесть порядок выборки данных, гистограммы и точечные диа- граммы нам не помогут. Для этого нужно представить данные в виде временного ряда, как показано на следующем рисунке, где четко заметно увеличение среднего роста населения Испании на протяжении XX века. Разумеется, на основе графи- ков подобного типа нельзя делать экстраполяции: вовсе не факт, что через 1000 лет средний рост будет находиться у отметки 2 м 70 см. Год рождения Изменение среднего роста населения Испании в период с 1910 по 1982 год. (Источник: X. Спийкер, X. Перес и А. Камара. Изменение среднего роста населения Испании в XX веке по результатам исследования министерства здравоохранения. Журнал Estadistica Espanola, № 169. 2008 г.). Помимо стандартных графиков, которые мы только что рассмотрели, круговых и им подобных диаграмм, можно использовать и другие, не столь известные. Суще- ствует, например, диаграмма «стебель — листья». Рассмотрим практический пример. Группу из 92 студентов попросили измерить пульс. На гистограмме на следующей странице представлены полученные значения (все данные, использованные в этом примере, содержатся в файлах примеров пакета статистических программ Minitab). 31
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ Стебель Листья 4 8 5 4 4 5 8 8 8 6 000012222222224444 6 6666688888888888 7 00000022222244444 7 6666688888 8 0002224444 8 67888 9 0000224 9 6 6 10 0 ГФотограмма и диаграмма «стебель — листья», на которых представлены данные о пульсе для группы из 92 студентов. При построении диаграммы «стебель — листья» все значения делятся на две части. Наименее значимая часть (в этом случае единицы) образует «листья», другая (десятки и сотни) — «стебель». Наименьшим значением является 48, далее следует 54 и снова 54, затем три раза 58 и так далее до последнего значения, равного 100. Заметим, что строки диаграммы имеют ту же форму, что и столбцы гистограммы. Следовательно, диаграмма «стебель — листья» содержит информацию, представ- ленную на гистограмме, и кроме этого обладает следующими свойствами. 32
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ 1. Исходные данные можно восстановить. При взгляде на гистограмму можно увидеть, что существует значение в интервале между 45 и 50, но мы не можем сказать, чему оно равно. В диаграмме «стебель — листья» эта информация не теряется. 2. Диаграмма «стебель — листья» позволяет увидеть детали, которые остаются незамеченными на других графиках. Например, не следует думать, что студенты измеряли свой пульс в течение одной минуты. Если бы это было так, то при- мерно половина значений были бы четными, а половина — нечетными. Однако мы видим, что все значения четные. Это означает, что студенты измеряли пульс в течение 15 или 30 секунд, а затем умножали результат на 2 или на 4. Резуль- таты, полученные таким образом, имеют большую погрешность по сравнению с результатами, полученными реальным измерением в течение одной минуты. Иногда ученые разрабатывают особые диаграммы для определенных задач. В качестве примера можно привести диаграммы, которыми сопровождаются фут- больные трансляции. С помощью ряда переменных на них отображается ход матча, указываются голевые моменты каждой команды, а также другая информация — от числа пасов в штрафную зону до забитых голов и незабитых пенальти. Забитый гол Незабитый пенальти Удар в штангу Удар в створ Удар мимо ворот Пас в штрафную - Барселона Спортинг Ход атак во время футбольного матча (источник: Elpais.com). При построении графиков чаще всего используются компьютерные программы. Это могут быть пакеты статистических программ, программы для работы с элек- тронными таблицами или системы обработки текстов. Текстовый редактор, использованный при написании этой книги, позволяет с лег- костью создавать и применять в расчетах диаграммы. С его помощью можно строить красивейшие трехмерные графики или простые плоские диаграммы. Нужно учиты- вать, что трехмерные диаграммы, как правило, более эффектны, но могут быть менее понятны. Тип диаграммы следует выбирать в зависимости от контекста и из сооб- ражений наглядности. 33
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ 6 Г" UuU А В С D Гоафики, построенные в текстовом редакторе Word. В завершение этого раздела, посвященного графическому представлению зна- чений одной переменной, вернемся к нашему примеру с пекарней. Допустим, что в пекарне есть третья печь, для которой также были произведены измерения веса 80 готовых булок (столько же измерений было проведено для печи № 1). Как вы охарактеризуете вариацию веса хлеба, выпеченного в новой печи, по сравнению с печью №1? 34
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ Как вы оцените печь № 3 по сравнению с печью № 1? Если вам кажется, что вес хлеба, выпеченного в печи № 3, варьируется сильнее, чем вес хлеба, выпеченного в печи № 1, вы ошибаетесь. На обеих гистограммах представлено одно и то же множество данных. Они выглядят по-разному, так как был выбран разный масштаб. Вас сбил с толку выбранный способ представления данных. Мораль: при построении диаграмм для сравнения различных данных убе- дитесь, что диаграммы имеют одинаковый масштаб. Программа по умолчанию из- меняет масштаб с учетом вариации данных. Нужно скорректировать масштаб вруч- ную, иначе диаграммы будут неверно представлять данные и, образно говоря, вы попадете в сети, которые сами же и расставили. 35
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ Представление взаимосвязи между двумя переменными Для представления связи между двумя переменными используются диаграммы, по- добные следующей. 120 110 100 90 80 70 60 50 40 30 20 10 0 Сйгоёп С5 V6 HDI Audi А8 4.2 Tdi Mercedes E-Class 420 GDI I j|K| <— Mazda 3 2,2 CRTD Sportive ? -<— Hyundai Accent 1,5 VGT 50 100 150 200 250 300 350 Мощность, л. с. Соотношение цены и мощности двигателя 449 автомобилей с дизельным двигателем (источник: интернет-страница Королевского автомобильного клуба Испании, 10 ноября 2009 г., указанные параметры поиска: седан, дизель, 4 двери). Можно заметить, что некоторые значения, например 150 л. с., встречаются чаще других. Также можно определить, какие автомобили дешевле аналогов с той же мощ- ностью двигателя. Видна четкая взаимосвязь между переменными, но это не означает, что между ними существует причинно-следственная связь. Например, если мы по- строим подобный график, демонстрирующий связь ущерба, причиненного пожаром, с числом пожарных, задействованных при его тушении, станет очевидна четкая вза- имосвязь: чем больше ущерб, тем больше пожарных, но это не означает, что ущерб причинили пожарные. Другой пример: школьники с большим размером ноги делают меньше орфографических ошибок, чем школьники с меньшим размером. В это трудно поверить, не так ли? Тем не менее чем старше дети, тем больше у них размер ноги 36
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ и тем меньше они делают ошибок. В обоих случаях существует третья переменная, которая имеет взаимосвязь с двумя рассматриваемыми переменными. В первом случае это масштаб пожара, во втором — возраст школьника. Однако в некоторых случаях причинно-следственная связь не столь очевидна. 28 декабря 1994 года в газете The New Уик Times была опубликована статья о воз- можном воздействии на здоровье умеренного потребления вина. Приводилась та- блица с указанием среднего уровня употребления вина и уровня смертности от сер- дечно-сосудистых заболеваний в 21 стране. Эти данные представлены на диаграмме ниже. 350 oS ? 300 о ю ГГ) 250 О os S « 5 £ ё £ 200 8 к о с S о 150 Ои О и 50 Ирландия Я» Финляндия • Великобритания • Новая Зеландия Норвегия Исландия! Пвепия • Дания • • •Австралия США • К^нада •ермания Нидерланды •Австрия Бельгия Швейцария Италия Испания • Франция 0 0 123456789 10 т-------------1------------1-------------1------------1-------------1------------1-------------1------------г Употребление вина (в литрах чистого спирта на человека в год) Связь смертности от сердечно-сосудистых заболеваний с уровнем употребления вина в 21 стране (источник: The New York Times, 28 декабря 1994 г.). Можно заметить, что в странах, где пьют больше вина, уровень смертности от сер- дечно-сосудистых заболеваний ниже. Но, как мы уже говорили, это не означает, что между этими двумя переменными обязательно существует причинно-следствен- ная связь. Из этой диаграммы не следует, что если мы будем пить больше вина (разумеется, в разумных пределах), то риск инфаркта снизится. Страны, в которых употребляют больше всего вина, одновременно с этим являются его крупнейшими производителями. Это означает соответствующий климат, режим питания, обычаи — 37
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ ПРОСТЫЕ ДИАГРАММЫ ДЛЯ РЕШЕНИЯ СЛОЖНЫХ ЮРИДИЧЕСКИХ ВОПРОСОВ На президентских выборах в США в 2000 году, когда основными кандидатами были демократ Альберт Гор и республиканец Джордж Буш, их результаты оказались практически равными, что вызвало бурное обсуждение. В штате Флорида, где проживало около 6 миллионов избирателей, Буш одержал победу с преимуществом в 537 голосов. Кандидат, одержавший победу в этом штате, набирал необходимое для победы число голосов и становился президентом. Были поданы про- тесты, и окончательный вердикт должен был вынести суд. Не вдаваясь в юридические тонкости, приведем диаграмму, на которой отображены голоса, полученные Гором, в сравнении с голосами в пользу другого кандидата, Патрика Бьюкенена, в каждом из 67 округов штата Флорида. Сравнение голосов в пользу Патрика Джозефа Бьюкенена и в пользу Альберта Гэра в каждом из 67 округов штата Флорида (источник: Д. Мур. Learning from Data. «Statistics: A Guide to the Unknown», 4-е издание). Первое, что бросается в глаза, - число голосов в Палм-Бич не подчиняется общей закономер- ности. Вместо закономерных 1500 голосов в его пользу было отдано 3 411 голосов. При взгляде на диаграмму становится понятно, что округ Палм-Бич должен обладать какой-то особенностью. Однако не было никакой причины, по которой Бьюкенен мог бы получить в этом округе значи- тельно больше голосов чем в остальных. Он сам и его сторонники заявляли, что 1000 голосов будет для них оптимистичным прогнозом. Вскоре стало ясно, что единственной особенностью была форма бюллетеня для голосования, использовавшегося в этом округе. Чтобы проголосовать за выбранного кандидата, нужно было проколоть отверстие в бюллетене. Из-за неудачного дизайна бюллетеней многие избиратели (очевидно, более 2000, достаточно взглянуть на график) прого- лосовали в пользу Бьюкенена, хотя в действительности хотели отдать свой голос Гору. 38
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ какой-то из этих факторов и может быть причиной низкого уровня болезней сердца. Впрочем, причиной действительно может быть умеренное потребление вина, но дан- ные, которыми мы располагаем, этого не доказывают. Масштаб может быть обманчив Для конкретного множества данных среднее значение и среднеквадратическое от- клонение — это конкретные значения, не допускающие разночтений. Однако в случае с графическим представлением данных это не так. Вид гистограммы для конкретного множества данных будет зависеть от выбранного масштаба (вы уже увидели это на примере печи № 3 в нашем примере с пекарней), а также от ширины интервалов и граничных значений интервалов. К примеру, при неизменной ширине интервалов при границах 190,192,194,... гистограмма будет выглядеть иначе, чем для граничных значений 191, 193, 195, ... Например, изменение значений экономического показателя за последние шесть месяцев можно представить графиком, изображенным слева, на котором показан впечатляющий рост, или графиком, изображенным справа, из которого следует, что значение показателя практически не изменилось. Различие между этими графиками заключается в выборе масштаба вертикальной оси. Изменение масштаба горизонтальной оси также может преподнести немало сюрпризов. На следующем рисунке представлен график изменения объемов про- даж за последние четыре года, построенный в мае 2010 года, когда были доступны данные лишь по апрель 2010 года. Это указано в подписи к графику, но создается 39
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ КАТАСТРОФА «ЧЕЛЛЕНДЖЕРА» Все мы хотя бы раз видели фотографию космического челнока «Челленджер» на стартовой пло- щадке: шаттл, похожий на самолет вертикально закреплен на огромном топливном баке, полном горючего, по бокам которого находятся ракетные ускорители, выводящие челнок на орбиту. Эти ускорители, как и другие элементы челнока, невозможно перевозить в собранном виде, поэтому они изготавливаются и доставляются по частям, а сборка происходит на космодроме. Чтобы обеспечить отсутствие утечек в местах стыков и предупредить катастрофу, используются круглые уплотнительные кольца из каучука толщиной 6 мм и диаметром 12 м. В ночь с 27 на 28 января 1986 года группа техников и руководители завода, производившего ракетные ускорители, провели телеконференцию с коллегами из NASA, чтобы обсудить возмож- ность переноса запуска челнока на следующий день. Их беспокоило, что, по прогнозу, темпе- ратура воздуха в день запуска должна была быть существенно ниже обычной - от 26 до 29 °F (от -2 до -3 °C). Они боялись, что при таких температурах уплотнительные кольца не обеспечат полную герметичность. Имелись данные с прошлых запусков, так как обломки двигателей после каждого запуска собирались и тщательно анализировались. В одном случае были зафиксированы дефекты уплотнительных колец, но серьезных происшествий не было отмечено ни разу. После ана- лиза данных члены рабочей группы сделали вывод, что доказательства того, что низкие темпера- туры могут негативно отразиться на уплотнительных кольцах, отсутствуют. Было принято решение не переносить запуск. Утром следующего дня спустя 59 секунд после запуска сквозь одно из колец, которое было не полностью герметичным, начало прорываться пламя. Огонь быстро достиг топливного бака, что привело к взрыву шаттла и гибели семерых астронавтов, находившихся на его борту. Катастрофа шокировала весь мир и привела к радикальным изменениям в космической программе NASA. Президент Рональд Рейган создал комиссию по расследованию инцидента, куда вошли видные представители научного сообщества. Комиссия определила, что анализ имеющихся данных был недостаточным. Одной из ошибок стало то, что не были приняты во внимание данные о полетах, в которых кольца не были повреждены (рис. 1). Подробный анализ параметров уплотнительных колец во время всех запусков позволил бы увидеть взаимосвязь между отмеченными дефектами и температурой воздуха. На рис. 2 четко видно, что данные, соответствующие температуре в мо- мент планируемого запуска «Челленджера», отсутствуют, следовательно, нельзя гарантировать отсутствие неполадок при этой температуре. Кроме того, можно увидеть, что при понижении темпе- ратуры число неполадок возрастает. На рис. 3 число колец, на которых были обнаружены дефекты (вне зависимости от их серьезности), заменено оценкой, определенной комиссией по расследова- нию катастрофы. На этом рисунке связь видна еще более четко. 40
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ ф" 3 о X 1 2 х ф £ < S. 1 со о i ° 45 50 55 60 65 70 75 80 85 70 75 80 85 Температура (°F) колец в момент запуска Рис. 1. Каждая точка обозначает запуск, во время которого были зафиксированы повреждения уплотнительных колец. На вертикальной оси отмечено число происшествий, на горизонтальной — температура во время запуска (в °F). Температура (°F) колец в момент запуска Рис. 2. На удлиненной горизонтальной оси отмечена прогнозная температура в момент запуска «Челленджера». На графике также содержатся точки, соответствующие запускам, во время которых не было отмечено неполадок уплотнительных колец. 12-1------;----------7-----;-----------------т------’---------------------- 8- 4 __ Прогнозная температура * * । в в момент запуска «Челленджера» 9 0 - — | | , 1 , . | . | | | , »«М , , , 25 30 35 40 45 50 55 60 65 70 75 80 85 Температура (°F) колец в момент запуска Рис. 3. Для каждого запуска была произведена оценка повреждений уплотнительных колец. Она отложена вдоль вертикальной оси (источник: Эдвард Тафти. Visual Explanations). Это наглядный пример того, как с помощью простого графического анализа данных можно получить много информации об анализируемой проблеме. 41
ОПИСАТЕЛЬНАЯ СТАТИСТИКА: КАК ИЗВЛЕЧЬ ВАЖНУЮ ИНФОРМАЦИЮ ИЗ МНОЖЕСТВА ДАННЫХ впечатление, что объем продаж резко упал. В действительности же, учитывая, что на период до апреля включительно приходится треть годового объема продаж, про- гнозное значение продаж на 2010 год превышает 150. 2007 2008 2009 2010 (до апреля включит.) Четыре значения несравнимы между собой: за 2010 год доступны данные только до апреля включительно. Графическое представление данных также может выглядеть по-разному в зави- симости от выбранной переменной. Например, если объемы продаж вашей компа- нии падают, что показано на графике слева внизу, можно построить график объема продаж с нарастающим итогом (справа), который, очевидно, будет расти. Янв Фев Мар Апр Май Июн Два вида представления информации о продажах: ежемесячном объеме (слева) и объеме с нарастающим итогом (справа). Не думайте, что графики — это нечто бесформенное и их можно изменять в за- висимости от того, какую мысль мы хотим донести. Можно построить наглядные и очень полезные графики, которые помогут с первого взгляда получить всю необхо- димую информацию, как, например, гистограммы в задаче с пекарней. Графики могут быть запутанными или даже давать ошибочное представление об информации при некорректно выбранной переменной или масштабе. Как правило, внимательность, здравый смысл и немного опыта помогут вам избежать подобных неточностей. 42
Глава 2 Расчет вероятностей: правила, которые помогут нам в мире неопределенности Расчет вероятностей вызывает большой интерес у тех, кто полагает, что с помощью науки можно найти стратегию выигрыша в казино, лотереях и различных азартных играх. Однако такие люди вскоре обнаруживают, что теория вероятностей им в этом не поможет. В действительности она играет на руку не игрокам, а создателям азарт- ных игр. Помимо азартных игр расчет вероятностей используется во множестве областей, начиная с медицины, где производится оценка вероятностей при планировании мас- совой вакцинации, до контроля качества промышленного производства, где порой требуется принять решение о качестве множества деталей на основании результатов испытаний лишь нескольких из них. Математическая теория вероятностей появилась достаточно поздно, уже в XVII веке. Определение вероятности как отношения числа благоприятных исхо- дов к общему числу возможных исходов, данное Лапласом, было сформулировано лишь в 1814 году, хотя Архимед открыл намного менее интуитивно понятную фор- мулу объема сферы за 2000 лет до этого. Длительное время господствовала идея о том, что случайные события непредсказуемы, не подчиняются никаким законам и, следовательно, их анализ неподвластен человеку. Кроме того, считалось, что слу- чайность лежит в области божественного и имеет магический смысл. Поэтому изу- чение случайных событий длительное время считалось опасным. Одним из первых трудов, посвященных изучению законов теории вероятностей, считается работа 1алилея, написанная примерно в 1620 году по заказу некоего ари- стократа. Он пытался определить наиболее вероятную сумму очков, выпадающую при броске трех игральных костей. Он считал, что чаще всего эта сумма оказывается равной 10 или И, но не был уверен в этом, поэтому решил попросить совета у одного из величайших мудрецов той эпохи. 43
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА, КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ Портрет Гэлилея кисти Тинторетто. Этот итальянский ученый выполнил одно из первых исследований по теории вероятностей. Галилей написал четырехстраничную ста- тью, где изложил свои выводы и размышления. Он рассуждал следующим образом. 1. Игральная кость имеет шесть граней. Ру- ководствуясь соображениями симметрии, мы можем считать, что вероятность вы- падения каждой грани одинакова. Следо- вательно, вероятность того, что выпадет конкретное число, равна 1 к 6. 2. Для каждого из 6 возможных результа- тов для первой игральной кости существу- ет 6 возможных результатов для второй игральной кости. Всего возможно 36 ре- зультатов, приведенных в следующей таблице. Результат броска первой кости обозначен К1, результат броска второй кости — К2. К1 К2 К1 К2 К1 К2 К1 К2 К1 К2 К1 К2 1 1 2 1 3 1 4 1 5 1 6 1 1 2 2 2 3 2 4 2 5 2 6 2 1 3 2 3 3 3 4 3 5 3 6 3 1 4 2 4 3 4 4 4 5 4 6 4 1 5 2 5 3 5 4 5 5 5 6 5 1 6 2 6 3 6 4 6 5 6 6 6 Все пары очков имеют одинаковую вероятность выпадения, но вероятность вы- падения сумм очков различается. Лишь в одном случае из 36 сумма выпавших очков будет равна 2 (если выпадет 1 и 1), и также всего в одном случае сумма очков будет равна 12 (6 и 6). Однако сумма очков будет равна 7 в шести случаях из 36 (то есть в одном случае из 6). Этот результат наиболее вероятен. 3. Если мы бросаем не две, а три игральных кости, рассуждения проводятся аналогично. Для каждого из 36 возможных результатов броска двух костей 44
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА, КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ существует 6 возможных исходов при броске третьей кости, поэтому общее число вариантов равно 6 • 6 • 6 = 216. На следующей диаграмме изображены частоты для каждого из возможных исходов. В самом деле вероятность вы- падения 10 или И одинакова: 27/216 — 0,125, вероятность выпадения 9 или 12 несколько меньше: 25/216 = 0,116. Живительно, насколько точно игрок предсказал, что вероятность выпадения 10 и И очков одинакова и слегка превышает вероятность выпадения 9 или 12 оч- ков. Расчет вероятностей и статистика Задачами статистики в прошлом были сбор и описание демографической и другой информации, представлявшей интерес для государства. В XIX веке включение рас- чета вероятностей в статистику значительно расширило спектр ее возможностей. Страховые компании очень скоро начали использовать статистику смертности и те- орию вероятностей, чтобы оценивать ожидаемую продолжительность жизни и точнее определять размеры страховых выплат. Аналогичным образом при прогнозировании исходов выборов и определении сте- пени уверенности в подобных прогнозах используются результаты предвыборных опросов и теория вероятностей. При оценке эффективности нового лекарственного препарата изучается его действие на выборке пациентов, а выводы формируются 45
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА. КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ на основании полученных результатов и с помощью статистических методов, в кото- рых применяются расчеты вероятностей. Однако не нужно быть экспертом по теории вероятностей и необязательно уметь решать сложные задачи, чтобы понимать и применять наиболее распространенные статистические методы. Также не стоит думать, что статистика имеет отношение ис- АЗАРТНЫЕ ИГРЫ И ПРОИСХОЖДЕНИЕ ТЕОРИИ ВЕРОЯТНОСТЕЙ Теория вероятностей стоит особняком не только потому, что она появилась сравнительно поздно, но и потому, что причины ее появления и развития были достаточно необычными. Научные открытия во все времена совершались самоотверженными учеными, которые стремились понять устройство мира и часто жертвовали собой ради блага всего человечества. Однако поводом появления тео- рии вероятностей стало желание людей, ведущих праздную жизнь, определить стратегии выигрыша в азартных играх, которым они посвящали большую часть своего времени. Одна из первых дискуссий, посвященных математической теории вероятностей, зафиксирована в переписке Пьера Ферма с Блезом Паскалем в 1654 году. В ней речь шла о задаче, предложенной философом (и игроком!) шевалье де Мере. В задаче ставился вопрос о справедливом разделении выигрыша в неоконченной игре, если было условлено, что выигрывает тот, кто одержал верх в трех партиях, но игра завершилась со счетом 2:1. Один из вариантов - отдать весь банк тому, кто выигрывал на момент окончания игры, другой - поделить банк поровну. Но и Ферма, и Паскаль сходились на том, что наиболее справедливым будет Пьер де Ферма, 1601-1665. Блез Паскаль, 1623-1662. 46
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА. КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ ключительно к азартным играм и казино. Иногда на обложках книг по статистике мы видим рулетку, игральные кости или колоду карт, хотя уместнее были бы изображения леса, операционных, школ или заводов, ведь именно в этих областях статистика имеет намного более широкое и интересное применение. разделение банка в соотношении 3 к 1 в пользу того игрока, который на момент окончания игры одержал верх в двух партиях. Обозначим игроков А и В. А выиграл две партии. Рассуждения будут выглядеть так. Допустим, что игроки продолжают игру и вероятность победы в партии составляет 50 % для каждого из них. Воз- можные варианты окончания игры таковы. 1. Следующую партию выигрывает А. Так как счет станет равным 3:1, игра закончится, победу одер- жит А, который заберет банк. Вероятность этого исхода равна 0,5. 2. Следующую партию выигрывает В. Счет станет равным 2:2, и игра продолжится. Далее выигрыва- ет А, счет становится равным 3:2 в пользу А, и игра завершается. Вероятность этого исхода равна 0,5 • 0,5 = 0,25 (выигрывает В, затем выигрывает А). 3. Следующую партию выигрывает В, затем снова выигрывает В. Игра завершается со счетом 2:3 в пользу В. Вероятность этого исхода равна 0,5 0,5 = 0,25. Игра должна закончиться Возможные исходы в случае продолжения игры 2:2 А-В 2:3 Выигрывает В. Вероятность - 0,5 0,5 - 0,25. Подведем итог. Если игра продолжается, то вероятность выигрыша А будет равна 0,5 + 0,25 = 0,75, вероятность выигрыша В будет равна 0,25. В трех случаях из четырех побеждает А, следовательно, будет справедливо, если ему достанется три четверти банка. 47
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА, КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ Вероятность и ее законы В соответствии с идеями, которые высказал еще Галилей, если существует п воз- можных наблюдений, имеющих одинаковую вероятность, и событие А происходит в k из этих наблюдений, то вероятность события А равна: РМ)=-. п Иными словами, Число благоприятных исходов Вероятность события =-----------------------. Число возможных исходов Например, если в мешке лежит 5 шаров, 3 из которых окрашены в синий цвет, а 2 — в черный, то вероятность вытащить синий шар равна 3/5. Проще не бывает. В некоторых случаях теоретическую вероятность можно вычислить, используя симметрию объекта, от которого зависит результат, как, например, при броске мо- неты или игрального кубика. Другой подход заключается в том, что вероятность рассматривается как количество наблюдений, при которых произошло событие, при бесконечном увеличении числа наблюдений. Так, чтобы узнать, какова вероятность того, что при броске монеты выпадет решка, нужно бросить монету очень много раз и посмотреть, к какому значению стремится полученное соотношение исходов. Это же верно и в случае с игральными костями. Когда мы говорим, что вероят- ность выпадения определенного числа очков равна 1/6, мы имеем в виду идеальную игральную кость. Реальная игральная кость может отличаться от идеальной. Некоторые исследователи бросали монету или игральную кость множество раз и записывали полученные результаты. Одним из них был английский математик Джон Керрич, который отбывал тюремное заключение в Дании во время Второй мировой войны. Находясь в тюрьме, он бросил монету 10 000 раз, при этом решка выпала 5067 раз, орел — 4933. Соотношение числа решек к числу орлов колебалось так, как показано на следу- ющем графике, на котором приведены не реальные данные, полученные Керричем, а результаты моделирования. По мере роста числа бросков колебания уменьшаются, и разумно предполагать, что соотношение числа исходов стремится к постоянному числу при бесконечно большом числе бросков. Это значение и будет вероятностью выпадения решки при броске этой монеты. 48
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА. КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ Изменение соотношения числа решек к числу орлов при броске монеты 10 000 раз (результаты получены с помощью моделирования). Подобные исследования выполнили Жорж-Луи Леклерк де Бюффон, фран- цузский ученый XVIII века, который бросил монету 4000 раз (решка выпала 2048 раз), и Карл Пирсон, один из отцов современной статистики, который бросил монету 24000 раз (самостоятельно или с помощью ассистентов), из которых реш- ка выпала 12 012 раз. Наиболее известный опыт с игральны- ми костями провел в 1850 году швейцар- ский астроном Рудольф Вольф, который бросил два игральных кубика (один белого, другой красного цвета) целых 20000 раз. Полученные им результаты приведены в таблице на следующей странице. Жорж-Луи Леклерк де Бюффон. Портрет кисти Франсуа-Юбера Друэ. 49
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА, КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ Белый кубик 1 2 3 4 5 6 Итого Соотношение 1 547 587 500 462 621 690 3 407 0,170 X 2 609 655 497 535 651 684 3 631 0,182 й куб 3 514 540 468 438 587 629 3 176 0,159 X га 4 462 507 414 413 509 611 2 916 0,146 О. х: 5 551 562 499 506 658 672 3 448 0,172 6 563 598 519 487 609 646 3 422 0,171 Итого 3 246 3 449 2 897 2 841 3 635 3 932 20 000 1,000 Соотношение 0,162 0,172 0,145 0,142 0,182 0,197 1,000 Результаты, полученные при бросках монеты, согласуются с предположением о ее сбалансированности (вероятность выпадения решки равна 0,5), однако резуль- таты экспериментов, проведенных с игральными костями, достаточно далеки от те- оретических значений. При броске обоих кубиков, и белого, и красного, 3 и 4 очка выпадали заметно реже остальных. Представим результаты эксперимента графиче- ски, чтобы яснее увидеть эти расхождения (К = красный кубик, Б = белый кубик). В главе 3 мы поговорим о проверке статистических гипотез и обсудим, допустимо ли в этом случае предполагать, что кубики несбалансированы. 3333 теоретическое значение Результаты, полученные при броске красного (К) и белого (Б) кубиков 20 000 раз. 50
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА. КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ Правило «или» Вероятность того, что произойдет событие А или другое событие В, если оба они не могут произойти одновременно, равна сумме вероятностей этих событий. Напри- мер, вероятность вытащить туза, короля, даму или валета из колоды в 52 карты (без джокеров) равна: 4 вероятность того, что вытащенная карта — туз: Р(А)^^ 12 вероятность того, что вытащенная карта — король, дама или валет: Р(В) = ^ вероятность того, что вытащенная карта — туз, король, дама или валет: 4 12 16 Р(А или В)=Р(А)+Р(В)=^+£=£. 52 52 52 Правило «И» Вероятность того, что произойдет событие А и другое событие В, если они являются независимыми, то есть если одно событие никак не влияет на другое, равна произве- дению вероятностей этих событий. Например, вероятность того, что при двух бросках игральной кости в первый раз выпадет 3 очка, а во второй 4, равна: 1 вероятность выпадения 3 очков: Р(А) = —; 6 1 вероятность выпадения 4 очков: Р(В)=т; 6 вероятность того, что при первом броске выпадет 3 очка, а при втором 4: 11 1 Р(АиВ) = ±± = ± 6 6 36 Подсчет исходов Подсчет благоприятных или всех возможных исходов обычно является самой трудо- емкой частью исследования, хотя в некоторых ситуациях подсчеты можно упростить с помощью простых рассуждений или проведя аналогию с похожими ситуациями. Например, пусть нам нужно попасть из пункта А в пункт С, пройдя через В. Пусть 51
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА, КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ ИЗ АвВ ведут три дороги, а из ВвС — две дороги. Сколькими способами можно пройти из А в С? Для каждого из трех возможных путей из А в В существует два пути из В в С. Следовательно, попасть из А в С можно шестью различными способами. Рассмотрим другой пример, который кажется более сложным. Существует три различных исхода футбольного матча: победа команды хозяев (1), ничья (X), по- беда команды гостей (2). Какова вероятность угадать исходы всех 14 матчей тура чемпионата? Очевидно, что существует всего один благоприятный исход, единственная вы- игрышная комбинация. Кажется, что подсчитать возможные случаи сложно, но мы можем использовать тот же принцип, что и при подсчете путей из А в С: первый матч имеет три возможных исхода, каждому из которых соответствует три исхода второго матча. Если бы в туре игралось всего два матча, то общее число исходов равнялось бы 3 • 3 = З2. Продолжив эти рассуждения, придем к выводу, что число возможных исходов 14 матчей тура равно З14. Вероятность угадать 14 исходов, вы- брав их случайным образом, равна 1/314, то есть примерно 1 к 4,8 миллиона. Для решения подобных задач очень полезны формулы комбинаторики. О неко- торых из них мы расскажем при решении задач, объясняемых далее. Применение правил Применим объясненные выше правила на примере. Для этого вычислим вероятность того, что при пяти бросках монеты в произвольном порядке решка выпадет три раза, а орел — два. Как вы вскоре увидите, эта задача намного важнее, чем кажется на первый взгляд. Будем решать ее последовательно. 1. Вероятности выпадения решки или орла при одном броске монеты одинаковы и равны 0,5. 52
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА, КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ ФРЭНСИС ГАЛЫОН И КВИНКУНКС Фрэнсис Гальтон (1822-1911) был разносторонним уче- ным: сфера его интересов включала антропологию, эко- номику, философию, метеорологию и статистику. Он был двоюродным братом Чарлза Дарвина. Гальтон отличался целеустремленностью и тягой к знаниям, а доходы семьи позволяли ему полностью посвятить себя занятиям наукой. Он изучал медицину, но почти не практиковал, а получив семейное наследство, отправился путешествовать. Он про- вел два года в Африке и был награжден за свои заслуги золотой медалью Королевского географического общества. Среди полученных им результатов отметим подробный ана- лиз отпечатков пальцев - именно по рекомендации Гальтона они начали использоваться для опознавания преступников. Эта система применяется и сейчас. Он также изучал механизмы наследственности, заметив, что дети высоких родителей чаще всего также высокие, но не настолько, как родители, и что дети невысоких родителей также обычно низ- корослые, но не настолько, как их родители. Этот эффект возврата к среднему значению он назвал регрессией к среднему. Этот новый термин занял важное место в современной статистике. Чтобы наглядно представить вариацию, вызванную случайными причинами, он разработал устройство под названием квинкункс. В это устройство опускались шары, которые затем прокатывались мимо стержней, расположенных в шахматном порядке, сталкивались и случайным образом падали влево или вправо. Окончательное расположение шаров по форме напоминало колокол Гаусса. Квинкункс до сих пор используется для наглядной демонстрации нормального распределения. Компьютерные модели квинкункса можно найти в Интернете. 2. Вероятность того, что при двух бросках выпадет решка и решка, равна 0,5 • 0,5 = — 0,25. Мы применили правило «и», так как эти события являются независи- мыми, то есть выпадение решки в первый раз не увеличивает и не уменьшает вероятность того, что решка выпадет и во второй раз. 3. Вероятность того, что при пяти бросках последовательно выпадут решка, решка, решка, орел, орел, равна 0,5 • 0,5 • 0,5 • 0,5 • 0,5 = 0,53 * • 0,52 = 0,03125 (мы могли бы записать это число как 0,55, но для понимания будет лучше предста- вить вероятность выпадения орла и решки в виде отдельных сомножителей). 53
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА. КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ Мы вычислили вероятность того, что сначала выпадет три решки (Р), затем два орла (О) в таком порядке: РРРОО. Но нам нужно вычислить вероятность выпаде- ния трех решек и двух орлов в произвольном порядке, иными словами, вероятность того, что выпадет последовательность РРРОО, или ООРРР, или РОРОР или любой из вариантов. Порядок Вероятность РРРОО 0,53 • 0,52 РРОРО 0,53 • 0,52 РОРРО 0,53 • 0,52 ООРРР 0,53 • 0,52 Искомая вероятность будет равна сумме вероятностей каждого из этих исходов. Вероятности будут складываться по правилу «или», так как эти события являются независимыми (орел и решка не могут выпасть в одном и в другом порядке одно- временно). Так как вероятность выпадения каждого из этих исходов одинакова, мы можем умножить вероятность выпадения орлов и решек в заданном порядке на чис- ло возможных вариантов (и здесь нам не обойтись без помощи комбинаторики). Данные п предметов можно упорядочить п! разными способами. Например, если у нас есть 5 книг и 5 мест на полке, первую книгу можно поставить на любое из пяти возможных мест, вторую — на любое из оставшихся четырех, третью — на любое из трех, четвертую — на любое из двух, а для пятой книги останется только одно ме- сто. Таким образом, общее число различных вариантов равно 5 • 4 • 3 • 2 • 1 = 120. В на- шем случае также даны 5 «предметов», но не все они отличаются между собой: у нас есть три предмета, одинаковых между собой, и еще два, одинаковых между собой, поэтому мы можем не учитывать перестановки одинаковых предметов. То есть нам нужно разделить общее число вариантов на 3! и 2!. Общее число исходов, при кото- рых выпадет 3 решки и 2 орла, равно — = 10. 31-2! Теперь у нас есть все данные, необходимые для вычисления искомой вероятно- сти. Она равна 5’ -------0,53 0,52 = 0,3125. 3!-2! 54
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА. КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ Зачем нам знать вероятность того, что при пяти бросках монеты в произвольном порядке три раза выпадет решка? Эта задача сама по себе не представляет большого интереса, но далее мы покажем, что аналогичным способом можно решить много других, очень интересных задач. У случайности есть имя 29 апреля 2004 года некий читатель обратился в редакцию популярной газеты с во- просом: «Я использовал Excel, чтобы сгенерировать случайные числа с помощью функции «=СЛЧИС ()», но эти числа всегда очень маленькие и почти равны нулю. Мне нужна система, чтобы сгенерировать шесть чисел, не превышающих 49, для простой лотереи». По-видимому, читатель думал, что если число является случайным, то оно не подчиняется никаким правилам. Это не совсем так. Существует несколь- ко видов случайных величин. Они делятся на непрерывные, например вес, длина, плотность и так далее, и дискретные (принимающие одно из множества отдельных значений), например число неисправных деталей в партии, количество автомобилей, приезжающих на заправку ежеминутно, и другие. В действительности существует целый «каталог» различных видов распределения вероятностей. Всякий раз, когда мы имеем дело со случайной величиной, следует определить, не подчиняется ли она какому-то конкретному закону распределения вероятностей. В большинстве случаев это действительно так, и нам не потребуется выводить формулы для расчета вероят- ностей, среднего значения и других интересных параметров: это уже сделали до нас. Сначала может показаться, что отличить случайные величины от неслучайных непросто, подобно тому как человеку, не знакомому с музыкой, сложно разобрать- ся в разных музыкальных направлениях. Однако несколько практических примеров помогут вам научиться с легкостью их распознавать. Далее мы расскажем о неко- торых свойствах и примерах использования трех наиболее известных законов рас- пределения вероятностей. То, что нам уже знакомо: биномиальное распределение С помощью общих правил вычисления вероятностей мы смогли установить вероят- ность выпадения 3 решек и 2 орлов (в произвольном порядке) при 5 бросках монеты с помощью следующего выражения: 5! ----0,53 0,52. 31-2! 55
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА, КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ В целом число успешных исходов при выполнении п опытов (вероятность успеш- ного исхода неизменна и равна р) — это случайная величина, которая подчиняется очень известному закону распределения вероятностей. Это распределение называется биномиальным. Если мы сталкиваемся с этим распределением, нам не нужно выво- дить новые формулы для вычисления вероятностей. ОДНА ОЧЕНЬ ПОЛЕЗНАЯ ФОРМУЛА Если мы отойдем от конкретных чисел и попытаемся вычислить вероятность выпадения х решек при п бросках, где р - вероятность выпадения решки, (1 - р) - вероятность выпадения орла, мы получим следующую формулу: п! рх(1-рГх х!(л-х)! Интересно, что ее можно использовать не только для решения задач о броске монеты, но и для любых задач, которые подчиняются нижеприведенной схеме: Бросок монеты Обобщение Бросок монеты п раз. Может выпасть орел или решка. Выполнение п экспериментов. Каждый эксперимент имеет два возмож- ных результата, которые мы назовем «успех» и «неудача». Вероятность выпадения решки (р) и вероятность выпадения орла (1 - р) неизменна при всех бросках. Вероятность успеха (р) и неудачи (1 - р) неизменна при всех экспериментах. Нас интересует вероятность выпаде- ния решки х раз при л бросках. Нас интересует вероятность х успешных экспериментов из п. Рассмотрим три задачи. 1. При производстве на конвейере выпускается 1 % бракованных деталей. Если детали упаковываются в коробки по 50 деталей, какова вероятность того, что в одной коробке окажутся сразу две бракованные детали? 2. Баскетболист забивает 75 % штрафных бросков. Какова вероятность того, что он попадет 8 раз из 10? 56
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА, КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ 3. В семье четверо детей. Какова вероятность того, что ровно двое из них — мальчики? Что общего у этих задач? Все они следуют описанному нами сценарию, следова- тельно, их очень легко решить. Задача Число экспериментов п Вероятность успеха р Число успешных исходов X Ответ Бракованная деталь 50 0,01 2 0,012 • 0.9948 =0,076. 2!-48! Баскетбол 10 0,75 8 101 ——0,75* * 8-0,252 =0,282 8!-2! Сыновья и дочери 4 0,5 2 41 ——0,52 0,52 =0,375. 21-2! Расчеты можно произвести с помощью электронных таблиц. В Excel ответ мож- но найти, используя следующую функцию: =БИНОМРАСП(______________________________________________________ р { БИНОМРАСП чи</»о успехов число испьпаний; вероятность успеха* инг^граяьнаиЯ L Последняя переменная, которая следует за вероятностью успеха, указывает, хо- тим ли мы вычислить только вероятность для указанного числа успешных событий (например, ровно 2 бракованные детали; в этом случае эта переменная равна 0) или же накопленную вероятность (число бракованных деталей равно 2 и менее, в та- ком случае этой переменной нужно присвоить значение 1). А1 ▼ Д -БИНОМРАСП(2;50;0,01;0) A j В С D Е F 1 0,075618041 В задаче про игрока в баскетбол мы предполагаем, что вероятность попадания со штрафного броска постоянна, то есть не зависит от давления зрителей, нервов или хода игры (одно из преимуществ хорошего игрока — сохранять процент попаданий 57
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА, КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ неизменным вне зависимости от этих условий). Многие думают, что в задаче о сы- новьях и дочерях наиболее вероятно, что в семье два мальчика и две девочки, однако вероятность этого исхода равна всего 38 %. Наиболее вероятным (62 %) является любое другое сочетание. От числа погибших от удара копытом лошади в прусской армии к числу забитых мячей в чемпионате Испании по футболу: распределение Пуассона Если переменная подчиняется биномиальному закону распределения, можно под- считать, сколько раз она примет определенное значение (число качественных и число бракованных деталей). Эта переменная также будет иметь предельное значение: число качественных деталей не может превышать общего числа деталей в партии. Иногда мы сталкиваемся с переменными, которые обозначают число событий, про- изошедших в единицу времени или на единицу площади. Такие переменные не имеют верхней границы, по крайней мере с теоретической точки зрения. К классическим при- мерам подобных переменных относится число посещений интернет-страницы в день, число поломок лифта в год, число звонков на АТС в час и, разумеется, число писем, ежедневно приходящих вам по электронной почте. К примерам событий, происходя- щих в пространстве, можно отнести следующие: число точек, пораженных ржавчиной, на метр проволоки, число дефектов на квадратный метр (или 10 квадратных метров) Французский математик XIX века Симеон Пуассон. ткани, число изюминок в ложке с хлопьями, которые вы едите на завтрак. В 1837 году французский математик Симеон Пуассон решил найти способ изме- нить формулу биномиального распределения так, чтобы ее можно было применить к по- добным ситуациям. Он открыл любопытное выражение, в котором для расчета вероятно- сти любого числа событий достаточно знать лишь среднее число событий (X). Формула вычисления вероятности того, что некое со- бытие произойдет х раз, выглядит так: Р(л-) = ^Х^у- 58
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА, КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ Так, если лифт ломается в среднем два раза в год (X = 2), вероятность того, что в течение года он не сломается ни разу, такова: 2" Р(х = 0) = е-2 —= 0,14. Если на интернет-страницу в среднем заходит 100 посетителей в день (будем считать, что число посетителей неизменно в любой день недели, хотя очевидно, что будет существовать определенная разница между рабочими и выходными днями), то вероятность того, что в конкретный день страницу посетит менее 80 человек, та- кова: P(x<80) = £f-"*>iy-. Выполнять расчеты по этой формуле не очень удобно, но нам опять помогут электронные таблицы: Al ~ =ПУАССОН(79;100;1) A t В 1 С 1 р { , Ё~~ F 1 [ojl 451321 - .. ......._ В 1898 году русский экономист и ста- тистик Владислав Борткевич опубликовал книгу, в которой доказал, что распределение Пуассона можно использовать для объясне- ния статистической закономерности, наблю- даемой при редких событиях. Он использо- вал данные о самоубийствах и несчастных случаях со смертельным исходом, но самым известным примером его работ является ана- лиз числа солдат, умерших от удара копы- том лошади в 14 корпусах прусской армии за 20 лет (с 1875 по 1894 год). В следующей таблице фактическая часто- та соответствует числу армейских корпусов, Владислав Борткевич, русский статистик, открывший новые способы применения распределения Пуассона. 59
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА, КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ умноженному на число лет (14 • 20 = 280). Среднее число умерших за год в пересчете на один корпус равно (91 + 2 • 32 + 3 • И + 4 • 2)/280. Используя это значение в вышеприведенной формуле, получим теоретические значения частоты, приведенные в таблице. Число погибших от удара копытом лошади Фактическая частота Теоретическая частота 0 144 139 1 91 97 2 32 34 3 11 8 4 2 1 5 и более 0 0 Итого 280 280 Если мы хотим найти более современный пример, то можно рассмотреть число голов, забитых командой во время футбольного матча. Эта переменная прекрасно соответствует требованиям распределения Пуассона: события происходят в течение четко обозначенного периода времени (футбольного матча), предельного числа со- бытий не существует, а число незабитых голов подсчитать нельзя. Так, на диаграмме слева представлено число голов, забитых каждой командой в каждом из 380 матчей испанского чемпионата 2008—2009 годов. На диаграмме справа представлены дан- ные, вычисленные по нашей формуле. Фактическое и теоретическое (вычисленное по модели Пуассона) распределение числа мячей, забитых каждой командой в 380 матчах сезона 2008-2009 чемпионата Испании по футболу. 60
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА, КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ Диаграммы очень похожи. Модель Пуассона хорошо объясняет изменение числа мячей, забитых командой в течение матча. Колокол Гаусса, или нормальное распределение Колокол Таусса встречается в математике очень часто. Его форма соответствует форме гистограммы, на которой представлено большое множество значений, подчиняющихся так называемому нормальному распределению. Например, мешки с сахаром весом 1 кг весят не ровно 1000,000... г — некоторые весят немного больше, другие — немного меньше. Подобное колебание веса неизбежно. Оно вызвано множеством незначительных факторов, по отдельности незаметных, но в сумме имеющих ощу- тимый эффект. На диаграмме ниже показано, что большинство значений находятся вблизи центрального значения, и по мере удаления от него соответствующие значе- ния встречаются все реже и реже. Это классический колокол Таусса, или диаграмма нормального распределения. Возможное распределение фактического веса мешков с сахаром весом 1 кг. Диаграмма имеет форму колокола Гэусса. Математическое выражение, описывающее форму этого колокола, впервые по- лучил французский математик Абрахам де Муавр в 1733 году. Однако эта диаграм- ма носит имя немецкого математика Карла Фридриха Таусса, который использовал ее в 1809 году в своей теории ошибок измерения, в частности ошибок, возникающих при астрономических наблюдениях. Таусс показал, что вне зависимости от расстоя- ния до измеряемого объекта и от его размеров при повторении измерений в одних и тех же условиях полученные значения будут распределяться особым образом. 61
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА, КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ Однако нормальное распределение занимает в статистике особое место не только потому, что оно используется в теории ошибок, но и потому, что оно очень часто встречается в природе. GD9674175N9 Портрет Гаусса на банкноте в 10 немецких марок. В центре изображена диаграмма нормального распределения. Говоря об истоках современной статистики, следует упомянуть имя бельгийско- го ученого Адольфа Кетле (1796—1874), который в XIX веке провел множество исследований, стремясь обнаружить статистические закономерности, которым под- чиняется число преступлений, количество новорожденных, умерших и так далее. Адольф Кетле, один из крупнейших статистиков XIX века. В поиске данных, подчиняющихся нормаль- ному распределению, его ждал неожиданный сюрприз: в шотландском журнале были опу- бликованы данные о росте и охвате грудной клетки более чем 5000 солдат из различных шотландских полков. Эти данные подчинялись тому же закону, что и ошибки астрономических наблюдений. По словам самого Кетле, «если неподго- товленный человек измерил бы одного сол- дата 5738 раз, то результаты не распредели- лись бы столь равномерно... как результаты 5738 измерений шотландских солдат. Если бы нам представили два ряда чисел, не снабдив их какими-либо комментариями, мы бы могли с уверенностью определить, какой ряд чисел 62
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА, КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ ЗАКОН ЭПОНИМОВ СТИГЛЕРА Многие законы, теоремы, заболевания, научные открытия и постоянные носят имена их первоот- крывателей. Так, известны болезнь Альцгеймера, постоянная Эйлера, великая теорема Ферма, коме- та Галлея и колокол Гаусса. Название события или закона по имени человека называется эпонимом. Стивен Стиглер, преподаватель статистики Чикагского университета и известный историк статистики, открыл закон, который вкратце зву- чит так: «Ни одно открытие не носит имя того, кто в действительности его совершил». Если говорить об упомянутых нами примерах, то болезнь Аль- цгеймера, названная в честь Алоиса Альцгеймера, была описана до него минимум пятью учеными. Постоянная Эйлера была открыта Якобом Бернул- ли, великая теорема Ферма в действительности не теорема, а гипотеза Ферма, а доказал ее Эн- дрю Уайлс в 1995 году. Комета Галлея была из- вестна астрономам еще до Рождества Христова, хотя именно Эдмунд Галлей вычислил ее орбиту и предсказал дату ее возвращения. Если гово- рить о статистике, то нормальное распределение и диаграмма в форме колокола были открыты и подробно описаны не Гауссом, а французским математиком Абрахамом де Муавром, который опубликовал свои труды по этой теме в 1733 году, почти на 80 лет раньше Гаусса. Это не означает, что одним ученым незаслуженно достаются лавры других. Некоторые со- вершают важный вклад в науку или объясняют уже открытое, но не очень известное явление, и по этой причине имена этих ученых остаются в истории. Профессор Стиглер опубликовал ста- тью, посвященную этой теме, но он был не первым: до него об этом писали многие другие ученые, в частности Рооерт Мертон, которого нередко цитирует Стиглер. Получается, что закон Стиглера подчиняется сам себе. Портрет Абрахама де Муавра, который открыл так называемый колокол Гаусса за много лет до этого знаменитого немецкого математика. 63
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА, КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ соответствует результатам измерений 5738 разных солдат, а какой получен в резуль- тате неумелых измерений единственного солдата». «Живая» гистограмма. Каждый человек стоит в колонне, соответствующей его росту (источник: Эдвард Тафти. Наглядное отображение количественной информации. Цитируется работа Brian L. Joiner «Living Histograms», опубликованная в 1975 году в журнале International Statistical Review.) Есть и еще одна причина, по которой нормальное распределение играет столь значительную роль. Очень часто в статистических исследованиях основное внимание уделяется средним значениям: анализируется средняя урожайность в зависимости от использованного удобрения, среднее значение выборки сравнивается с предпола- гаемым средним значением генеральной совокупности и так далее. Средние значения варьируются в зависимости от того, каким образом была взята выборка. Их вариацию на практике можно описать с помощью закона нормального распределения, даже если исходные данные генеральной совокупности не подчиняются этому закону. Например, число очков, выпадающее при броске игральной кости, совершенно не подчиняется закону нормального распределения. Это дискретное распределение с шестью воз- можными значениями: 1,2,3,4,5и6. Вероятность выпадения каждого из них одинакова. Если мы бросаем два кубика и анализируем среднее число выпавших очков, то частота выпадения различных средних значений уже не будет одинаковой. Наиболее вероятно, что среднее значение будет равно 3,5. Если мы бросаем четыре кубика, то столбиковая диаграмма, представляющая вероятность возможного средне- го числа выпавших очков, будет напоминать колокол Гаусса. Если мы будем бросать 10 кубиков, что равносильно взятию выборки величиной 10, то на диаграмме будет очевидно вырисовываться колокол Гаусса. Таким образом, распределение средних значений подчиняется нормальному закону. 64
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА. КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ 4 кубика 10 кубиков Распределение средних значений стремится к нормальному, хотя исходные значения не подчиняются нормальному закону. Тем не менее хотя этот закон распределения встречается очень часто, название «нормальный» — не самое удачное: можно подумать, что остальные чем-то нео- бычны. Однако это название используется повсеместно, при этом некоторые пред- почитают назвать его гауссовым распределением. Если исходные данные по своей природе подчиняются нормальному закону (это также можно проверить графически или с помощью тестов), то их распределение полностью описывается всего двумя величинами: средним арифметическим, которое определяет центр колокола Гаусса, и среднеквадратическим отклонением, которое определяет форму колокола. Среднее значение и среднеквадратическое отклонение — две величины, характеризующие нормальное распределение. 65
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА, КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ Если вес мешков с сахаром подчиняется нормальному закону, среднее значение равно 1000 г, среднеквадратическое отклонение — 5 г, то можно рассчитать, сколь- ко мешков будут иметь вес свыше 1010 г, сколько — от 995 До 1010 г или менее 995 г. До недавнего времени для этого требовалось выполнять расчеты и сверяться со специальными таблицами (которые до сих пор включаются в некоторые учебники по статистике), но сегодня все расчеты можно выполнить автоматически с помощью электронных таблиц Excel. Например, вероятность того, что мешок сахара весит меньше 995 г, равна Заметим, что приблизительно 16 % мешков имеют вес менее 995 г, но о весе конкретного мешка ничего определенного сказать нельзя. По этой же причине мож- но говорить об ожидаемой продолжительности жизни населения, но не о конкрет- ной дате смерти отдельного человека. Также существуют правила, основанные на том, что вне зависимости от средне- го значения (р, читается «мю») и среднеквадратического отклонения ((5, читается «сигма») 68 % значений будут лежать в интервале р ± (5, 95 % — в интервале р ± 2(5, 99,7 % — в интервале р ± 3(5. Так, в прошлом примере среднее значение р = 1000, среднеквадратическое отклонение (5 = 5. В интервале 995—1005 будет лежать 68 % результатов. Следовательно, в этот интервал не попадает 32% зна- чений, по 16 % с каждой стороны. Это означает, что 16 % мешков будут иметь вес меньше 995 г. 66
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА, КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ Это правило также можно использовать для интерпретации среднеквадратиче- ского отклонения. Если мы рассмотрим распределение роста людей, среднее значе- ние может равняться 170 см. В этом случае среднеквадратическое отклонение долж- но лежать в интервале 6—7 см, так как 1 или 2 % населения гарантированно имеют рост выше 190 см. Следовательно, это значение превышает среднее на три средне- квадратических отклонения. Другие виды распределения. Рассуждения о «теоретических» моделях Существуют и другие законы распределения вероятностей. Например, если случайная величина является непрерывной и все ее значения равновероятны, распределение на- зывается равномерным. Когда мы используем функцию «=СЛЧИС ()» в Excel для генерации случайных чисел, результаты подчиняются именно этому закону. Суще- ствует много других законов распределения. На следующей иллюстрации показаны законы распределения, включенные в пакет статистических программ Minitab. Mmrtab - Unfitted til* fcdrt Dfta Jtet graph Editor look yVindow Цеф bSH,9 вс.1л*м. k ®Tif ©ЭЭЪ® QSIE К ...................|| golumn Statistic», p......?".............................................................. Q RgwStatistics,. '.r-...>r;- Ji® Standardee... ----------- 01 --------------------------------- Make Eattemed Data » NelcoMWHii MekeMesbDeta... HIB > Make Indicator Variables.. Set gase.. Random Data Probabrirty PijtnbMttons trainees Che-Square™ Normal. E t- Uniform... Binormal.. Geometric... Beti-. Exponential.. gamma... Largest Extreme Value.. Logistic... Logiogijttc.. Lognormal.. Smallest Extreme УаЬ«.. Tfiangular.. ttebull... Negative Binomial... tfy pet geo metric,., Discrete... Poisson... Распределения вероятностей, для которых можно вычислить вероятности напрямую с помощью пакета статистических программ Minitab. 67
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА. КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ Однако не следует путать модель с реальностью. Например, сфера очень часто встречается во Вселенной, но не существует объектов идеально сферической формы. Зачем же тогда нужны формулы вычисления площади поверхности или объема сфе- ры? Они позволяют получить достаточно точные значения для применения на прак- тике. Это же справедливо и для законов распределения вероятностей. Один из самых часто используемых примеров нормального распределения — рас- пределение роста людей. Однако если мы возьмем точные данные о росте миллиона взрослых жителей нашей планеты, то увидим, что они не подчиняются нормальному распределению с абсолютной точностью. Этого не произойдет и в том случае, если мы разделим людей на группы в зависимости от пола, расы и других характеристик. Нормальное распределение — это качественная модель, которая позволяет с до- статочной степенью точности оценить рост людей. Тем не менее это всего лишь мо- дель, которая не полностью соответствует реальности. Это же справедливо и для других законов распределения вероятностей, так как на практике гипотезы не вы- полняются с абсолютной точностью. Все эти законы описывают лишь теоретические модели (определение «теоретическая» для модели является излишним), которые тем не менее крайне полезны. Занимательные задачи: удивительные вероятности Задачи теории вероятностей могут быть достаточно сложными, даже несмотря на от- носительную простоту формулировки (какова вероятность того, что в выигрышной комбинации национальной лотереи встретятся два последовательных числа?). Интерес представляют необычные вероятности, которые часто противоречат тому, что подсказывает нам интуиция. В то же время сложные задачи нетрудно ре- шить, применив немного воображения. Рассмотрим несколько примеров. Ложноположительные результаты обследования При медицинском осмотре у человека нашли заболевание, которое встречается всего у 1 % населения. В 5 % случаев результат обследования является ложноположи- тельным (обследование показывает, что человек болен, когда в действительности он здоров). Какова вероятность того, что этот человек действительно болен? Вы можете подумать, что ответ — 95 %, но это неверно. Истинная вероятность намного меньше. Из каждой 1000 результатов 50 являются ложноположительны- ми (5 %), 1 — истинно положительным. На каждый 51 положительный результат 68
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА. КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ приходится лишь один истинно положительный. Значит, вероятность того, что па- циент действительно болен, равна всего 1/51, то есть немного меньше 2 %. Задача о днях рождения В группе 30 студентов. Какова вероятность того, что два студента или более отмечают день рождения в один и тот же день? Многие считают, что эта вероятность невелика, но в действительности она не на- столько мала, как может показаться. Сначала нужно вычислить вероятность того, что два человека родились в разные дни. Первый из них может родиться в любой день года (365 благоприятных исходов из 365 возможных), второй может родиться в любой день за исключением того дня, в который родился первый (364 благопри- ятных исхода из 365 возможных): 365 364 365 365 = 0,9673. Аналогично можно вычислить вероятность того, что три человека родились в разные дни: 365 365 364 363 ---------= 0,9918. 365 365 Вероятность того, что все 30 студентов родились в разные дни, будет равна: 365 364 363 336 --------------...------= 0,2937. 365 365 365 365 Существует всего два возможных случая: либо все студенты родились в разные дни, либо минимум двое из них родились в один и тот же день. Следовательно, вероятность того, что как минимум два студента празднуют день рождения в один и тот же день, равна 365 364 363 336 365 365 365 " 365 69
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА, КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ СОВПАДАЮЩИЕ ДНИ РОЖДЕНИЯ Это может показаться удивительным, но вероятность того, что в группе из 23 человек двое или более отмечают день рождения в один и тот же день, немного больше 50 % (вероятность рав- на 50,7 %). Если приведенные рассуждения кажутся вам неубедительными, рассмотрим разные группы из 23 человек. Проблема заключается в том, как найти такие группы людей и узнать дату рождения каждого из них. Тем не менее эту проблему можно решить. На футбольном поле одновременно находятся 23 человека (11+11 + 1 судья). Стартовые со- ставы команд и даты рождения всех игроков нетрудно найти в Интернете. Сказано - сделано1. Рассмотрим матчи первого тура первого дивизиона чемпионата Испании по фу1болу2010 года (матчи игрались 3 января). Из 10 матчей в 5 на поле выходили игроки, отмечающие день рожде- ния в один и тот же день, а именно: Валенсия - Эспаньол Бруно (В) и Форлин (Э), 10 января. Барселона - Вильярреал Хави Вента и Касорла, 13 декабря, Капдевила и Фустер, 3 февраля. Все четверо играют за Вильярреал. Атлетико Мадрид - Севилья Совпадений нет. Расинг - Тенерифе Совпадений нет. Спортинг - Малага Дни рождения совпадают сразу у трех пар игроков: Ботия (С) и Мунуа (М), 27 января, Мальдонадо (С) и Фернандо (М), 2 июня, Ману и Торрес, оба из «Малаги», 14 августа. Хетафе - Вальядолид Совпадений нет. Сарагоса - Депортиво Совпадений нет. Альмерия - Херес Совпадений нет. Мальорка - Атлетик Аморебьета и Кастильо, оба из «Атлетик», 29 марта. Осасуна - Реал Мадрид Роверсио (0) и Альваро Абелоа (Р), 17 января. Однако не стоит думать, что если вероятность равна 50 %, то на 10 исходов обязательно будет приходиться 5 благоприятных, ведь при 10 бросках монеты решка необязательно выпадает 5 раз. Вероятности таковы: Матчи с совпадениями 0 1 2 3 4 5 6 7 8 9 10 Вероятность 0,001 0,01 0,04 0,12 0,21 0,25 0,21 0,12 0,04 0,01 0,001 1 В данном случае «сказать» намного легче, чем «сделать». Автору помогла его студентка Филипа да Силва. 70
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА. КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ В группе из 30 человек двое или больше родились в один день с вероятностью порядка 70 %. В группе из 23 человек эта вероятность несколько больше 50 %, в группе из 40 человек она составляет порядка 89 %. Вероятность того, что в группе людей два человека или более родились в один день, зависит от размера группы. Возможен и другой вариант этой задачи, обратный исходному: какова вероят- ность того, что в группе из 30 человек два человека или более умрут в один день (но необязательно в один и тот же год)? Выигрышная комбинация выпадает дважды Рассмотрим еще один удивительный пример из теории вероятностей. Один человек всю взрослую жизнь (допустим, 50 лет) играет в лотерею. Если каждую неделю разыгрывается два тиража, какова вероятность того, что за этот период одна и та же выигрышная комбинация выпадет больше одного раза? 71
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА, КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ Существует множество различных лотерей, но, как правило, выбираются 6 чисел от 1 до 49. Число возможных комбинаций в тираже равно 13983816 (это число со- четаний из 49 по 6), и лишь одна является выигрышной. Допустим, что этот человек играет 100 раз в год, 5000 раз на протяжении всей жизни. Задача аналогична задаче о днях рождения, только в этом случае в «году» 13983816 дней, а группа состоит из 5000 человек, каждый из которых родился в один из этих дней. Какова вероятность того, что два человека или более роди- лись в один и тот же день? Применив формулы из предыдущей задачи (здесь нам не обойтись без электронных таблиц), получим, что искомая вероятность равна 59 %. Поэтому неудивительно, если за этот период одна и та же выигрышная ком- бинация действительно выпадет дважды. Последовательные числа в билетах национальной лотереи В завершение этого раздела попробуем ответить на вопрос, которым вы наверняка задавались. Какова вероятность того, что в выигрышной комбинации лотереи выпадут два последовательных числа? Она намного выше, чем может показаться, и равна 49,5 %. Вычислить точное значение с помощью формул комбинаторики не так-то просто, но порядок этой ве- личины можно оценить с помощью Excel. Для этого нужно выполнить следующие действия. 1. Расположить числа от 1 до 49 в столбце А. 2. Поместить случайные числа в столбец В. 3. Упорядочить столбец В, после чего порядок чисел в столбце А также изменится. 4. Числа в столбце А упорядочены случайным образом. Скопируйте первые шесть значений в столбец С. Эти числа составят выигрышную комбинацию. 5. В столбец D поместите 15 абсолютных значений разницы между числами вы- игрышной комбинации. В столбце F на следующем рисунке представлены фор- мулы, по которым рассчитываются значения в столбце D. 72
РАСЧЕТ ВЕРОЯТНОСТЕЙ: ПРАВИЛА. КОТОРЫЕ ПОМОГУТ НАМ В МИРЕ НЕОПРЕДЕЛЕННОСТИ Е1 - ' -MMH(D1:D15) А в 1 С 1 D Е F 1 24 0,406033264 24 25[_ 1 _J=ABS(C$1-C2) 2 Ю 0,692061135 49 10 =ABS(CS1-C3) 3 34 0,888345552 34 1 =ABS(C$1-C4) 4 25 0,690317785 25 18 =ABS(C$1-C5) 5 42 0,510624023 42 14 =ABS(C$1-C6) 6 10 0,731399102 10 15 =ABS(C$2-C3) 7 35 0,80523146 24 -ABS(C$2-C4) 8 29 0,485161895 7 =ABS(C$2-C5) 9 5 0,841222518 39 =ABS(C$2-C6) 10 44 0 073104639 9 =ABS(C$3-C4) 11 7 0,437421932 8 =ABS(C$3C5) 12 46 0,594398038 24 =ABS[C$3-C6) 13 15 0,081228671 17 =ABS(C$4-C5) 14 38 0,109743618 15 =ABS(C$4-C6) 15 13 0,341018331 32 =ABS(C5-C6) 6. В первую строчку столбца Е поместите наименьшее значение из столбца D. Если это значение равно 1, это означает, что выигрышная комбинация со- держит последовательные числа. Выполнив эти действия, измените порядок чисел в столбце В, что снова повле- чет изменение порядка чисел в столбце А. Результатом будет новая выигрышная комбинация, и все остальные числа пересчитаются автоматически. Excel удобен тем, что можно выполнить все необходимые действия один раз, а затем нажать клавишу F4, и все действия выполнятся заново. Можно проверить, что число 1 встретится в столбце Е примерно в половине случаев. Если вам знаком какой-либо язык программирования, вы можете написать небольшую программу для симуляции розыгрыша лотереи и подсчитать, сколько раз выпадут последовательные числа. Также можно обратиться к результатам прошлых тиражей. Результаты испан- ской национальной лотереи опубликованы на странице Государственной организации лотерей (www.onlae.es). Начиная с первого розыгрыша, о котором имеются данные, прошедшего 17 октября 1985 года, до 31 декабря 2009 года было проведено 2245 ти- ражей, в 1148 из которых (50,14 %) в выигрышной комбинации встречаются по- следовательные числа. Последний аккорд: 22 августа 2002 года выигрышной комбинацией была по- следовательность 13, 21, 24, 26, 32 и 34. 10 декабря 2009 года... точно такая же! Это не так уж удивительно — вероятность подобного совпадения в 2245 тиражах равна 16,5 %. 73

Глава 3 Как представить целое, зная лишь его часть Одна из наиболее типичных задач статистики — сделать выводы о целом на осно- вании данных о его части. Это целое называется генеральной совокупностью. Гене- ральная совокупность может представлять собой множество рыб в озере, множество изделий, выпущенных заводом за последний год, множество жителей, имеющих право голоса на ближайших выборах, или множество людей, страдающих от определенного заболевания. Тщательное изучение генеральной совокупности возможно крайне редко. Опро- сить всех избирателей, чтобы узнать, за кого они будут голосовать на следующих выборах, нереально и также нереально опросить всех, кто болеет определенной бо- лезнью, чтобы узнать, как подействовало новое лекарство. Конечно, если нас инте- ресует прочность изготовленных изделий, которую нельзя определить, не разрушив изделие, то можно разрушить все произведенные изделия, чтобы определить проч- ность каждого, но такой подход не выглядит самым разумным. Вместо этого изучается часть генеральной совокупности, которая называется вы- боркой. На основе результатов, полученных при изучении выборки, оцениваются характеристики генеральной совокупности. Правила вычисления вероятностей по- зволяют нам получить информацию о качестве этой оценки с помощью ряда поня- тий, в частности «доверительный интервал» и «предельная ошибка». Очевидно, что наши выводы будут справедливы тогда и только тогда, когда вы- борка будет репрезентативной. Если она не является репрезентативной, то очевид- но, что по ней нельзя будет сделать какие-либо выводы о генеральной совокупности. В некоторых источниках повышенное внимание уделяется математическим аспек- там (так как использование непонятных математических терминов — эффектный, хотя и дешевый прием), а способ формирования выборки не указывается. Правиль- ное формирование выборки — достаточно дорогостоящий процесс, но этот аспект крайне важен, так как именно он гарантирует корректность выводов. 75
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ, ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ Генеральная совокупность Репрезентативная выборка Оценка параметров генеральной совокупности Оценка параметров генеральной совокупности с помощью репрезентативной выборки. Сколько рыб в озере? Сколько машин такси в городе? Далее мы рассмотрим два примера оценки параметров генеральной совокупности, в частности ее размера, с помощью выборок. Рыбы Подсчитать, сколько всего рыб в озере, непросто, особенно если озеро большое, а вода в нем мутная. Тем не менее биологи знают, как решить эту задачу. Разумеется, для этого нужно использовать методы статистики. Очень часто используется так на- зываемый метод двойного охвата, который заключается в следующем. 1. Нужно выловить некоторое количество рыб, пометить их и выпустить обрат- но в озеро. Разумеется, ловить рыбу нужно так, чтобы не поранить ее. Для этого рыбу можно оглушить электрическим током. Метка не должна влиять ни на подвижность рыбы, ни на ее выживаемость. Также необходимо, чтобы метка сохраняла длительную устойчивость к воздействиям среды. 76
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ, ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ 2. Должно пройти некоторое время (порядка нескольких дней), чтобы помеченные рыбы распространились по всему озеру. Затем нужно заново выловить опре- деленное количество рыб (именно в этом заключается суть метода двойного охвата), необязательно такое же, как в первый раз. 3. Нужно произвести расчеты: если в озере N рыб, а мы пометили М из них, то со- отношение помеченных рыб к общему их числу равно M/N. Объем повторно взятой выборки, которую можно считать репрезентативной выборкой рыбы в озере, равен С. Из С выловленных рыб R помеченных. Разумно предпо- ложить, что доля помеченных рыб во второй выборке равна доле помеченных рыб в озере, иными словами, M R. N = С Таким образом, примерное число рыб в озере N равно М-С R Рассмотрим пример с конкретными числами. Сначала вылавливается и помечается М рыб (их можно считать случайной вы- боркой из N рыб, обитающих в озере). В нашем случае М = 15. 77
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ. ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ Мы выжидаем некоторое время, чтобы помеченные рыбы равномерно распреде- лились по всему озеру, и вылавливаем С рыб, из которых R имеют метку. В нашем случае С = 15, R = 3. п и т МС 15-15 11роизведем вычисления. Число рыб в озере примерно равно: N =----=------= 7$ R 3 Вывод: число рыб в озере примерно равно 75. Но что означает «примерно равно»? Если вы подсчитаете число рыб на рисунке в нашем примере, то увидите, что их всего 67. Следовательно, погрешность в расчетах составляет 12 %. Эта ошибка больше или меньше, чем следовало ожидать? Какова возможная величина ошибки при использовании этого метода? Статистика отвечает на эти вопросы, используя разумные предположения и мате- матические инструменты. Однако чтобы получить достаточно точный результат, мы можем прибегнуть к помощи небольшой компьютерной программы, моделирующей вылов рыбы из озера. Мы можем повторить вышеописанные действия произвольное 78
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ, ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ число раз и на основе примерной оценки числа рыб, полученной при каждом модели- ровании, оценить величину ошибки и частоту, с которой они возникают. Если мы будем использовать те же числа, что и в нашем примере, то увидим, что в 85 % случаев число помеченных рыб во второй выборке будет варьироваться от 2 до 5. Используя выведенную нами формулу, получим, что число рыб в озере лежит в интервале от 45 до 112. В 15 % случаев число рыб будет лежать вне этого интервала. Число помеченных рыб в повторной выборке Распределение числа помеченных рыб в повторной выборке (моделирование было выполнено 10 000 раз). Оценка числа рыб бывает чаще избыточной, чем недостаточной. Среднее оце- ночное значение 82 также больше фактического числа рыб в озере. В этом случае говорят, что оценка является смещенной и не отражает истинного значения оцени- ваемой величины. Оценка существенно улучшится, если внести в формулу небольшие изменения. Проблема в том, что объяснить, почему следует внести именно эти поправки, до- статочно сложно. (Л1 + 1)(С+1) R + 1 79
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ, ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ Выполнив расчеты с помощью этой формулы, получим, что если в повторной выборке встретилось 2 помеченных рыбы, то оценка общего числа равна 85, если число помеченных рыб равно 5, то оценка общего числа равна 42. Следователь- но, в 85 % случаев оценка численности рыб будет лежать в интервале от 42 до 85. Кроме того, в 27 % случаев число помеченных рыб будет равно 3, что соответствует числу в 64 рыбы, и это очень близко к истинному значению. Эта оценка является несмещенной: если мы повторим вышеописанные действия множество раз, то сред- няя оценка будет совпадать с истинным значением. Также можно ввести поправочные коэффициенты, если вы считаете, что вероят- ность вылова разных рыб отличается, метка влияет на выживаемость рыб или метка может стираться. Эта тема очень подробно изучена и описана в книгах по экологии. Также это прекрасный пример того, как статистика может решать задачи, которые кажутся крайне сложными или вовсе невозможными. Такси Подсчитать число такси в городе намного проще, чем количество рыб в озере. Можно начать с поиска этой информации в Интернете. Так, например, на сайте администра- ции крупного города может быть указано, что общее число выданных лицензий равно 10481. Каждая лицензия соответствует одному автомобилю. Задача решена. Число лицензий 10 481 Число удостоверений таксистов 19 019 (из них 12 536 активных) Число поездок в день свыше 225 000 Автомобили, лицензированные для работы в такси 13 марок, 55 моделей Стаж водителя до 5 лет: 67,5 % от 5 до 7 лет: 19,6 % от 7 до 10 лет: 9,5 % свыше 10 лет: 3,4 % Средний возраст автомобилей 4 года Однако если эта информация недоступна в Интернете, можно воспользоваться методами статистики. Номер лицензии написан на каждом автомобиле такси. Макси- мально возможным номером является число выданных лицензий. Когда мы покупаем 80
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ. ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ новый автомобиль, нам выдается новый номер (следующий за последним выданным), а номер старого автомобиля уничтожается. Однако с номером лицензии такси дело обстоит иначе (возможно, с некоторыми исключениями): число лицензий фиксировано, и если кто-то хочет приобрести ее, то может купить только у одного из ее нынешних обладателей. Номер лицензии при этом не изменится. Это значительно упрощает подсчеты. Не пользуясь ни теле- фоном, ни Интернетом, постояв в центре города всего 10 минут, можно очень точно определить число такси в городе. Посмотрим, как это делается. Допустим, мы выбрали из генеральной совокупности следующие значения: 8,14, 22,27 и 35. Попробуем оценить число элементов генеральной совокупности на основе этой выборки. Оно будет однозначно больше 25, так как выборка содержит число 35, и крайне маловероятно, что оно будет равно 1000, так как все пять случайно вы- бранных элементов генеральной совокупности достаточно невелики. Точная оценка будет примерно равной 40 или 50. Первое правило для оценки числа элементов генеральной совокупности может быть таким: общее число элементов в два раза больше среднего значения минус 1. Например, если генеральная совокупность состоит из 10 элементов 1, 2, 3, 4, 5, 6, 7, 8, 9 и 10, то среднее значение будет равно 5,5, а общее число элементов — 2 • 5,5—1. Если х — среднее значение генеральной совокупности из N последова- тельных чисел, начинающихся с 1, то всегда выполняется следующее соотношение: N = 2x-1. Если мы применим эту формулу к вышеприведенным данным о выборке, полу- чим, что ее среднее значение равно 21,2, а примерное число элементов генеральной совокупности составит 2 • 21,2 — 1 = 41. Эта оценка очень близка к той, что мы предположили изначально. Однако эта формула имеет один очень важный недостаток. Предположим, даны числа 3, 4, 6 и 15. Их среднее значение равно 7, а оценка общего числа элементов равна 13. Это очевидно неверно, так как выборка содержит число 15, следовательно, генеральная совокупность содержит минимум 15 элементов. Забавно, что результа- ты, полученные с помощью сложных методов, нередко противоречат элементарному здравому смыслу. Нужен иной способ. В действительности, чтобы определить общее число элементов совокупности в нашем примере, достаточно знать, сколько значений больше 35. 81
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ, ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ 8, 14, 22, 27, 35 Достаточно разумный вариант — руководствуясь соображениями симметрии, предположить, что после последнего элемента находится столько же элементов, сколько перед первым. В нашем примере мы сложим 7 и 35 и получим примерное число элементов генеральной совокупности — 42. Этот метод неудобен тем, что мы не учитываем элементы, расположенные между элементами выборки. Между тем всегда следует использовать всю доступную информацию. Для этого мы добавим к последнему значению в выборке среднее расстояние между элементами выборки (первое расстояние будет равно числу элементов совокупности перед первым эле- ментом выборки). 8 В нашем случае это среднее расстояние будет равно: 7+5+7+4+7 л -----------= 6. 5 Следовательно, оценка общего числа элементов совокупности равна 41. Пусть х, х2, х — значения, расположенные на 1, 2, ..., n-м местах. В этом случае среднее расстояние, которое нужно прибавить, будет вычисляться по формуле: (у, -1) + (у, - у, -1) + (у 3 - л-2 -1) +... + (х - л;,, -1) п Нетрудно видеть, что эта формула равносильна следующей: 82
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ, ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ Следовательно, более точную оценку общего числа элементов генеральной сово- купности можно вычислить по формуле: Насколько точна эта оценка? С помощью методов математической статистики можно доказать, что она является максимально точной из возможных. На языке специалистов такая оценка называется равномерно несмещенной оценкой с мини- мальной дисперсией. Таким образом, нам достаточно записать номера лицензий 20 такси, прибавить к наибольшему из них его же значение, поделенное на 20, и вычесть 1. В нашем при- мере, если число лицензий равно 10481 и они пронумерованы последовательными числами, то в 95 % случаев оценка, выполненная по этой формуле, будет лежать в интервале от 9175 до 10990. Очевидно, что этот метод подходит не только для подсчета числа такси в горо- дах. Его также можно использовать, например, чтобы определить число участников массового забега, если всем им выданы последовательные номера. Службы разведки в прошлом посредством похожих методов оценивали вооружение врага. Мы знаем, что оружие имеет табельный номер, поэтому достаточно каким-то образом заполучить лишь несколько единиц, чтобы оценить общее количество оружия. Какова доля домохозяйств, подключенных к Интернету? Сначала нужно уточнить определения: что мы будем считать домохозяйством и под- ключением к Интернету. Нет смысла производить подробные расчеты, если нам неизвестно точное значение используемых понятий. В одном газетном заголовке утверждалось, что половину сигарет выкуривают люди с психическими расстройствами. Это звучало так, будто половина курильщи- ков — ненормальные, что выглядит явным преувеличением. Однако в тексте заметки под психическим расстройством понималась зависимость от какого-либо вещества, поэтому не половину, а почти все сигареты выкуривают люди, страдающие от нико- тиновой зависимости, следовательно, имеющие «психическое расстройство». Многие слова, которые мы произносим в повседневной жизни, неоднозначны. Одно из таких слов — «семья». Что такое семья? Муж, жена и их дети? А если вместе с ними 83
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ, ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ ОЦЕНКА ВЫИГРЫШНОЙ КОМБИНАЦИИ НАЦИОНАЛЬНОЙ ЛОТЕРЕИ Нам прекрасно известно, что все числа национальной лотереи выпадают с одинаковой вероят- ностью. Но что можно сказать о среднем значении чисел выигрышной комбинации? 7 января 2010 года выигрышная комбинация испанской национальной лотереи состояла из следующих чисел: 19,24,25,38,43 и 49, их среднее значение равно 33. В субботу, 9 января, выпали числа 13, 26, 29, 30, 31 и 43; их округленное среднее значение равно 29. Все ли средние значения выпадают с одинаковой вероятностью или некоторые из них встречаются чаще, чем другие? Определенные средние значения действительно встречаются чаще, поскольку, как мы объяс- нили в предыдущей главе, средние значения подчиняются закону нормального распределения. На следующей гистограмме представлено среднее значение чисел выигрышных комбинаций всех лотерей, начиная с 17 октября 1985 года и заканчивая 31 декабря 2009 года: Среднее значение будет с намного большей вероятностью лежать между 20 и 30, чем между 5 и 15. Почему бы нам не выбирать только те комбинации, в которых среднее значение чисел лежит в промежутке от 20 до 30? Ведь таких комбинаций намного больше, и вероятность того, что одна конкретная комбинация окажется выигрышной, всегда одинакова. Иными словами, если в розыгрыше участвует 1000 номеров, то какое число выпадет с большей вероятностью: лежащее в интервале от 500 до 550 или же число, лежащее вне этого интервала? Очевидно, что с большей вероятностью выпадет число вне этого интервала, но это не означает, что конкретное число внутри этого интервала выпадет с меньшей вероятностью, чем конкретное число вне этого интервала. 84
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ, ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ живут бабушка и дедушка, их следует считать членами семьи? Достаточно странно определять принадлежность человека к семье по тому, в каком доме он живет. Семью можно понимать и в более широком смысле, как, например, на свадьбах, где «семья невесты» и «семья жениха» насчитывают по несколько десятков гостей. Равносильны ли понятия «дом» и «домохозяйство»? Очевидно, нет, так как если в доме никто не живет, он не является домохозяйством. Домохозяйством также нельзя считать дом, где кто-то живет только по выходным или в сезон отпусков. Является ли домохозяйством квартира, где живут студенты в течение учебного года? Связаны ли понятия «домохозяйство» и «семья»? Следовательно, необходимо четко сформули- ровать, что такое домохозяйство. Определение подключения к Интернету представляет меньше трудностей, так как способ подключения, будь то ADSL-модем или оптический кабель, не имеет значения. Однако некоторые домохозяйства используют незащищенное беспровод- ное соединение соседей или бесплатное подключение из соседней библиотеки или кафе. Следует ли считать, что эти домохозяйства подключены к Интернету, или же нужно учитывать только тех, кто платит за подключение? ДОМОХОЗЯЙСТВО, социально-экон, ячейка, объединяющая людей отношениями, возникающими при организации их совместного быта: ведении общего домашнего хозяйства, совместном проживании и т. д. В отличие от семьи, отношения родства или свойства между членами одного Д. необязательны: оно может включать жильцов, пансионеров, прислугу и других, а также состоять из одного человека, живущего самостоятельно. Словарное определение понятия «домохозяйство». Будем считать домохозяйством дом или квартиру, где большую часть года про- живает один или несколько человек, связанных родственными отношениями. Будем предполагать, что домохозяйство подключено к Интернету, если подключение нахо- дится под его контролем и может быть отключено или подключено в любой момент. Если мы возьмем выборку в 1000 из 100000 домохозяйств и в нашей выборке 51,9 % домохозяйств будут подключены к Интернету, значит ли это, что точно та- ким же будет процент для всей генеральной совокупности? Очевидно, что это необя- зательно так. Если мы сформируем другую выборку, также случайным образом, то ре- зультат, вероятно, будет отличаться, например он может быть равен 50,7 или 52,3 %. 85
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ, ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ По этой причине в представление результатов подобных исследований входит не только примерное значение, но и предельная ошибка. Например, результат оцен- ки может быть равен (51,9 ± 2,3) %. Эти 2,3 %, которые мы прибавляем и вычитаем, и называются предельной ошибкой средней величины. Это означает, что мы получили конкретное значение, но не можем быть до конца уверены, что доля генеральной совокупности точно равна этому числу. Теория вероятностей позволяет определить точность, с которой произведена оценка, и вычислить предельную ошибку средней величины (исходные значения подчиняются закону биномиального распределения: мы анализируем кон- кретное домохозяйство и можем получить один из двух результатов — домохозяй- ство подключено к Интернету либо нет). Интервал, покрывающий данную величину с заданной надежностью, называется доверительным интервалом. Можно ли гарантировать, что истинное значение будет находиться в границах этого интервала? Опять-таки этого гарантировать нельзя. Предельная ошибка средней величины рассчитывается для определенного уровня надежности. Как правило, надежность принимается равной 95 %. Это означает, что используемый нами метод позволяет найти истинное значение (в данном случае ис- тинную долю домохозяйств, подключенных к Интернету) в 95 % случаев. Однако мы не можем знать, действительно ли истинное значение находится в границах най- денного интервала в нашем конкретном случае. Это аналогично тому, что найденный нами интервал нам бы сообщил человек, который говорит правду в 95 % случаев: ему вполне можно доверять, но абсолютную точность этого результата гарантиро- вать нельзя. Доверительный интервал с надежностью 95 °/о л 51,9 % Точная оценка ± 2,3 % Предельная ошибка Говорит правду в 95 % случаев Иллюстрация понятия доверительного интервала. Можно рассчитать доверительные интервалы с надежностью 99 % или 99,9 %. Обычно это не делается, поскольку, учитывая размер выборки, с ростом надежно- 86
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ, ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ сти доверительный интервал расширяется, и нет никакого смысла говорить, что ис- комая доля лежит в интервале (51,9 ± 40) %: это можно сказать, не проводя вообще никаких вычислений. Если мы хотим повысить надежность оценки, сохранив при этом предельную ошибку на прежнем уровне, то единственным выходом будет уве- личение размера выборки (деньги решают множество проблем, и эту в том числе). «Партия А опережает партию В на 3,6 пункта» За подобными заголовками в прессе обычно следует примерно такой текст: «Согласно исследованию, проведенному центром X, если бы выборы состоялись сегодня, пар- тия А опередила бы партию В на 3,6 пункта. Три месяца назад ее преимущество было на полпункта меньше. Данные подтверждают, что популярность партии А растет». В примечаниях к этой статье, помимо прочего, упоминается, что предельная ошибка равна ±4,5 %. Поверхностный анализ этих данных показывает, что преимущество партии А вовсе не столь очевидно. Если в пользу партии А проголосовали 41,6 % опрошенных, то при данной предельной ошибке оценка лежит в интервале от 37,1 % до 46,1 %. Если в пользу партии В проголосовало 38 %, то границами доверительного интервала будут 33,5 °/о и 42,5 %. Следовательно, в соответствии с результатами опроса можно утверждать, что рейтинг партии А равен 39 %, партии В — 40 %. Нет никаких сомнений в том, что если три месяца назад преимущество пар- тии А было на полпункта меньше (по результатам опроса, а не в реальности), это не является доказательством роста популярности партии А. Вопрос на миллион Очень часто при проведении исследований возникает вопрос: каким должен быть размер выборки, чтобы результатам можно было доверять? Ответ на этот вопрос зависит от нескольких параметров. 1. От желаемой точности результатов, иными словами от допустимой предельной ошибки. Если мы хотим получить результат с предельной ошибкой 1 %, размер выборки должен быть больше, чем при предельной ошибке в 4 %. 2. От желаемой надежности результата. Если нас устроит надежность 80 %, размер выборки будет меньше, чем для надежности в 95 %. 87
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ, ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ 3. От истинного значения оцениваемой доли. На первый взгляд это может по- казаться странным, но размер выборки действительно зависит от истинного значения оцениваемой доли. Если в генеральной совокупности отсутствует вариация (100 % элементов совокупности равны между собой), для оценки значения будет достаточно одного элемента совокупности. Если, например, все шары в мешке белые или все черные, достаточно вытащить всего один шар, чтобы определить цвет всех шаров. Чем больше вариация, тем больше необ- ходимый размер выборки. В наименее благоприятном случае объем выборки должен равняться 50 % генеральной совокупности. Мы предполагаем, чему равно искомое значение доли. Предпочтительнее дать этой величине оценку сверху. Если нам ничего не известно о генеральной совокупности либо мы при- держиваемся консервативных методов, то можно предположить, что искомый объем выборки равен 50 % от генеральной совокупности. Если нам известно, что искомая доля меньше (например, доля домохозяйств, в которых есть факс), то можно предположить, что их доля равна 20 % (фактическое значение га- рантированно будет меньше). 4. От размера генеральной совокупности. Если генеральная совокупность мала (допустим, менее 100000 единиц), а допустимая погрешность также невели- ка (1-2 %), с ростом размеров генеральной совокупности нам потребуется выборка большего размера. Однако для больших генеральных совокупностей РАЗМЕР ВЫБОРКИ Приведем формулу, связывающую все величины, необходимые для определения размера выборки: n_ zLzPQN E2N+z2a2pq’ где: za/2 - значение, связанное с уровнем надежности. При надежности в 95 % (используется чаще всего) это значение равно 1,96. Иногда используется значение 2, соответствующее надежности 95,5 %. р - оцениваемая доля; Q= 1-р; Е - предельная ошибка; N - размер генеральной совокупности. 88
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ, ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ или для погрешности измерения в 5 % и выше влияние размера выборки будет практически незаметным. Эта тема является источником множества недораз- умений, и далее мы расскажем о ней более подробно. Теперь вам понадобится только редактор электронных таблиц — с его помощью легко проверить, как будет изменяться размер выборки при увеличении надежности или допустимой погрешности. Также нетрудно видеть, как на размер выборки вли- яют различные переменные. Можно построить таблицу, подобную той, что приво- дится ниже, которая уже содержит все необходимые данные. Размер генеральной совокупности Предельная ошибка ±1% ±2% ±3% ±4% ±5% ± 10 % 500 467 414 341 273 218 81 1000 906 706 517 376 278 88 1500 1298 924 624 429 306 91 2000 1656 1092 696 462 323 92 2500 1984 1225 748 485 333 93 3000 2286 1334 788 501 341 94 3500 2566 1425 818 513 347 94 4000 2824 1501 843 522 351 94 4500 3065 1566 863 530 354 95 5000 3289 1623 880 536 357 95 6000 3693 1715 906 546 362 95 7000 4049 1788 926 553 365 95 8000 4365 1847 942 559 367 95 9000 4647 1896 954 563 369 96 10 000 4899 1937 965 567 370 96 15 000 5856 2070 997 578 375 96 20 000 6489 2144 1014 583 377 96 25 000 6939 2191 1024 587 379 96 50 000 8057 2291 1045 594 382 96 100 000 8763 2345 1056 597 383 96 500 000 9423 2390 1065 600 384 97 1000 000 9513 2396 1066 600 384 97 1500 000 9543 2398 1067 600 385 97 2000 000 9558 2399 1067 601 385 97 50 000 000 9602 2401 1068 601 385 97 Таблица, содержащая размеры выборки для надежности в 95% в наименее благоприятном случае, когда p = q = 0,5. 89
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ. ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ Сюрприз! Размер выборки почти не зависит от величины генеральной совокупности Существует несколько весьма распространенных предположений о размере выборки, которые тем не менее полностью ошибочны. Например, результаты опросов иногда ставятся под сомнение, так как «выборка нерепрезентативна, потому что не охва- тывает даже 10 % совокупности». Подобные цифры, как, например, 10 % в этом случае, выбираются произвольно. Профессор Роберто Беар из Universidad del Valle в Кали (Колумбия) объясняет истинное положение вещей на нескольких наглядных примерах. Нужно ЛИ СОЛИТЬ суп? Мы готовим суп в небольшой кастрюле и, чтобы определить, готов ли он, пробуем его из ложки. Если к нам пришли гости и мы готовим суп в большой кастрюле, значит ли это, что суп нужно пробовать из большой ложки? Разумеется, нет. Мы используем одну и ту же ложку и пробуем суп одинаково, не важно, готовится ли он в маленькой кастрюле или в большой. Размер выборки не зависит от величины генеральной совокупности. Однако вне зависимости от размера кастрюли нужно как следует перемешать суп, чтобы любая выборка содержала одну и ту же информацию. Перед тем как по- пробовать суп, важнее тщательно размешать его, а не взять ложку побольше. Это очевидно для всех. Также очевидно, что если мы не размешаем суп, то это не ис- править, взяв ложку побольше. Если выборка нерепрезентативна, то увеличение ее размера не решает проблему. Какая у меня группа крови? Чтобы безошибочно определить группу крови человека, достаточно всего одной капли, так как все капли крови человека одинаковы. Однородность совокупности и в этом случае намного важнее размера выборки. И у новорожденного весом чуть больше 2,5 кг, и у его отца, который может весить больше 100 кг, на анализ берется один и тот же объем крови. Однако связь между размером выборки и величиной генеральной совокупности можно оценить не только интуитивно, но и с помощью формулы. Если генеральная 90
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ, ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ ЛЕВШИ ЖИВУТ МЕНЬШЕ (ИЛИ НЕТ?) 4 апреля 1991 года на первой странице газеты Washington Post была опубликована статья об ис- следовании, согласно которому левши в среднем живут на 9 лет меньше правшей. В исследова- нии использовались данные о продолжительности жизни левшей и правшей в двух округах штата Калифорния. Правши часто доживали до преклонного возраста, а среди левшей долгожителей было намного меньше. Новость имела значительный эффект, и вскоре появились объяснения этому результату: якобы левши более подвержены определенным заболеваниям и чаще получают серьезные травмы. Од- ной из причин этому может быть тот факт, что все устройства, которые мы используем ежедневно, предназначены для правшей. Из-за этого левши чаще получают серьезные травмы, попадают в несчастные случаи и, как следствие, живут существенно меньше. Однако в феврале 1993 года в журнале American Journal of Public Health была опубликована обширная статья, подкрепленная множеством источников, и всё сразу встало на свои места: разницу в продолжительности жизни можно объяснить разницей в распределении возраста лев- шей и правшей. В начале XX века левшей переучивали держать ручку, ложку и так далее в пра- вой руке, поэтому на момент проведения исследования число пожилых левшей было крайне невелико. Следовательно, до преклонного возраста доживали немногие левши - не потому, что они умирали раньше, а потому, что их переучивали и они становились правшами. Эта статья не попала на передовицы газет, подтвердив правило, согласно которому наибольшее внимание приковывают удивительные и неожиданные новости. Этот пример показывает, как просто по- рой бывает найти правдоподобную причину той или иной закономерности. Вспомним хотя бы об аналитиках, которые объясняют, почему биржевые индексы падают или растут. совокупность невелика, с увеличением ее размера объем выборки быстро возрастает, однако затем, начиная с определенного значения, он практически не меняется. Для предельной ошибки в 3 % и надежности в 95 % из генеральной совокупности объемом 10 000 элементов достаточно выбрать всего 1000. Начиная с этого значения требуемый объем выборки практически не увеличивается. Для генеральной совокуп- ности из 100 000 элементов потребуется выборка в 1056 элементов, для совокупности из 1000 000 — 1066 элементов, для 50 000 000 — 1068 элементов. И для небольшого города, и для всей страны размер выборки будет одинаков. 91
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ. ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ Размер генеральной совокупности (тыс.) Соотношение между размером генеральной совокупности и размером выборки для предельной ошибки в 3 % и надежности 95 %. Но при этом выборка обязательно должна быть репрезентативной. Если суп хо- рошо перемешать, не имеет значения, из какой ложки мы будем его пробовать. Сила случая Иногда в статьях, описывающих результаты опросов, приводятся расчеты погреш- ности, но не указывается, как формировалась выборка, либо, напротив, приведены все необходимые пояснения, так что очевидно, что выборка производилась не случайным образом. Все математические правила и законы, на которых основаны эти вычисле- ния, выполняются только при условии, что выборка является случайной. В противном случае погрешность будет рассчитана неверно вне зависимости от того, насколько внимательно вы произвели все необходимые подсчеты. Оптимальный способ формирования случайной выборки таков: нужно взять пере- чень всех представителей генеральной совокупности, случайным образом выбрать определенное число людей, связаться с ними и назначить встречу. Проблема в том, что этот способ ведет к большим затратам. Можно выбрать не людей, а дома, но в этом случае днем мы не застанем тех, кто работает, а вечером они вряд ли согласятся 92
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ, ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ ответить на наши вопросы. Кроме того, если опрос можно производить только вече- ром, его проведение потребует длительного времени. Преимущество полностью случайных выборок в том, что они позволяют полу- чить очень точные оценки с помощью традиционных статистических методов. Их единственным недостатком является высокая затратность. Существуют и другие способы, каждый из которых имеет свои преимущества и недостатки. Можно ис- пользовать районированную выборку; в этом случае генеральная совокупность раз- деляется на области, после чего выборки берутся из каждой области. Этот вид вы- борки наиболее эффективен, если вариация значений между областями невысока. Также можно использовать серийную выборку. Ее принцип заключается в том, что выбираются не отдельные люди, а этажи или подъезды, после чего опрашиваются все жильцы. Это дешевле, чем опрашивать отдельных людей, проживающих дале- ко друг от друга. Компании, специализирующиеся на проведении опросов, знают, как достичь требуемой достоверности экономически выгодным способом. Однако при любых обстоятельствах важно обеспечить репрезентативность выборки, в про- тивном случае фиаско неизбежно. Опрос, который изменил все опросы: Лэндон против Рузвельта На выборах президента США в 1936 году кандидатом от республиканской партии был Альф Лэндон, кандидатом от демократической партии — Франклин Дела- но Рузвельт. Уважаемый и влиятельный журнал того времени The Literary Digest, который публиковал точные прогнозы о результатах прошлых выборов, провел крупнейший в истории предвыборный опрос. По почте было разослано примерно 10 миллионов анкет. Адреса были взяты из списков автовладельцев и из телефонных справочников. Было получено 2300 000 ответов, из которых следовало, что победу одержит Лэндон, а соотношение голосов составит 3 к 2 в его пользу. Выборы выиграл Рузвельт, причем с заметным перевесом: он получил 60,8 % го- лосов. Причиной ошибки стало формирование прогноза на основе нерепрезентатив- ной выборки. В 1936 году автомобили и домашние телефоны были доступны только обеспеченным людям, которые в большинстве своем голосовали за республиканцев. Крупномасштабный опрос завершился не менее масштабным провалом. В то же вре- мя компании, незадолго до того основанной Джорджем Гэллапом, удалось предска- зать итог выборов, опросив менее 5000 человек, но обеспечив репрезентативность выборки. Урок не прошел даром: теперь опросы больше не проводятся методом «гру- бой силы», а имя компании Гэллапа стало своеобразным знаком качества. 93
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ, ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ Жеребьевка при призыве в армию При формировании выборки или выборе единственного числа случайным образом нужно уделять особое внимание деталям, так как в противном случае могут воз- никнуть непредвиденные трудности. Среди специалистов широко известен случай, произошедший в армии США в разгар войны во Вьетнаме. Во время призыва в 1970 году впервые использовалась жеребьевка: в ящик было помещено 366 капсул, каждая из которых соответствовала определенному дню года. Сначала в ящик поместили 31 капсулу по числу дней в январе, затем — 29 по числу дней в феврале и так далее. Капсулы перемешали и начали вытаскивать из ящика по очереди. Сначала призвали тех, кто родился в день, указанный на первой капсуле, затем — на следующей и так далее. Однако из-за того, что, по-видимому, капсулы плохо перемешали, возникла про- блема. Капсулы, соответствующие дням декабря, остались лежать сверху, и их доля в результатах жеребьевки оказалась намного больше, чем можно было бы ожидать при действительно случайном выборе. Капсулы, соответствующие дням января, ле- жали на дне и были вытащены ближе к концу жеребьевки, поэтому во Вьетнам от- правилось намного больше молодых людей, рожденных в декабре, чем рожденных в январе. Средства массовой информации обратили на это внимание, но никаких изменений предпринято не было. В следующем году система была изменена и жере- бьевка проводилась действительно случайным образом. В Европе, в частности в Испании, произошел похожий случай. В 1997 году 165 342 юноши достигли призывного возраста, но армии требовалось меньше призыв- ников. 16442 человека оказались «лишними», поэтому была проведена жеребьевка, чтобы определить, кто не подлежит призыву. Каждому призывнику был присвоен номер. Суть жеребьевки состояла в том, что случайным образом определялся один номер, и от призыва освобождался призывник с этим номером, а также 16441 чело- век, следующий за ним. Однако случайное число в интервале от 1 до 165 342 было выбрано некорректно. Сначала из лотерейного барабана, в котором находилось всего два шара с номерами 0 и 1, был взят шар, определяющий, в каком интервале нахо- дится число. Если выпадал ноль, число бралось из интервала от 1 до 99 999, если выпадала единица, число бралось из интервала от 100 000 до 165 342. Выпал шар с номером 1. Далее из второго барабана, где находились шары с номерами от 0 до 9, был взят второй шар под номером 8. Так как этот номер соответствовал числу, превы- шающему 180 000, из барабана было извлечено еще несколько шаров, пока не выпал шар с номером, не превышающим 6. 94
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ, ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ Была ли допущена ошибка? Разумеется. Вероятность выпадения чис- ла в интервале от 1 до 99999 была той же, что и вероятность выпадения числа от 100000 до 165342, однако первый интервал содержит больше значений, чем второй, из-за чего для одних призывников вероятность избежать призыва равнялась 8,2 %, для других — 12,6 %, что на 50 % больше. «Неформальные» опросы Профессиональная ассоциация разослала своим членам письма с анкетами, содер- жавшими вопросы о работе и годовом доходе. Целью исследования было получить данные, которые затем можно было бы использовать при переговорах о размере зара- ботной платы. Участникам требовалось указать тип компании, в которой они работают (международная, семейная, крупная, мелкая, с большими традициями, недавно осно- ванная и так далее), сферу деятельности, должность, время работы на этой должно- сти, в компании, в сфере деятельности вообще и, наконец, величину заработной платы и премий. Участникам опроса также были высланы конверты с обратным адресом для отправки заполненных анкет по почте. Было отправлено 5 000 анкет и получено 357 ответов. Надежность выводов составила 95 %, погрешность — 5 %. Если вы сверитесь со справочной таблицей, содержащей размеры выборок, то увидите, что размер выборки является корректным. Проблема в том, что эта вы- борка не является случайной. Следовательно, результаты опроса ошибочны. Если отвечают только желающие, то такую выборку нельзя считать случайной. Возмож- но, что участники опроса, занимающие высокие посты, очень заняты, постоянно на- ходятся в командировках и не имеют времени на участие в опросах. В опросе так- же не примут участие те, кто поздно возвращается с работы, мало зарабатывает или временно не имеет работы и не хочет возвращаться к этой теме, а также те, структура зарплаты которых не соответствует ни одному из вариантов, предлагае- мых в анкете. Таким образом, выборка не является случайной. Значит, мы не можем использовать математические методы, корректные только для случайных выборок. Это же справедливо и для анкет постояльцев отелей, в которых можно оставить отзыв о качестве обслуживания. Эти анкеты заполняют только те постояльцы, кото- рые особенно недовольны обслуживанием, либо те, кто хочет выразить благодарность в письменном виде (а также, возможно, те, у кого достаточно времени на заполнение анкеты). Информация, полученная из этих анкет, поможет определить положитель- ные и отрицательные моменты, но ее нельзя использовать для получения статисти- ческих данных, отражающих мнение клиентов в среднем. 95
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ. ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ Если мы выйдем на улицу с микрофоном в руке и камерой на плече, чтобы опро- сить жителей, а затем представим их мнение в эфире с комментарием «мы вышли на улицы, чтобы узнать, что думают жители о...», это сделает нашу телепрограмму динамичной и интересной, но не поможет узнать истинное мнение горожан в целом. Да или да? Значение формулировок вопросов Формулировки вопросов, порядок их следования и даже ударение на отдельные сло- ва может повлиять на результат опроса. Если мы косвенно указываем, какой ответ является «правильным», участник опроса, скорее всего, ответит именно то, что мы хотим услышать. Когда автор этой книги и его коллега читали курс лекций по статистике для всех желающих, мы провели опрос среди слушателей, чтобы показать, как формулиров- ки вопросов влияют на результат. Мы сказали, что хотим узнать мнение аудитории о новом законе, касающемся финансирования политических партий, и раздали всем опросные листы. Все листы выглядели одинаково, но в половине листов формули- ровка одного из вопросов была изменена. Считаете ли вы, что необходим закон, который бы не позволил крупным финансовым группам вкладывать значительные суммы денег в избирательные кампании? □ ДА □ НЕТ Считаете ли вы, что компании и организации должны иметь возможность финансировать избирательные кампании партий контролируемым и прозрачным способом? □ ДА □ НЕТ Две формулировки одного и того же вопроса о финансировании политических партий. Почти все опрошенные ответили «да» вне зависимости от того, какая из двух анкет им была выдана. То есть некоторые согласились с тем, что «крупные финансовые группы не должны вкладывать значительные суммы денег», другие — с тем, что 96
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ, ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ «компании и организации должны иметь возможность вкладывать средства». Как вы видите, предпочтения составителей опроса могут повлиять на формулировки вопросов, что в свою очередь отразится на результатах. Следовательно, важно понимать, в чем заключается вопрос и как именно следует его задать. Также наряду с результатами опроса следует всегда приводить точные формулировки вопросов. Звонит телефон, но вас нет дома. Телефонные опросы Проведение опросов по телефону — самый простой и удобный способ, хотя очевидно, что и он имеет определенные недостатки. Телефон доступен практически всем, кто проживает в более или менее развитых районах, но молодежь предпочитает пользо- ваться мобильными телефонами. Очевидно, что их номеров нет в справочниках и они не войдут в число участников опроса. Нужно определить, повлияет ли на результаты опроса тот факт, что в выборку не войдут те, у кого нет домашнего телефона. Также имеет значение, в какое время будет производиться опрос, кого мы будем опрашивать и как будем заменять тех, кто не пожелает участвовать в опросе. Если мы не уделим должного внимания этим моментам, выборка будет недостаточно репрезентативной, что приведет к серьез- ным ошибкам. Частный случай: предвыборные опросы Предвыборные опросы — один из наиболее популярных способов применения ста- тистики (о котором, однако, не все отзываются положительно). Эти опросы стоят особняком, так как приковывают очень большой интерес общественности. К тому же, в отличие от других случаев, в итоге нам становится известно истинное значение величины, которую мы хотим оценить. Проблема заключается в том, что, помимо традиционных сложностей с формированием случайной выборки, существуют и дру- гие непростые моменты. Рассмотрим некоторые из них. Избиратели постепенно изменяют свой выбор Предвыборные опросы проводятся за несколько дней или даже недель до того, как пройдут выборы. В некоторых странах результаты таких опросов запрещено публи- ковать в течение определенного периода времени до выборов (в Испании этот срок равен одной неделе). 97
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ. ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ Таким образом, экстраполяция выполняется дважды: в первый раз — когда мы экстраполируем результаты по выборке на всю генеральную совокупность, во вто- рой — когда предполагаем, что в день выборов результаты будут теми же, что и в день опроса. Однако в это время партии проводят предвыборную кампанию, проходят дебаты между кандидатами, могут происходить события, о которых кандидаты выскажутся определенным образом... Все это может повлиять на мнение избирателей, особенно тех, кто в момент опроса еще не определился с выбором. За кого голосуют те, кто не определился? Избиратели, которые не определились с выбором, представляют проблему для орга- низаторов предвыборных опросов. Их доля нередко составляет от 20 до 50 % опро- шенных. В этом случае их мнение определяется по результатам ответов на вопросы КАК ПОЛУЧИТЬ КОНФИДЕНЦИАЛЬНУЮ ИНФОРМАЦИЮ И НЕ ПОСТАВИТЬ ОПРАШИВАЕМОГО В НЕЛОВКОЕ ПОЛОЖЕНИЕ Когда мы задаем вопросы, которые считаются неэтичными, или же вопросы личного характера, участники опроса редко отвечают искренне. Однако существуют способы получить эту информа- цию и в то же время сохранить секрет опрашиваемого. Например, допустим, что неудобный от- вет - «да». Чтобы участник опроса мог ответить на вопрос безбоязненно, можно действовать так. 1. Опрашиваемый достает карту из колоды. Половина карт - красные, половина - черные. Участник опроса никому не показывает карту и возвращает ее на место. 2. Если он вытянул красную карту, он отвечает «да», если черную - он отвечает на постав- ленный вопрос. Очевидно, что если он ответит «да», то мы никак не сможем узнать, что произошло на самом деле: возможно, участник опроса вытянул красную карту либо он действительно ответил «да» на неудобный вопрос. Если мы опросим 1000 человек и 612 ответят «да», примерно 500 из них ответят так пото- му, что они вытянули красную карту, поэтому их ответы следует исключить. Из остальных 500, которые действительно ответили на вопрос, 112 ответили положительно, следовательно, доля ответивших «да» составит 112/500 = 22,4 %. 98
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ. ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ вида «Какой партии вы симпатизируете больше?», или «Программа какой партии вам ближе?», или «За какую партию вы голосовали на прошлых выборах?». Эксперт пытается предсказать, за какую партию проголосует участник опроса, который сам пока еще не знает этого. Очевидно, что отнесение голосов не определившихся избирателей в пользу той или иной партии имеет очень большое значение. Эта задача лежит преимущественно в области социологии и политики, а не статистики. Недостаточно откровенные ответы на вопросы Формулировки вопросов и порядок их следования также имеют очень большое зна- чение. Написание четких и понятных вопросов, которые не наводят на мысль о «пра- вильном» ответе, — непростая задача. Вопросы должны быть составлены грамотно, а сотрудники, проводящие опрос, должны быть хорошо обученными и мотивирован- ными (читай — высокооплачиваемыми). Иногда опросы дают возможность свободного ответа, что делает ответы участни- ков относительно правдоподобными, а число «неопределившихся» уменьшается, так как часть из них, возможно, на самом деле просто предпочитают не распространяться о своем мнении. От процента голосов к числу кресел в парламенте Во многих случаях по-настоящему важен не процент голосов, полученный парти- ей на выборах, а число кресел, которое эта партия займет в парламенте. Системы, по которым это число рассчитывается в зависимости от процента полученных голосов (как, например, метод д’Ондта), усложняют расчеты. Например, в избирательном округе, где голосованием распределяется пять мест в парламенте, определенная партия получила 32 % голосов, предельная ошибка составила 3 %, надежность — 95 %. Проблема в том, что если партия получит 31 % голосов, то получит одно кресло, если 33 % — два кресла. Эта разница очень важна, но ее нельзя точно определить с помощью данных, которыми мы располагаем. Другая проблема заключается в том, что существует минимальный процент голо- сов (например, 5 %), дающий право занять места в парламенте. Если, допустим, за какую-то партию проголосовало 4,6 % избирателей, то нельзя точно сказать, имеет ли она право занять место в парламенте. Результат этой партии также повлияет на число кресел, которое будет распределяться между остальными. 99
КАК ПРЕДСТАВИТЬ ЦЕЛОЕ, ЗНАЯ ЛИШЬ ЕГО ЧАСТЬ Тем не менее законы статистики выполняются При проведении предвыборных опросов точно спрогнозировать результат будущих выборов мешают многие факторы, которые не всегда относятся к статистике (не го- воря уже о манипуляциях и заинтересованности организаторов опроса). Было бы полезно определить, насколько часто результаты крупных предвыборных опросов оказываются ошибочными и какова величина ошибки. Как правило, об ошибочных прогнозах говорят больше, чем о точных, подобно тому как в СМИ больше внимания уделяется плохим новостям. Даже в научных кругах более наглядными и показатель- ными считаются именно те случаи, когда прогноз оказывался неточным. Также могут существовать (и существуют) опросы, результаты которых форми- руются на основе мнений заинтересованных лиц. Цель таких опросов — повлиять на предпочтения избирателей. Хорошим показателем надежности результатов мо- жет служить опыт и авторитет организации, проводившей исследование, а также указание на источник, в котором опубликованы результаты опроса. Чтобы охарак- теризовать подлинную надежность результатов, одного лишь статистического по- казателя в 95 % не всегда бывает достаточно. 100
Глава 4 Как мы рассуждаем, когда принимаем решение. Проверка статистических гипотез Этот случай произошел в 1920-е годы в Англии, в Кембридже. Несколько препо- давателей, их супруги и гости по случаю прекрасной погоды пили чай на открытой террасе. Попробовав чай, одна из присутствующих дам заметила, что вкус меняется, если налить молоко в чай, а не наоборот. Кто-то осторожно возразил, что это маловероятно. Начался спор, в котором сто- роны прибегали ко всевозможным аргументам из физики и химии: состав напитка не меняется в зависимости от того, что было налито в чашку сначала, чай или молоко; частицы растворялись абсолютно одинаково; перепад температур исключался и про- чие многочисленные доводы. Спорящие пришли к выводу: определить, что было налито в чашку сначала, невозможно. Или же... все-таки возможно? Один из присутствующих, человек лет сорока по имени Рональд Эйлмер Фи- шер, предложил развеять сомнения с помощью «передовой» методики — прове- дения эксперимента. Очевидно, что опыт нельзя было провести всего с двумя чаш- ками, так как в этом случае вероятность угадывания равнялась 1/2. В этом случае нельзя определить, действительно ли участник эксперимента смог отличить по вкусу один напиток от другого или же попросту угадал. Однако если бы перед участни- ком эксперимента стояло по 4 чашки с каждым напитком, вероятность угадыва- ния равнялась бы всего 1 к 70 (так как существует 70 способов выбрать 4 чашки из 8). Если бы в этих условиях испытуемый смог точно определить, что было налито в каждую чашку сначала, чай или молоко, это означало бы, что способ приготовле- ния чая действительно можно определить на вкус с небольшой, притом известной, погрешностью. Фишер в те годы уже был известным ученым. В1935 году он опубликовал ставший классическим труд The Design of Experiments о стратегиях выбора экспериментальных данных. Во второй главе его книги некоторые ключевые понятия проиллюстрированы именно этим примером с чашками чая. 101
КАК МЫ РАССУЖДАЕМ. КОГДА ПРИНИМАЕМ РЕШЕНИЕ. ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ Рассуждения дегустатора чая Сначала предположим, что дегустатор чая не может различить, что было добав- лено в чашку сначала, чай или молоко. Это предположение совершенно логично. Опровергнуть первоначальную гипотезу могут только результаты качественно про- думанного и проведенного эксперимента. Исходная гипотеза будет опровергнута, если результаты эксперимента окажутся маловероятными при допущении, что дегустатор действительно не может различить чашки. Какие именно результаты окажутся «мало- вероятными», определяем мы сами: менее 5 % случаев, менее 1 % случаев или любое другое число. Допустим, мы готовы поверить, что дегустатор чая действительно может разли- чать чашки, только тогда, когда вероятность случайного угадывания не будет превы- шать 5 %. Следовательно, эксперимент, в котором нужно выбрать 3 чашки из 6, будет некорректным, так как это можно сделать 20 различными способами, и вероятность случайного угадывания составит ровно 1 к 20, то есть 5 %. Это нетрудно проверить: первую чашку можно выбрать шестью способами, вторую — пятью, третью — че- тырьмя, следовательно, 3 чашки можно выбрать 6 • 5 • 4 = 120 способами. Однако здесь мы учитываем порядок выбора, то есть предполагаем, что чашки подписаны буквами от А до F и считаем варианты ADF и FDA различными. Чтобы учесть повторы, нужно поделить число вариантов на число способов, которыми можно упорядочить 3 чашки (3 • 2 • 1 = 6). Следовательно, выбрать 3 чашки из 6 можно 120/6 = 20 способами. Если нужно правильно выбрать 4 чашки из 8, то число вари- антов будет равняться (8 • 7 • 6 • 5)/(4 • 3 • 2 • 1) = 70. Так как выбрать случайным образом все 4 чашки, в которых был сначала налит чай, а затем — молоко, можно только одним способом, то вероятность угадывания равняется 1 к 70, то есть 1,4 %. Если участник эксперимента верно укажет на 3 чашки из 4, это не будет доказывать, что вкус чая будет отличаться: вероятность правильного выбора трех чашек случайным образом равна примерно 23 %. Но не стоит тратить все силы на математические рассуждения. Также нужно уделить очень большое внимание деталям проведения эксперимента, отсутствию подсказок для испытуемого и другим нюансам. Фишер прямо указывает, что чашки в эксперименте должны располагаться случайным образом: «Наш эксперимент состоит в том, что мы приготовим восемь чашек чая с моло- ком, четыре — одним способом, четыре — другим, после чего подадим чашки, расположенные в произвольном порядке, дегустатору, который вынесет свой 102
КАК МЫ РАССУЖДАЕМ, КОГДА ПРИНИМАЕМ РЕШЕНИЕ. ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ вердикт. Порядок проведения эксперимента объясняется дегустатору заранее: он должен попробовать чай из восьми чашек в произвольном порядке (опре- деленном с помощью игральных костей, рулетки, карт или просто с помощью случайно выбранных чисел). Задача дегустатора — разделить чашки на две группы по четыре в зависимости от того, что было налито в каждую чашку сначала — чай или молоко». Каков же был результат эксперимента? Фишер не упоминает об этом в своей книге, но среди присутствующих находился профессор Хью Смит, который рас- сказал об этом случае Дэвиду Салсбергу, автору превосходной книги о бурном развитии статистики в XX веке. Книга называется The Lady Tasting Tea. В тексте подробно описывается этот эксперимент, который и дал название книге. По словам Хью Смита, леди действительно удалось точно указать все четыре чашки. THE DESIGN ОЕ EXPERIMENTS The Design of Experiments — классический труд, автор которого, Рональд Фишер, на примере дегустатора чая объясняет суть своего метода. 103
КАК МЫ РАССУЖДАЕМ КОГДА ПРИНИМАЕМ РЕШЕНИЕ. ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ РОНАЛЬД ЭЙЛМЕР ФИШЕР: В НУЖНОЕ ВРЕМЯ В НУЖНОМ МЕСТЕ Рональд Фишер родился в 1890 году. Он полу- чил очень хорошее математическое образование и внес важный вклад в статистику и генетику. Хотя какого-либо официального рейтинга не существу- ет, Рональд Фишер несомненно входит в число ученых, которые внесли наибольший вклад в раз- витие статистики в XX веке. Согласно некоторым источникам, он был бо- лезненным ребенком, но отличался большой тягой к знаниям и очень интересовался астро- номией. Также у него было очень плохое зре- ние, и врачи запретили ему читать при искус- ственном свете (не забывайте, что в те времена лампы отличались от современных). Это мешало ему заниматься, и чтобы Рональд не отставал от остальных, преподаватель обучал его матема- тике, не используя ни бумаги, ни карандаша. Это способствовало развитию у Фишера велико- лепного геометрического мышления, что впоследствии позволило ему решать сложные задачи оригинальным геометрическим методом. В возрасте 29 лет он вместе с женой, которой в то время было 20 лет и которая родила ему троих детей (обычаи того времени отличались от современных), переехал на старую ферму около опытной сельскохозяйственной станции Ротамстед к северу от Лондона. Владельцы станции, про- изводители удобрений, заключили с ним контракт, желая, чтобы Фишер помог им упорядочить огромный объем данных, накопленный за 90 лет работы станции. Ученый показал, что при использованном способе сбора данных влияние дождей и погоды в целом нивелировало возможный эффект от применяемых удобрений. Говорить о влиянии от- дельных факторов на основе имеющихся данных было нельзя. Однако Фишер не просто указал, что данные собирались неверно, но и объяснил, какие поправки следует внести. Написанная им книга The Design of Experiments полностью изменила представление о способах сбора экс- периментальных данных и оказала огромное влияние на исследования в сельском хозяйстве и промышленности. 104
КАК МЫ РАССУЖДАЕМ. КОГДА ПРИНИМАЕМ РЕШЕНИЕ. ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ Вес, рост, коэффициент корреляции и его значение Мы знаем, что рост и вес человека связаны и что высокие люди обычно весят больше, чем низкие (разумеется, существуют исключения, но мы говорим об общем правиле). Здесь речь не идет о строгой связи: нет математической формулы, с помощью которой можно вычислить вес человека, зная его рост. Тем не менее существует тенденция, определенная взаимосвязь. На следующей диаграмме показана связь роста и веса в группе из 92 студентов университета (использовались данные, входящие в пакет статистических программ Minitab, о котором мы уже упоминали в главе 1). Как вы охарактеризуете эту зависимость? Она «сильная», «заметная» или «сла- бая»? Как вы понимаете, в подобных ситуациях необходимо оценивать зависимость более точно. Для этого используется показатель, называемый коэффициент корре- ляции (иногда его называют коэффициентом корреляции Пирсона). 105
КАК МЫ РАССУЖДАЕМ, КОГДА ПРИНИМАЕМ РЕШЕНИЕ. ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ Формула для вычисления коэффициента корреляции несколько громоздка, но вы- вести ее нетрудно (не беспокойтесь, мы не будем выводить эту формулу). По срав- нению с другими похожими показателями коэффициент корреляции обладает многи- ми преимуществами: его значения всегда лежат в интервале от —1 до 1 и не зависят от единицы измерения исходных данных. В нашем случае коэффициент корреляции не изменится, если мы будем использовать сантиметры и килограммы вместо дюй- мов и фунтов (как в исходных примерах). Если коэффициент корреляции равен 1, это означает, что между двумя перемен- ными существует строгая зависимость. При увеличении значения одной переменной значение другой также увеличится. В этом случае между переменными действитель- но присутствует математическая зависимость, и зная значение одной переменной, можно точно вычислить значение другой. Однако в реальности подобная ситуация встречается крайне редко. Если коэффициент корреляции равен, например, 0,8, это означает наличие четкой взаимосвязи. В нашем примере коэффициент корреляции равен 0,785. Если он равен нулю, это указывает на отсутствие какой-либо взаимос- вязи. Отрицательные значения означают то же, что и положительные, с единствен- ной разницей: с ростом значения одной переменной значение другой будет не увели- чиваться, а уменьшаться. D1 ▼ Л =КОРРЕЛ(А1:А15;В1:В15) А в о гл Г L 1 167,64 63,56 1 0,7848031 2 182,88 75,22 3 167,64 70,41 Расчет коэффициента корреляции с помощью Excel. Однако этот показатель имеет свои недостатки (ничто не совершенно!). Если взаимосвязь между переменными отсутствует, не следует ожидать, что коэффици- ент корреляции будет равен нулю. Это будет означать, что данные распределены абсолютно равномерно, что не встречается на практике. Коэффициент корреляции может быть примерно равным нулю, но что именно означает это «примерно равен»? Кроме того, значение этого коэффициента зависит от объема исходных данных. Если объем исходных данных невелик, а значение коэффициента корреляции далеко от нуля, это не означает наличие корреляции. Если даны всего лишь два значения каждой переменной, то коэффициент корреляции всегда будет равен 1 или —1 вне зависимости от того, присутствует ли корреляция на самом деле. 106
КАК МЫ РАССУЖДАЕМ, КОГДА ПРИНИМАЕМ РЕШЕНИЕ. ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ На следующей диаграмме представлено 35 точек, коэффициент корреляции ра- вен 0,494. Это значение достаточно далеко от нуля, чтобы можно было говорить о присутствии корреляции? Или же это расположение точек можно получить слу- чайным образом и переменные никак не связаны между собой? Рост (см) Существует ли взаимосвязь между этими переменными? Чтобы определить, действительно ли полученный коэффициент корреляции сви- детельствует о взаимосвязи (или, если говорить на языке статистики, является ли это значение статистически значимым), используем моделирование. Сгенерируем два множества случайных чисел по 35 чисел в каждом. Очевидно, что эти числа будут никак не связаны между собой, однако коэффициент корреляции между ними не будет строго равен нулю, а будет равняться, например,—0,123. Если мы зано- во сформируем эти два множества случайным образом и повторим моделирование 10000 раз, то получим 10000 значений коэффициента корреляции между двумя совокупностями из 35 чисел, которые никак не связаны между собой. Чтобы рас- считать эти значения, используем небольшую программу. Результат ее работы представлен на следующей гистограмме. Вертикальной чертой обозначено значение коэффициента корреляции, полученное нами в предыдущем примере, равное 0,494. 107
КАК МЫ РАССУЖДАЕМ, КОГДА ПРИНИМАЕМ РЕШЕНИЕ. ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ Значения коэффициента корреляции для двух совокупностей из 35 не связанных между собой чисел. Из гистограммы следует, что коэффициент корреляции действительно может при- нять полученное значение, если переменные не связаны между собой, но очевидно, что вероятность этого крайне мала. Анализ результатов моделирования показыва- ет (на гистограмме это не заметно), что 12 значений больше 0,494, 9 — меньше —0,494. Это означает, что полученное нами значение (или большее) выпадает при- мерно два раза из 1000, если исходные переменные независимы. Может ли быть так, что наш случай — именно тот, что выпадает два раза из 1000? Это неизвестно, но маловероятно. Разумнее всего полагать, что проанализированные нами переменные, соответствующие весу и росту 35 женщин в группе из 92 студентов, взаимосвязаны. Схема рассуждений: проверка статистических гипотез И в задаче, поставленной перед дегустатором чая, и в задаче о связи между перемен- ными, которую мы только что рассмотрели, нужно ответить, по сути, на один и тот же вопрос: разумно ли считать, что дегустатор может различить вкус чая, приготовлен- 108
КАК МЫ РАССУЖДАЕМ. КОГДА ПРИНИМАЕМ РЕШЕНИЕ ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ ного по-разному? Можно ли считать, что две переменные коррелируют? В обоих случаях, чтобы ответить на этот вопрос, нужно действовать по одной и той же схеме. 1. Нужно сформулировать исходную гипотезу. Чаще выбирается консервативная гипотеза: в задаче о дегустаторе чая мы предполагаем, что он не способен разли- чить чай на вкус, а в задаче о корреляции — что переменные никак не связаны. 2. На основе доступных данных рассчитывается требуемая величина. Если данные отсутствуют или использовать их нельзя, нужно получить подходящие данные. В задаче о связи между переменными искомой величиной является коэффици- ент корреляции. В задаче о дегустаторе чая искомой величиной является число неверно указанных чашек во время эксперимента. 3. Если полученное значение находится в интервале, соответствующем исходной гипотезе, нет никаких оснований полагать, что исходная гипотеза ошибочна. Следовательно, мы будем по-прежнему ее придерживаться. Если полученное значение маловероятно, мы заменяем исходную гипотезу альтернативной (де- густатор может различить чай на вкус, переменные взаимосвязаны). В учебниках по статистике исходная гипотеза называется нулевой гипотезой, аль- тернативная (верная в случае, когда исходная гипотеза не выполняется) совершенно ожидаемо называется альтернативной гипотезой. Вероятность, с которой может быть достигнуто полученное значение статистического показателя (при условии, что нуле- вая гипотеза верна), называется p-значение. Этому числу уделяется особое внимание в статистических исследованиях, так как именно оно указывает, следует ли придер- живаться нулевой гипотезы или будет разумнее отказаться от нее. В нашем случае, если дегустатор чая правильно указывает 4 чашки из 4, мы можем отвергнуть нулевую гипотезу с p-значением, равным 1,4 %. В задаче о вза- имосвязи двух переменных p-значение равно 2 %: если бы переменные не были бы взаимосвязаны (нулевая гипотеза верна), то вероятность того, что коэффициент корреляции был бы равен или больше полученного нами, равнялась бы 2 %. Что, если нулевую гипотезу нельзя опровергнуть? Если p-значение велико, то нельзя сказать, что результат противоречит нулевой гипо- тезе. Однако это совершенно не означает, что мы доказали истинность этой гипотезы. 109
КАК МЫ РАССУЖДАЕМ, КОГДА ПРИНИМАЕМ РЕШЕНИЕ, ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ Именно поэтому говорят о том, что нулевая гипотеза отвергается (либо нет), а не при- нимается, и тем более не говорят о доказательстве истинности нулевой гипотезы. Обычно проводят такую аналогию: как известно, нулевая гипотеза суда заключает- ся в том, что обвиняемый невиновен. Иными словами, он считается невиновным, если не найдено доказательств его вины. Собранные улики являются доказательствами, НЕОБЫЧНЫЙ СЛУЧАЙ: РАСПРЕДЕЛЕНИЕ КОЭФФИЦИЕНТА КОРРЕЛЯЦИИ ДЛЯ ТРЕХ ТОЧЕК Рональд Фишер первым получил общую формулу распределения для коэффициента корреляции. Он использовал столь нетривиальные математические методы, что Карл Пирсон, еще один веду- щий статистик и редактор важнейшего научного журнала своего времени, по-видимому, не по- нял доказательства Фишера и препятствовал его публикации. Это, разумеется, не понравилось Фишеру. Инцидент положил начало вражде между двумя несомненно величайшими статистиками своего времени. Собственно, это совершенно не удивительно. Следствия формулы Фишера достаточно необычны. Если даны три точки, соответствующие значениям независимых переменных, то диаграмма распределения возможных значений коэф- фициента корреляции имеет необычную форму, прямо противоположную привычному колоколу Гаусса. Наиболее вероятные значения располагаются не в середине интервала, а на его концах. Теоретическое распределение коэффициента корреляции между независимыми переменными для трех точек в соответствии с формулой, выведенной Фишером (слева), и результат моделирования, выполненного 10 000 раз (справа). Если даны четыре точки, то все значения коэффициента корреляции равновероятны. Если дано пять точек, то наиболее вероятным значением является ноль. По мере роста числа точек начинает вырисовываться традиционный график в форме колокола. 110
КАК МЫ РАССУЖДАЕМ, КОГДА ПРИНИМАЕМ РЕШЕНИЕ. ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ которые подтверждают или опровергают нулевую гипотезу. Если на одежде обвиня- емого были найдены пятна крови жертвы, это очевидно свидетельствует не в пользу гипотезы о его невиновности. Однако если пятен нет, то это может означать, что преступление было тщательно спланировано или же полиция действовала неудачно, следовательно, обвиняемого нельзя осудить (то есть отвергнуть нулевую гипотезу нельзя). Но это не доказывает, что подсудимый невиновен. Еще один пример: сбалансированы ли игральные кости? В главе 2 упоминается, что в 1850 году швейцарский астроном бросил пару играль- ных костей (красного и белого цвета) 20000 раз. Полученные результаты были до- статочно далеки от ожидаемых теоретических значений. Это дает основания подозре- вать, что в эксперименте, возможно, использовались несбалансированные игральные кости. Так как все шесть возможных результатов являются равновероятными, если мы бросим игральные кости 20 000 раз, то теоретически каждое значение выпадет 20000/6 = 3333 раза. В следующей таблице представлены результаты экспери- мента, теоретические значения и абсолютная величина отклонения от теоретических значений. Результаты 1 2 3 4 5 6 Красный кубик Результат эксперимента 3 407 3 631 3 176 2 916 3 448 3 422 Теоретическое значение (для сбалансированного кубика) 3 333 3 333 3 333 3 333 3 333 3 333 Отклонение (абсолютная величина) 74 298 157 417 115 89 Белый кубик Результат эксперимента 3 246 3 449 2 897 2 841 3 635 3 932 Теоретическое значение (для сбалансированного кубика) 3 333 3 333 3 333 3 333 3 333 3 333 87 116 436 492 302 599 111
КАК МЫ РАССУЖДАЕМ, КОГДА ПРИНИМАЕМ РЕШЕНИЕ. ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ Являются ли эти отклонения достаточно большими, чтобы говорить о несбаланси- рованности игральных костей? Или же эти отклонения могут возникнуть случайным образом? В конце концов, если бы результаты эксперимента в точности совпадали бы с теоретическими значениями, это тоже выглядело бы странно. Чтобы развеять со- мнения, проверим статистическую гипотезу по той же схеме, что использовал Фишер для решения задачи о дегустаторе чая. Будем предполагать, что игральные кости сбалансированы, и отвергнем эту гипотезу только в том случае, если полученные данные будут явно ей противоречить. Будем анализировать максимальное отклонение между полученными и теорети- ческими значениями. В предыдущей таблице показано, что для красного кубика эта величина равна 417, для белого — 599. Зададимся вопросом: каковы ожидаемые значения этой величины для идеально сбалансированных игральных костей? И снова на этот вопрос можно ответить с помощью моделирования. Смоделируем 20000 бросков игральной кости, подсчитаем, сколько раз вы- падет каждое значение, и рассчитаем максимальное отклонение от теоретического значения. При первом моделировании максимальное отклонение равнялось 83, при втором — 97. После того как моделирование было выполнено 10000 раз, была по- лучена гистограмма, представленная на следующем рисунке. На ней также указаны значения, соответствующие красному и белому игральному кубику. Максимальное отклонение от расчетного значения (3 333) Распределение максимального отклонения для сбалансированных игральных костей и значения, полученные экспериментально. 112
КАК МЫ РАССУЖДАЕМ, КОГДА ПРИНИМАЕМ РЕШЕНИЕ. ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ Очевидно, что данные эксперимента противоречат гипотезе о сбалансированности игральных костей. Если бы эта гипотеза была верна, то вероятность получить по- добные данные была бы очень, очень мала. В этом случае p-значение равно нулю с точностью до нескольких знаков после запятой. Следовательно, мы можем утверждать, что игральные кости несбалансиро- ванны, а вероятность того, что мы ошибаемся, практически равна нулю. В качестве показателя, обобщающего данные эксперимента, можно использовать не максимальное отклонение, а величину, в которой учитывается отклонение для всех шести возможных результатов броска игральной кости. Такой величиной может быть сумма всех отклонений, равных разности фактиче- ской и теоретической частоты, возведенных в квадрат (чтобы положительные и от- рицательные отклонения не скомпенсировали друг друга), разделенная на теорети- ческую частоту. Для красной игральной кости эта величина будет равна (3 407-3 333,ЗЗ)2 (3 631-3 333,33)2 (3 176-3 333,ЗЗ)2 3 333,33 3 333,33 3 333,33 (2 196-3 333,ЗЗ)2 (3 448-3 333,ЗЗ)2 (3 422-3 333,ЗЗ)2 3 333,33 3 333,33 3 333,33 Расчеты могут показаться вам излишне сложными, но эта величина обладает определенным преимуществом: она не требует моделирования распределения для случая, когда нулевая гипотеза верна (так называемого эталонного распределе- ния). Эта величина называется критерий х2 (хи-квадрат). Ее впервые использовал в 1900 году Карл Пирсон, сыгравший важную роль в истории статистики. Мы уже упоминали его имя, когда говорили о коэффициенте корреляции. Для обычных статистических тестов нет необходимости в моделировании рас- пределения величины. Вместо этого оно выводится с помощью математических ме- тодов. Формула для расчета распределения коэффициента корреляции достаточно сложна и не имеет своего названия, хотя при большом размере выборки это распре- деление близко к нормальному. Первым, кто вывел формулу для этого распределе- ния, был не кто иной, как Рональд Эйлмер Фишер. 113
КАК МЫ РАССУЖДАЕМ, КОГДА ПРИНИМАЕМ РЕШЕНИЕ ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ СЛИШКОМ МАЛОЕ ОТКЛОНЕНИЕ ТОЖЕ ПОДОЗРИТЕЛЬНО Если мы бросим идеально сбалансированную игральную кость 20000 раз, то каждое из возмож- ных значений выпадет примерно 20000/6 = 3333 раза. Отклонение фактической и теоретической частоты редко превышает 250. Это происходит всего один раз на каждые 100000 симуляций. Однако также весьма необычно, если фактические значения очень близки к теоретическим. Допустим, игральная кость была брошена 20000 раз и были получены следующие результаты: 1 2 3 4 5 6 3 333 3 334 3 333 3 333 3 334 3 333 Есть основания подозревать, что эта информация недостоверна, так как столь малое отклоне- ние фактической и теоретической частоты встречается всего один раз на миллион. Фишер обнаружил любопытное совпадение между экспериментальными данными, опублико- ванными Менделем в его знаменитых работах о наследственности, и ожидаемыми теоретиче- скими значениями. Удивительнее всего то, что Мендель ошибочно спрогнозировал результаты некоторых экспериментов, но полученные данные тем не менее были подозрительно близки к прогнозным значениям. По мнению Фишера, данные скорректировал необязательно сам Мен- дель, а кто-то из его ассистентов, который недобросовестно отнесся к работе и решил подменить реальные данные именно теми, которые ожидал увидеть Мендель. Этот вопрос спровоцировал бурное обсуждение. Эта задача относится не только к теории ве- роятности, но также к генетике и ботанике, так как в ней идет речь о фундаментальном меха- низме наследования признаков у растений. Споры не утихали длительное время, но какой-то определенный итог этих дискуссий подвести трудно. Стороны сходятся на том, что нет четких доказательств того, что Мендель или кто-то еще скорректировал результаты эксперимента До сих пор это верно, далее - нет: границы р-значения Как правило, выбирается определенное р-значение, чаще всего 5 %, и если полу- ченное на практике p-значение оказалось меньше, то нулевая гипотеза отвергается, в противном случае — нет. Это значение называется уровнем значимости. Конечно, всем нам нравятся четкие и простые правила, но было бы неразумно выбрать одно универсальное значение и применять его всегда вне зависимости от кон- 114
КАК МЫ РАССУЖДАЕМ, КОГДА ПРИНИМАЕМ РЕШЕНИЕ, ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ текста. Выбор граничного значения равносилен выбору вероятности того, что мы ошибочно отвергнем нулевую гипотезу. Вероятность ошибки, которую будет разумно выбрать, зависит от ситуации и возможных последствий ошибки. Предположим, как-то утром, выходя из дома, мы смотрим прогноз погоды и ре- шаем, что вероятность дождя равна 10 %. Стоит ли взять с собой зонтик? Если мы не возьмем с собой зонтик и примем 10-процентный риск попасть под дождь, нико- му из нас это не покажется неразумным. Если мы ошибемся, то потеряем немного (разве что слегка намокнем). Также следует учесть, что ходить весь день с зонтиком достаточно неудобно. Другой пример. Мы едем по второстепенной дороге, на которой очень мало ма- шин. Мы замечаем, что на подъеме, где не видно встречную полосу, есть небольшая выбоина. Ее можно объехать, приняв немного левее. Однако мы не станем этого делать. Вероятность того, что по встречной полосе этой пустынной дороги проедет автомобиль, невелика, а вероятность того, что мы встретимся точно на подъеме, — еще меньше. Однако мы не станем выезжать на встречную полосу: несмотря на то что вероятность столкновения крайне мала, если оно все же произойдет, то ущерб будет значительным. Если мы проедем по выбоине, то почувствуем лишь легкое неудобство. Очевидно, что вероятность ошибки, к которой мы готовы при принятии решения, зависит от обстоятельств и от возможных последствий этой ошибки. Приведем другой пример, также связанный с дорожным движением, а именно с радарами для измерения скорости проезжающих машин. Хорошо известно, что эти радары, как и любые другие приборы, имеют определенную погрешность из- мерения. Если они показывают, что скорость машины равна 120 км/ч, возможно, что фактическая скорость равна 119 или 122 км/ч. По этой причине, если на дороге установлено ограничение скорости в 120 км/ч, водителей штрафуют только тогда, ког- да их скорость превышает ограничение на определенную величину. Это делается для того, чтобы исключить возможное влияние погрешности измерения и гарантировать, что водитель действительно ехал с превышением. Если будет выбрано значение, для которого доля ошибочных значений будет равна 5 % (таким образом, в 5 % случаев будут оштрафованы водители, которые не превышали скорость), это вызовет жаркие споры, ведь каждый день сотни людей будут незаслуженно получать штрафы. Подведем итог. Выбор граничного значения нельзя делать только с помощью методов статистики; нужно рассматривать конкретную ситуацию. Когда проводит- ся эксперимент, в котором сравнивается эффективность нового и существующего лекарств, выбор граничного значения 0,05 означает, что с вероятностью в 5 % бу- дет сделан ошибочный вывод об эффективности лекарства. Какие последствия это 115
КАК МЫ РАССУЖДАЕМ, КОГДА ПРИНИМАЕМ РЕШЕНИЕ. ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ повлечет? Имеет ли новое лекарство серьезные побочные эффекты? Дороже ли новое лекарство, чем то, что уже используется? Ответы на эти вопросы крайне важны при выборе оптимального граничного значения. Однако верно и то, что во многих случаях значение 0,05 выбирается без како- го-либо анализа. Это происходит потому, что для этого значения уже рассчитаны различные статистические показатели, которые можно найти в справочных табли- цах. Когда много лет назад эти величины рассчитывались с помощью примитивных средств, в таблицы заносились лишь значения, соответствующие определенным ве- роятностям, в частности 0,001; 0,005; 0,01; 0,05; 0,10. Из возможных табличных значений в качестве границы, отделяющей «обычное» от «необычного», чаще всего выбиралось именно 0,05. Преимущество этого значения в том, что это круглое число в нашей десятичной системе счисления. Если бы у нас на руках было по шесть пальцев, то в качестве граничного значения было бы естественно выбрать 0,06. 116
Глава 5 Что лучше? Что эффективнее? Как формировать выборки для ответов на подобные вопросы Статистику необходимо использовать тогда, когда для ответа на вопрос нужно собрать и проанализировать данные. К таким вопросам относятся, например, вопросы об эф- фективности вакцины или лекарства, о прочности нового способа сварки и другие. Как правило, сбор данных — трудоемкая и дорогостоящая операция. Следует тщательно продумать, каков оптимальный способ решения этой задачи, позволя- ющий потратить минимум ресурсов. Кроме того, почти никогда не удается полу- чить все необходимые данные и нужно знать, как извлечь из них максимальную выгоду. Не стоит забывать и о вариации данных, которые не подчиняются строгим математическим законам, и при одних и тех же исходных данных результаты могут различаться. Если нужно ответить на вопрос, снижает ли регулярный прием определенной дозы аспирина вероятность инфаркта, это можно сделать на основе рассуждений о действии аспирина на организм, однако во многих случаях реальность преподносит немало сюрпризов. Точнее всего на этот вопрос можно ответить, если собрать экс- периментальные данные. Нужно сформировать две группы людей, обладающих как можно более схожими признаками, одной группе прописать аспирин, другой — нет, после чего сравнить результаты. Нам известно, что не все участники исследования одинаковы, поэтому реакция на аспирин у них будет различаться. Нужно учесть все эти факторы и сделать корректные выводы, указав степень их надежности. Именно этим и занимается статистика. Крупномасштабное исследование: вакцина против полиомиелита Возможность сделать прививку и обезопасить себя от инфекционного заболевания, вне всяких сомнений, стала одним из решающих этапов в борьбе с болезнями, по- 117
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ могла улучшить здоровье людей и повысить ожидаемую продолжительность жизни. Однако для каждого заболевания требуется особая вакцина, и найти ее иногда бы- вает непросто. Лабораторные тесты, тесты на животных, на добровольцах помогают собрать достаточно информации об эффективности вакцины. Однако прежде чем одобрить и рекомендовать ее к массовому применению, нужно тщательно проверить, скомпенсируют ли ее преимущества затраты и неизбежные риски. Здесь на сцену выходит статистика. В 1954 году было проведено масштабное исследование по оценке эффективности вакцины против полиомиелита (вакцины Солка, созданной эпидемиологом Джонасом Солком). Оно очень подробно описано в книге Statistics: A Guide to the Unknown, где рассказывается о 29 случаях применения статистики в самых разных областях. Каждая глава написана специалистом, глубоко разбирающимся в соответствующей теме. Глава об анализе эффективности вакцины написана профессором Чикагского университета Полом Мейером. Полиомиелит и его особенности Благодаря эффективности прививок полиомиелит исчез практически полностью, но еще не так давно он входил в число самых опасных болезней. Им болели преимуще- ственно дети, многие оставались парализованы или всю жизнь страдали от серьезных осложнений болезни. Кроме того, масштабные эпидемии полиомиелита возникали неожиданно. Что любопытно, от них в большей степени страдали социальные группы с лучшими условиями жизни, а наиболее бедные страны и слои населения оказывались практически не затронутыми. Причиной этому был тот факт, что в менее благопо- лучных слоях населения дети заражались раньше, когда они еще находились под защитой иммунитета матери, поэтому вирус не приводил к развитию заболевания. Кроме того, у детей вырабатывался иммунитет к полиомиелиту. Дети, жившие в более благоприятных условиях, заболевали позже, когда их уже не защищал материнский иммунитет. Борьбе с этой болезнью способствовал и тот факт, что сам президент Рузвельт переболел полиомиелитом и всячески поддерживал исследования в этой области. В начале 1950-х годов руководство системы здравоохранения США посчитало, что новая вакцина, созданная Джонасом Солком, является эффективной, что было доказано исследованиями, проведенными в небольших масштабах. Однако перед тем как рекомендовать массовое применение вакцины, требовалось получить нео- провержимые доказательства ее эффективности и отсутствия негативных побочных 118
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ эффектов. Было решено провести эксперимент, ставший самым крупным в истории системы здравоохранения. Контрольная группа Допустим, что результаты испытаний нового лекарства от определенной болезни по- казывают, что любой, кто принял это лекарство, излечивается за 7 дней. Можно ли говорить об эффективности этого лекарства? Возможно, вам кажется, что если все заболевшие излечиваются, то лекарство и в самом деле эффективно. Однако на самом деле эксперимент не доказывает это- го. Возможно, что если бы испытуемые не принимали никакого лекарства, то из- лечились бы за тот же срок. Более того, возможно, что без принятия лекарства болезнь проходит за 2—3 дня, в противном случае на ее лечение уходит 5—6 дней. По этой причине для доказательства эффективности нового лекарства или вак- цины формируется репрезентативная выборка из числа тех, кому предназначено лекарство. Затем выборка разделяется на две группы случайным образом. Это обеспечивает отсутствие системных различий между представителями той и другой группы. Далее лекарство получают пациенты лишь из одной группы. Путем сравне- ния с пациентами второй группы анализируется эффект от нового лекарства. Группа, которая не получает никакого лечения, называется контрольной группой. В случае с полиомиелитом регулярно отмечались непредсказуемые колебания числа заболевших. Например, в 1952 году, когда произошла наиболее серьезная вспышка полиомиелита за период с 1930 по 1956 год, в США заболело порядка 60000 человек; в 1953-м — всего лишь около 35000, на 42 % меньше. Если бы в 1953 году была испытана новая, абсолютно неэффективная вакцина, можно было бы предположить, что она эффективна, так как число заболевших существенно снизилось. Этот случай был не единственным: в 1932 году по сравнению с предыду- щим годом число заболевших уменьшилось более чем наполовину. Это же произо- шло в 1936,1938,1942,1947 и 1956 годах. Столь же неудачной была бы попытка привить всех детей в одном регионе, на- пример в штате Нью-Йорк, и не привить детей, например, в Чикаго, так как болезнь распространялась неравномерно и крупная вспышка заболевания могла произойти в конкретном штате именно в этом году. Было необходимо разделить всех испытуемых на две равные группы, находящиеся в абсолютно равных условиях. Одной группе вводилась бы вакцина, вторая группа являлась бы контрольной. 119
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ Две «наиболее похожие» группы: плацебо и двойной слепой метод Если некоторые люди получают лекарство (принимают ежедневно по одной таблетке или получают разовый укол, как в случае с вакциной Солка), а другие не получа- ют ничего, то первые будут убеждены, что лекарство имеет определенный эффект, и отметят некоторое улучшение, даже если лекарство не будет обладать никаким эффектом. Этот феномен называется эффектом плацебо. Несомненно, именно он является причиной успеха многих видов так называемой альтернативной медицины, когда заболевание проходит как бы само собой. В случае с полиомиелитом ребенок либо подвержен заболеванию, либо нет, и можно подумать, что ощущения пациента не будут зависеть от того, получил он прививку или нет. Однако не все варианты течения болезни являются тяжелыми или имеют осложнения. Если у ребенка, получившего прививку, обнаруживаются симптомы, сходные с симптомами полиомиелита, то и родители, и врач посчитают, что ребенок вряд ли мог заразиться, ведь он получил прививку! То есть если у ребен- ка действительно была легкая форма полиомиелита, ее можно перепутать с другой болезнью, и этот случай заболевания окажется незарегистрированным. Напротив, члены группы, не получившей вакцину, будут обращать больше внимания на любые симптомы, так как будут чувствовать себя незащищенными. Если у них обнару- жатся признаки заболевания, эти случаи будут изучены и диагностированы более тщательно. В результате может возникнуть ошибочное представление о том, что в группе, не получившей прививок, отмечено больше случаев болезни. Чтобы избежать положительного воздействия эффекта плацебо только на груп- пу, получавшую лечение, все испытуемые получают внешне одинаковое лекарство. Они не знают, принимают они настоящее лекарство или им дают нейтральные та- блетки того же вкуса и цвета, что и настоящие, — эти таблетки и называются плаце- бо. Более того, сам испытуемый не знает, к какой группе он принадлежит (в случае с полиомиелитом нужно, чтобы об этом не знал ни ребенок, ни его родители), а врач, который проводит лечение, не знает, какое лекарство принимает пациент — насто- ящее или плацебо. Это делается не потому, что врачам нельзя доверять, а для того чтобы избавиться от возможных стереотипов. Так, если ребенок получает настоящее лекарство и врач замечает признаки улучшения, он несколько преувеличит их, а если врачу известно, что ребенок получает плацебо, то он будет больше обращать внима- ние на отрицательные, а не на положительные симптомы. 120
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ ЗНАЧИМЫЕ И ВАЖНЫЕ РАЗЛИЧИЯ При сравнительном анализе самое главное - определить, являются ли наблюдаемые различия значимыми или нет. Именно в этом заключается цель всех статистических тестов. Может пока- заться, что это противоречит здравому смыслу, но если различия являются значимыми, то это не означает, что они важные. Различия называются значимыми, когда считается, что они не являются случайными, и два рассматриваемых способа лечения действительно дают разные результаты. Однако мы можем быть уверены, что они действительно дают разные результаты, даже если эта разница будет неза- метна на практике. Например, эксперимент может показать, что один клей приклеивает лучше другого, но раз- ница между ними практически незаметна. Может случиться, что из-за недостаточного объема данных или значительной вариации результатов различия будут очень большими, но при этом они будут вызваны случайными факторами. Иными словами, в таком случае нельзя сказать, что один клей действительно лучше другого. Чтобы этого не произошло, подобные исследования проводятся так, чтобы ни па- циент, ни врач не знали, кто принимает настоящее лекарство, а кто — плацебо. Именно поэтому этот метод называется двойным слепым методом. Однако и при формировании контрольной группы, получающей плацебо, также присутствуют определенные трудности. Одна из их — сложность организации экс- перимента. В случае с вакциной Солка требовалось приготовить инъекции с вакци- ной, идентичные тем, что содержали только соляной раствор. Далее их нужно было пронумеровать и проконтролировать, инъекцию какого типа получает пациент. При этом ни персонал, вводивший инъекцию, ни лечащий врач не должны были знать, какой именно препарат вводится пациенту. Еще одна проблема лежит в области этики. Некоторые полагали, что неразумно вводить детям соляной раствор вместо вакцины, которая, как считалось, была до- статочно эффективной. В качестве альтернативы было предложено вводить вакцину детям, которые учи- лись во втором классе, а учеников первого и третьего класса использовать в качестве контрольной группы. В этом случае нарушался основной принцип двойного слепого метода, однако примерно в половине штатов, где проводился эксперимент, был ис- пользован именно этот способ. В остальных штатах контрольные группы получали плацебо. 121
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ Необходимость в выборке очень большого размера Доля заболевших составляла всего 50 человек на 100 000. Ожидалось, что примене- ние вакцины позволит сократить число заболевших вдвое. Очевидно, что проведение экспериментов с малыми группами было невозможным. Если бы, например, мы ввели вакцину 1000 детей, а еще 1000 использовали в качестве контрольной группы, то, скорее всего, ни в одной группе не было бы ни одного заболевшего и эксперимент не имел бы смысла. Если бы численность каждой группы составляла 10 000 чело- век, могло случиться так, что в контрольной группе заболели 5 человек, в группе получивших вакцину — 2 человека. Эта разница столь мала, что ее можно назвать случайной (отвергнуть нулевую гипотезу о том, что доля заболевших в каждой груп- пе одинакова, в этом случае нельзя). Было необходимо, чтобы численность групп составляла несколько сотен тысяч человек, чтобы результаты можно было считать достоверными. Требовался крупномасштабный эксперимент. Результаты Эффективность вакцины полностью подтвердилась. В вакцинированной группе чис- ло заболевших было в два с лишним раза меньше, чем в группе, которой вводилось плацебо. Использованное в эксперименте р-значение имело порядок 10~9. Иными словами, вероятность того, что число заболевших в обеих группах случайно оказа- лось бы одинаковым, равнялась 1 на миллиард. Изученная совокупность Случаи заболевания полиомиелитом Число Доля (на 100 000 человек) Использовался метод плацебо: Получили вакцину 200 745 57 28 Получили плацебо 201229 142 71 Использовалось сравнение с учениками других классов: Получили вакцину 221998 56 25 Контрольные группы 725 173 391 54 Результаты в тех регионах, где в качестве контрольных групп использовались школьники старших и младших классов, оказались аналогичными. Все были доволь- ны тем, как был проведен эксперимент, ведь результаты оказались даже лучше, чем ожидалось. Число заболевших среди вакцинированных оказалось заметно меньше, 122
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ но если бы в эксперименте не использовалась контрольная группа, которой вводи- лось плацебо, эксперимент не помог бы окончательно развеять все сомнения, а его результаты можно было бы трактовать по-разному. Роль статистики. Полиомиелит в наши дни Вакцина Солка позволила совершить шаг вперед в борьбе с полиомиелитом, но ре- зультаты ее использования все еще были не вполне удовлетворительны, и через несколько лет на смену ей пришла другая, более эффективная вакцина. Перед началом массового применения были должным образом проведены необходимые статисти- ческие исследования. Сегодня полиомиелит практически исчез. В настоящее время вспышки полиомиелита отмечаются всего в четырех странах мира: Нигерии, Индии, Пакистане и Афганистане. Всемирная организация здравоохранения, ЮНИСЕФ и другие международные организации предпринимают усилия по борьбе с полиомие- литом в этих странах. По их оценкам, очень скоро перестанут отмечаться новые случаи этого заболевания. Через три года после того, как это произойдет, будет официально объявлено об исчезновении полиомиелита. Аспирин и инфаркты В 1983 году в США было проведено крупномасштабное исследование для оценки влияния аспирина на сердечно-сосудистые заболевания. Анализ малых групп показал, что прием аспирина может снизить вероятность повторного сердечного приступа. Од- нако не было никаких доказательств того, что этот положительный эффект аспирина распространяется на всех. Для участия в эксперименте было приглашено 261 248 врачей мужского пола старше 40 лет, данные о которых были взяты из реестра Американской медицинской ассоциации. 59 285 человек выразили согласие участвовать в эксперименте. Из их числа следовало исключить людей со сложной историей болезни, тех, кто уже при- нимал аспирин, а также тех, у кого наблюдались побочные эффекты от аспирина. В итоге был отобран 22 071 врач. Все они были здоровы и не находились в группе ри- ска. Им было предписано принимать по 325 мг аспирина (или плацебо) раз в два дня. Одновременно с исследованием влияния аспирина был изучен эффект бета-ка- ротина (химического соединения, которое в нашем организме преобразуется в вита- мин А) при определенных типах рака. Испытуемые были случайным образом раз- делены на четыре группы: члены первой группы принимали аспирин и бета-каротин, 123
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ второй группы — аспирин и плацебо бета-каротина, третьей группы — плацебо аспирина и бета-каротин, четвертой группы — плацебо аспирина и плацебо бета- каротина. Аспирин + Аспирин + Плацебо аспирина + Плацебо аспирина + бета-наротин плацебо бета-каротина бета-каротин плацебо бета-каротина Лекарства, которые принимали четыре группы участников эксперимента. Все таблетки выглядели одинаково. Звездочкой отмечены таблетки-плацебо. Несмотря на строгие критерии отбора участников эксперимента, они отличались по возрасту, истории болезни, характеру, некоторые из них курили. Следователь- но, требовалось очень внимательно разделить участников эксперимента на четыре группы случайным образом, так как только таким способом можно было гаранти- ровать общую схожесть групп по составу. Можно возразить, что большинство лю- дей, находившихся в предынфарктном состоянии, случайным образом попали в одну из групп. Однако, согласно теории вероятности, если распределение проводилось действительно случайным образом, то вероятность подобного исхода в большой группе ничтожна. Так как состав всех четыре групп схож и все испытуемые находились под вли- янием одинаковых внешних условий, существенные различия в результатах групп, выходящие за рамки случайного отклонения, объясняются только разным действием принимаемых лекарств. Именно такова логика экспериментов, в которых сравнива- ется действие различных лекарств на случайной выборке. Использовался двойной слепой метод, то есть ни пациенты, ни лица, наблюдаю- щие за ними, не знали, какое лекарство принимает тот или иной пациент. Наблюда- тельный комитет анализировал результаты каждые полгода. Хотя изначально пла- нировалось, что эксперимент продлится семь лет, спустя пять лет после его начала он был прекращен: положительный эффект аспирина оказался столь существенным, что было принято решение как можно скорее оповестить об этом и участников экс- перимента, и всех врачей страны. 124
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ Группа, получавшая аспирин (л = 11037) Группа, получавшая плацебо (л = 11 034) Инфаркты миокарда Летальные исходы Нелетальные исходы 5 99 18 171 Итого 104 171 В группу, получавшую аспирин, входили те, кто принимал аспирин и бета-ка- ротин, а также те, кто принимал аспирин и плацебо бета-каротина. Группа плацебо включала две оставшиеся подгруппы. Статистическое исследование показывает, что если бы аспирин не имел никакого положительного эффекта (вероятность инфаркта в обеих группах была бы одинаковой), то вероятность того, что подобная разница в результатах случайна, имела бы порядок 2 на 100000. Следовательно, разумно предполагать, что аспирин снижает вероятность инфаркта. Новость о результатах эксперимента появилась на первой полосе газеты New York Times и привлекла большое внимание средств массовой информации. Эксперимент по анализу воздействия бета-каротина продолжался в течение запланированного вре- мени. Автору не удалось найти информации о результатах этого эксперимента. Скорее всего, они были негативными. Согласно известной на данный момент информации, прием бета-каротина не только не снижает вероятность заболевания раком, но и уве- личивает ее для курильщиков. Однако аспирин — тоже не панацея. Считается, что он препятствует образованию скоплений тромбоцитов и образуется меньше сгустков крови. Но это тоже таит в себе опасность. Исследования показали, что в группе, принимавшей аспирин, наблюдался небольшой (не статистически значимый) рост случаев смертности от эмболии. По- этому решение о регулярном приеме аспирина следует принимать взвешенно. Нужно следовать рекомендациям врача, который оценит индивидуальные особенности, пре- имущества и недостатки приема аспирина в каждом конкретном случае. Табак и рак легких С тем, что курение вредит здоровью, сегодня согласны практически все, но эта точка зрения была распространена не всегда. Теперь нам известно, какие именно вещества, содержащиеся в табачном дыме, могут вызвать рак. Также известно, как эти вещества превращают здоровые клетки в раковые, — это было показано с помощью опытов на животных. Но, как и во многих других случаях, статистические данные указыва- 125
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ ли, что ситуация не столь однозначна и требуются более подробные исследования. Данные, которые были получены в 1950-х, свидетельствовали, что курильщики чаще болеют раком легких, чем некурящие. Но чтобы однозначно подтвердить это, требо- вались более тщательные исследования. Чтобы подтвердить связь между курением и возникновением рака легких и других заболеваний, было проведено семь масштабных исследований (одно в Великобритании, одно в Канаде, пять в США). Число испытуемых составляло от 34000 до 448000 человек. По сути, все исследования проводились по одной и той же схеме: лицам, выбранным для участия в исследовании, высылались анкеты. Требовалось указать, сколько сигарет человек выкуривал сейчас и в прошлом, а так- же основные демографические данные. Была создана система, гарантирующая, что в случае смерти участника опроса этот факт регистрировался, а также указывалась причина смерти. Эти исследования позволили узнать, какое влияние оказывает возраст, в кото- ром человек начал курить, вид и число выкуриваемых сигарет, а также заболевания, которым подвержены те, кто бросил курить. Один из выводов исследования заклю- чался в том, что частота заболевания раком легких среди курильщиков в 11—20 раз выше, чем среди некурящих. Возможен встречный аргумент (его выдвинул в том числе Фишер): данные ис- следований показывают, что раком легких чаще болеют курильщики, но это не до- казывает, что причиной этого заболевания является именно табак. Можно предпо- ложить, что курильщики в целом более нервные и беспокойные, и именно эти черты характера, из-за которых они начали курить, являются причиной определенных за- болеваний. Быть может, те, кто подвержен табачной зависимости, имеют опреде- ленную генетическую особенность, из-за которой (а не из-за курения) они чаще болеют раком легких. Эти аргументы можно выдвинуть потому, что проведенные исследования не явля- ются экспериментами в полном смысле этого слова, как было в случае с испытаниями вакцины против полиомиелита или при изучении действия аспирина по профилактике сердечных заболеваний. В этих случаях участники эксперимента случайным образом делились на две группы, экспериментальную и контрольную, так чтобы все возмож- ные различия между ними являлись следствием изучаемого явления. Считалось, что причиной любых существенных различий между двумя группами является именно изучаемое явление. Однако исследования воздействия табака не были эксперимен- тальными: две группы, курильщики и некурящие, уже были сформированы, и ученые лишь наблюдали за развитием событий. Нельзя было заставить курить некурящих 126
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ или уговорить заядлых курильщиков бросить курить. С теоретической точки зрения в идеальном исследовании курить должны все, но половина испытуемых, выбранная случайным образом, должна курить обычный табак, а другая половина — некое со- вершенно безвредное вещество, по вкусу и остальным свойствам идентичное табаку. Производители сигарет могли бы заявить, что только такое исследование явля- ется корректным, и были бы правы. Однако оно настолько же корректно, насколько и нереализуемо на практике. Все же доступные данные однозначно указывают, что табак — важный фактор возникновения рака легких и мочевого пузыря, сердечно- сосудистых и других заболеваний. Связь между раком легких и употреблением та- бака была отмечена во множестве исследований, выполненных в различных странах и условиях. Это устраняет возможную предрасположенность к этим заболеваниям определенной группы людей. Кроме того, известно, какие именно вещества, содер- жащиеся в табачном дыме, могут вызывать рак. Гипотеза о генетической предрас- положенности не объясняет роста числа заболеваний среди женщин, которые начали курить, и среди некурящих, постоянно находящихся рядом с курильщиками. Эти факты не всегда были очевидны, и обнаружить их помогла именно статистика. Случайный отбор и влияние различных факторов При разработке экспериментов для сравнения различных лекарств, катализаторов химической реакции и так далее наиболее важный момент — получить два множества данных, которые отличаются единственной переменной, изучаемой в эксперименте. При проведении подобных экспериментов в медицине могут сравниваться два ле- карства или выясняться эффект от приема лекарства по сравнению с плацебо, как в случае с вакциной полиомиелита или при анализе действия аспирина по предотвра- щению инфарктов. Как вы уже видели, ключевой вопрос — как разделить участников исследования на две максимально похожие группы. Парадоксально, но наилучшие результаты достигаются при формировании групп случайным образом. В этом случае любые значимые различия между группами (то есть те, которые нельзя объяснить случайными событиями) объясняются различным воздействием изучаемого фактора на обе группы. Однако если помимо изучаемого фактора на группы действуют и дру- гие факторы, то нельзя сказать, что именно является причиной различий в результатах групп. Рассмотрим пример. Одной из классических книг по проведению экспериментов является Statistics for Experimenters Бокса, Хантера и Хантера, где объясняется, как нужно провести эксперимент, чтобы сравнить степень износа различных материа- 127
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ лов, из которых изготавливается подошва молодежной обуви. Если в эксперименте участвует всего 10 молодых людей, их можно разделить случайным образом на две группы по 5 человек: члены одной группы получат обувь с подошвой из материа- ла А, члены второй группы — обувь с подошвой из материала В. По прошествии определенного времени (например, полугода) нужно измерить износ подошв на всех парах обуви и провести соответствующий статистический анализ (в этом случае будет использоваться так называемый t-критерий Стьюдента для независимой выборки). Естественно, что группы следует формировать случайным образом. Не стоит просить подростков выстроиться в шеренгу и выдавать первым пяти обувь с по- дошвой из материала А, последним пяти — обувь с подошвой из материала В: те, кто встал в шеренгу первыми, больше бегают и двигаются, поэтому быстрее износят обувь. Однако этот способ сбора данных имеет один недостаток. Износ подошвы за- висит не только от материала (именно это мы анализируем в ходе эксперимента), но и от самого подростка: некоторые из них больше бегают и будут даже играть в футбол в этой обуви, другие будут бегать меньше. Некоторые, возможно, почти не будут надевать выданную обувь, так как она им не понравится или они побоятся порвать ее, и подошвы не износятся. Так как на износ подошвы влияет не только материал, из которого она изготов- лена, но и другие факторы, то мы не сможем определить, какой именно фактор бу- дет причиной возможных различий. Может случиться так, что по вине посторонних факторов различий наблюдаться не будет, но в действительности подошвы из ана- лизируемых материалов будут изнашиваться по-разному. Как справиться с этой проблемой? Нужно выдать каждому подростку один бо- тинок с подошвой из первого материала, другой — с подошвой из другого материа- ла. В этом случае все возможные отличия в износе подошвы будут вызваны исклю- чительно различными свойствами материалов и никаким другим фактором. В этом случае сравниваются не средние значения в обеих группах, а износ по- дошв обоих ботинок каждого подростка. Если одна подошва в среднем изнашивается больше другой (не имеет значения, насколько сильно они изнашиваются, важна лишь разница между ними), это вызвано различием в свойствах материалов. Для сравнения средних значений выборок, сформированных таким образом, ис- пользуется так называемый t-критерий Стьюдента для парных выборок. Очевидно, что не следует изготавливать из материала А подошву только правых ботинок, а из материала В — подошву левых ботинок, так как, возможно, подошвы на одной ноге в среднем изнашиваются больше. Этого можно избежать, если чере- 128
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ УИЛЬЯМ СИЛИ ГОССЕТ, ОН ЖЕ «СТЬЮДЕНТ» Любой, кто хотя бы немного изучал статистику, непре- менно сталкивался с распределением Стьюдента, кото- рое используется даже чаще, чем нормальное распре- деление, или с t-критерисм Стьюдента для сравнения средних значений. Стьюдент - это псевдоним, которым подписывал свои работы Уильям Сили Госсет (1876-1937), внес- ший огромный вклад в статистику. Всю свою жизнь он проработал на пивоваренном заводе Guinness в Ду- блине. В начале XX века, когда I оссет окончил курсы мате- матики и химии в Университете Оксфорда, компания Guinness перешла в руки юного наследника, который решил отойти от традиционных способов изготовле- ния пива и воспользоваться помощью ученых в разработке новых, более совершенных спосо- бов пивоварения. Одним из тех, кто был принят на работу, был Стьюдент. Он быстро понял, как важно использовать методы статистики при сравнении различных рецептов приготовления пив?. Было необходимо изучить влияние сырья, характеристики которого существенно варьировались и были подвержены воздействию факторов окружающей среды. Требовалось проводить экспери- менты, но их число всегда было недостаточным, и нужно было делать выводы на основе неболь- шого объема доступных данных. До того времени считалось, что использованные выборки всегда были достаточно велики, чтобы по ним можно было точно оценить параметры генеральной сово- купности. Однако при работе с малыми выборками оценки были неточными, и ими нельзя было руководствоваться. Госсет занялся поисками решения этой задачи и опубликовал свои выводы под псевдонимом Стьюдент, поскольку сотрудникам компании запрещалось публиковать статьи с результатами своих исследований. Существует несколько версий того, как и почему Госсет выбрал себе такой псевдоним. По од- ной из версий, в компании Guinness стало известно об увлечении Госсета математикой уже после его смерти, однако другие источники указывают, что в компании знали о том, что он публикует статьи, а псевдоним Стьюдент предложил сам директор. По-видимому, целью Госсета было не со- хранить в секрете разрабатываемые им теории, а скрыть от конкурентов, что Gu.nness использует статистические методы для улучшения качества продукции. 129
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ довать материалы случайным образом (например, бросать монету для каждой пары обуви, и если выпадает решка, то из материала А изготавливается подошва правого ботинка). Таким образом, ожидается, что если обувь на конкретной ноге изнашивается больше, при чередовании материалов случайным образом возможное влияние этого фактора будет устранено. Выбор материала случайным образом не ведет к дополнительным затратам и по- зволяет исключить влияние прочих известных и даже неизвестных факторов. По- хожим примером является анализ износа различных видов покрытия, которое нано- сится на стекла очков. Если одной группе людей раздать очки с одним покрытием, другой — с другим покрытием и по прошествии некоторого времени измерить его износ, то на степень износа очевидно повлияет не только материал, но и то, как люди ухаживали за очками, факторы окружающей среды и другие причины. Следовательно, как и при анализе материала для подошв, наилучшим вариантом будет раздать всем очки, в которых на одно стекло будет нанесено одно покрытие, на второе стекло — другое покрытие (разумеется, это невозможно, если цвета по- крытия отличаются). Стоит ли выбирать покрытие случайным образом или же мож- но всегда использовать покрытие А для правых стекол, покрытие В — для левых? Ученые, проводившие подобные эксперименты, говорят, что мы всегда начинаем протирать очки с одного и того же стекла. Тот, кто сначала чистит правое стекло, всегда чистит первым именно его, а то стекло, которое протирается первым, как пра- вило, будет чище. Поэтому всегда лучше производить выбор случайным образом. Сделайте это сами Существуют городские легенды (кто знает, возможно, это не просто легенды), ко- торые можно проверить с помощью статистики. Рассмотрим несколько примеров. Помогает ли чайная ложка удержать газ в бутылке шампанского? Некоторые люди считают, что если опустить ложку в горлышко бутылки шампан- ского, то из нее не будет выходить газ (или по крайней мере он будет выходить мед- леннее, чем из открытой бутылки) и вино дольше сохранит свой вкус. Как развеять сомнения? Попробовать, то есть провести эксперимент. Эта задача похожа на задачу о дегустаторе чая. Можно попросить кого-нибудь попробовать шампанское из бутылки, в горлышко которой положили ложку, затем 130
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ из бутылки с открытым горлышком. Мы уже знаем, что одного бокала из каж- дой бутылки недостаточно. Нужно налить минимум три бокала из одной бутылки и столько же — из другой. Бутылки должны быть полностью одинаковыми и долж- ны храниться в одинаковых условиях. Единственная разница должна состоять в том, что в горлышко одной бутылки положили ложку. Вероятность случайно угадать все три бокала из бутылки, в горлышко которой положили ложку, равна 5 % (напомним, что три предмета из шести можно выбрать 20 разными способами, лишь один из которых является правильным). Чтобы сни- зить вероятность случайного угадывания, нужно предложить дегустатору больше бокалов, но следует учесть, что после определенного числа бокалов он уже не смо- жет четко различать вкус шампанского. Можно дать попробовать шампанское нескольким людям, но нужно быть внима- тельным: в этом случае вероятность случайного угадывания возрастет. Если вероят- ность того, что один человек точно укажет все три бокала, равна 5 %, то вероятность того, что один из пяти человек верно определит все три бокала, будет равна пример- но 40 %, и сделать какие-то точные выводы будет нельзя. Очевидно, что можно использовать прибор, измеряющий содержание газа в вине, и получить абсолютно точный результат. Однако не стоит забывать, что прибор может указать на различия, которые будут неощутимы на вкус, а между тем именно они представляют для нас интерес. Следовательно, вопреки показаниям прибора, класть ложку в горлышко бутылки не имеет смысла. По этой же причине не стоит доверять проведение эксперимента дегустатору вина, способному определять его вкус с ис- ключительной точностью. Умеете ли вы выбирать дыни? Задача о выборе спелой дыни еще больше похожа на задачу о дегустаторе чая. Некоторые люди утверждают, что умеют выбирать спелую дыню по весу, на звук и так далее. Чтобы определить, так ли это на самом деле, можно выбрать пять дынь случайным образом и предложить знатоку выбрать из них одну, по его мне- нию, самую спелую. Далее нужно взять по одной дольке из каждой дыни и снова предложить выбрать самую спелую, но теперь уже на вкус. Разумеется, в обоих случаях знаток должен указать одну и ту же дыню. Недостаток этого экспе- римента заключается в том, что вероятность случайного угадывания равна 1/5 (20 %), следовательно, результат будет ненадежным. Однако вероятность слу- чайного угадывания в двух случаях из двух составляет всего 4 %, в трех случаях 131
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ из трех — 8 %, что крайне маловероятно, если знаток действительно не умеет выбирать спелые дыни. Будут ли цветы стоять дольше, если добавить в воду аспирин? По-видимому, аспирин полезен не только для человека. Достаточно распространено мнение, что цветы будут стоять дольше, если добавить в воду аспирин. Чтобы проверить это экспериментально, можно взять два букета по 20 цветов (лучше если все цветы будут разными, то есть выбрать по две розы, две гвоздики, две маргаритки и так далее). Далее нужно поставить букеты в вазы и убедиться, что они находятся в абсолютно одинаковых условиях. Единственное различие будет заключаться в том, что в воду в одной вазе мы добавим немного аспирина, в дру- гой — нет. Если эффект от аспирина отсутствует, вероятность того, что первым завя- нет определенный цветок, равна 50 %. Следовательно, крайне маловероятно, что во всех 20 случаях дольше простоят цветы в той вазе, куда был добавлен аспирин. Вероятность случайного совпадения равна вероятности выпадения решки 20 раз подряд при 20 бросках монеты. Применив правило «и» (см. главу 2), получим: 0,520 = 9,5 • 10-7 ( порядка одной миллионной). Если цветы в вазах с аспирином будут стоять дольше, это будет очевидно доказывать эффективность аспирина. Вероятность того, что цветы в воде, куда был добавлен аспирин, будут стоять дольше минимум в 19 случаях, равна 2 на 10 000; минимум в 15 случаях — порядка 2 %; в 14 случаях — почти 6 %. Следовательно, неудивительно, что цветы будут стоять дольше в воде, куда был добавлен аспирин, в 14 случаях и менее, даже если аспирин не оказывает абсолютно никакого эффекта. Приняв вероятность ошибки равной 5 % (эта величина называется уровнем значимости), аспирин следует считать эффективным, если цветы будут стоять дольше минимум в 15 случаях из 20. 132
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ Минимальное число раз, когда цветок будет стоять дольше в воде с аспирином Вероятность этого события, если эффект от аспирина отсутствует 20 0,00000095 19 0,00002003 18 0,00020123 17 0,00128841 16 0,00590897 15 0,02069473 14 0,05765915 Этот эксперимент очень прост, и в нем не учитывается, на сколько дольше со- храняется один цветок по сравнению с другим — на день, два дня или на неделю. Можно использовать и другие показатели, например критерий Уилкоксона, в ко- тором учитывается разница во времени для каждой пары цветов. Однако важнее, чтобы эксперимент был проведен корректно, а его выводы не экстраполировались на другие случаи, нежели какой именно критерий мы выберем. Действительно ли дорогие батарейки работают дольше? Когда мы покупаем бытовую технику, то помимо прочих факторов учитываем и ее внешний вид. Однако при покупке батареек единственный важный параметр — это время их работы. Любопытно проанализировать разницу в ценах между одинаковыми батарейка- ми в зависимости от марки или магазина, где они были куплены. Обычные бата- рейки с напряжением 1,5 В от известных производителей могут стоить в два раза дороже батареек, купленных в дешевом супермаркете (и это совсем не значит, что там продаются только плохие батарейки). Также верно и то, что в последнее вре- мя известные производители предлагают различные скидки, и разница в цене уже не столь велика — рынок диктует свои правила. Правда ли, что дорогие батарейки работают дольше? И если они действительно работают дольше, то выгоднее ли покупать их? Иными словами, компенсирует ли разница во времени работы разницу в цене? Чтобы ответить на эти вопросы, нужны данные. Необходимо тщательно продумать алгоритмы сбора данных и проанализи- ровать их нужным образом, чтобы получить достоверный результат. Иначе говоря, нужно использовать методы статистики. Задачу непросто решить по следующим причинам. 133
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ КАК РАЗДЕЛИТЬ 20 МЫШЕЙ НА ДВЕ РАВНЫЕ ГРУППЫ СЛУЧАЙНЫМ ОБРАЗОМ? Допустим, мы хотим провести эксперимент на лабораторных мышах, чтобы сравнить, как различ- ные диеты (обозначим их А и В) влияют на выносливость. У нас есть 20 мышей приблизительно одного возраста, их остальные характеристики также примерно равны. Мы делим их на две группы по 10 и кормим мышей каждой группы в соответствии с определенной диетой. По прошествии нескольких месяцев мы проводим эксперимент: помещаем мышей в воду и замеряем, сколько времени они смогут удержаться на поверхности, после чего вытаскиваем их из воды. Эксперимент показывает, что мыши, которых кормили по диете В, более выносливы, чем те, которых кормили по диете А: разница во времени, в течение которого мыши удерживались на поверхности воды, является статистически значимой и однозначно свидетельствует в пользу диеты В. Кажется, вы совершили открытие. Но как именно вы поделили мышей на группы? Разумеется, случайным образом: вы засовывали руку в клетку и «случайным образом» доставали 10 мышей по очереди. Эти мыши составили группу А, те, что остались в клетке, - группу В. Что-то не так? Разумеется. Мыши были разделены на группы не случайным образом. Когда мы достаем мышей из клетки, то, скорее всего, сначала мы достанем самых медленных, то есть самых слабых. Эти мыши образуют группу А, мыши из которой по итогам эксперимента оказались менее выносливыми. Но почему эти мыши оказались более медленными? Причина в диете или в том, что мы изначально собрали более медленных мышей в одной группе? Определить это нельзя. Вывод: важно гарантировать, что принцип формирования групп полностью случаен, на- пример с помощью случайных чисел, бумажек или другим похожим способом. Если группы были сформированы не случайно, эту ошибку очень трудно исправить. 1. Время работы и дорогих, и дешевых батареек варьируется. Их нельзя сравни- вать по одной, так как время их работы гарантированно будет отличаться (если измерения будут проводиться с достаточной точностью), но это не означает, что если одна батарейка конкретного типа работает дольше, то и все батарейки этого типа будут в среднем работать дольше. 2. Если мы сформируем выборку батареек каждого типа и сравним среднее время работы по выборкам, то разница между средними значениями по выборкам также не будет однозначно свидетельствовать в пользу тех или иных батареек. Если обе группы будут состоять из батареек одной и той же марки, то и в этом 134
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ случае среднее время работы в каждой группе будет различаться. Необходимо, чтобы разница во времени работы была статистически значимой. 3. Батарейки используются в разных устройствах и в разных режимах. Может оказаться так, что в одних устройствах они будут работать одинаковое время, в других — разное. 4. Измерить время работы батареек непросто. Мы не можем непрерывно день и ночь наблюдать за работой устройства. Можно выбрать определенное устройство и сравнить время работы для выбор- ки дорогих и дешевых батареек. Можно подключить батарейку к лампочке и часам (электронные часы в этом случае не подходят) так, как показано на рисунке. Когда батарейка разрядится, стрелки часов остановятся, и мы сможем точно определить время работы батарейки. Нужно производить наблюдения минимум 1 раз в 12 ча- сов, но в этих условиях батарейки проработают недолго. 135
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ Для анализа полученных данных всегда рекомендуется использовать их графиче- ское представление. Для небольшого объема данных, как в этом случае (например, для 10 батареек каждого типа), достаточно точечной диаграммы. Может случиться, что различия будут незаметны или диаграмма не позволит сделать однозначные вы- воды. Статистические тесты помогут нам подтвердить начальные предположения: результаты тестов не могут противоречить диаграмме. _# ш •_? t_s Различия незаметны. • • • • •• •• • • • • • • ••• ♦ ♦ ♦ Среднее по второй группе больше, чем по первой. • • _ • •• • • • • п—,—,—, T —,—,—, Неясно, является ли разница статистически значимой. Графическое представление трех возможных ситуаций. Для анализа полученных данных подобным образом можно использовать t-критерий Стьюдента для независимых выборок. Это очень просто сделать с по- мощью Excel: нужно лишь указать, в каких ячейках находятся данные (первые два параметра функции «ТТЕСТ»), «хвосты» (третий параметр) и вид критерия (чет- вертый параметр функции). Третий параметр зависит от альтернативной гипотезы (нулевая гипотеза за- ключается в том, что различия отсутствуют). Если она такова, что более дорогие батарейки работают дольше (предположить это вполне логично), значение этого параметра будет равно 1. Если же альтернативная гипотеза заключается в том, что дорогие батарейки работают дольше или меньше, значение этого параметра будет равно 2. Четвертый параметр, вид критерия, указывает, являются ли выборки парными. Если выборки не парные, как в нашем примере, вариацию можно считать одинако- вой в обеих выборках. Если графическое представление данных подобно указанному на точечных диаграммах выше, нетрудно заметить, что вариация одинакова. Если у вас возникли сомнения, можно указать, что вариация отличается, однако это почти не повлияет на результат. 136
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ D1 ~ =ТТЕСТ(А1:А1О;В1:В1О;1;2) А В С F 1 9,4 11,37 | 0,0164518391 2 10,66 9,91 3 8,24 10,87 4 9,48 10,52 JL 10,34 12,10 Получение p-значения для t-критерия Стьюдента с помощью Excel. В сомнительной ситуации, подобной той, что изображена на третьей диаграм- ме, по результатам теста p-значение равно 0,02 (нет смысла приводить его с такой точностью, как это делается в Excel). Как вы уже знаете, это означает, что если бы батарейки и того и другого типа в среднем работали одинаково, то разница, полу- ченная по результатам эксперимента, была бы вызвана исключительно случайными факторами всего в 2 % случаев. Действительно ли пакеты с водой отпугивают мух? Пластиковые пакеты, наполненные водой, — популярное средство для отпугивания мух (в Интернете упоминается, что этот способ используют везде, от Латинской Америки до Таиланда). Некоторые люди считают, что это средство работает, другие сомневаются. Любопытно, что те, кто верит в эффективность этого средства, приводят совер- шенно разные доводы: кто-то указывает, что луч света, проходящий через пакет с водой, раскладывается в спектр, и это сбивает с толку мух, так как их глаза устрое- ны особым образом. Другие считают, что мухи не приближаются к воде, потому что знают: если они намокнут, то не смогут летать. Кто-то полагает, что пакеты с водой, напротив, используют в магазинах, так как они притягивают мух и те не мешают покупателям. Помогают ли пакеты с водой против мух или нет? Не вдаваясь в анализ при- чин и следствий, на этот вопрос можно ответить с помощью грамотно проведенного эксперимента. Однако провести его непросто. Нужно будет подсчитать число мух в комнате, где есть пакеты с водой, и в комнате, где их нет. Нужно выставлять пакеты с водой в определенные дни, выбранные случайным образом, и всякий раз подсчи- тывать число мух в помещении. Сосчитать мух нелегко, хотя нам могут помочь высокие технологии: некоторые фотоаппараты можно настроить так, что они будут делать снимок через заданные 137
ЧТО ЛУЧШЕ? ЧТО ЭФФЕКТИВНЕЕ? КАК ФОРМИРОВАТЬ ВЫБОРКИ ДЛЯ ОТВЕТОВ НА ПОДОБНЫЕ ВОПРОСЫ промежутки времени. Если делать снимки хорошим фотоаппаратом в комнате с бе- лыми стенами, то мы сможем подсчитать число мух относительно точно. Однако этот метод обладает еще одним недостатком: если одни мухи вылетают из комнаты, а другие — влетают, это нельзя определить с помощью фотографий. Для подсчета мух в комнате также можно использовать липкую ленту. Читатель наверняка сможет предложить и другие способы. Верно одно: если мы не получим данные с помощью грамотно проведенного эксперимента, то не узнаем, насколько эффективны пакеты с водой против мух. 138
Библиография BEHAR, R. у Grima, P., 55 Respuestas a preguntas tipicas de estadistica, Madrid, Diaz de Santos, 2004. BLASTLAND, M. у Dilnot, A., El tigre que no estd. Un paseo por la jungla de la esta- distica, Madrid, Ed. Turner, 2009. GRIMA, P. (editor), Estadistica en action, publicado por la Facultad de Matematicas у Estadistica de la Universidad Politecnica de Cataluna. Se puede descargar gratuita- mente en: http://upcommons.upc.edu/e-prints/handle/2117/7810. PAULOS, J.A., El hombre anumerico, coleccion Metatemas, Barcelona, Tusquets, 1990. PENA, D., Fundamentos de estadistica, Madrid, Alianza, 2001. SALSBURG, D., The Lady Tasting Tea. How Statistics Revolutionized Science in the Twentieth Century, Nueva York, W.H. Freeman, 2001. TANUR, J.M. ET AL., La estadistica: una guia de lo desconocido, Madrid, Alianza, 1989. 139

Алфавитный указатель р-значение 109, 113—116, 122, 136-137 аспирин 117 и инфаркты 123—125 и сохранность цветов 132—133 батарейки (время работы) 133—137 Беар, Роберто 10, 90 Бюффон, Жорж-Луи Леклерк де 49 вакцина против полиомиелита 117— 123,126,127 вариация 19—22 вероятность 43—73, 75, 86,115,124, 129 влияние внешних факторов 127—130 Вольф, Рудольф 49 выбор дыни 132 выборка 16, 22, 64, 75—77, 81, 87— 99,122,134-136 Галилей, Галилео 44, 48 Гальтон, Фрэнсис 53 Гаусс, Карл Фридрих 61—65 генеральная совокупность 21—22, 75-76, 81, 83, 90-92 гипотеза альтернативная 109,136 нулевая 109-115,122 гистограмма 29—32, 35, 61, 64, 84, 108,112 Госсет, Уильям Сили 129 Гэллап, Джордж 93 двойной слепой метод 120—121, 124 диаграмма 60, 64 «стебель — листья» 32, 33 точечная 31,137 дни рождения 69-72 доверительный интервал 75, 86-89, 91, 92, 95 жеребьевка при призыве в армию 94-95 забитые мячи в чемпионате Испании 58-61 задача о дегустаторе чая 102—103, 108-109 задача о разделении мышей на группы 134 закон Стиглера 63 значимая разница 121, 126, 128, 134— 136 игральные кости, сбалансированные 50,111-113 избиратели, которые не определились с выбором 99—100 испанская национальная лотерея 55, 67, 68, 71, 72-73, 84 квартили 23-24 квинкункс 53 Керрич, Джон 48 Кетле, Адольф 62 колокол Гаусса 53, 61—67, 110 контрольная группа 119—122 корреляция 106, 109 коэффициент вариации 23 корреляции 105—110 левши 91 ложка в бутылке с вином 131 141
АЛФАВИТНЫЙ УКАЗАТЕЛЬ ложка, которой пробуют суп 90, 92 ложноположительные результаты 68-69 Лэндон, Альф 93 медиана 17, 23—25 Мендель, Грегор 114 Мере, шевалье де 46 метод двойного охвата 76 метод плацебо 120—122 мода 17—19 Найтингейл, Флоренс 18 оценка 68, 75-87, 93, 98,100 пакеты с водой 137-138 парадокс Симпсона 26—27 парламентские кресла 100 Паскаль, Блез 46—47 перцентили 24—25 Пирсон, Карл 49, 110, ИЗ погрешность измерений 33, 75, 86—92, 95,100 правило «и» 51, 52,132 правило «или» 51, 54 предвыборные опросы 45, 93, 98—100 президентские выборы в США 38, 93 проверка статистической гипотезы 50, 101-116 проценты 25—27 Пуассон, Симеон 58 размах вариации 19 размер выборки 87—92 распределение биномиальное 55—58, 86 нормальное 23, 53, 61—68, 84, ИЗ Пуассона 58—61 хи-квадрат ИЗ эталонное ИЗ Рузвельт, Франклин Делано 93, 118 Салсберг, Дэвид 103 случайность 92—98 случайный отбор 127—130 Смит, Хью 103 Сноу, Джон 11—15 соль в супе 90 среднее арифметическое 15—16, 39 среднеквадратическое отклонение 19— 23, 39, 65-67 Стиглер, Стивен 63 Стьюдент 128—130, 136, 137 табак и рак легких 125—127 точность 86 Ферма, Пьер 46—47 Фишер, Рональд Эйлмер 101—104, 110, ИЗ, 114,126 холера в Лондоне 11—15 «Челленджер» 40 численность рыб в озере 76—80 число погибших от удара копытом ло- шади 58—61 число такси в городе 80—83 142
ДЛЯ ЗАМЕТОК
Научно-популярное издание Выходит в свет отдельными томами с 2014 года Мир математики Том 13 Пере Грима Абсолютная точность и другие иллюзии. Секреты статистики РОССИЯ Издатель, учредитель, редакция: ООО «Де Агостини», Россия Юридический адрес: Россия, 105066, г. Москва, ул. Александра Лукьянова, д. 3, стр. 1 Письма читателей по данному адресу не при- нимаются. Генеральный директор: Николаос Скилакис Главный редактор: Анастасия Жаркова Выпускающий редактор: Людмила Виноградова Финансовый директор: Наталия Василенко Коммерческий директор: Александр Якутов Менеджер по маркетингу: Михаил Ткачук Менеджер по продукту: Яна Чухиль Для заказа пропущенных книг и по всем вопро- сам, касающимся информации о коллекции, за- ходите на сайт www.deagostini.ru, по остальным вопросам обращайтесь по телефону бесплатной горячей линии в России: ® 8-800-200-02-01 Телефон горячей линии для читателей Москвы: ® 8-495-660-02-02 Адрес для писем читателей: Россия, 105066, г. Москва, а/я 13, «Де Агостини», «Мир математики» Пожалуйста, указывайте в письмах свои кон- тактные данные для обратной связи (телефон или e-mail). Распространение: ООО «Бурда Дистрибьюшен Сервисиз» УКРАИНА Издатель и учредитель: ООО «Де Агостини Паблишинг» Украина Юридический адрес: 01032, Украина, г. Киев, ул. Саксаганского, 119 Генеральный директор: Екатерина Клименко Для заказа пропущенных книг и по всем вопро- сам, касающимся информации о коллекции, за- ходите на сайт www.deagostini.ua, по остальным вопросам обращайтесь по телефону бесплатной горячей линии в Украине: ® 0-800-500-8-40 Адрес для писем читателей: Украина, 01033, г. Киев, а/я «Де Агостини», «Мир математики» Укра'ша, 01033, м. Ки’1’в, а/с «Де Агоспш» БЕЛАРУСЬ Импортер и дистрибьютор в РБ: ООО «Росчерк», 220037, г. Минск, ул. Авангардная, 48а, литер 8/к, тел. /факс: +375 17 331 94 27 Телефон «горячей линии» в РБ: ® + 375 17 279-87-87 (пн-пт, 9.00-21.00) Адрес для писем читателей: Республика Беларусь, 220040, г. Минск, а/я 224, ООО «Росчерк», «Де Агостини», «Мир математики» КАЗАХСТАН Распространение: ТОО «КГП «Бурда-Алатау Пресс» Издатель оставляет за собой право увеличить реко- мендуемую розничную цену книг. Издатель остав- ляет за собой право изменять последовательность заявленных тем томов издания и их содержание. Отпечатано в соответствии с предоставленными материалами в типографии: Grafica Veneta S.p.A Via Malcanton 2 35010 Trebaseleghe (PD) Italy Подписано в печать: 23.11.2013 Дата поступления в продажу на территории России: 15.04.2014 Формат 70 х 100 / 16. Гарнитура «Academy». Печать офсетная. Бумага офсетная. Печ. л. 4,5. Усл. печ. л. 5,832. Тираж: 200 000 экз. © Pere Grima, 2010 (текст) © RBA Collecionables S.A., 2011 © ООО «Де Агостини», 2014 ISBN 978-5-9774-0682-6 ISBN 978-5-9774-0706-9 (т. 13) @ Данный знак информационной про- дукции размещен в соответствии с требования- ми Федерального закона от 29 декабря 2010 г. № 436-ФЗ «О защите детей от информации, при- чиняющей вред их здоровью и развитию». Издание для взрослых, не подлежит обязатель- ному подтверждению соответствия единым требо- ваниям, установленным Техническим регламентом Таможенного союза «О безопасности продукции, предназначенной для детей и подростков» ТРТС 007/2011 от 23 сентября 2011 г. № 797.
Абсолютная точность и другие иллюзии Секреты статистики Статистика - наука, которая кажется знакомой, ведь мы привыкли слышать упоминания о ней в СМИ. Иногда к ней относятся несерьезно, потому что статистические прогнозы не всегда сбываются. Однако этот факт не отменяет чрезвычайной важности статистических исследований. Цель статистики - получить знания объективным способом на основе наблюдений и анализа реальности. В этой книге затронуты некоторые наиболее интересные аспекты статистики, например, вопросы о том, как провести сбор данных и как представить информацию с помощью графиков. Читатель совершит экскурс в теорию вероятностей, а также узнает о статистических исследованиях, предвыборных опросах и о том, какие рассуждения лежат в основе всех статистических тестов. ISBN 978-597740682-6