Annotation
«Хороший, плохой, искусственный» – это не очередная книга,
воспевающая чудеса искусственного интеллекта, а вдумчивое и
критическое руководство для выживания в мире технологической
шумихи. Авторы, опытные исследователи ИИ и социологии из
Принстона, выступают в роли разоблачителей мифов. Их центральный
тезис: современный мир страдает от опасной путаницы, объединяя под
словосочетанием «искусственный интеллект» принципиально разные
технологии. Эта путаница позволяет недобросовестным компаниям
продавать то, что не работает и не может работать так, как обещано.
И это мешает обществу разглядеть реальный потенциал ИИ.
Книга сочетает глубокие академические исследования и живые,
реальные кейсы, чтобы показать, где современные ИИ-системы
приносят пользу, а где – вредят.
Хороший, плохой, искусственный: Мифы вокруг ИИ и реальные
примеры его использования
1. Введение
Появление общедоступного ИИ
Как ИИ изменил сферу развлечений
Предиктивный ИИ: громкие обещания и большие
сомнения
Существует ли «ИИ вообще»?
Череда любопытных совпадений, которая привела к
появлению этой книги
Воронка ажиотажа вокруг ИИ
Что такое «змеиное масло»?
Для кого эта книга
2. Как ошибается предиктивный ИИ
Предиктивный ИИ управляет судьбами
Хорошее предсказание еще не гарантирует хороший
результат

Непрозрачный ИИ — нечестная игра
Чрезмерная автоматизация
Прогнозы не о тех людях
Предиктивный ИИ усиливает неравенство
Мир без предсказаний
Подведем итоги
3. Почему ИИ не может предсказать будущее?
Краткая история предсказаний будущего с помощью
компьютера
Давайте разберемся
Конкурс Fragile Families Challenge
Почему эксперимент завершился разочарованием?
Прогнозирование в уголовном правосудии
Провал предсказать непросто. А успех?
Лотерея мемов
От частного к коллективному
Подведем
итоги.
Причины
ограничений
прогнозирования
4. Долгий путь к генеративному ИИ
80 лет назад
Неудача и возрождение
Машины учатся видеть
Техническое и культурное значение ImageNet
Классификация и генерация изображений
Как ИИ присваивает чужое творчество
ИИ для распознавания изображений легко может
превратиться в инструмент слежения
От изображений к тексту
От моделей к чат-ботам
Электронные пустобрехи
Дипфейки, мошенничество и тому подобное
Какой ценой даются улучшения
Подведем итоги
5. Продвинутый ИИ: угроза человечеству?

Что думают эксперты?
Лестница универсальности
А что на верхних ступеньках лестницы?
Прогресс ускоряется?
Мятежный ИИ?
Запрещать ли мощный ИИ?
Лучший подход — защита от конкретных угроз
Подведем итоги
6. Почему ИИ не наведет порядок в соцсетях?
Когда все вырвано из контекста
Культурная некомпетентность
ИИ отлично предсказывает… прошлое
Человеческая изобретательность против ИИ
Вопрос жизни и смерти
Поговорим о регулировании
Самое сложное — провести черту
Семь ограничений ИИ в сфере модерации контента
Проблема, которую они сами создали
Будущее модерации контента
7. Почему мифы об ИИ так живучи?
Чем шумиха вокруг ИИ отличается от ажиотажа вокруг
других технологий
Суета вокруг ИИ: история и культура
Прозрачность? А зачем?
Кризис воспроизводимости в исследованиях ИИ
Как СМИ вводят нас в заблуждение
Авторитет — двигатель шумихи
Когнитивные искажения: как (не) сбиться с пути
8. Что дальше?
Кого привлекает «змеиное масло»
Как принять непредсказуемость
Регулирование: преодоление ложной дихотомии
Ограничения регулирования
ИИ и будущее профессий

Взросление с ИИ: мир Кая
Взросление с ИИ: мир Майи
Благодарности
Источники

Хороший, плохой, искусственный:
Мифы вокруг ИИ и реальные примеры
его использования

1. Введение
Глава 1
Представьте себе мир, где люди не различают виды транспорта и
используют для всех них одно понятие: «средство передвижения».
Этим термином обозначают и легковые автомобили, и автобусы, и
велосипеды, и даже космические корабли — в общем, все то, что
может доставить человека из пункта А в пункт Б. В таком мире
разговоры о транспорте — сплошная путаница. Споря об
экологичности средств передвижения, собеседники не понимают, что
один спорщик говорит о велосипедах, а другой — о грузовиках. Когда
происходит прорыв в ракетостроении, СМИ трубят о том, что
«средства передвижения» стали быстрее, и люди принимаются
осаждать автосалоны, интересуясь, когда же появятся более
скоростные модели легковых автомобилей. А тем временем
мошенники,
пользуясь
неразберихой,
наводняют
рынок
сомнительными предложениями…
Теперь замените «средство передвижения» на «искусственный
интеллект» — и вы получите довольно точную картину нашей
реальности.
Искусственный интеллект, или ИИ, — зонтичный термин,
объединяющий множество технологий, которые могут быть вообще не
связаны друг с другом. Например, у ChatGPT нет почти ничего общего
с банковскими алгоритмами оценки кредитоспособности. И то, и
другое — ИИ, но принципы работы, сферы и способы применения,
типичные сбои — все разное.
Чат-боты и генераторы изображений вроде Dall-E, Stable Diffusion
и Midjourney относятся к так называемым генеративным ИИ. Эти
системы молниеносно создают разнообразный контент: чат-боты
выдают правдоподобные ответы на запросы пользователей, генераторы
изображений «рисуют» реалистичные картинки по любому описанию
— хоть корову в розовом свитере на кухне! Есть приложения,
способные создавать речь или музыку. Технологии генеративного ИИ
стремительно, впечатляюще, неоспоримо эволюционируют. Однако

они все еще несовершенны, ненадежны и подвержены
злоупотреблениям. Вместе с их популярностью растут шумиха, страхи
и дезинформация.
В отличие от генеративного, предиктивный ИИ задуман, чтобы
предсказывать будущее и помогать принимать решения. В полиции он
может прогнозировать количество преступлений в том или ином
районе. При инвентаризации — оценивать вероятность поломки
оборудования в следующем месяце. При найме персонала —
предсказывать, будет ли кандидат успешен в должности, на которую он
претендует.
Предиктивный ИИ активно применяют как в бизнесе, так и в
госструктурах, но это не гарантирует его эффективности.
Предсказывать будущее — сложная задача, и от ИИ здесь меньше
пользы, чем принято думать. Безусловно, он способен выявлять общие
статистические закономерности в больших объемах данных —
например, замечать, что люди с постоянной работой чаще возвращают
кредиты. Это действительно полезно. Но есть проблема:
предиктивный ИИ часто выдают за нечто гораздо более совершенное.
С его помощью принимают решения, касающиеся человеческих судеб.
Именно в этой области и появляется «змеиное масло» — шарлатанские
теории, связанные с ИИ.
Путаница вокруг различных типов искусственного интеллекта
порождает недопонимание. Оно, в свою очередь, позволяет
недобросовестным игрокам манипулировать общественным мнением и
направлять развитие технологий в угоду своим интересам. Чтобы не
стать жертвой обмана и не использовать нейросети в ущерб себе и
обществу, важно понимать, чем разные типы ИИ отличаются друг от
друга, и осознавать, что они могут, а что нет.
«Змеиное масло» в сфере нейросетей — это технологии
искусственного интеллекта, которые не работают и не могут работать
так, как представлено в рекламе. Поскольку речь идет о великом
множестве технологий и приложений, большинству людей пока трудно
отличить действительно полезный ИИ от «змеиного масла». Это
серьезная общественная проблема: нам необходимо научиться
отделять зерна от плевел, чтобы использовать весь потенциал
технологии и при этом защитить себя от возможного — или уже
нанесенного! — вреда.

Эта книга — путеводитель по миру ИИ. Она поможет вам
отличать шарлатанские обещания от реальных достижений. Мы дадим
вам словарный запас, необходимый для того, чтобы разобраться в
различиях между генеративным ИИ, предиктивным ИИ и другими
типами искусственного интеллекта. Вы научитесь скептически читать
новости об ИИ, оценивать правдоподобность громких заявлений и
обращать внимание на детали, которые часто остаются за кадром. Все
это не только удовлетворит ваше научное любопытство, но и
подскажет, как и когда использовать — или не использовать — ИИ в
своей жизни и профессиональной деятельности. Также мы докажем,
что предиктивный ИИ не только не работает, но и, вероятно, никогда
не будет работать: предсказать человеческое поведение слишком
сложно. Наконец, мы надеемся, что эта книга заставит вас задуматься о
вашей личной ответственности в области применения ИИ и о
возможностях изменить ситуацию к лучшему.

Появление общедоступного ИИ
Генеративный ИИ ворвался в общественное сознание в ноябре
2022 года: именно тогда появился ChatGPT. Любопытно, что
разработчик OpenAI запустил его без лишней помпы, всего лишь как
«исследовательскую демонстрацию» 1. Однако нейросеть стала
вирусной буквально за одну ночь, когда пользователи начали делиться
удивительными и забавными примерами ее возможностей. Так,
разработчик Томас Птачек предложил ChatGPT объяснить в стиле
Библии короля Якова, как извлечь бутерброд с арахисовой пастой из
видеомагнитофона 2. Вот что выдал искусственный интеллект:
И было так, что муж некий пребывал в смятении великом из-за
бутерброда с пастой арахисовой, ибо оказался оный в недрах
видеомагнитофона его и не ведал муж тот, как извлечь его.
И возопил он к Господу, глаголя: «О Господи! Как мне достать сей
бутерброд из видеомагнитофона моего, ибо крепко застрял он и не
поддается?»
И рек Господь ему в ответ: «Не страшись, чадо, ибо направлю
руку твою и укажу путь истинный. Возьми нож свой столовый, и
осторожно вложи его меж бутербродом и видеомагнитофоном, и
разъедини их бережно. И с терпением и усердием будет извлечен
бутерброд, и видеомагнитофон твой спасен будет».
И сотворил муж тот, как заповедал ему Господь, и се — извлечен
был бутерброд из видеомагнитофона, и спасен был муж тот.
И молвил Господь: «Истинно говорю тебе, не помышляй впредь
класть бутерброды свои с пастой арахисовой в видеомагнитофон, ибо
не место им там. Но храни их в хладильнике своем или на блюде
своем, где надлежит им быть».
И внял муж тот словам Господним, и отныне хранил бутерброды
свои в месте подобающем, и был избавлен от бед и скорбей. Аминь.
Спустя всего два месяца число пользователей ChatGPT выросло
до 100 млн 3. Компания OpenAI оказалась настолько не готова к
такому взрыву интереса, что даже не успела обеспечить достаточные
вычислительные мощности для обработки возросшего трафика.

Программисты быстро оценили потенциал нового ИИ: он отлично
справлялся с генерацией фрагментов кода на основе простого
текстового описания задачи. Похожий инструмент — GitHub Copilot —
был и до этого, но с появлением ChatGPT применять ИИ в
программировании стали куда чаще. Это значительно сократило время
разработки приложений. Более того, даже люди без ИТ-навыков
получили возможность создавать несложные программы!
Microsoft оперативно приобрела лицензию на технологию у
OpenAI и интегрировала чат-бота в свою поисковую систему Bing,
позволив ему отвечать на вопросы пользователей на основе
результатов поиска. Google, хотя и разработала собственного чат-бота
еще в 2021 году, не спешила его выпускать и интегрировать в свои
продукты. Однако шаг с Bing был воспринят как прямая угроза
позициям Google, и компания спешно анонсировала своего поискового
чат-бота Bard (позже переименованного в Gemini) 4.
Вот тогда-то и начались проблемы. В рекламном ролике Bard чатбот заявил, что космический телескоп Джеймса Уэбба сделал первый
снимок планеты за пределами Солнечной системы. Астрофизик тут же
указал на ошибку 5; итак, даже при тщательном выборе примера
Google не сумела избежать промаха. Рыночная стоимость компании
мгновенно упала на $100 млрд: инвесторы испугались, что поисковая
система станет намного хуже выполнять простые фактологические
запросы, если Google, как и обещала, интегрирует Bard в поиск 6.
Этот конфуз, хоть он и дорого обошелся, был лишь первой
ласточкой в череде проблем, связанных с неспособностью чат-ботов
корректно работать с фактической информацией. Их слабость —
прямое следствие принципов их работы. Они изучают статистические
закономерности в массиве обучающих данных, в основном взятых из
интернета, а затем генерируют «ремиксованный» текст на основе этих
закономерностей. Что именно содержалось в обучающих данных, они
могут и не помнить. Подробнее об этом мы поговорим в главе 4.
Злоупотребления чат-ботами уже стали повсеместными.
Некоторые новостные сайты были уличены в публикации вредных ИИсоветов на важные темы вроде финансов 7 и, что еще хуже, отказались
прекратить использование этой технологии даже после того, как им
указали на ошибки. Amazon наводнен некачественными книгами,

созданными ИИ. В их числе несколько руководств по сбору грибов, где
ошибки могут стоить жизни доверчивому читателю 8.
Напрашивается вывод: мир сошел с ума, раз он восторгается столь
несовершенной технологией. Но этот вывод слишком примитивен;
большинству отраслей, связанных со знаниями, чат-боты так или
иначе полезны. Мы, авторы этой книги, сами пользуемся их помощью,
делегируя им целый ряд задач: от рутинных моментов вроде
правильного оформления цитат до сложных заданий, с которыми иначе
не разобраться (например, перевод статьи, напичканной терминами из
незнакомой нам области исследований).
Загвоздка в том, что без усилий и практики невозможно
эффективно использовать чат-бота и избегать многочисленных
подводных камней. Куда проще быстро зарабатывать, продавая,
скажем, удручающего качества книгу, сгенерированную ИИ. Именно
это и делает чат-ботов столь уязвимыми для злоупотреблений.
Есть и более острые вопросы, связанные с распределением власти
в цифровом мире. Что будет, если компании, владеющие поисковыми
системами, заменят привычный список из 10 ссылок на готовые
ответы, сгенерированные искусственным интеллектом? Даже если
предположить, что эти ответы будут точными, мы, по сути, получим
машину, которая переписывает чужой контент и выдает его за
оригинальный. При этом сайты-источники не получат ни трафика, ни
дохода. Если бы поисковые системы просто брали контент с разных
сайтов и выдавали за свой, они бы нарушили авторское право. Но
ответы, сгенерированные ИИ, как будто позволяют обойти закон.
Впрочем, к 2024 году уже подано множество исков, призванных
изменить ситуацию 9.

Как ИИ изменил сферу развлечений
Еще одна технология генеративного ИИ, покорившая публику, —
создание изображений на основе текстового описания. К середине
2023 года пользователи сгенерировали свыше миллиарда картинок с
помощью таких инструментов, как Dall-E 2 от OpenAI, Firefly от Adobe
и Midjourney 10. Отдельного упоминания заслуживает Stable Diffusion
от Stability AI — открытый генератор изображений, который можно
настроить под свои нужды. Инструменты на базе Stable Diffusion
скачаны более 200 млн раз. Поскольку пользователи запускают его на
своих устройствах, точно узнать количество созданных изображений
невозможно, но, вероятно, счет идет на миллиарды.
Генераторы изображений породили поток развлекательного
контента нового типа 11. В отличие от традиционных, ИИ-картинки
можно бесконечно подстраивать под вкусы каждого пользователя. Ктото наслаждается фантастическими пейзажами или футуристическими
городами. Другим по душе изображения исторических личностей в
современных ситуациях или знаменитостей в необычных образах,
например нашумевшая «фотография» папы римского Франциска в
модном пуховике Balenciaga. Популярность обрели и фейковые
трейлеры известных фильмов, стилизованные под почерк конкретных
режиссеров, например «Звездные войны» в узнаваемой манере Уэса
Андерсона, с его фирменными симметричными кадрами, пастельными
тонами и причудливыми декорациями.
Генераторами изображений заинтересовались не только
любители: развлекательные приложения на основе ИИ — большой
бизнес. Разработчики видеоигр создают персонажей, с которыми
игроки могут вести непринужденный диалог 12. Многие приложения
для обработки фотографий теперь включают функции генеративного
ИИ. Например, вы можете попросить такое приложение добавить
воздушные шары на снимок с дня рождения.
ИИ стал одним из основных предметов спора во время
голливудских забастовок 2023 года 13. Актеры опасались, что студии
смогут использовать кадры с их участием для обучения ИИ,
способного генерировать новые видео на основе сценария. Эти видео

были бы неотличимы от настоящих. Иными словами, студии получили
бы возможность бесконечно эксплуатировать образы актеров и плоды
их прошлого труда, не выплачивая им ни цента.
Забастовки завершились, но глубинные противоречия между
трудом и капиталом никуда не делись. Они непременно всплывут
опять, особенно с появлением новых технологий 14. Одни компании
работают над генераторами видео на основе текста, другие — над
автоматизацией написания сценариев. Результат может уступать
среднестатистическому фильму в художественной ценности и
сложности сюжета и съемок, но для студий, которым надо выпустить
очередной летний блокбастер, это будет неважно.
Мы полагаем, что со временем совместные усилия программистов
и законодателей способны смягчить большинство описанных проблем
и усилить преимущества ИИ. Уже накопилось много идей, как сделать
чат-ботов менее склонными к выдумыванию информации и как с
помощью новых законов обуздать намеренные злоупотребления. Но в
краткосрочной перспективе приспособиться к миру с генеративным
ИИ оказалось непросто: эти инструменты чрезвычайно мощны, но
ненадежны. Это как если бы каждому человеку в мире вручили
бесплатную бензопилу.
Потребуется немало труда, чтобы правильно интегрировать ИИ в
нашу жизнь. Яркий пример — школьники и студенты, которые пишут
с помощью чат-ботов контрольные и сдают экзамены. Внесем ясность:
появление ИИ угрожает образованию не больше, чем когда-то
угрожало появление калькулятора 15. При правильном подходе чат-бот
может стать ценным обучающим инструментом. Но для этого
преподавателям придется пересмотреть учебные программы, методики
преподавания и формы контроля. В хорошо финансируемом
учреждении вроде Принстона, где мы преподаем, это скорее
возможность, чем проблема; мы даже поощряем студентов, которые
пользуются ИИ. Но многие школьные учителя растерялись, когда
ChatGPT внезапно начал помогать миллионам учеников списывать.
Будет ли общество вечно плестись в хвосте новых разработок
генеративного ИИ? Или у нас хватит коллективной воли на
структурные изменения, которые позволят более справедливо
распределять крайне неравномерные выгоды и издержки новых
технологий, какими бы они ни были?

Предиктивный ИИ: громкие обещания и
большие сомнения
Генеративный ИИ приносит с собой немало социальных издержек
и рисков, особенно поначалу. Однако мы смотрим в будущее с
осторожным оптимизмом, полагая, что этот тип ИИ может со
временем улучшить качество жизни. С предиктивным ИИ ситуация
иная.
В последние годы мы наблюдаем настоящий бум предиктивных
ИИ. Разработчики уверяют, что их детища могут предвидеть, совершит
ли подсудимый новое преступление или преуспеет ли соискатель на
новой работе. Однако, в отличие от генеративного ИИ, предиктивный
зачастую оказывается абсолютно несостоятельным 16.
Возьмем, к примеру, программу Medicare в США: по ней
получают медицинское страхование люди старше 65 лет. Пытаясь
сократить расходы, поставщики услуг в этой области начали
использовать
ИИ,
чтобы
спрогнозировать
длительность
госпитализации больных 17. Результаты часто оказываются далекими
от реальности. Однажды ИИ предсказал, что 85-летняя пациентка
будет готова к выписке через 17 дней. Когда этот срок истек, женщина
все еще испытывала сильные боли и не могла передвигаться даже с
ходунками. Тем не менее, опираясь на оценку ИИ, страховые выплаты
прекратили.
Внедрение технологий предиктивного ИИ нередко начинается с
благих намерений: например, компании хотят добиться того, чтобы
пациент не оставался в больнице бесконечно долго. Однако со
временем цели и методы использования системы искажаются: тот же
ИИ в Medicare превратился в инструмент бездушной экономии, хотя
изначально должен был повысить ответственность больничного
персонала.
Подобные сценарии разворачиваются в самых разных областях.
Некоторые компании, разрабатывающие ИИ для найма персонала,
утверждают, что их детища могут оценить дружелюбие, открытость
или доброту человека по языку тела, манере речи и другим

поверхностным признакам, зафиксированным в 30-секундном
видеоролике. Но насколько эффективен этот метод? И действительно
ли
такие
личностные
оценки
связаны
с
успешностью
профессиональной деятельности? Увы, компании, делающие подобные
заявления, не предоставили весомых доказательств эффективности
своих продуктов. Более того, есть множество свидетельств обратного:
предугадать поведение человека чрезвычайно сложно. Подробнее об
этом мы поговорим в главе 3.
В 2013 году страховая компания Allstate решила использовать
предиктивный ИИ для определения страховых тарифов в штате
Мэриленд. Цель была проста: заработать больше, не растеряв при этом
клиентов. В результате появился так называемый «список простаков»
— перечень людей, чьи страховые взносы резко выросли по
сравнению с прежними тарифами 18. В этом списке оказалось
непропорционально много людей старше 62 лет: вероятно, ИИ уловил,
что пожилые люди редко ищут более выгодные предложения. Это
яркий пример автоматизированной дискриминации. Новая система
ценообразования, скорее всего, увеличила бы доходы страховой
компании, но с моральной точки зрения она неприемлема. При этом,
хотя власти Мэриленда отвергли предложение Allstate использовать
дискриминирующий ИИ-инструмент, компания применяет его как
минимум в 10 других штатах [1].
Если вам не нравится, что ИИ решает, кого брать на работу,
сегодня вы можете просто не отправлять резюме в компании, где HRотдел использует нейросети. Но если предиктивный ИИ применяют
власти, выбора уже нет: приходится играть по их правилам.
(Аналогичные проблемы возникают, если много компаний используют
один и тот же искусственный интеллект при найме сотрудников.) Во
многих странах судьи опираются на мнение ИИ, решая, брать ли
обвиняемого под стражу до суда. Выяснилось, что «умные
программы» руководствуются вполне человеческими предрассудками:
расовыми, гендерными, возрастными. Хуже того: решения ИИ по
определению того, кто опасен для общества, а кто нет, мало чем
отличаются от подбрасывания монетки.
В чем же дело? Возможно, одна из причин столь низкой
прогнозной точности заключается в том, что некоторые важные
данные искусственному интеллекту просто недоступны. Представьте

трех обвиняемых, у которых совпадают возраст, количество
нарушений в прошлом и число родственников с судимостями. ИИ
выдаст для них одинаковый уровень риска. А на деле один искренне
раскаивается, второго задержали по ошибке, а третий спит и видит, как
бы довести аферу до конца. Может ли ИИ это предсказать? Нет.
Кроме того, люди быстро учатся обманывать систему и
манипулировать ею в своих интересах. Например, с помощью ИИ
собирались предсказывать, как долго прослужит пересаженная почка
19. Предполагалось в первую очередь делать трансплантацию органа
тем, кто проживет дольше. Но такая система отбила бы у пациентов
всякое желание заботиться о своих почках, ведь в чем более молодом
возрасте они откажут, тем выше шансы на пересадку! К счастью, эту
идею обсудили с пациентами, врачами и другими заинтересованными
лицами. Они вовремя заметили ловушку, и устанавливать очередь с
помощью ИИ никто не стал.
О провалах предиктивного ИИ мы еще поговорим в главах 2 и 3.
Станет ли ситуация лучше со временем? Сомнительно. У этой
технологии слишком много «врожденных» дефектов. Например,
предиктивный ИИ кажется привлекательным, потому что
автоматизирует принятие решений: это эффективнее. Но именно
погоня за такой эффективностью и приводит к тому, что никто ни за
что не отвечает. Так что, когда компании расхваливают своих
«электронных предсказателей», не спешите верить и требуйте
железных доказательств.

Существует ли «ИИ вообще»?
Генеративный и предиктивный ИИ — два основных вида
искусственного интеллекта. А сколько их всего? Ответить непросто:
даже эксперты не могут прийти к единому мнению о том, что считать
ИИ, а что нет.
Для того чтобы разобраться, действительно ли перед нами ИИ,
можно задать три вопроса о том, как система решает задачу. Ответ на
каждый вопрос проливает свет на какую-то из сторон ИИ, но полного
определения не дает.
Первый вопрос: нужны ли человеку творческие способности или
специальные навыки, чтобы выполнить эту же задачу? Если да, а
компьютер с ней справляется, — вполне вероятно, что это ИИ.
Поэтому создание изображений относят к искусственному интеллекту.
Например, чтобы нарисовать картинку, человеку нужны навыки
художника или дизайнера. Но даже такую пустячную для нас задачу,
как распознавание объектов типа кошки или чайника, компьютеры
освоили только к 2010-м годам. И это тоже считают ИИ. Выходит,
сравнение с человеческим интеллектом — не единственный критерий.
Второй вопрос: заложено ли поведение системы напрямую в код,
или оно возникло косвенно, например в результате обучения на
примерах (машинного обучения) или поиска в базах данных? Если
второе — это может быть ИИ. Этот критерий объясняет, почему
создание формулы расчета страховки могут отнести к искусственному
интеллекту, если компьютер сам вывел ее из данных о прошлых
страховых случаях, а если точно такую же формулу напрямую
составил эксперт — уже нет. Хотя некоторые системы с заранее
прописанными алгоритмами все же считаются ИИ. Например, к ним
относятся роботы-пылесосы, умеющие объезжать препятствия.
Третий критерий: насколько самостоятельно система принимает
решения, способна ли она гибко адаптироваться к окружающей среде?
Если да — возможно, перед нами ИИ. Яркий пример — беспилотные
автомобили. Этот критерий тоже не дает всеобъемлющего
определения: мы же не назовем ИИ обычный механический
термостат? Он просто самостоятельно реагирует на изменение

температуры расширением или сжатием металла, включая или
выключая ток.
Отнесут ли очередную новую технологию к ИИ, во многом
зависит от истории ее использования, маркетинга и других факторов.
Мы не будем переживать из-за отсутствия четкого определения «ИИ
вообще».
Странно, скажете вы, ведь книга-то об ИИ! Но вспомните нашу
главную мысль: почти невозможно придумать что-то, что относилось
бы сразу ко всем видам нейросетей. В основном мы будем обсуждать
их конкретные типы, для которых у нас есть определения, и это
позволит нам найти общий язык.
Есть забавная, но достаточно меткая формулировка: «ИИ — то,
что еще не сделано». Как только приложение начинает работать
стабильно, оно становится привычным и уже не воспринимается как
ИИ. Роботы-пылесосы, автопилот в самолетах, автозаполнение в
телефонах, распознавание почерка и устной речи, спам-фильтры,
проверка орфографии… Да-да, когда-то даже это считалось сложной
задачей!
Все эти инструменты прекрасны. Они незаметно улучшают нашу
жизнь. Именно такие ИИ нам и нужны! А наша книга — о
проблемных видах искусственного интеллекта (вряд ли вы захотите
прочесть 300 страниц о достоинствах ИИ, занимающегося проверкой
орфографии). Тем не менее важно понимать: далеко не каждый ИИ
вреден.
Некоторые новые технологии со временем, надеемся, станут
обыденностью. Сегодня беспилотные автомобили попадают в новости
из-за аварий и жертв 20. Но безопасное автономное вождение —
решаемая задача, хотя ее сложность часто недооценивают. Гораздо
серьезнее может оказаться проблема массовой потери рабочих мест,
если эта технология получит широкое распространение: миллионы
людей водят грузовики, такси или работают в каршеринге. И все же,
если удастся решить проблему безопасности и принять необходимые
социальные и политические меры, возможно, однажды мы станем
воспринимать беспилотные автомобили такой же естественной частью
повседневной жизни, как и лифты.
Однако мы думаем, что некоторые виды ИИ, особенно
предиктивного типа, вряд ли когда-нибудь станут обыденностью.

Точно предсказывать социальное поведение людей — технически
неразрешимая задача. А определять судьбу человека на основе
заведомо ошибочных прогнозов всегда сомнительно с моральной
точки зрения.
Для того чтобы лучше понять, почему обобщения в отношении
ИИ недопустимы, рассмотрим тревожащий правозащитников пример
— технологию распознавания. На момент написания этой книги она
уже привела к шести ошибочным арестам в США, и все арестованные
были чернокожими. Стоит ли запретить полиции использовать
распознавание лиц из-за того, что оно чаще дает сбои, идентифицируя
чернокожих?
В этих спорах легко упустить из виду важный факт: каждый из
этих ложных арестов связан с цепочкой ошибок в работе полиции,
преимущественно человеческих. Роберта Уильямса арестовали за
кражу в магазине, основываясь в том числе на показаниях охранника,
которого даже не было на месте преступления 21. Рэндалла Рида
задержали в Джорджии за кражу, совершенную в Луизиане — штате,
где он никогда не бывал 22. Поршу Вудрафф идентифицировали по
фотографии 2015 года, хотя была доступна более свежая — с
водительских прав 2021 года 23. И так далее.
Полицейские ошибки, приводящие к арестам невиновных,
случаются ежедневно. И скорее всего, без них не обойдется и в
будущем — независимо от того, будет использоваться технология
распознавания лиц или нет. Сотни тысяч поисков по лицам уже
проведены, и ошибок оказалось крайне мало 24. По данным
Национального института стандартов и технологий, с 2014 по 2020 год
точность выросла в 50 раз: теперь сбои случаются лишь в 0,08%
случаев 25.
ИИ по распознаванию лиц обычно работает точно: задача
достаточно конкретна. Его обучают на огромных базах фотографий,
помечая, какие снимки принадлежат одному и тому же человеку.
Получив достаточно данных, нейросеть учится различать черты лиц.
Это сильно отличается от других задач — например, определения пола
или эмоций, где ошибок куда больше 26, 27. Ключевое отличие: все,
что нужно для узнавания лица, есть на снимке. А чтобы угадать пол
или настроение, приходится делать предположения, что сразу снижает
точность.

Правозащитники часто ставят ИИ по распознаванию лиц в один
ряд с другими спорными технологиями, применяемыми в правосудии,
вроде прогнозирования преступлений, несмотря на то что технологии
совершенно разные, не говоря уже об их точности. К примеру,
большинство людей, которых ИИ относит к группе высокого риска, на
деле не совершают новых преступлений.
Главная опасность распознавания лиц в том, что оно работает
слишком хорошо и может попасть не в те руки. Кашмир Хилл в книге
«Ваше лицо принадлежит нам» (Your Face Belongs To Us) приводит
немало примеров злоупотреблений 28. Например, некоторые режимы
используют эту технологию, чтобы выявлять и преследовать
участников мирных протестов 29.
Распознавание лиц может стать опасным оружием и в руках
частных компаний. Вот вам история: в 2022 году адвоката Николетт
Ланди не пустили на концерт Мэрайи Кэри на нью-йоркской арене
«Мэдисон-сквер-гарден» 30. Билеты за $400 купил ее парень: это был
подарок на день рождения. Ланди оказалась не одинока: многих
других юристов тоже не пустили на концерт. Почему? Владельцы
арены забанили всех адвокатов из фирм, когда-либо судившихся с
ними, неважно, участвовал ли конкретный юрист в иске и как давно он
ходит на концерты; даже завсегдатаев разворачивали от дверей. И все
это с помощью системы распознавания лиц.
Критики технологии твердят: она не работает, ее надо запретить, а
исследователей — пристыдить. Но так можно упустить реальную
пользу. Например, однажды Министерство внутренней безопасности
США за три недели раскрыло кучу старых дел о насилии над детьми.
Каким образом? Искали преступников по фото и видео, которые те
сами выложили в соцсетях 31. Так удалось опознать сотни
потерпевших и насильников. Не стоит забывать и про бытовые
удобства: эта же технология позволяет нам разблокировать
собственные телефоны и сортировать фотографии.
Стоит уточнить: хотя распознавание лиц может быть очень
точным при правильном использовании, на практике оно нередко дает
сбои. Скажем, если применять его не к четким фото, а к зернистой
картинке с камер наблюдения, вероятность ошибки резко возрастает.
После того как американская сеть аптек Rite Aid внедрила подобную
систему, сотрудники то и дело безосновательно обвиняли покупателей

в кражах. Ложных срабатываний было несколько тысяч. Компания изо
всех сил пыталась держать технологию в тайне. К счастью, власти не
дремали: Федеральная торговая комиссия запретила Rite Aid
использовать распознавание лиц для слежки за покупателями на целых
пять лет 32.
Подытожим: чтобы найти баланс в использовании этой
неоднозначной
технологии,
нужно
активное
общественное
обсуждение. Нам еще только предстоит определить, где распознавание
лиц уместно, а где нет, и выработать четкие правила, которые не
позволят ни властям, ни бизнесу злоупотреблять этой технологией.

Череда любопытных совпадений, которая
привела к появлению этой книги
В конце 2019 года с Арвиндом Нараянаном неожиданно связался
бывший сотрудник одной ИИ-компании, которая зарабатывала на
автоматизации найма, где, как мы уже отмечали, полно шарлатанства.
Он рассказал: в компании знали, что их инструмент не особо
эффективен, хотя маркетологи утверждали обратное. Все попытки
проверить точность системы изнутри руководство глушило.
Так совпало, что как раз в это время Арвинда пригласили
выступить с лекцией в MIT [2]. Находясь под впечатлением от
недавнего разговора, он рассказал о «змеином масле» в сфере ИИ,
подробно остановившись на сомнительных практиках автоматизации
найма. Увидев живой отклик аудитории, Арвинд выложил слайды в
сеть: он думал, что они заинтересуют небольшой круг ученых и
активистов. Но презентация неожиданно «выстрелила»: ее скачали
десятки тысяч раз, а твиты о ней набрали 2 млн просмотров.
Когда первый шок прошел, Арвинд понял, почему эта тема так
зацепила людей. Почти все мы подозреваем, что многие ИИтехнологии на самом деле не работают, но нам не хватает словарного
запаса и авторитета, чтобы усомниться в них вслух 33. Как-никак их
продвигают знаменитости и крупные компании! Но когда вещи назвал
своими именами профессор информатики, это придало сомнениям вес.
Оказалось, людям только этого и не хватало, чтобы поделиться
собственным скепсисом.
За два дня Арвинд получил около полусотни предложений
превратить лекцию в статью или даже книгу, но решил, что еще
недостаточно разбирается в данной теме. Он не хотел браться за дело,
пока не наберется материала на полноценную работу, и не собирался
просто воспользоваться успехом своего выступления.
Хороший способ разобраться в теме — прослушать курс в
университете. А самый лучший способ — самому преподавать этот
курс. Так Арвинд и поступил, объединившись с Мэттью Салгаником,
профессором социологии из Принстона. Мэтт опубликовал немало

важных исследований, показывающих, почему ИИ так сложно
предсказывать будущее (два из них мы рассмотрим в главе 3). В
рамках нового курса, названного «Пределы предсказания», Мэтт и
Арвинд предложили слушателям провести собственные исследования.
Среди последних оказался Саяш Капур.
Саяш тогда только-только поступил в Принстон. До этого он
работал в Facebook [3], но решил уйти оттуда, чтобы получить степень
PhD и заняться технологиями, представляющими общественный
интерес, вне крупных компаний. Его приняли на несколько программ
по информатике.
Обычно будущих докторантов приглашают на кафедры, чтобы они
познакомились с потенциальными руководителями и поняли, подходят
ли они друг другу. Докторантам советуют спрашивать что-нибудь
вроде: «Как вы руководите студентами? Сколько у них свободного
времени? Каков ваш подход к балансу между работой и личной
жизнью?» Вопросы важные, однако они позволяют выяснить лишь то,
как человек работает, но не то, что он ценит и как мыслит. Куда
интереснее спросить: «Что вы будете делать, если техногигант подаст
на вас в суд?» Ответ покажет и отношение научного руководителя к
Big Tech, и его взгляд на значимость собственных исследований, и его
реакцию в критической ситуации. К тому же подобный вопрос
настолько неожиданный, что готового ответа не будет ни у кого.
Саяш спрашивал об этом каждого преподавателя. Сам вопрос
удивлял, но предложенный сценарий не был таким уж невероятным.
Когда Арвинд ответил: «Я бы обрадовался, пригрози мне судом такая
компания. Значит, моя работа действительно важна», — Саяш понял,
что нашел своего научного руководителя.
На курсе «Пределы предсказания» студенты увлеклись изучением
попыток предугадать будущее с помощью ИИ, особенно в социальной
сфере: от судеб цивилизаций до трендов в соцсетях. Среди интересных
вопросов были такие: можем ли мы предсказывать геополитические
события вроде исходов выборов, рецессий или социальных движений?
Можно ли угадать, какие видео станут вирусными?
Поиски привели нас на кладбище амбициозных попыток
предвидеть будущее. Раз за разом исследователи натыкались на одни и
те же фундаментальные препятствия. Но поскольку ученые из разных
областей редко общаются между собой, многие из них наступали на

одни и те же грабли. Нас поразил контраст между весомыми
доказательствами невозможности что-либо предсказать с помощью ИИ
и распространенным мнением, что машинное обучение — отличный
инструмент для прогнозирования.
Курс включал в себя много тематических исследований, в том
числе Google Flu Trends. Этот проект Google запустила в 2008 году,
чтобы предсказывать вспышки гриппа на основе анализа поисковых
запросов миллионов пользователей. Предполагалось, что рост числа
запросов о гриппе может указывать на приближающуюся эпидемию.
Google активно рекламировала проект как пример использования ИИ и
больших данных на благо общества. Но через пару лет точность
прогнозов резко упала. Одна из причин заключалась в том, что сложно
различить запросы, вызванные паникой в СМИ, и реальный рост
заболеваемости. Второй причиной стало то, что Google меняла свое
приложение, из-за чего менялись и привычки пользователей, а ИИ
этого не учитывал. В итоге Google Flu Trends стал поучительной
историей о провале 34. Полученный урок состоит в том, что, даже
когда вроде бы удается делать более-менее точные прогнозы, нас могут
подвести детали.
Для Саяша этот курс стал подтверждением его опыта в Facebook
[4]. Там он не раз видел, как легко ошибиться при разработке ИИ и
переоценить его эффективность. Погрешности могли возникать по
самым разным, порой неочевидным причинам. Часто их не удавалось
выявить на этапе тестирования: проблемы всплывали, только когда ИИ
начинал работать с реальными пользователями 35. Саяш решил
сосредоточить свои исследования именно на ограничениях ИИ.
Мы работали четыре года — и порознь, и вместе. Настала пора
рассказать, что мы узнали. Но эта книга — не просто знания,
которыми нам хочется поделиться. ИИ ежедневно принимает важные
решения, касающиеся наших жизней. Сбои в его работе могут сломать
— и ломают — карьеры и судьбы людей. Конечно, далеко не каждый
ИИ — «змеиное масло». Именно поэтому так важно уметь отличать
реальный прогресс от шумихи. Надеемся, книга поможет вам в этом
разобраться.

Воронка ажиотажа вокруг ИИ
За время нашей совместной работы мы поняли, откуда берется
столько дезинформации, заблуждений и мифов об ИИ. Если вкратце, и
исследователи, и компании, и СМИ — все вносят свой вклад в
создание этой проблемы.
Приведем пример из научного мира. В 2023 году вышла статья, в
которой утверждалось, что на основе машинного обучения ИИ может
предсказывать музыкальные хиты с точностью 97% 36. Для
продюсеров, вечно ищущих следующий шлягер, эта новость была как
бальзам на душу. Новостные издания, включая Scientific American и
Axios, раструбили, что эта «ужасающая точность» перевернет
музыкальную индустрию 37, 38. Прежние исследования показывали,
что предугадать успех песни очень сложно, так что данная работа
выглядела прорывом. Но, к несчастью для продюсеров, мы выяснили,
что это полная, извините, ерунда.
Метод, описанный в статье, попадает в одну из самых
распространенных ловушек машинного обучения: утечку данных.
Проще говоря, работу ИИ проверяли если не на тех же самых данных,
на которых его обучали, то на очень похожих. Это дает завышенные
оценки точности — как если бы вы натаскивали студентов на
конкретный тест или, того хуже, раздали ответы перед экзаменом. Мы
провели анализ еще раз, исправив эту ошибку, и оказалось, что
машинное обучение работает не лучше гадания.
Случай не единичный. Ошибки «из учебника по машинному
обучению» пугающе часто встречаются в научных статьях, особенно
когда ИИ используют в качестве готового инструмента исследователи,
не имеющие подготовки в области информатики. Например, медики
так пытаются предсказывать болезни, социологи — жизненные
траектории людей, а политологи — гражданские войны.
Систематические обзоры в разных сферах выявили, что в
большинстве работ с применением машинного обучения хватает
погрешностей 39. И дело не всегда в злом умысле. Машинное
обучение само по себе хитрая штука, и исследователям очень легко
обмануть самих себя. В итоге ученые из десятка с лишним областей

знаний собрали уйму примеров проблем, возникающих при
использовании ИИ в их сферах. При этом никто из них не осознавал,
что все эти проблемы — часть масштабного кризиса доверия к
машинному обучению.
Похоже, чем громче шумиха вокруг исследования, тем ниже его
качество. Взять хотя бы тысячи работ, доказывающих возможность
диагностировать COVID-19 по рентгеновским снимкам легких и
другим данным медицинской визуализации с помощью ИИ. Однако,
изучив 400 с лишним таких статей, ученые пришли к выводу, что ни
одна из них не годится для клинического применения: ошибочна сама
методология 40. В десятке с лишним случаев исследователи
использовали для машинного обучения наборы данных, где все снимки
пораженных COVID-19 легких принадлежали взрослым, а все снимки
здоровых легких — детям. ИИ просто научился отличать взрослого от
ребенка, а люди по ошибке решили, что создали детектор COVID-19!
Мы и сами находили изъяны во многих исследованиях, в
основном
пытавшихся
(спойлер:
безуспешно!)
предсказать
гражданские войны. Но ни один журнал не захотел опубликовать нашу
статью, в которой мы объясняли, что это направление исследований
ошибочно. Исправлять ошибки в научных публикациях — дело, как
известно, непростое. В конце концов издать нашу работу удалось, но
лишь как руководство для будущих исследователей по избеганию
подобных ловушек.
Теперь, находя недочеты в статьях о машинном обучении, мы
даже не пытаемся их исправить. Система не работает. Более того, во
многих областях исследования, которые не удается воспроизвести,
цитируются чаще, чем успешно повторенные 41. Официальная
позиция ученых — «наука самокорректируется», то есть обычного
научного процесса достаточно, чтобы выявлять ошибки. Но все, что
мы видим, говорит об обратном.
Справедливости ради, неверная информация о машинном
обучении в исследовательских статьях обычно не порождает
бракованных ИИ-продуктов. Коммерческое шарлатанство в сфере ИИ
обычно появляется по другой причине: компании сознательно продают
неработающий продукт. Если музыкальный продюсер поверит одному
из таких научных журналов и начнет предсказывать хиты с помощью
ИИ, он быстро убедится, что этот способ не работает. Однако океан

дезинформации мешает обществу разобраться в том, как устроен ИИ,
ведь СМИ так и норовят раструбить о каждом мнимом прорыве.
Впрочем, есть и проблески надежды. Летом 2022 года мы провели
однодневный онлайн-семинар, посвященный волне сомнительных
исследований на основе машинного обучения. К нашему удивлению, в
нем приняли участие сотни ученых. По итогам семинара мы собрали
команду из двух десятков исследователей, трудящихся в разных
областях, чтобы совместно разработать методику проведения
подобных исследований. Итогом стал простой чек-лист, который
поможет ученым документировать использование машинного
обучения. Это должно свести ошибки к минимуму и облегчить их
обнаружение, если они все же будут допущены 42. Пока рано судить,
приживется ли наше нововведение. В любом случае, научная практика
меняется очень медленно, и, вероятно, ситуация еще какое-то время
будет ухудшаться, прежде чем дело пойдет на лад.
Теперь
давайте
поговорим
о
компаниях.
Если
сфальсифицированные исследования вводят общественность в
заблуждение, то переоцененные продукты приносят прямой вред.
Чтобы разобраться в этом, мы вместе с коллегами Анджелиной Ванг и
Солоном Барокасом изучили применение предиктивного ИИ в бизнесе
и в госсекторе 43. Материалом для нашего исследования стали около
полусотни приложений, используемых в уголовном правосудии,
здравоохранении, при распределении социальной помощи, в области
финансов, образования, управления персоналом и маркетинга.
Большинство из этих приложений появились совсем недавно. В 2010-е
годы предиктивный ИИ запустил свои щупальца во многие сферы
нашей жизни, оценивая нас и определяя наши возможности на основе
тайно собранных данных.
Мы заметили любопытную вещь: продавцы ИИ-систем из кожи
вон лезут, чтобы заполучить клиентов, но ничего не говорят о том, как
на самом деле работают их продукты и работают ли вообще. Только
представьте: ни одна компания в сфере автоматизации найма до сих
пор не опубликовала ни одной научной статьи, подтверждающей
эффективность своего предиктивного ИИ. Мало того, к этим
продуктам почти не подпускают независимых экспертов.
Пара крупных игроков решила подстраховаться и провела
показательные проверки. Pymetrics пригласила известных ученых из

Северо-Восточного университета, а HireVue — уважаемого
независимого аудитора. Но вот незадача: проверить им позволили
только одно — не проявляет ли ИИ расовую или гендерную
предвзятость. Но работает ли нейросеть так, как заявлено? Этот
вопрос даже не поднимался. Ход хитрый: компании сыграли на
общественных опасениях дискриминации. Если у вас есть сложный
генератор случайных чисел, который всегда одинаково плохо
справляется с задачей, его нетрудно выдать за «непредвзятый ИИ».
Но есть и хорошие новости. Похоже, регуляторы начинают
понимать, что многие предиктивные ИИ — пустышка. В 2023 году
Федеральная торговая комиссия США (Federal Trade Commission, FTC)
предупредила компании: «Мы еще не в фантастическом мире, где
компьютеры умеют предсказывать поведение людей. Если вы
рекламируете возможности своего ИИ без научных доказательств или
если он работает только в определенных условиях — это обман» 44.
Ключевое слово здесь — «обман». Конгресс США предоставил FTC
полномочия для борьбы с недобросовестными практиками компаний,
так что, надеемся, бизнес прислушается к этому предупреждению.
Исследователи и компании могут высекать искры ажиотажа, но
пламя его разгорается в СМИ. День за днем нас атакуют историями о
мнимых прорывах в области ИИ. Многие из этих материалов — всего
лишь перелицованные под новости пресс-релизы.
Разумеется, когда выживание медиа зависит от количества кликов,
а редакции едва сводят концы с концами, этому трудно удивляться. Но,
помимо финансовых проблем, в индустрии есть и другие системные
изъяны, например «журналистика доступа». Чтобы получать право на
эксклюзивные интервью или ранний доступ к продукту, журналисты
стараются поддерживать хорошие отношения с ИИ-компаниями, то
есть не задают слишком много неудобных вопросов.
СМИ оказались особенно падки на сенсационные заявления о
сознательности ИИ. Когда в июне 2022 года инженер Google рассказал,
что внутренний чат-бот компании обрел сознание (и даже столкнулся с
«предвзятостью»), эту историю подхватили практически все средства
массовой информации 45. То же самое произошло, когда чат-бот Bing в
начале 2023 года «объявил» себя разумным. И все это несмотря на то,
что большинство исследователей искусственного интеллекта не
считают подобные заявления научно обоснованными!

Конечно, среди пишущих об ИИ есть достойные журналисты,
которые поднимаются над суетой и проводят отличные расследования.
Но их пока единицы, и им приходится постоянно плыть против
течения. У нас была возможность обсудить проблему ажиотажа вокруг
ИИ с представителями медиа и выступить на нескольких
журналистских конференциях. Так мы узнали о многих инициативах
по улучшению качества журналистики в этой области.
Например, Пулитцеровский центр финансирует множество
репортеров, «ведущих глубокие расследования применения ИИ,
изучающих, как правительства и корпорации используют
предиктивные и надзорные технологии для принятия решений в
работе полиции, в медицине, социальной сфере, уголовном
правосудии, при найме и в других областях» 46. В рамках этой
программы проведено несколько заметных расследований, включая
работу Ари Сена и Дереки К. Беннетт для Dallas Morning News. Они
изучили Social Sentinel — ИИ-продукт, который используют в
американских школах для мониторинга социальных сетей учеников
якобы для выявления угроз безопасности, но на деле это часто просто
способ слежки за потенциальными участниками протестов учащихся
47.
Стипендии Пулитцеровского центра каждый год получают лишь
10 журналистов. Станут ли медиа противовесом могущественным
технологическим гигантам, будет зависеть от того, удастся ли
масштабировать подобные модели финансирования, не зависящие от
количества кликов. Эксперты в области ИИ обязаны противостоять
ажиотажу независимо от того, исходит ли он от ученых, компаний или
СМИ. Мы тоже стараемся внести свой вклад в это дело. В нашей
рассылке на AISnakeOil.com мы комментируем ИИ-новинки и
помогаем читателям отделять зерна от плевел 48.

Что такое «змеиное масло»?
В конце XIX — начале XX века Америку наводнили продавцы
«змеиного масла» — якобы чудодейственного целебного снадобья. На
рисунке 1.1 показана типичная реклама того времени. Торговцы
эксплуатировали ненаучные представления людей о пользе змеиного масла
для здоровья и их неспособность отличить действенные средства от
бесполезных. Иногда эти лекарства (в большинстве своем не содержавшие
никакие продукты из змей) были просто неэффективны, иногда приводили к
утрате здоровья и даже жизни. Действенных способов привлечь шарлатанов
к ответственности за ложные обещания не было, пока в 1906 году в США не
создали Управление по контролю за продуктами и лекарствами (Food and
Drug Administration, FDA).

Рис. 1.1. Реклама «змеиного масла» Кларка Стэнли.
Иллюстрация из брошюры «Настоящая жизнь на Дальнем Западе» (г.
Вустер,
штат
Массачусетс,
около
1905
года;
https://commons.wikimedia.org/w/index.php?curid=47338529)
В сфере ИИ «змеиным маслом» называют технологии, которые не
работают и не могут работать так, как обещано (например, программы для
анализа видеоинтервью при найме). Эти-то программы и побудили нас
начать исследование, приведшее к написанию данной книги. Наша цель —
выявить «змеиное масло» в мире ИИ и научиться отличать его от

технологий, способных эффективно работать при правильном применении.
И хотя некоторые случаи шарлатанства очевидны, границы здесь размыты.
Часто ИИ работает, но не так или не настолько хорошо, как описывает
продавец. Такая шумиха приводит к чрезмерной зависимости от нейросетей
— например, когда их используют не как дополнение к человеческому
опыту, а как его замену.
Не менее важно помнить, что, даже когда ИИ работает хорошо, он
может навредить. Мы уже приводили в качестве примера злоупотребление
технологией распознавания лиц для массовой слежки. Чтобы понять, в чем
заключается вред и как его устранить, важно в первую очередь разобраться,
из-за чего возникла проблема: из-за неработоспособности ИИ, из-за
преувеличенных ожиданий или из-за того, что нейросеть функционирует
именно так, как задумано. На рисунке 1.2 ось Х отражает социальную
сторону работы ИИ (приносимую пользу или вред); по оси Y показано
сопровождение в СМИ: от информации о действительно работающих ИИприложений до шумихи и откровенной фальсификации. Нас на этом
графике интересует все, кроме нижнего левого квадранта — ИИ, который
выполняет заявленные функции и безвреден.
Итак, вот план оставшейся части книги.

Рис. 1.2. График соотношения
эффективности/бесполезности

пользы/вреда

от

ИИ

и

его

Глава 2 посвящена автоматизированному принятию решений —
области, где все чаще применяется предиктивный ИИ. С его помощью
прогнозируют, кто совершит преступление, кто бросит школу и так далее.
Мы рассмотрим множество примеров систем, которые не справились со
своими задачами и нанесли серьезный вред. В ходе исследований мы
выявили повторяющиеся причины этих провалов — причины, неразрывно
связанные с самой природой предиктивной логики в таких системах. В
конце главы мы задаемся вопросами: возможно ли переосмыслить процесс
принятия решений и обойтись без предиктивного ИИ? Какие
организационные и культурные изменения нам потребуются, чтобы
смириться с непредсказуемостью, присущей решениям, основанным на
логических выводах?
В главе 3 мы поразмышляем о том, почему предугадать будущее так
сложно. Ответ на этот вопрос кроется не в ограничениях ИИ, а в самой
природе социальных процессов: человеческое поведение по своей сути
плохо предсказуемо. Мы проанализируем многочисленные попытки
прогнозирования будущего — от предугадывания преступлений до
предсказывания жизненных траекторий детей. Наш анализ опирается как на
академические исследования, так и на те редкие случаи, когда коммерческие
продукты подвергались независимой проверке. Мы рассмотрим
предсказание как позитивного исхода (успех в работе, создание
бестселлера), так и негативного (невозврат кредита); и то, и другое окажется
плохо предсказуемым. Также мы обратимся к менее значимым, но более
удобным для анализа задачам прогнозирования — например, к
определению, какие посты в соцсетях станут вирусными. Наконец, мы
обратим внимание на макропрогнозы, в том числе на предсказания развития
пандемий. Во всех областях прослеживаются удивительно схожие
закономерности, которые приводят нас к выводу: в ближайшее время
ограничения в работе ИИ никуда не исчезнут.
Главное ограничение предиктивного ИИ очевидно: предсказывать
будущее действительно сложно. Но с генеративным ИИ, к которому мы
обратимся далее, все обстоит еще сложнее. Эта технология обладает
поразительными возможностями, но не справляется со многими задачами,
посильными даже для маленького ребенка 49. К тому же она стремительно
совершенствуется. Поэтому, чтобы осознать границы ее применения и
получить представление о возможных путях развития, важно разобраться в
принципах ее работы. Мифы о работе генеративного ИИ мы постараемся
развенчать в главе 4.
Речь пойдет и о рисках генеративного ИИ. Иногда проблемы возникают
из-за того, что продукт просто не работает. Например, программы, якобы

выявляющие тексты, написанные нейросетями, часто ошибаются. Это
приводит к ложным обвинениям в списывании. Бывает и так, что продукт
отлично работает, но вредит. Так, ИИ, создающие изображения, лишают
работы многих фотографов, на чьих снимках та или иная компания
бесплатно обучает свою нейросеть. Конечно, есть и множество полезных
приложений генеративного ИИ, которые действительно работают, —
скажем, автоматизация некоторых задач в программировании (хотя и тут
стоит опасаться ошибок в коде, созданном ИИ: они могут стать лазейкой для
хакеров). Учитывая тему книги, о таких позитивных примерах мы говорить
не будем. Но стоит подчеркнуть: нас восхищают потенциал и возможности
генеративного ИИ в целом.
В главе 5 мы обратимся к теме экзистенциальных рисков, которые так
волнуют общество. Существуют опасения, что продвинутые системы ИИ
когда-нибудь выйдут из-под контроля. По нашему мнению, эти страхи
основаны на представлении, что ИИ однажды перешагнет некую черту и
станет автономным или сверхразумным. Но такой взгляд противоречит всей
истории развития искусственного интеллекта. Технологии становились
умнее и гибче постепенно — мы называем это лестницей универсальности.
Сегодняшние системы находятся уже на седьмой ступени, и каждый
уровень мощнее предыдущего.
Все указывает на то, что развитие и дальше будет пошаговым. А значит,
нам не нужно гадать о будущем — достаточно учиться на опыте прошлого.
Наука доказывает: опасения неуправляемости ИИ построены на ложных
предпосылках. Разумеется, риски, связанные с работой мощных нейросетей,
нельзя сбрасывать со счетов. Но у нас уже есть инструменты, позволяющие
решить эти проблемы.
В главе 6 речь пойдет о соцсетях, где персональные ленты новостей
формируются с помощью алгоритма. Также ИИ выявляет контент,
нарушающий правила платформ; этот процесс называется контентмодерацией. Мы сосредоточимся именно на последней, хотя коснемся и
рекомендательных алгоритмов. Главный вопрос, на который мы
постараемся ответить: может ли ИИ, как обещают корпорации, избавить
соцсети от токсичного контента, не покушаясь при этом на свободу слова?
Говоря о модерации, обычно много внимания уделяют неизбежным
сбоям, когда, например, блокировке по ошибке подвергаются безобидные
посты или фото. Но даже если получится решить эту проблему, останется
более глубокий вопрос: почему платформы вообще получили такую власть
над нашей речью и почти не отвечают за свои действия? У нас нет
демократического механизма, чтобы решать, по каким правилам
регулировать онлайн-общение и как найти баланс между свободой слова и

безопасностью. В такой ситуации даже самый продвинутый ИИ не избавит
нас от разочарования в соцсетях.
На рисунке 1.2 ИИ для модерации контента расположен посередине. Он
работает достаточно хорошо, чтобы соцсети могли полагаться на него, но
его часто ошибочно используют для решения моральных и политических
проблем управления соцсетями. Конечно, их ИИ не решает. Что до вреда, то,
хотя модерация порой жестоко проваливалась и даже приводила к
реальному насилию, мы считаем, что эти неудачи связаны не столько с
технологией, сколько с идеей отдать цифровые общественные площадки в
руки частных компаний, неподотчетных обществу.
Предиктивный ИИ, генеративный ИИ и ИИ-модерация — три главных
типа искусственного интеллекта, о которых пойдет речь в книге. Конечно,
это не весь список. Как мы уже говорили, есть много приложений вроде
автозаполнения или проверки орфографии, которые отлично работают, но
остаются незаметными. Есть и другие области применения ИИ, о которых
стоило бы поговорить, например робототехника и беспилотные автомобили.
Их мы не стали рассматривать — отчасти потому, что их влияние на
общество пока не так велико. Тем не менее понимание принципов работы
нейросетей, которые мы объясняем в этой книге, поможет вам оценить и
другие ИИ-приложения, чтобы понять, какие из них, скорее всего, будут
работать, а какие окажутся шарлатанством.
В главе 7 мы разберемся, почему мифы об ИИ так живучи. Компании не
только приукрашивают свои технологии, но и используют огромные деньги
и влияние, чтобы научные круги и пресса меньше противостояли их
корыстным притязаниям. Ученые сами часто раздувают шумиху вокруг ИИ,
вместо того чтобы быть голосом разума. Во многих областях исследователи
пришли к ложному консенсусу, что ИИ в их сфере очень точен, но
основывались они на ошибочных и непроверяемых исследованиях. В
частности, мы рассмотрим пример с предсказанием гражданских войн.
Ошибочные исследования обычно не приводят к появлению плохих
продуктов (поэтому мы поместили их в верхний левый угол на рисунке 1.2),
но все равно вредят, поскольку вводят общество в заблуждение. Мы также
обсудим методы, которыми журналисты сознательно либо неосознанно
раздувают шумиху вокруг ИИ, и дадим совет, как читать новости с полезной
долей скептицизма.
В последней главе речь пойдет о том, что можно изменить. Мы
выделяем три основных направления. Первое — установить общие правила
для компаний, чтобы регулировать создание и продвижение продуктов.
Здесь важна роль регуляторов, но, конечно, и они не должны перегибать
палку. Второе направление касается интеграции ИИ в общество. Например,

какую роль ИИ должен играть в образовании и в жизни детей? Будем ли мы
использовать ИИ для того, чтобы сокращать рабочие места, или для того,
чтобы создавать новые? Мы рассматриваем эти вопросы больше как
социальный и политический выбор, чем как неизбежные последствия
использования ИИ-технологий.
Третье направление — сосредоточиться не только на предложении, но и
на спросе. Нейросетевое «змеиное масло» часто привлекает тех, кто
работает в плохо функционирующей системе и нуждается в срочном
решении своих проблем. Например, учителя, и без того перегруженные
работой, плохо восприняли революцию, вызванную использованием ИИ для
выполнения домашних заданий. Будучи не в состоянии быстро перестроить
методику преподавания и выставления оценок, они обратились к
программам для выявления списывания. Но такие продукты часто не
работают, и серия ложных обвинений в мошенничестве стала для учащихся
настоящей катастрофой.
Такого рода проблемы невозможно исправить, просто улучшив ИИ.
Парадоксально, но «змеиное масло» помогает нам тем, что привлекает
внимание общества к прежде скрытым от наших глаз проблемам. В более
широком смысле опасения по поводу ИИ, особенно в контексте рынка
труда, часто связаны с проблемами капитализма. Нам срочно нужно понять,
как укрепить существующие системы социальной защиты и разработать
новые, чтобы мы могли не только справляться с потрясениями, вызванными
стремительным техническим прогрессом, но и пользоваться его плодами.

Для кого эта книга
Мы надеемся, что наш труд заинтересует читателей трех
категорий.
Возможно, вы просто хотите разобраться в происходящем. Вы
встречаете в СМИ громкие заголовки и задаетесь вопросом: правда ли
ИИ способен предсказывать землетрясения и сдавать экзамены на
юрфаке? И если да, то как он это делает? Какие профессии сохранятся
через 20 лет? Какой будет жизнь наших детей?
Мы не будем предаваться философским рассуждениям о том, что
значит быть человеком в эпоху ИИ. У разных людей может быть
различное мнение о том, что переживает сейчас человечество:
глубинные изменения или просто очередной этап автоматизации. Наша
цель — дать четкое представление о том, что на самом деле
происходит по ту сторону монитора.
Возможно, вы интересуетесь ИИ потому, что вам приходится
принимать решения о его внедрении в вашей профессиональной
деятельности. Мы надеемся, что книга поможет вам разобраться в том,
какие технологии действительно работают, какие являются «змеиным
маслом» и где скрыты подводные камни. На протяжении всей истории
существования ИИ ученые пытались определить, какие задачи для
искусственного интеллекта являются простыми, а какие — сложными.
Но ни одна классификация не выдержала проверки временем:
технологии развиваются слишком быстро. Поэтому мы предпочитаем
рассматривать каждый вид ИИ отдельно.
Наконец, тема ИИ может привлекать вас потому, что вы хотите
бороться с тем вредом, который причиняется под флагом прогресса.
Активисты уже создали эффективно действующие движения против
опасного предиктивного ИИ. Но с генеративным ИИ линии фронта
только формируются. Если данная технология приведет к
экономическим изменениям, как надеются компании-разработчики, это
вряд ли будет хорошей новостью для рынка труда независимо от того,
изменится ли количество рабочих мест. Дело в том, что этот тип ИИ
опирается на невидимую, рутинную, низкооплачиваемую работу

миллионов людей, создающих данные для обучения нейросетей. А еще
он использует материалы из интернета без ссылок и без компенсаций
авторам текстов, художникам и фотографам.
В результате промышленной революции появились миллионы
новых рабочих мест — на фабриках и в шахтах, с ужасными
условиями труда. Чтобы добиться соблюдения трудовых прав,
достойных зарплат и безопасности работников, понадобились
десятилетия. Сегодня формируется похожее движение за защиту
трудовых прав, человеческого творчества и достоинства перед лицом
наступающей автоматизации 50. Неизвестно, добьется ли оно успеха.
Это зависит от всех нас.
И наконец, небольшое примечание для преподавателей и
студентов, использующих эту книгу для учебы: дополнительные
упражнения и материалы вы найдете на нашем сайте AISnakeOil.com
47.

2. Как ошибается предиктивный ИИ
Глава 2
В 2015 году руководство Университета Маунт-Сент-Мэри,
частного учебного заведения в американском штате Мэриленд, решило
повысить показатели удержания студентов (соотношение числа
зачисленных учащихся и выпускников). Руководство университета
провело опрос среди студентов, чтобы выявить, кто из них испытывает
трудности. На первый взгляд цель благая: зная, кто из студентов
нуждается в поддержке, администрация учебного заведения могла бы
оказывать им помощь и облегчить адаптацию. Однако в итоге ректор
университета предложил кардинально иной подход: отчислять тех, кто
сообщал об испытываемых проблемах. Он счел, что уход слабых
студентов в первые недели семестра не снизит показатели, так как их
еще не успеют официально зачислить.
На совещании педсостава ректор заявил:
— Моя краткосрочная цель — чтобы 20–25 студентов ушли до 25
сентября. Одно это поднимет наш показатель удержания на 4–5% 1.
Преподаватели возразили, что в первые недели семестра сложно
определить, кто из новых студентов будет действительно хорошо
учиться.
— Вам сложно, потому что вы видите в студентах милых
зайчиков, но так нельзя, — ответил ректор. — Нужно просто утопить
этих зайчиков… или приставить к их вискам пистолеты.
Этот пример может шокировать, но многие вузы действительно
хотят заранее знать, кто из студентов рискует вылететь. Иногда за этим
стоит намерение позаботиться об учащихся. Программное обеспечение
EAB
Navigate,
использующее
предиктивный
ИИ,
может
автоматизировать этот процесс. В рекламных материалах EAB
обещает: «Модель предоставит вашему заведению и его консультантам
бесценные и недостижимые иным способом сведения о вероятности
академического успеха студентов». Даже если часть вузов использует
эти данные, чтобы надавить на потенциально слабых студентов и
заставить их бросить учебу, другие вузы смогут разработать

программы, которые помогут этим учащимся благополучно завершить
обучение. Впрочем, даже такие благонамеренные действия могут
оказаться
сомнительными.
Например,
программа
способна
порекомендовать студенту сменить учебное направление на более
подходящее для него. Это может привести к вытеснению малоимущих
и цветных студентов из более сложных, но перспективных STEMдисциплин [5] 2. Причем студенты могут даже не осознавать, что их
оценивал ИИ.
EAB Navigate — пример автоматизированной системы принятия
решений с использованием предиктивного ИИ. В этой сфере немало
продуктов, которые могут оказаться «пустышкой»
Компании, которые предлагают такие инструменты, уверенно
заявляют: их продукты эффективны 3. Технологии получили широкое
распространение как в государственных, так и в частных
организациях. Однако, в отличие от генеративных нейросетей,
например ChatGPT, предиктивный ИИ остается в тени. Во многих
случаях, как, например, с EAB Navigate, люди просто не в курсе, что
по отношению к ним применяют нейросеть.
В этой главе мы рассмотрим ситуации, когда предиктивный ИИ
дает сбои. Полный перечень всех ошибок 4, 5 занял бы больше места,
чем вся эта книга [6], поэтому мы сосредоточимся на типичных
ошибках, которые сложно устранить, и на описании проблем, с
которыми люди постоянно сталкиваются, используя «электронные
предсказатели».
Прежде чем углубляться в детали, давайте посмотрим, как
принимаются автоматизированные решения.

Предиктивный ИИ управляет судьбами
Алгоритмы, подобные EAB Navigate, используются повсюду. Их
часто применяют для автоматизации важных решений, касающихся
нас, независимо от того, знаем мы об этом или нет 6. Например, в
больнице алгоритм может подсказать, оставлять вас на ночь или
отпустить домой в тот же день. Если вы подаете заявку на получение
социального пособия, алгоритм определяет, не пытаетесь ли вы
обмануть государство. Если откликаетесь на вакансию, он решает,
будут ли ваше резюме рассматривать или сразу отклонят. Если
отдыхаете на пляже — выяснит, безопасно ли купаться.
Алгоритм — это набор шагов или правил для принятия решения.
Иногда эти правила создаются людьми или организациями. Например,
в период пандемии COVID-19 правительство США назначало
гражданам выплаты для поддержки в трудный экономический период.
Взрослым выплачивали по $1200, детям — по $500. Но после того как
власти установили правила, возможность получения помощи
определялась автоматически на основе предыдущих налоговых
данных. Грубо говоря, гражданин США старше 18 лет получал чек на
$1200, до 18 лет — на $500. Тому, кто не имел гражданства США или
зарабатывал больше $75 000 в год, выплаты ждать не стоило [7].
Такого рода правила, когда условия прописываются вручную, а
применяются автоматически, часто используются в госсекторе —
например, при распределении выплат на социальное жилье или
пособий.
Однако в наши дни все чаще встречаются алгоритмы, которые
сами разрабатывают правила на основе анализа прошлых данных.
Возьмем, к примеру, Netflix: если вам понравился «Форрест Гамп», но
не понравилось «Сияние», то алгоритм рекомендаций может
предположить, что вы предпочитаете драмы ужасам. Дело не в том,
что какой-то сотрудник Netflix заранее прописал такое правило. Ваши
оценки и количество времени, которое вы тратите на просмотр
фильмов разных жанров, влияют на то, какие фильмы вам предложат в
следующий раз. В отличие от первого типа алгоритмов, здесь правила
и создаются, и применяются автоматически.

Такой алгоритм называется моделью, и этот термин, возможно,
вам часто встречается. Модель обычно представляет собой набор
чисел, математически описывающих, как должна вести себя система.
Эти числа могут быть непонятны человеку, и даже самому
разработчику системы, если только модель явно не разрабатывалась
так, чтобы быть понятной. Модели создаются на основе данных или
обучаются с помощью набора статистических методов, называемых
машинным обучением.
ИИ могут оказывать гораздо более существенное влияние на нашу
жизнь, чем просто помочь выбрать фильм на вечер. Их применяют для
распределения ограниченных ресурсов, таких как рабочие места или
кредиты. В результате одним людям они предоставляют возможности,
а другим их ограничивают. Это и есть предиктивный ИИ — модели,
которые на основе прогнозов помогают принимать решения, например
определять, кто будет хорошо работать или вовремя выплатит кредит.
Представьте систему уголовного правосудия, где предиктивный
ИИ используют для принятия множества решений. Давать ли
заключенному условно-досрочное освобождение? Что делать с
обвиняемым до суда: оставить под стражей, отпустить под залог (если
да, то под какой) или отпустить без залога, но с дополнительными
мерами вроде электронных браслетов?
Ответ на эти вопросы имеет огромное значение 7. Тюрьма
серьезно портит жизнь. Люди могут потерять доход, но, даже если их
не заключат под стражу, найти работу им станет намного сложнее,
особенно при ограничениях. У заключенных ухудшается здоровье (и
физическое, и психологическое: условия содержания в тюрьмах
оставляют желать лучшего), а освободившиеся подвергаются
стигматизации. Значительная часть обвиняемых, содержащихся под
стражей, просто не может позволить себе внести залог.
В итоге система правосудия непропорционально обременяет
бедных и приводит к усилению бедности и расового неравенства. В
тюрьмах США в любой момент можно найти около полумиллиона
людей, которых еще ни за что не осудили 8. Хотя насильственные
преступления в стране упали почти на 50%, число заключенных за
последние 40 лет почти удвоилось 9, 10.
Во многих штатах США в обязательном порядке применяют
инструменты оценки рисков, чтобы решить, содержать ли обвиняемого

под стражей до суда. В этом часто участвует предиктивный ИИ. Такие
инструменты определяют два главных показателя риска: есть ли
вероятность, что обвиняемый совершит новое преступление, если его
не заключать под стражу, особенно когда речь о насильственных
преступлениях, и явится ли человек в суд в назначенное время.
Выделяют три уровня риска: низкий, средний и высокий. ИИ
присваивает одну из этих меток, оценивая определенные
характеристики обвиняемых.
Давайте подробнее рассмотрим один из примеров предиктивного
ИИ — COMPAS (Correctional Offender Management Profiling for
Alternative Sanctions). COMPAS принимает решения на основе ответов
обвиняемых на 137 вопросов 11. Часть этих вопросов касается
прошлого: был ли этот человек ранее осужден, замечен ли в неявках на
заседание суда? Другая часть затрагивает то, что от человека не
зависит: например, подвергались ли арестам члены его семьи или
друзья. Некоторые вопросы призваны выявить особенности характера
или низкие доходы: «Как часто вам бывает скучно?», «Как часто вам
не хватает денег?» — и ответы на них тоже влияют на решение о
заключении под стражу.
Разработчики COMPAS стремятся предсказать, нарушит ли
обвиняемый свои обязательства, если останется на свободе: например,
пропустит заседание суда или совершит новое преступление в
ближайшие два года. Для этого модель обучают на данных о
поведении обвиняемых в прошлом 12. COMPAS анализирует такие
параметры, как возраст обвиняемого, количество правонарушений в
прошлом и криминальная история его окружения, и пытается отличить
тех, кто когда-то не явился в суд, от тех, кто пришел на него. Это
отражает основную идею, лежащую в основе многих предиктивных
ИИ: люди с похожими характеристиками ведут себя схоже.
Предиктивный ИИ становится все более популярным. Его
внедряют больницы, кадровые агентства, страховые компании и
многие другие организации. Главное достоинство — возможность
использовать уже существующие базы данных, собранные, например,
для ведения документации, и на их основе принимать
автоматизированные решения.
Тем не менее предсказать будущее, как уже было сказано выше, не
так просто. В жизни возможны непредвиденные обстоятельства,

например выселение из съемного жилья или неожиданный выигрыш в
лотерею, которые ни одна модель не способна предсказать. Даже
небольшие события, такие как госпитализация по скорой, могут
серьезно повлиять на будущее — скажем, из-за увеличения расходов
на медицинские услуги.
Сообщения о преимуществах предиктивного ИИ появляются
очень часто. Например, модель Upstart оценивает, следует ли одобрить
кредитную заявку 13. Компания утверждает, что ее модель точнее
традиционных методов оценки потенциального кредитора, и
позиционирует себя лидером в области справедливого кредитования.
Более того, 75% ее решений по кредитам принимаются без участия
человека. Похожие заявления делают и другие компании. HireVue
продает инструменты для автоматизации решений по найму,
утверждая, что способна предсказать успех кандидата на новой
должности. На главной странице сайта HireVue говорится: «Быстро.
Честно. Гибко. Технология найма, которая наконец работает по вашим
правилам».
Однако, несмотря на такие утверждения, на каждом этапе
развития на предиктивный ИИ влияют решения, принятые человеком,
что далеко не всегда очевидно. Поскольку данные для обучения ИИ
формируют люди, мы не можем гарантировать беспристрастность и
честность решений, принятых искусственным интеллектом 14. Иными
словами, заключения предиктивного ИИ часто остаются слишком
человеческими.
Поскольку мы не доверяем заявлениям создателей предиктивного
ИИ, мы решили сами разобраться в этом вопросе. Вместе с
исследователями Анджелиной Ванг и Солоном Барокасом мы больше
года потратили на изучение сотен научных статей, множества
новостных сводок и отчетов об автоматизированных системах
принятия решений. К нашему удивлению, выяснилось, что многим
приложениям предиктивного ИИ свойственны одни и те же недостатки
15. Далее мы подробно рассмотрим их на примерах из жизни.
(Спойлер: на наш взгляд, предиктивный ИИ и близко не
оправдывает заявлений его разработчиков.)

Хорошее предсказание еще не гарантирует
хороший результат
Когда пациент с симптомами пневмонии поступает в больницу,
врачам приходится принимать непростое решение: отправить его на
амбулаторное лечение или оставить в стационаре. При этом
учитываются и возраст пациента, и наличие хронических заболеваний
вроде астмы, которые повышают риск осложнений при пневмонии.
Пациентов из группы высокого риска обычно сразу же направляют в
реанимацию, чтобы избежать осложнений 16.
В 1997 году группа ученых решила выяснить, может ли
искусственный интеллект принимать более верные решения, чем
медицинские работники, при прогнозировании результатов лечения
пациентов с пневмонией 17. Как и многие исследователи в области
ИИ, они полагали, что модель, обученная на обширном наборе данных,
сможет судить более обоснованно, чем человек, и помогать выявлять
пациентов из группы риска.
Они обучили модель и обнаружили, что она довольно точно
предсказывает, для каких пациентов пневмония чревата осложнениями
и даже смертельным исходом. Но, к удивлению исследователей,
модель посчитала, что наличие астмы снижает риск осложнений при
пневмонии. Внедри они эту модель в клинике, астматиков, скорее
всего, отправляли бы лечиться домой, а не в отделение интенсивной
терапии. Но как это возможно?
При более тщательном анализе исследователи выяснили: согласно
имевшимся у них данным, у пациентов с астмой риск серьезных
осложнений и смерти действительно был ниже. Однако это
объяснялось тем, что в больнице, где собирали исходные данные, была
разработана особая система принятия решений: пациентов с астмой
сразу же направляли в реанимацию, и благодаря более интенсивному
лечению они реже сталкивались с осложнениями, чем те, у кого астмы
не было.
Таким образом, модель давала верные предсказания, но лишь в
рамках существующей в больнице системы. Ирония в том, что эту-то

систему и собирались заменить моделью. Результаты ее внедрения
были бы катастрофическими. Пациентов с астмой модель
воспринимала бы как находящихся в зоне меньшего риска, и их
отправляли бы лечиться домой. К счастью, исследователи поняли
ошибку, и больница обошлась без этой технологии.
Эта ошибка освещает ключевое ограничение многих
предиктивных систем: ИИ отлично предсказывает, если вокруг ничего
не меняется. Но корреляция — это еще не причинно-следственная
связь (наличие астмы не снижает риск осложнений от пневмонии).
Другими словами, предиктивный ИИ не учитывает последствий своих
решений. Он не может угадать, что произойдет, если система
изменится (например, если модель начнет отправлять астматиков
лечиться домой).
Рассмотрим еще один пример из области медицины. В
исследовании 2018 года утверждалось, что с помощью машинного
обучения можно точно предсказать гипертонию, и результаты были
впечатляющими 18. Однако выяснилось, что модель тестировали на
пациентах, уже обследованных врачами. Это означало, что критически
важными входными данными для модели были сведения о том,
принимал ли уже пациент препараты от гипертонии 19. Но если
пациент принимает такие препараты, это значит, что болезнь уже
диагностирована! Тем не менее эти случаи при оценке модели все
равно считались успешными, что существенно завышало показатели
ее точности.
Проблема возникла отчасти потому, что исследователи опирались
на имеющиеся данные, а не собирали новые для новой задачи. Сбор
данных обычно обходится дорого и требует времени. Поэтому
некоторые разработчики ИИ утверждают, что существующей
информации достаточно для принятия решений.
В медицине важность сбора новых данных хорошо известна.
Здесь полагаются на рандомизированные контролируемые испытания
(РКИ), чтобы оценить эффективность новых лекарств или вакцин.
Половина участников попадает в экспериментальную группу и
получает препарат, а другая — в контрольную и принимает плацебо.
Группы тщательно балансируются по возрасту и полу. Эффективность
препарата определяют по разнице в заболеваемости между
экспериментальной и контрольной группами. Проводить РКИ долго и

дорого, но их проводят: более простые методы не работают. Это верно
и для многих других областей, где используют ИИ для
автоматизированного принятия решений.
К сожалению, компании, разрабатывающие предиктивный ИИ,
похоже, так и не осознали, насколько важно собирать информацию о
последствиях решений, принимаемых их системами. Если тратить на
это время и деньги, то заявлять об экономии средств и повышении
эффективности уже не получится. В итоге, даже если ИИ способен
давать точные прогнозы на основе предыдущих данных, мы не знаем,
насколько удачными окажутся его решения при работе с новым
набором информации или в новых условиях. Поэтому, сталкиваясь с
заявлениями об эффективности предиктивного ИИ, важно выяснить:
оценивали ли разработчики реальные последствия принятых решений
или ограничились проверкой точности на старых данных?

Непрозрачный ИИ — нечестная игра
Мы уже поняли, что не можем в полной мере оценить влияние ИИ
до его внедрения — отчасти потому, что нейросеть делает прогнозы,
предполагая, что система не изменится с момента тестирования. Но
системы изменчивы, и люди — явно непредсказуемый фактор. Все
становится еще сложнее, когда они начинают действовать
стратегически.
Британские колониальные власти в Индии хотели уменьшить
численность кобр, предложив вознаграждение за убитых змей. Но
вместо того чтобы убивать кобр в дикой природе, люди начали
разводить их с целью получить награду, и змей стало больше. Это
отличная иллюстрация того, как заданные условия могут войти в
конфликт с желаемым результатом. С нейросетями дело обстоит так
же: разработчики указывают точный результат, который надо
спрогнозировать. Но из-за того, что ИИ полагается только на
имеющиеся у него данные, результат выбирается на их основе.
Поэтому предсказания ИИ могут быть мутным отражением желаемого.
Пример — ИИ в сфере найма. В США три из каждых четырех
работодателей автоматизируют отбор кандидатов 20. Инструменты
бывают разными: одни фильтруют соискателей по резюме, другие
проводят автоматизированные видеоинтервью, третьи предлагают
решить головоломку. Все это — первый этап отбора. Если человек его
не проходит, резюме даже не будут просматривать. Однако процесс
непрозрачен: компании не раскрывают, по каким критериям оценивают
кандидатов, и те остаются в неведении 21.
В ответ соискатели стали разрабатывать стратегии обхода
непрозрачных нейросетей. Они заполняют резюме ключевыми
словами из вакансий и добавляют названия престижных вузов
шрифтом белого цвета (который люди не видят, но компьютер
распознает) 22. На видеоинтервью, зная, что их оценивает ИИ, они
стараются использовать сложные слова вроде «конгломерат» 23.
Эффективны ли такие стратегии, неясно. В этом вопросе решила
разобраться команда журналистов. В качестве объекта изучения они
выбрали компанию Retorio — мюнхенский стартап, который

предлагает инструменты для найма, основанные на видеоинтервью 24.
Находки оказались удивительными: даже такие простые детали, как
шарф или очки, существенно меняли оценки, которые выставлял ИИ.
Книжная полка или картина на заднем плане работали на соискателя, а
затемнение видео (без изменения его содержимого) — против.
В другом исследовании ученые изучали личностные тесты при
найме и обнаружили, что на оценки влияла простая смена формата
резюме — с PDF на обычный текст 25.
Изменение фона или формата, конечно, не влияет на способность
соискателя выполнять работу. Так почему же меняются оценки? Одной
из причин может быть то, что в данных, на которых обучали модель,
люди с книжными полками на заднем плане показывали лучшие
результаты по сравнению с другими.
Это именно та корреляция, на которую рассчитывают кандидаты,
добавляя в резюме ключевые слова. Они предполагают, что люди с
такими же резюме добиваются успеха, и стараются избежать отказа изза отсутствия нужных ключевых слов или недостатка сложных
терминов.
Стратегическое поведение и попытки переиграть систему, чтобы
избежать плохих последствий, — частое явление. Этим занимаются и
учителя, когда готовят детей к прохождению тестов, и потребители,
когда улучшают свои кредитные рейтинги без изменения трат,
например, получая кредитные карты или заполняя формы
предварительной заявки на кредит. Но когда наймом руководит ИИ,
люди не знают, какие действия помогут добиться успеха. В итоге
нейросеть не помогает кандидатам развивать профессиональные
навыки, а подталкивает их к внесению поверхностных изменений в
резюме и заявления.
Должны ли кандидаты прибегать к таким уловкам? Мы не даем
оценок. Этика «игры» — интересная проблема, но для нас это не
главный вопрос. Нам важно другое: когда компании заявляют о
точности ИИ, они не учитывают стратегическое поведение людей.
Если на результаты работы модели легко повлиять поверхностными
методами, то заявления о ее точности нельзя воспринимать всерьез.
Кроме того, непрозрачные модели тратят время участников процесса
впустую, например когда кандидаты экспериментируют с фальшивыми
невидимыми квалификациями в резюме.

Чрезмерная автоматизация
В 2013 году в Нидерландах внедрили алгоритм выявления
мошенничества с пособиями, который заменил старую систему, где
каждое решение принималось людьми 26. Затем этот алгоритм был
использован для выдвижения серьезных обвинений против части
получателей пособий, хотя причиной оказались исключительно
статистические корреляции данных; какие-либо другие доказательства
мошенничества отсутствовали 27.
Такая автоматизация привела к множеству негативных
последствий. Одной из проблем стала утрата возможности оспаривать
решения. Ошибочные или устаревшие данные зачастую приводили к
ложным обвинениям в мошенничестве, которые в новой системе
нельзя было отменить. Более того, данные, использованные для
обвинений, не были доступны общественности, так что пострадавшие
не могли выяснить, почему их обвиняли.
В последующие годы алгоритм ошибочно обвинил в
мошенничестве с пособиями на детей около 30 000 родителей.
Некоторые семьи вынуждены были вернуть государству больше
€100 000, так что для многих родителей это закончилось нервным
срывом и финансовым крахом 28. Удивительно, но при оценке риска
мошенничества алгоритм учитывал национальность. При прочих
равных условиях турки, марокканцы и уроженцы Восточной Европы
чаще попадали под подозрение 29.
Несмотря на очевидные недостатки, модель использовали в
течение шести лет. Когда в 2019 году подробности работы алгоритма
стали известны, общественность была возмущена. Нидерландская
комиссия по защите данных начала расследование нарушений
конфиденциальности. Налоговые органы Нидерландов, создавшие эту
систему, были оштрафованы на €3,7 млн — самый крупный штраф в
истории страны. В 2021 году из-за этого скандала ушли в отставку
премьер-министр и весь кабинет министров.
Это пример чрезмерной автоматизации, когда ИИ используется
для принятия решений без возможности обжаловать результаты.
Чрезмерная автоматизация стала причиной и других крупных

скандалов с выявлением мошенничества, даже когда непосредственно
ИИ не использовался. В 2013–2015 годах в американском штате
Мичиган алгоритм по борьбе с мошенничеством незаконно взыскал с
жителей $21 млн 30. А в Австралии с 2016 по 2020 год ошибочно
взыскали $721 млн, что выяснилось в ходе скандала с Robodebt 31.
Для того чтобы избежать обвинений в излишней автоматизации,
разработчики таких систем часто добавляют примечание мелким
шрифтом: «Следует использовать под надзором человека». Однако
перекладывание ответственности тоже не всегда приводит к
желаемому результату.
Летом 2022 года в Торонто использовали ИИ для составления
прогноза, когда стоит избегать купания на общественных пляжах из-за
высокого уровня бактерий 32. Разработчик утверждал, что программа
достигла более 90% точности в определении безопасности воды. Но
она работала некорректно: в 64% случаях при небезопасном составе
воды пляжи оставались открытыми из-за неправильной оценки
ситуации искусственным интеллектом.
Когда журналисты задали чиновникам вопрос об эффективности
инструмента, те ответили: окончательные решения всегда принимал
человек-наблюдатель. Но выяснилось, что наблюдатели никогда не
изменяли решение, предложенное программным обеспечением.
Сценарий знакомый. Разработчики ИИ обещают полную
автоматизацию, говоря, что это сэкономит деньги и рабочие места. Но
при сбоях они указывают на мелкий шрифт: технологию можно
использовать только под присмотром человека!
Но даже если такой присмотр формально существует, он часто
неэффективен: наблюдателю не хватает времени, знаний либо
полномочий. Те, кого назначили ответственными, могут быть
перегружены работой, недостаточно подготовлены, чтобы оспаривать
автоматизированные решения, или не иметь стимулов для этого. В
одном вопиющем случае американская страховая компания
UnitedHealth требовала от сотрудников соглашаться с решениями ИИ,
даже если они были явно ошибочными. За частые разногласия с
нейросетью грозили увольнением. Позже выяснилось, что более 90%
решений, принятых ИИ, были неправильными 33.
Даже если серьезных организационных сбоев в работе ИИ нет,
проблему составляет склонность чрезмерно полагаться на

автоматизированные решения (известная как «смещение в сторону
автоматизации»), что сейчас широко распространено. Она затрагивает
специалистов из разных областей, от пилотов до врачей. В ходе одного
из экспериментов, когда пилоты получили от автоматизированной
системы неверное предупреждение об отказе двигателя, 75% из них
последовали ошибочному совету и выключали вполне исправный
двигатель. Среди тех, у кого был распечатанный чек-лист, ошиблись
только 25%. Если пилоты могут ошибаться при взаимодействии с ИИ,
то что говорить о клерках и чиновниках 34?
Впрочем, каковы бы ни были причины, результат один: ИИ
доверяют управлять человеческими судьбами, а оспорить ошибку
почти невозможно.

Прогнозы не о тех людях
ИИ — зеркало тех данных, на которых его обучили. Он выявляет
закономерности, характерные для людей, которые подготовили эти
данные, и принимает решения на их основе. Однако стоит заменить
объект на отличающийся от тех, которые были в обучающих данных,
— и ИИ с большой вероятностью ошибется. Например, система
предиктивного ИИ, хорошо работающая в одной стране, может
оказаться совершенно бесполезной в другой.
Давайте рассмотрим, как это проявляется в работе двух систем
оценки криминального риска в США: «Система оценки риска в Огайо»
(Ohio Risk Assessment System, ORAS) и «Оценка общественной
безопасности» (Public Safety Assessment, PSA). Обе системы, как и
COMPAS, пытаются предсказать, совершит ли обвиняемый новое
преступление, если не брать его под стражу до суда.
ORAS была создана на основе данных 452 обвиняемых из Огайо в
2010 году, но теперь применяется по всей стране. Здесь возникает
несколько очевидных проблем. Закономерности криминального
поведения в Огайо могут сильно отличаться от закономерностей,
наблюдающихся в других штатах. Данные не отражают
общеамериканскую картину. Небольшая выборка, на основе которой
строилась модель, может иметь существенные отличия от общей
массы населения, к которой впоследствии применяется ORAS. К тому
же точность этой модели, как и любой другой, может снижаться по
мере изменения преступных тенденций 35.
В отличие от ORAS, PSA (она применяется более чем в 20 штатах)
обучали на гораздо большем количестве данных: 1,5 млн человек из
300 юрисдикций по всей стране. На первый взгляд, это решает часть
проблемы. Если модель обучается на большом наборе данных из
разных юрисдикций, она должна обеспечивать более точные
предсказания
на
общенациональном
уровне.
Однако
общенациональные криминальные тенденции могут не совпадать с
местными.
Яркий пример — округ Кук в Иллинойсе. В 2015 году здесь
внедрили PSA. Однако уровень насильственных преступлений там

значительно ниже среднего по стране. Если сравнить с данными, на
которых происходило обучение модели, то количество повторных
преступлений до суда, совершенных обвиняемыми из группы высокого
риска, здесь в 10 раз меньше. PSA использовала данные, собранные со
всей страны, но не учла особенности регионов, где уровень
преступности невысок. Тысячи обвиняемых были безосновательно
заключены под стражу до суда только на основании предсказаний
модели, без каких-либо существенных причин 36.
PSA дала сбой, потому что не учла различий между округами. Она
делала прогнозы не о тех людях. Иногда получить данные обо всех,
кто нас интересует, просто невозможно. Из-за этого ошибку трудно
исправить.
Рассмотрим еще один пример — округ Аллегейни в
Пенсильвании. В 2016 году там внедрили так называемый
«Инструмент скрининга семей Аллегейни», чтобы предсказывать,
какие дети рискуют подвергнуться жестокому обращению 37. На
основе его оценок принимается решение, какие именно семьи должны
проверить социальные работники. В ходе таких проверок детей могут
отобрать у родителей и отправить в фостерную семью [8].
Инструмент опирается на данные из системы социального
обеспечения. В основном это информация о малоимущих родителях,
которые пользуются государственными услугами, например посещают
клиники, работающие по программе Medicaid. Важно отметить, что
данные о людях с частной медицинской страховкой в базы системы
соцобеспечения не попадают 38. Поэтому модели, построенные на
таких базах данных, не могут принимать корректные решения в
отношении семей, которые никогда не имели дела с государственной
медициной. В результате инструмент оказывается нацелен в основном
на семьи с низким уровнем дохода.
Это пример того, как инструменты ИИ ищут проблему «под
уличным фонарем». Чаще всего этот «фонарь» направлен на бедных.
Каждый раз, когда внедряется предиктивный ИИ, важно задать вопрос:
на чем он был протестирован? Если модель создавалась на основе
данных одной группы населения, но применяется к другой, заявления
о ее эффективности могут быть необоснованными.

Предиктивный ИИ усиливает неравенство
Ошибки нейросетей не всем обходятся одинаково дорого.
Использование предиктивного ИИ непропорционально сильно вредит
группам, которые уже подвергались дискриминации в прошлом.
Яркий пример — определение того, кто именно должен получать
более качественную медицинскую помощь. Когда в 2010 году в США
приняли Закон о доступном медицинском обслуживании, страховые
компании начали требовать от больниц снизить цены на услуги,
угрожая в противном случае прекратить с ними сотрудничество. Один
из главных способов сокращения расходов заключается в выявлении
пациентов из группы высокого риска и предоставлении им
превентивной помощи, чтобы в будущем избежать затрат на
госпитализацию и различные дорогостоящие медицинские услуги. Для
выявления таких пациентов больницы обратились к ИИ.
Были созданы десятки моделей для оценки рисков здоровья.
Разработчики утверждали, что ИИ может оценивать пациентов по их
потребностям в медицинской помощи и выделять дополнительные
ресурсы тем, кто находится в группе высокого риска. Модель
предсказания риска осложнений при пневмонии, которую мы
обсуждали в начале главы, так и не была внедрена, но инструменты
для прогнозирования медицинских рисков, призванные сократить
расходы больниц, используются в США повсеместно.
Включение в программу медицинской помощи имеет огромное
значение для больных с высоким уровнем риска. Программа
определяет, получит ли данный пациент превентивную медицинскую
помощь и персональную поддержку. Однако большинство
разработчиков долгое время не раскрывали, как создаются их модели,
и до недавнего времени мы мало знали об эффективности этих
продуктов.
Один из таких продуктов — Impact Pro от компании Optum. В
2019 году исследователи обнаружили, что его прогнозы показывали
меньшую вероятность включения афроамериканцев в высокорисковые
программы по сравнению с белыми. Иными словами, чернокожий
пациент с теми же медицинскими проблемами, что у белого, получал

бы медицинскую помощь более низкого уровня 39. Вскоре
исследователи поняли, в чем дело. Трудно оценить, насколько
пациенту необходима медицинская помощь, зато в больницах точно
знают, сколько стоят их услуги. Вместо предсказания медицинских
потребностей Optum решила прогнозировать, сколько страховая
компания потратит на пациента.
Однако высокие медицинские затраты — не всегда показатель
высоких потребностей. Большие счета могут быть вызваны доступом к
лучшей страховке, повышенным вниманием и лучшим уходом в
медицинском учреждении или частыми визитами к врачу. Возможно,
те, кто может себе это позволить, чаще тратят на медицинские услуги
больше. Неравенство в системе здравоохранения США очевидно, и
использование предиктивного ИИ от Optum означало бы, что люди,
которые уже получают более дорогую медицинскую помощь, с
большей вероятностью будут причислены к группе риска и продолжат
ее получать.
Неудивительно, что в данных, использованных для обучения
модели, отражено, что афроамериканцы получали меньше
медицинской помощи, чем белые с такими же проблемами со
здоровьем. Инструмент проявил расовую предвзятость, так как
прогнозируемый показатель (затраты на здравоохранение) мало что
говорил о заявленных разработчиками параметрах (потребности в
медицинской помощи, уровне риска пациента).
Использование данных о медицинских затратах для оценки риска
имело коммерческий смысл: клиентами Optum были больницы,
нацеленные на сокращение расходов. Даже после публикации
критического исследования компания продолжала использовать
данные о медицинских расходах для построения модели.
Коммерческие интересы — одна из многих причин, по которым
предиктивный ИИ усиливает неравенство. Другая причина — опора
разработчиков на старые данные. Как мы уже отметили, сбор новых
данных — дело дорогостоящее и медленное. А существующие данные
могут не содержать той информации, которую хотят предсказать
разработчики (в данном случае потребность в медицинской помощи
или уровень риска пациентов). Поэтому создатели ИИ обращаются к
подменяющим показателям, которые проще измерить и которые уже
есть в данных (например, затраты на здравоохранение).

Вернемся к COMPAS. Если верить разработчикам, его прогноз
позволяет предсказать, совершит ли обвиняемый новое преступление
или пропустит ли заседание суда, если его не заключат под стражу.
Однако данные, которые использует COMPAS, не содержат
информации о преступлениях — только сведения об арестах. Разница
кажется незначительной, но она крайне важна. Не все преступления
заканчиваются арестами — многие остаются незамеченными или
игнорируются. Полиция может кого-то арестовать, а потом суд
признает этого человека невиновным. К тому же хорошо известно о
расовых предрассудках в среде полицейских: в США чернокожих
арестовывают чаще, чем белых, совершивших такие же
правонарушения. Эти различия могут создать пропасть между тем, что
якобы предсказывает ИИ (преступления), и тем, что он предсказывает
на деле (аресты).
Именно поэтому, когда внедряются системы предиктивного ИИ,
первыми страдают меньшинства и малоимущие. Мы уже видели, как
работает модель, прогнозировавшая жестокое обращение с детьми,
которая учитывала только данные о небогатых семьях. В следующих
главах мы встретим немало других примеров.

Мир без предсказаний
Почему предиктивное мышление так распространено? Думаем,
главная причина — наш глубинный дискомфорт перед лицом
случайности.
Множество
психологических
экспериментов
показывают: мы видим закономерности там, где их нет, и даже верим,
что контролируем то, что на самом деле происходит случайно 40, 41.
Когда люди сталкиваются со случайностью и иллюзия контроля
рушится, они ищут способы вернуть ощущение власти над ситуацией.
Яркий пример — прогнозы результатов выборов. В США
президентские выборы проходят раз в четыре года, и предсказывать их
исход начинают больше чем за год. Но это далеко не точная наука. На
следующее утро после выборов 1948 года газета Chicago Tribune
печально прославилась заголовком «Дьюи побеждает Трумэна» на
первой полосе [9] 42. Конечно, это было ошибкой: Гарри Трумэн
выиграл выборы и стал следующим президентом США. Спеша угадать
победителя заранее, до выхода газеты в печать, редакция положилась
на результаты опросов — и назвала не того. Спустя 75 лет ситуация не
сильно изменилась. Прогнозы на выборах 2016 года тоже
предсказывали победу Хиллари Клинтон над Дональдом Трампом — и
тоже оказались ошибочными.
Несмотря на свои ограничения, прогнозирование превратилось в
нечто вроде зрелищного спорта, и увлечение им людей порой граничит
с одержимостью. В статье, опубликованной в Wired, говорится об
одном таком человеке:
Просыпаясь, Эван первым делом проверяет сайт прогноза
выборов, созданный Нейтом Сильвером, — даже до душа и завтрака.
Он держит открытой вкладку с сайтом FiveThirtyEight, где показаны
данные последних опросов: новый опрос означает изменение шансов.
Он получает уведомления на телефон, когда меняется прогноз, и
подписан на аккаунт в Twitter, который сообщает об изменениях. Эван
признается, что, когда он не спит, проверяет информацию каждый час
43.
Но ведь результаты опросов мало влияют на повседневную жизнь
большинства людей! Откуда тогда столь острый интерес? Все дело в

неспособности мириться с неопределенностью, которая окружает
нашу жизнь. Избегание неопределенности — это намного более
глубокое явление, чем просто неприятие риска. Даже когда прогнозист
говорит, что шансы нашего фаворита 50 на 50, это приносит больше
психического комфорта, чем полное незнание.
Как это связано со «змеиным маслом» ИИ? Компании и
правительства часто внедряют несовершенные предиктивные модели
по коммерческим или бюрократическим мотивам. Отчасти же причина
заключается в том, что решения принимают люди, которые, как и все,
не любят случайностей. Им сложно принять непредсказуемость
будущего. Они не готовы смириться с тем, что не могут подбирать
идеальных сотрудников и что их выбор все равно будет в значительной
мере лотереей.
А что будет, если принять непредсказуемость? Представьте, как
компания заявляет, что будет нанимать всех подряд, отсеивая только
явно неквалифицированных, и повышать в должности тех, кто
выдержит испытательный срок! Вряд ли из этого что-то получится:
привыкшие потрясать собственными регалиями люди сочтут
компанию непривлекательной, и она потеряет хороших кандидатов.
Когда подобные лотереи использовались для распределения жилья,
участники оставались в основном недовольны 44.
Итак, дискомфорт, вызванный неопределенностью, приводит к
поиску закономерностей там, где их нет. Это способствует
предвзятости. Вспомните бизнес-мантру: «Никого еще не уволили за
покупку IBM [10]». Выбор в пользу известного и проверенного
безопаснее, чем принятие неведомого. Даже стремление нанимать
выпускников элитных вузов говорит о желании навести порядок в
хаотичном процессе поиска талантов.
Принятие случайности и неопределенности во многих ситуациях
может привести к более взвешенным решениям — и в конечном счете
к совершенствованию. Вместо того чтобы рассматривать людей как
нечто неизменное, а их судьбы как предопределенные, нам следует
создавать институты, которые учитывают простую истину: прошлое не
предопределяет будущего. Это достижимо, если научиться принимать
случайности, лежащие в основе нашей жизни, как они есть. Мы
вернемся к этой теме в заключительной главе.

Подведем итоги
Внедряя предиктивный ИИ, важно понимать, в чем его слабые стороны
и как он может навредить людям. Это поможет не попасться на уловки
продавцов-шарлатанов. Изменения начинаются с того, что мы ставим под
сомнение использование вредоносных инструментов ИИ на своем рабочем
месте, в районе, в сообществе. Информирование — первый шаг на пути к
требованию перемен.
В этой главе мы рассмотрели множество причин, по которым
предиктивный ИИ терпит неудачу (см. таблицу 2.1). Однако объем данных о
людях растет, достижений в области машинного обучения становится все
больше, и может возникнуть впечатление, что выявленные ограничения —
временные. С другой стороны, возможно, что априорные пределы
предсказуемости будущего существуют независимо от того, сколько у нас
данных или насколько хороши модели. Какой из сценариев более вероятен?
На этот вопрос ответит следующая глава.
ТАБЛИЦА 2.1. Пять причин, по которым предиктивный ИИ терпит
неудачу

3. Почему ИИ не может предсказать
будущее?
Глава 3
Предопределена ли наша судьба? Можем ли мы предугадать, что
случится с нами завтра? Через год? Как сложится наша карьера? Как
заглянуть в будущее (если это все-таки возможно)? Такие вопросы не
новы. Человечество всегда стремилось узнать, что ждет впереди. За
предсказаниями к тем, кто объявлял себя провидцами, обращались
постоянно. Правители советовались с оракулами перед военными
походами. Простые люди обращались к гадалкам в непредсказуемом
мире, где их в любой момент могли настигнуть болезни.
Не желая полагаться исключительно на предполагаемое
ясновидение отдельных «пророков», люди на протяжении всей
истории разрабатывали системы предсказаний, которые мог
использовать любой человек 1. Эти системы выстраивались на основе
положения звезд, карточных раскладов, линий на ладони и десятков
других факторов.
В наши дни основной системой предсказаний считают ИИ.
Многие думают, что алгоритмы и машинное обучение могут помочь
нам анализировать прошлое и настоящее, чтобы делать точные
прогнозы о будущем. Известный (хоть и сомнительный) пример
извлечения неожиданных выводов из данных — история о пиве и
подгузниках 2. Изучая данные продаж сети магазинов, один аналитик
выяснил, что между покупкой пива и покупкой подгузников есть
корреляция — вероятно, потому, что молодым родителям не хватает
времени на походы в бар, но они могут позволить себе небольшую
радость дома. Поэтому, если разместить эти товары рядом, их продажи
вырастут: покупая подгузники, родители возьмут и пиво (и наоборот).
Это кажется отличным примером того, как анализ данных может
открыть перед нами новые возможности. Ведь даже в обычном
магазине можно отыскать множество подобных корреляций, и ИИ
вполне способен подсказать, на какие из них стоит обратить внимание.
Некоторые технооптимисты даже считают, что статистические

инструменты могут заменить научную методику, поскольку способны
находить в данных такие корреляции, которые не придут в голову ни
одному ученому 3.
Неудивительно, что эта идея настолько популярна. Почему бы не
поверить, что компьютеры способны предсказывать будущее, просто
обрабатывая числовые данные? В отличие от других методов
прогнозирования, возможности компьютеров не нуждаются в слепой
вере, ведь вычислительная техника и ИИ уже прекрасно
зарекомендовали себя во многих областях, таких как преобразование
речи в текст или создание изображений на основе словесного
описания. Поэтому простому человеку не кажется фантастикой
утверждение, что какая-нибудь компания может создать инструмент
для предсказания будущих событий — например, сообщающий
полиции, где и когда произойдет преступление.
Однако, как мы увидели в предыдущей главе, предиктивный ИИ
часто не оправдывает возложенных на него надежд и может причинить
немало вреда. Исчезнут ли нынешние ошибки в этой области с
развитием технологий и накоплением данных? Или недостатки
предиктивного ИИ, стремительно набирающего популярность,
неотделимы от него?
В 2020 году Арвинд вместе с Мэттом Салгаником вел в
Принстонском университете курс, в рамках которого были собраны
данные о том, насколько точно мы способны предсказывать будущее 4.
Эта глава основана на материалах того курса и дальнейших
исследованиях Саяша и Арвинда. Мы рассмотрим следующие
ключевые вопросы:
Насколько успешно ИИ предсказывает события в частной и
общественной жизни?
Где проходят границы его возможностей?
В каких случаях мы можем рассчитывать на улучшение
прогнозов, а в каких имеются принципиальные ограничения
предсказуемости?
Начнем с обзора вычислительных
используются для прогнозирования.

инструментов,

которые

Краткая история предсказаний будущего с
помощью компьютера
Когда погодное приложение сообщает вам, что вероятность дождя
80%, знайте: перед вами итог тысячелетнего стремления человечества
понять капризы природы. В Египте до постройки Асуанской плотины
Нил разливался ежегодно. Начиная с III в. до н.э. на протяжении 1000
лет жрецы наблюдали за уровнем воды в реке, чтобы предсказать
судьбу посевов 5. Если вода к определенной дате достигала отметки на
камне, они были уверены: разлив будет достаточным, чтобы урожай
уродился.
Перенесемся в XVII век. К этому времени появились
метеорологические приборы, такие как гигрометры для измерения
влажности, термометры и барометры. В XIX веке сеть метеостанций
охватила весь мир. Сбор данных из самых разных уголков планеты
позволил метеорологам начать прогнозировать погоду. В начале XX
века были разработаны уравнения для моделирования погодных
условий, а в 1940-х годах создали компьютеры, которым хватало
мощности для таких вычислений. Великий математик Джон фон
Нейман руководил созданием компьютера в Институте перспективных
исследований в Принстоне (всего в двух милях от места, где мы пишем
эту книгу). Кроме всего прочего, этот компьютер мог рассчитывать
вероятность той или иной погоды с использованием уже
предложенных математических моделей. К середине 1950-х годов
регулярные прогнозы погоды стали нормой для всей Северной
Америки 6.
Но в 1963 году было сделано открытие, заставившее усомниться в
нашей способности точно предсказывать погоду, особенно на
длительный период 7. Метеоролог Эдвард Лоренц, работая над
погодными моделями, случайно обнаружил поразительное явление:
если округлить числа до трех знаков после запятой вместо шести,
результаты получались совершенно другими 8!
Открытие привело к серьезному прорыву в науке: люди поняли,
что погода — это хаотическая система. Иными словами, малейшие

изменения в исходных данных, например крошечная погрешность при
измерении температуры, со временем приводят к лавинообразному
росту ошибок. Чем долгосрочнее прогноз, тем больше искажений.
Лоренц назвал это эффектом бабочки: взмах крыльев бабочки в
Бразилии теоретически способен вызвать торнадо в Техасе 9. Когда
ученые осознали, что такой эффект существует, долгосрочный прогноз
погоды стал казаться практически невозможным.
Однако за последние десятилетия кое-что изменилось. Рост
вычислительных мощностей, увеличение объема данных и
совершенствование уравнений для моделирования погоды позволили
повысить точность прогнозов — примерно на один день за каждые 10
лет. Пятидневный прогноз 10-летней давности по точности
сопоставим с современным шестидневным 10. Конечно, точно
предсказать погоду на год или даже на месяц вперед по-прежнему
невозможно: для этого пришлось бы знать, что делает каждая бабочка
на планете. Но даже недельный прогноз очень полезен. И добились мы
этого не благодаря революции в методах вычисления, развитию теории
или усовершенствованным способам сбора данных, а путем
постоянных небольших улучшений.
Современные прогнозы погоды в основном опираются на
компьютерное моделирование. Суть метода в том, что будущее
развитие системы можно предсказать, располагая двумя ключевыми
элементами: данными о текущем состоянии и уравнениями,
описывающими, как система меняется со временем за счет
взаимодействия ее компонентов.
Успехи в прогнозировании физических систем породили
следующую гипотезу: если есть нужные данные и достаточная
вычислительная мощность, моделирование можно использовать для
предсказания любых событий. В 1950-х годах профессор MIT Джей
Форрестер стал пионером в области системной динамики — подхода,
который должен был распространить принципы моделирования на
социальные системы 11. Он попытался смоделировать целый город,
чтобы найти решение острых социальных проблем вроде прихода
городов в упадок.
Этот подход был обречен на провал. Причины вполне очевидны:
город совсем не похож на физическую систему. Даже в тоталитарном
обществе невозможно полностью отследить все происходящие в нем

процессы, поэтому в исходных условиях для моделирования слишком
много неопределенности. К тому же городская система не является
замкнутой, и, чтобы прогноз был более-менее точен, вам придется
моделировать весь мир. Что характерно, модели Форрестера вообще не
учитывали такое явление, как субурбанизация — развитие спальных
пригородов, откуда люди ездят на работу в город. А ведь это было,
пожалуй, самое значительное изменение, которое переживали
американские города того времени!
В 1960-х годах компания Simulmatics (название образовано из
слов «симуляция» и «автоматика») взялась предсказывать исход
выборов в США, эффективность борьбы с партизанами во Вьетнаме и
вероятность расовых бунтов 12. Насколько мы можем судить, никакого
моделирования она вообще не использовала — только базовую
статистику и алгебру 13. Впрочем, показательно само название
компании: оно отражает, насколько тесно люди того времени
связывали моделирование с предсказаниями. Однако Simulmatics тоже
постигла неудача, и в 1970 году компания закрылась.
В отличие от моделирования, машинное обучение использует
данные за предыдущие периоды, чтобы находить скрытые
закономерности и на их основании делать прогнозы. Методики
способны со временем адаптироваться и меняться. В том, как прошлые
события определяют будущее, нет жестких правил: они формируются
на основе того, как система вела себя раньше.
Например, моделирование погоды обычно опирается на
физические законы, такие как уравнения движения воздушных масс. А
при использовании машинного обучения мы создаем компьютерные
модели на основе данных о том, как менялась погода в прошлом, и
используем их для прогнозов. Разбираться в физике при этом не
нужно. Не нужно и предсказывать погоду поминутно или почасово,
используя каждый прогноз как отправную точку для следующего.
Вместо этого напрямую моделируется связь между погодой сегодня и
завтра (или за любой другой интересующий нас временной
промежуток).
В широком смысле машинное обучение лучше подходит для
прогнозирования поступков отдельных людей, а моделирование — для
предсказания коллективного поведения или глобальных явлений. Это
логично: для обучения моделей нужны большие объемы данных.

Например,
современные
спам-фильтры
работают
довольно
эффективно именно потому, что существует множество примеров как
спама, так и обычных писем. Но если мы захотим предсказать
вероятность продовольственного кризиса, методы машинного
обучения окажутся не столь полезны: в истории слишком мало
примеров подобных кризисов, на которых можно было бы тренировать
модель. В этом случае более эффективным будет моделирование,
основанное на экспертных знаниях: как изменение климата влияет на
сельское хозяйство, как устроена мировая торговля и как политические
перемены сказываются на поставках продовольствия.
Примерно тогда же, когда обанкротилась Simulmatics, начали
развиваться более сложные методы машинного обучения. В 1956 году
была основана компания FICO [11], которая занялась оценкой
кредитных рисков. Поначалу она создавала модели для отдельных
кредиторов и банков, а позже, в 1989 году, запустила универсальный
рейтинг FICO, который стал использоваться как единый показатель
кредитоспособности во всех финансовых учреждениях. Рейтинг
рассчитывался на основе кредитной истории и позволял
прогнозировать вероятность неуплаты кредита 14. В 1980-х появились
прогнозы совершения преступлений 15. В начале XXI века машинное
обучение добилось коммерческого успеха в таргетированной рекламе,
а затем и во многих других областях. В мире технологий и бизнеса его
стали считать универсальным решением практически для любой
задачи. В 2010-х популярность предиктивного ИИ взлетела до небес.
Подавляющее большинство крупных компаний внедрило те или иные
системы автоматизации найма 16. И это далеко не все примеры, о
которых пойдет речь.
Как ни странно, несмотря на повсеместное использование
компьютерных прогнозов в социальной сфере, опубликованных
доказательств их эффективности на удивление мало. Так насколько же
хорошо мы на самом деле можем предсказывать события в социальной
сфере?

Давайте разберемся
Не все предсказания одинаково сложны. Кое-что все-таки можно
прогнозировать с высокой точностью. Астрономы успешно
рассчитывают движение планет и жизненные циклы звезд. Врачи
могут предсказать, как будет развиваться то или иное заболевание и
как подействуют лекарства. Учитывая эти успехи в прогнозировании,
интересно разобраться: что же мы не сумеем предсказать?
Опираясь на материал предыдущей главы, можно предположить,
что мы не способны предсказать никакие социальные явления. Но это
слишком широкое обобщение. Некоторые социальные процессы
прогнозируются довольно точно — например, загруженность дорог
или наплыв посетителей в магазине в определенный день 17, 18.
Очевидно, нужно копать глубже.
Наиболее сложно предсказывать будущее отдельных людей.
Можем ли мы спрогнозировать средний балл студента в следующем
учебном году? Или предугадать, выселят ли человека из его
нынешнего жилья? В следующем разделе мы рассмотрим, насколько
точными могут быть такие прогнозы. Но сначала давайте зададимся
вопросом: какая точность нужна, чтобы считать прогноз полезным?
Вопрос кажется простым, но на деле все не так очевидно.
Практически для любого прогноза существует множество
способов оценить его точность, и результаты, в зависимости от
способа, могут разительно отличаться. Возьмем прогноз погоды:
считать ли его точным, если температура отклоняется от
предсказанной на один градус? А если попадание — плюс-минус пять
градусов? А может, важно только правильно предсказать дождь, а
температура не имеет значения? С помощью любого из этих критериев
можно сравнить разные методы прогнозирования или понять,
улучшаются ли наши прогнозы со временем. Но универсального
способа определить качество прогноза погоды просто нет.
Это также означает, что мы не можем напрямую сравнивать
точность прогнозов в разных областях. Нельзя сказать: «Погоду
предсказывать сложнее, чем продажи». Бессмысленно спорить, что

результативнее: прогноз температуры с точностью до градуса или
прогноз продаж с точностью до 10%.
Тем не менее есть множество качественных критериев, которые
помогают понять, насколько хорошо мы можем справляться с задачами
прогнозирования. Прогнозы погоды, конечно, несовершенны, но
достаточно точны, чтобы люди каждое утро проверяли их и решали,
брать ли с собой зонтик. Но мы не можем предсказать, попадет ли
конкретный человек в аварию, поэтому никто не просматривает
прогноз ДТП перед выходом из дома.
Это сравнение подчеркивает еще одно важное свойство
прогнозов: мы оцениваем качество прогноза по тому, насколько он
полезен на практике. Например, мы научились отлично предсказывать
землетрясения, если задача заключается в определении зон
повышенного риска, где следует ужесточить требования к
строительству 19. Но если нужно спрогнозировать, когда именно
произойдет землетрясение и потребуется эвакуация, точности уже не
хватит 20.
В других случаях прогнозы могут приносить практическую
пользу (например, в судебной системе — для определения количества
заключенных), но при этом порождать этические проблемы (к
примеру, при принятии решения о том, кого заключать под стражу, а
кого нет).
Еще один важный критерий прогнозов — повышается ли их
точность с увеличением объема данных и совершенствованием
моделей. Представим, что некая болезнь развивается в результате
определенного генетического нарушения. Если у нас будут все
необходимые данные о геномах и совершенные модели, мы сможем
точно предсказать, кто ею заболеет. А теперь представим себе
онкологическое заболевание, вызываемое случайной мутацией
(например, в результате облучения). Мы можем выявить группу риска
(в нее попадут те, кто работает с радиацией), но не сумеем
предсказать, кто именно из этих людей заболеет: мутация случайна,
сколько бы данных мы ни собрали.
Для обеих этих болезней прогноз нельзя выразить в абсолютных
числах. На самом деле при наших (пока еще ограниченных) знаниях о
генетике наследственные недуги могут быть еще менее предсказуемы,
чем рак. Однако со временем, по мере накопления данных и знаний,

они становятся более прогнозируемыми, тогда как в предсказании рака
мы столкнемся с фундаментальными ограничениями, как при броске
кубика: нельзя предугадать случайный исход, сколько бы данных мы
ни собрали и как бы хорош ни был ИИ.
Поэтому, когда мы говорим о том, что предсказывать события в
жизни отдельного человека сложно, мы опираемся на три критерия:
практическую ценность прогноза, его этическую обоснованность и
неустранимую погрешность — ошибку, которой нельзя избежать даже
с помощью больших массивов данных и улучшенных алгоритмов.
Вернемся к вопросу, почему так трудно предсказать, как сложится
жизнь человека. Самое очевидное объяснение: люди обладают
свободой воли. Но нас такой ответ не устраивает. Да, конечно, у всех у
нас есть свобода воли, но часто ли мы ею пользуемся? Может быть, мы
обращаемся к ней слишком редко и поэтому остаемся вполне
предсказуемыми? К тому же, даже если в естественных условиях
поведение человека непредсказуемо, те показатели, которые пытаются
прогнозировать различные организации (например, средний балл
аттестата), — это искусственные конструкты, специально созданные
для контроля над людьми. Возможно, они гораздо более предсказуемы,
чем другие аспекты человеческого поведения 21.
Для того чтобы найти более точные ответы на эти вопросы,
обратимся к данным из реальной жизни.

Конкурс Fragile Families Challenge
Многие ученые активно занимаются предсказанием будущего, но
только не социологи. Вместо составления прогнозов они
предпочитают доискиваться до причин тех или иных явлений 22.
Например, они не ставят целью прогнозирование будущих доходов
людей, чтобы определить, кому понадобится помощь; вместо этого они
стремятся выявить причины бедности, чтобы эффективнее с ней
бороться.
Аналогичным образом обстоит дело с проблемой браков:
социология помогает понять причины несовместимости супругов и
разводов, но не прогнозирует, распадется ли конкретная семья 23.
Правда, в 1990-х годах и в начале 2000-х социологи пытались этим
заниматься, и их заявления о способности предсказывать разводы
вызвали немалый ажиотаж. Однако эти исследования грешили
методологическими ошибками, из-за которых точность прогнозов
оказалась изрядно преувеличена 24: модели хорошо работали только с
данными тех пар, на которых их обучали, но не справлялись с новыми
случаями. Иными словами, прогнозы были точными лишь там, где
результат и так был известен!
Одна из причин, почему социология сосредоточена на понимании
явлений, а не на прогнозах, — недостаток данных. Машинное
обучение наиболее эффективно работает на больших объемах
информации, однако до недавнего времени социологические базы
данных были небольшими, поэтому социологи традиционно
использовали простые статистические модели вроде линейной
регрессии.
С увеличением объема доступных данных машинное обучение
проникло и в общественные науки. Одним из ярких примеров стала
инициатива под названием Fragile Families Challenge — масштабное
исследование, в рамках которого с помощью ИИ и большого объема
данных пытались предсказать, как сложится будущее детей.
В 2015 году наш коллега из Принстонского университета Мэтт
Салганик заинтересовался вопросом: насколько точно ИИ может
предсказывать будущее? Сара Макланахан, профессор социологии в

том же вузе, наблюдала за жизнью более 4000 детей, появившихся на
свет около 2000 года в более чем 20 городах США. На протяжении 15
лет она и ее коллеги проводили опросы этих детей и членов их семей:
сперва в год рождения ребенка, потом когда ему исполнялся год, три,
пять и девять лет. Подробные анкеты для родителей и учителей, а
также занятия с детьми на дому позволили собрать по каждому
ребенку информацию, охватывавшую более 10 000 показателей. На
самом деле трудно найти социологическую переменную, которая не
была охвачена этими опросами.
В 2015 году Сара и ее коллеги планировали опубликовать данные
последнего опроса, полученные, когда детям исполнилось по 15 лет.
Как раз тогда Мэтт задумался: а можно ли с помощью ИИ и собранных
массивов данных точно предсказать, как сложится жизнь этих детей?
Он пошел к Саре, чтобы обсудить этот вопрос, и вскоре ученые начали
работать вместе.
Мэтт и Сара считали, что одной исследовательской группы,
работающей с данными, недостаточно, чтобы оценить, насколько
предсказуема жизнь этих детей. Такой анализ мог бы установить
нижнюю планку точности, но кто-то непременно возразил бы, что есть
более удачная модель или что другая команда исследователей
справилась бы лучше. Иными словами, в такой обстановке сложно
было бы опровергнуть гипотезу.
Чтобы решить эту проблему, Мэтт и Сара при поддержке своих
коллег из Принстона Яна Лундберга и Алекса Киндела организовали
конкурс прогнозов. Его участники со всего мира получили доступ к
части данных — информации о детях с момента рождения до девяти
лет. На ее основе нужно было разработать модель ИИ, которая бы
предсказывала успехи этих детей в 15-летнем возрасте. Предлагалось
дать прогнозы по шести показателям, включая средний школьный
балл, выселение из жилья и возникновение материальных проблем.
Участники ранжировались в зависимости от того, насколько их
предсказания оказались близки к реальным данным.
В открытом конкурсе приняли участие сотни исследователей. Они
использовали разные подходы: одни прибегли к сложным моделям ИИ,
другие — к статистическим социологическим моделям. Независимо от
подхода, исследователи соревновались на равных: единственное, что
имело значение, — это насколько хорошо их модель предсказывала

будущее детей. Целью конкурса было не определить победителя, а
извлечь полезные уроки из коллективных усилий. Организаторы даже
назвали это массовой коллаборацией.
Но, в отличие от обычного сотрудничества, конкурс прогнозов
должен был помочь избежать чрезмерного оптимизма при оценке
возможностей ИИ. Во многих исследованиях показатели точности
предсказаний завышены, потому что исследователи имеют доступ к
данным, используемым для оценки их моделей. В реальности может
оказаться, что точность переоценена (что и произошло с попытками
прогнозирования разводов, как упоминалось ранее). Напротив,
организаторы конкурса Fragile Families Challenge не предоставляли
данных для оценки моделей, поэтому никто из участников при всем
желании не мог даже непреднамеренно подтасовать результаты.
В конкурсе приняли участие 160 команд конкурирующих
исследователей, представивших свои прогнозы. В качестве своего рода
точки отсчета для оценки более сложных вариантов ИИ была создана
простая модель на основе базовой статистики. В этой модели
использовались всего четыре показателя: три касались матери ребенка,
один — его успехов в девятилетнем возрасте. Так, для
прогнозирования среднего балла в аттестате в возрасте 15 лет
учитывались национальность матери, ее семейное положение, уровень
образования и успеваемость ребенка в девять лет.
К удивлению (и огорчению) Мэтта, ни одна из моделей не
показала хороших результатов: даже лучшие из них работали чуть
точнее подбрасывания монетки. А навороченные модели ИИ не смогли
существенно превзойти базовую модель с ее четырьмя показателями
25.
Иными словами, самые продвинутые ИИ, созданные 160
исследователями-энтузиастами, обработавшие десятки тысяч единиц
данных о каждой из более 4000 семей, не смогли соперничать со
старыми добрыми регрессионными моделями, основанными на
классических социологических теориях. Результаты конкурса
подтвердили, что старые правила по-прежнему работают:
успеваемость в прошлом, национальность и принадлежность к
определенному социальному классу позволяют предсказать будущие
оценки. Социологи давно это знают, поэтому сенсации не получилось.

Почему эксперимент завершился
разочарованием?
Перед тем как рассказать об итогах конкурса Fragile Families
Challenge на научных конференциях, Мэтт обычно просит
присутствующих предположить, каких результатов достигли команды.
Чаще всего самые оптимистичные прогнозы делают специалисты по
информатике и специалисты по обработке данных: они видели, каких
высот достигает ИИ в других областях.
Узнав об удручающих результатах конкурса, именно эти люди
задают больше всего уточняющих вопросов и предлагают множество
способов улучшить прогнозы. Один из самых частых вопросов:
достаточно ли выборки из 4000 семей? Задавая его, слушатели часто
ссылаются на конкурс, положивший начало революции в области
глубокого обучения в 2012 году, — ImageNet Challenge. Его
участникам надо было определить с помощью ИИ, что изображено на
картинках, которых было 1,2 млн 26. (Подробнее об ImageNet мы
поговорим в следующей главе.)
ИТ-специалисты предлагали прямое вмешательство: использовать
более обширные выборки. Суть гипотезы заключалась в том, что
большой объем данных и мощная вычислительная техника приведут к
заметному росту точности, а затем и к прорыву в социальном
прогнозировании.
Это одна из многих причин, почему мы не можем считать, что
результаты Fragile Families Challenge указывают на фундаментальные
ограничения прогнозирования. Мы просто не знаем, верна ли эта
гипотеза. В научных областях с устоявшимися теориями (например, в
астрономии) предсказуемость высока. Мы можем с поразительной
точностью определить положение планеты в любой момент времени
на многие годы вперед. Бывают и известные фундаментальные
пределы предсказуемости; так, законы термодинамики позволяют
прогнозировать поведение газа, такого как кислород или азот, в целом,
но не движение отдельных молекул.

Однако на сегодняшний день у нас нет теорий, позволяющих
судить о предсказуемости социальных проблем. Мы не умеем точно
предугадывать будущее и не видим, каковы настоящие ограничения
наших прогнозов.
Тема предсказуемости человеческих судеб часто возникает в
научной фантастике. Так, в антиутопическом рассказе Филипа Дика
«Особое мнение» (Minority Report) и в одноименном фильме
гипотетических преступников арестовывают на основании прогнозов
за преступления, которые они еще не совершили. Сюжет сериала «В
поле зрения» (Person of Interest) тоже вращается вокруг ИИ,
предсказывающего преступления. Главная интрига в подобных
сюжетах обычно строится на конфликте между предопределенностью
и свободой воли. Но авторы упускают важный источник неустранимых
ошибок в социальных прогнозах: случайные события.
Отличительная черта задач, в которых ИИ преуспевает, таких как
классификация изображений, — простота верификации. Стоит
взглянуть на фото кота — и мы тут же понимаем, что это кот. Люди и
современные ИИ могут правильно классифицировать почти любую
картинку. Случайность почти не влияет на корректность ответа.
Насколько велика вероятность неустранимой ошибки для
социальных прогнозов? Наше понимание социальных наук и
концепции предсказуемости еще не настолько развито, чтобы дать
точный ответ, но есть основания считать, что ошибки вероятны — в
том числе из-за случайных событий. Человек может столкнуться с
неожиданными переменами, которые невозможно предсказать, после
чего его жизнь существенно изменится. Ни одна модель не способна
предсказать, выиграет ли кто-то в лотерею или попадет ли под машину.
Но как часто происходят эти непредвиденные события? Да,
теоретически взмах крыльев бабочки может вызвать торнадо, но если
подобное случается раз в тысячелетие, то, возможно, нам не стоит об
этом беспокоиться? Гораздо чаще, чем серьезные потрясения, мы
видим накопительный эффект от первоначально незначительных
искажений. Небольшая предвзятость при ежегодной оценке вашей
работы (например, из-за натянутых отношений с начальником) со
временем может серьезно повлиять на карьеру: вас будут повышать
медленнее, чем ваших коллег. Такие мелкие отличия очень трудно
измерить, что приводит к еще бо́ льшим погрешностям в прогнозах.

Теперь вернемся к вопросу о том, сколько данных нам нужно для
получения надежных прогнозов. Известно, что для создания точных
моделей данных нужно тем больше, чем больше в них особенностей и
погрешностей. В социальной сфере их предостаточно, а
закономерности не высечены на скрижалях: в отличие от фотографий
котов, они существенно зависят от контекста, времени и места. То, что
определяет успех здесь и сейчас, может оказаться бесполезным для
прогнозов в другой ситуации.
Значит, для того чтобы ИИ мог предсказывать качественно, нужно
собрать огромное количество данных из разных социальных
контекстов. Исторических данных для этого недостаточно, как не
хватит опросов с прошлых выборов в США, чтобы предсказать, кто
победит на следующих выборах: демократ или республиканец.
Это подводит нас к любопытной мысли: возможно, собрать
достаточно данных для социальных прогнозов не просто трудно, а
невозможно в принципе. Мэтт Салганик называет это «проблемой
восьми миллиардов»: что, если точные прогнозы недостижимы просто
потому, что на Земле не хватит людей, чтобы выявить все
существующие закономерности 27?
Важен не только объем выборки, но и ее содержание. В рамках
Fragile Families Challenge по каждому ребенку собрали около 10 000
социологически значимых показателей. Но, похоже, даже этого мало.
И вот почему.
После завершения конкурса прогнозов Мэтт с коллегами
попытались разобраться, почему предсказания были такими
неточными 28. Они решили встретиться с семьями, чье поведение
оказалось наименее предсказуемым, чтобы понять причины серьезных
ошибок. В ходе одной из встреч выяснилось, что проблемный ребенок
неожиданно стал лучше учиться. Что стало причиной? Заботливый
сосед, который давал ребенку советы, помогал с уроками и угощал
черникой. Однако в анкетах Fragile Families Challenge не было вопроса,
подкармливает ли детей кто-то посторонний (и, что еще важнее,
помогает ли им кто-нибудь с домашним заданием). Возможно, это
пример того самого недостающего параметра, который мог бы
повысить точность прогнозов хотя бы потому, что указывал бы, что в
жизни ребенка есть взрослый, готовый его поддержать. Сколько еще
подобных параметров упущено в современных наборах данных?

Один из способов создать более полную базу данных, которую
можно было бы использовать для получения прогнозов повышенной
точности, — обратиться к государственным информационным
системам. Например, в Нидерландах собрана подробная информация о
семьях граждан, их соседях, одноклассниках, домочадцах и коллегах.
Масштаб этой базы впечатляет: она содержит записи о каждом жителе
страны — обо всех 17,2 млн человек. В среднем один человек связан с
82 другими людьми; в сумме это дает 1,4 млрд записей о социальных
связях 29.
Такой массив данных, безусловно, намного обширнее и полнее,
чем база Fragile Families Challenge. Это вполне реальная альтернатива
для
прогнозирования
социальных
результатов.
Насколько
эффективным окажется использование этих данных, мы узнаем совсем
скоро. Сейчас, чтобы проверить гипотезу, проводится несколько
исследований, в том числе соревнование по прогнозированию 30.
Еще
один
потенциальный
источник
информации
—
технологические компании. Люди проводят немало времени на
платформах Google и Meta [12]. Может быть, данные, которые
пользователи оставляют этим компаниям, содержат уникальные
закономерности, недоступные из других источников?
Конечно, можно порассуждать об этой возможности, как это
делают многие исследователи массовой культуры, изучающие
взаимосвязь технологий и общества. Однако для технологических
компаний прогнозирование того, как сложится жизнь людей,
сопряжено со слишком большими рисками — как репутационными,
так и юридическими. К тому же их бизнес-показатели завязаны не на
предсказании будущего пользователей, а на том, каким контентом они
заинтересуются прямо сейчас. Так что в ближайшее время мы вряд ли
получим ответ на вопрос, какова долгосрочная предсказательная
способность онлайн-данных.
Есть еще более масштабная (и при этом откровенно
антиутопическая) возможность — создать гигантские базы данных,
собирая подробнейшую информацию о каждом человеке в мире, где
бы он ни находился. Для этого пришлось бы вести за всеми людьми
непрерывное наблюдение, фиксирующее любое действие. Конечно,
АНБ и технологические гиганты уже располагают внушительным
массивом данных о людях, но речь идет о куда более тотальной

слежке: о записи каждого произнесенного слова, каждого движения,
каждого поступка и, возможно, даже каждого электрического сигнала,
попадающего в мозг 31. Позволит ли это добиться более точного
прогнозирования? Для чего это нужно? И не будет ли это стоить нам
неприкосновенности личной жизни?

Прогнозирование в уголовном правосудии
На самом деле примеров исследований в области общественных
наук, касающихся прогнозирования человеческих жизней, не так
много, а те, что есть, показывают, что мы с этим справляемся не
лучшим образом. Однако, как мы видели в предыдущей главе, это не
мешает компаниям и правительствам внедрять инструменты для
предсказания будущего и принимать решения на основе этих
прогнозов.
Существуют десятки инструментов и продуктов на базе ИИ,
разработанных компаниями, которые утверждают, что способны
предугадать будущее отдельных людей 32. Эти прогнозы становятся
основой для принятия важных решений в сферах здравоохранения,
страхования, банковской деятельности и уголовного правосудия.
Благодаря этим попыткам прогнозирования мы можем попытаться
оценить, насколько предсказуема жизнь отдельного человека.
Компании неохотно раскрывают информацию о принципах работы
своих систем предиктивного ИИ, но исследователи, журналисты и
правозащитники успешно добывают ее — из маркетинговых
материалов, интервью с сотрудниками, в результате запросов
публичной информации. Поэтому мы можем проанализировать, как
предиктивный ИИ проявляет себя в реальных условиях и какие
препятствия перед ним возникают.
К примеру, одно из заявленных преимуществ систем вроде
COMPAS — способность снижать предвзятость и повышать точность
в системе уголовного правосудия 33. Как утверждает производитель, у
ИИ нет предубеждений, присущих людям, так что его можно
использовать для принятия объективных и справедливых решений.
В 2016 году Джулия Ангвин и ее коллеги из ProPublica решили
проверить это утверждение. Они провели глубокое исследование по
итогам применения системы COMPAS в округе Брауард, штат
Флорида, с целью выяснить, оправдались ли прогнозы, сделанные для
10 000 человек.
Исследователи обнаружили в деятельности ИИ значительную
расовую дискриминацию. Чернокожих в два раза чаще, чем белых,

ошибочно относили к группе высокого риска 34: в нее попали 45%
процентов чернокожих, которые не совершили преступление, и всего
лишь 23% белых.
Эта расовая предвзятость стала предметом многочисленных
научных исследований и публикаций в прессе, посвященных
инструментам оценки риска. Однако отчет показал и проблему
инструмента как такового: его относительная точность составляла
всего 64% 35. Относительную точность высчитывают путем анализа
пар людей, один из которых мог бы совершить преступление, а другой
— нет, и определения того, насколько часто первый из них был
отнесен к группе более высокого риска, чем второй. Точности в 50%
можно достичь, выставив оценки риска случайным образом! Так что
методика, использующая 137 параметров, оказалась ненамного
эффективнее, чем подбрасывание монетки. С точки зрения
обвиняемого, даже если у него нет намерения совершить
преступление, его могут посадить в тюрьму просто потому, что его
ответы на вопросы совпадают с ответами людей, которые когда-то в
прошлом совершили преступление.
Но даже столь низкую точность COMPAS, вероятно, можно
считать завышенной. В какой-то степени электронные предсказания
лишь отражают предвзятость правоохранительных органов. В
гипотетическом мире, где все люди могут совершить преступление с
одинаковой вероятностью, но некоторых арестовывают чаще
(например, потому, что они проживают в районах, где ведется
усиленное патрулирование), COMPAS мог бы успешно предсказывать
заключения под стражу — просто потому, что вероятность ареста
зависела бы от места проживания человека. Поскольку современная
полицейская система предвзята, нет оснований ожидать, что COMPAS
не будет просто предсказывать именно ее предвзятость 36.
Дальнейшие
исследования
оказались
еще
более
разоблачительными, чем первоначальные выводы ProPublica. Одно из
них показало, что точность COMPAS не выше, чем точность суждений
неспециалистов 37. Более того, прогнозирование с использованием
всего лишь двух параметров — возраста человека и количества его
предыдущих правонарушений — давало результаты не хуже, чем
предсказание ИИ на основе 137 параметров: чем младше возраст и

больше количество правонарушений, тем выше вероятность
повторного ареста.
Однако даже эта простая закономерность вызывает скепсис.
Согласно полученным данным, более молодые обвиняемые
воспринимаются как более опасные, но с моральной точки зрения,
возможно, стоит относиться к ним снисходительнее: их нервная
система еще продолжает развиваться, они легче поддаются влиянию
окружения, у них больше шансов кардинально измениться в будущем
38. Если убрать из уравнения возраст, останется всего одна
характеристика — количество прошлых правонарушений.
Таким образом, простое правило «чем больше нарушений в
прошлом, тем выше риск повторного правонарушения» может
оказаться более обоснованным с точки зрения морали, чем модель,
основанная на 137 параметрах. А еще у такого правила есть
дополнительные преимущества: оно всем понятно; неверное решение
можно оспорить; право принятия решения не передается ненадежной
третьей стороне (в отличие от COMPAS — «черного ящика»,
созданного коммерческой структурой).

Провал предсказать непросто. А успех?
Подводя итог, можно сказать, что последние несколько разделов
показали: во многих ситуациях трудно предсказать, на чью долю
выпадут негативные последствия. Возможно, дело в том, что неудачи
связаны скорее с внешними обстоятельствами, чем с личными
качествами. А вот успех — совсем другое дело: по заслугам и честь,
верно? Он должен быть более предсказуемым, ведь за ним, в отличие
от мелкого правонарушения, стоят годы труда…
Но факты показывают: при успехе везение играет куда бо́ льшую
роль, чем при провале.
Позвольте рассказать личную историю. Сегодня Арвинд —
успешный ученый. В далеком 2004 году он подал заявки на участие в
девяти престижных магистерских программах. Вскоре посыпались
отказы. Получив восемь отрицательных ответов, он решил
поинтересоваться в девятом вузе, есть ли хоть какие-то новости.
Оказалось, там даже не знали о его заявке.
В полном отчаянии Арвинд обратился к другу, который уже
учился в том самом университете. Тот выяснил, что заявка Арвинда по
ошибке попала в другую папку. Потрясение Арвинда сменилось
облегчением, когда его все-таки приняли. Если бы не друг, отыскавший
его документы, мечты о дальнейшей учебе могли бы так и остаться
мечтами.
Но это был всего лишь первый шаг. Оглядываясь назад, Арвинд
понимает: подъем на каждую ступеньку академической лестницы был
бы невозможен без толики везения.
Всем успешным людям в какой-то мере просто повезло, однако
они редко признают роль удачи в своих достижениях. Арвинд не
исключение: он принялся публично рассказывать историю своего
поступления в магистратуру только тогда, когда начал писать о роли
удачи, и этот пример помог ему доказать свою точку зрения. Эта
тенденция особенно ярко проявляется в Соединенных Штатах,
поскольку там широко распространено представление об идеальном
обществе как об обществе меритократическом. Как однажды заметил
Э. Б. Уайт, «удача — не то, о чем стоит говорить в присутствии людей,

всего добившихся своими силами» 39. Конечно, успешным людям
непросто признать, что их достижения не всегда заслуженны. Намного
проще обманывать себя, считая, что это закономерный результат
таланта и упорного труда (в конце концов, талант и упорный труд в
некоторой степени влияют на успех).
В мире спорта, литературы и кино успех предугадать нелегко 40.
Том Брэди, которого сейчас считают одним из величайших квотербеков
НФЛ, на драфте 2000 года был выбран только под 199-м номером в
шестом раунде, то есть почти каждая команда его несколько раз
проигнорировала. Его звездный час настал, когда стартовый квотербек
«Пэтриотс» Дрю Бледсо получил травму 41.
«Гарри Поттера» отвергли восемь издателей, дебютный роман
Джона Гришэма — 26, а первую книгу Доктора Сьюза — 27. «Скотный
двор» Джорджа Оруэлла отказались печатать, поскольку «такие
истории о животных невозможно продать в США». Еще одну книгу в
1950-е [13] не хотели публиковать, аргументируя это следующим
образом: «очень скучно», «унылая хроника семейных раздоров»,
«даже если бы книга вышла пять лет назад, когда тема была актуальна,
никаких шансов у нее не было бы». Это был «Дневник Анны Франк».
Что касается кинофильмов, «Звездные войны» были отвергнуты
студиями United Artists и Universal Pictures. В 20th Century Fox все же
взялись за проект, но без особых надежд: Джорджу Лукасу за сценарий
и режиссуру выплатили всего $200 000, а фильм собрал $461 млн! В то
же время, хотя Disney и славится культовыми картинами, финансовые
потери от научно-фантастического фильма «Джон Картер» (2012)
превысили $100 млн, а мультфильм «Странный мир» (2022) принес
почти $150 млн убытка 42, 43. Исполнительный директор студии
Дэвид Пикер как-то сказал: «Если бы я одобрил все проекты, от
которых отказался, и отверг все, что принял, итог был бы примерно
таким же».
Почему так происходит? Существует фундаментальная научная
причина, по которой сложно предсказать успех в литературе, кино и
спорте. И если вы верите в идею меритократического общества, сейчас
вы будете разочарованы.
В мире создается намного больше книг, фильмов и музыкальных
произведений, чем средний человек сможет прочитать, посмотреть и

прослушать за всю свою жизнь. И лишь единицы из них становятся
бестселлерами, блокбастерами и хитами.
Но почему, например, фильмы вообще становятся блокбастерами?
Откуда берется такая колоссальная разница в успехе книг и фильмов?
Неужели одни произведения действительно в тысячи раз лучше
других? Разумеется, нет. Значительная часть этих произведений
создана на достаточно хорошем уровне, чтобы понравиться
большинству людей.
Почему популярность не распределяется поровну, станет понятно,
если представить себе мир, где слава и признание достались всем
достойным произведениям. В таком мире у каждой книги было бы
всего несколько читателей, а у каждой песни — пара слушателей. Мы
не смогли бы обсуждать литературу и музыку с друзьями: будет почти
невозможно найти двух людей, которые читали и слушали одно и то
же. Произведения искусства не формировали бы культуру, ведь
последняя строится на общем опыте. Вряд ли кто-то пожелал бы жить
в таком мире.
На реальном рынке культурных продуктов работает принцип
«богатые богатеют», или, как его еще называют, эффект накопленного
преимущества [14]. Что бы мы ни думали об этом, вкусы большинства
людей зависят от того, что читают и смотрят окружающие. Успех
притягивает успех.
Печально другое: какие именно произведения из множества
достойных станут знаменитыми, во многом определяет случай 44. Это
математическое следствие накопленного преимущества. Со временем
эффект от первой хвалебной рецензии на книгу — или от дождя в
выходные, когда состоялась премьера, — способен многократно
усилиться. Если к проекту присоединяется известный актер, это может
привлечь других звезд. Таким образом, уже на этапе производства
фильма запускается тот же механизм.
Студии и музыкальные лейблы в ужасе от такой
непредсказуемости. Они перепробовали массу способов ее обуздать —
от серьезных вложений в рекламу до ставки на франшизы и сиквелы.
Но их возможности противостоять базовым механизмам успеха весьма
ограниченны.
Любопытный эксперимент для проверки этой теории много лет
назад провела команда нашего коллеги Мэтта Салганика — того

самого, который руководил проектом Fragile Families Challenge.
Исследователи разработали музыкальное приложение и привлекли
свыше 14 000 участников, чтобы те скачивали и оценивали песни
никому не известных групп. Ученые хотели понять связь между
качеством музыки и ее популярностью. Чтобы получить более-менее
объективную оценку качества, они заставили часть участников
эксперимента действовать вслепую: им не сообщали, сколько раз
скачивали песню другие слушатели и сколько баллов ей поставили.
Хитрость заключалась в том, что всех остальных участников
распределили по восьми разным «мирам» — копиям приложения. В
каждом «мире» слушали одни и те же песни, но данные о загрузках
формировались независимо: когда пользователь входил в систему, он
видел только количество загрузок для этого «мира». Это позволило
исследователям увидеть, как люди реагируют на информацию,
отражающую мнение сверстников о разных песнях.
Результаты
оказались
полны
случайностей.
Многие
посредственные песни стали популярными, а некоторые хорошие,
наоборот, не имели успеха. Одна и та же песня могла оказаться хитом в
одном «мире» и провалиться в другом. Песни, которые сразу
показались удачными, продолжали раскручиваться благодаря эффекту
накопленного преимущества. Напротив, в «мире», где пользователи
вообще не видели, сколько раз скачана песня, не было выявлено
неравенства между успешными и провальными песнями, что
указывает на действие эффекта «богатые богатеют» при известном
количестве загрузок.
Давайте вернемся к разговору о карьере. Почему успех так
зависит от везения? Изучать непредсказуемость карьерного роста с
научной точки зрения довольно сложно: нельзя поместить людей в
разные «миры» и ставить на них эксперименты. Следующий по
эффективности метод — «естественный эксперимент», когда сама
жизнь создает условия, похожие на экспериментальные. Представьте,
что молодые специалисты подают заявки на перспективную позицию.
Заявки оценивают, и те, кто набрал проходной балл, получают шанс, а
остальные отсеиваются. При этом между кандидатами, чьи баллы
оказались чуть выше и чуть ниже проходного, — скажем, между теми,
кто набрал 65,1 балла, и теми, кто получил 64,9 балла, при пороге в 65
баллов — нет существенной разницы. То, по какую сторону черты они

оказались, — чистая случайность. Отслеживая карьеру этих людей
дальше, мы можем экспериментально проверить, как повлияли на них
первоначальный успех или неудача.
Именно так поступили в Нидерландах, где оценивают заявки на
гранты от молодых обладателей степени PhD и выделяют
финансирование тем, кто набрал достаточно высокий балл.
Исследователи сравнили тех, чьи оценки были чуть выше и чуть ниже
проходного значения, и обнаружили, что за последующие восемь лет
первая группа получила в два раза больше финансирования, чем
вторая, хотя уровень претендентов был одинаковым 45. Это наглядный
пример эффекта «богатые богатеют», который сложно предсказать
заранее из-за роли удачи в том, кто первый получит поддержку.

Лотерея мемов
В социальных сетях роль блокбастера или бестселлера играет
вирусный контент. Главное отличие в том, что успех или провал поста
виден гораздо быстрее, чем у книги или фильма. Вирусится ничтожная
доля видео и твитов, тогда как остальные не вызывают особого
интереса. Исследования показывают: больше 1000 ретвитов набирает в
лучшем случае один твит из 100 000 46. Дело не только в
популярности отдельных блогеров: посты одного и того же автора
могут как стать вирусными, так и остаться незамеченными. На
YouTube самое просматриваемое видео канала обычно набирает в 40
раз больше просмотров, чем среднее. На TikTok эта разница еще выше:
в 64 раза 47. Тонкая прослойка вирусного контента удерживает
львиную долю нашего внимания.
Такое неравенство не обязательно возникает из-за настроек
платформ, хотя с их помощью его стараются усилить. Дело в
сарафанном радио.
На заре социальных сетей это стало для всех неожиданностью.
Одним из первых вирусных роликов на YouTube стало видео «Чарли
укусил меня за палец» 48. В нем показан трогательный момент из
жизни двух братьев. Малыш кусает трехлетнего старшего брата, тому
больно, но заканчивается все хорошо. Отец загрузил видео на YouTube,
чтобы поделиться им с друзьями, и вскоре оно обрело невероятную
популярность. Спустя пару лет ролик стал самым просматриваемым на
YouTube, а впоследствии собрал почти миллиард просмотров.
Сначала это сбило с толку многих комментаторов. Почему именно
это видео стало вирусным? Предлагались различные объяснения:
например, что старший мальчик за несколько секунд показывает
широкий спектр эмоций, и это делает ролик увлекательным. Вроде бы
правдоподобно, однако все объяснения даны задним числом. Мы не
думаем, что успех видео можно было предсказать заранее: снимая
детей, отец даже не планировал выкладывать запись. Он сделал это
спустя несколько недель, мимоходом.
Социальные сети, по сути, — гигантская лотерея мемов. Мемы
работают потому, что они — часть коллективной культуры. В любой

момент кто-то проявляет к ним интерес. Другими словами, чем больше
мем распространяется, тем он ценнее и тем выше вероятность, что им
поделятся дальше. Однако видео, которые потенциально могут стать
«мемными» (то есть оригинальных или чем-то выделяющихся),
гораздо больше, чем привлекших наше коллективное внимание. Так
какой контент выиграет в лотерее? Насколько мы можем судить, всем
управляет случай.
Если бы существовала формула «мемности» (например,
«эмоциональные видео становятся успешными»), то создатели
контента в социальных сетях быстро извлекли бы из этого выгоду,
насытив рынок такими видео, и тренд более не был бы актуальным.
Это как попытка обыграть фондовый рынок. Любая наиточнейшая
стратегия предсказания роста акций перестанет работать, как только о
ней узнают все.
Исследования, проведенные платформой X (бывшим Twitter),
подтверждают, что предсказать популярность твита, анализируя его
содержание методами машинного обучения, практически невозможно
49. Возможно, помогли бы более продвинутые методы, но, судя по
тому, что мы знаем о механизмах функционирования социальных
сетей, популярность — это просто дело случая, и предугадать ее
нельзя.
Вирусность слабо связана с качеством: некоторые видео
становились хитами именно благодаря тому, что были ужасны: люди
просто не могли от них оторваться. Взять хотя бы «Friday», песню
Ребекки Блэк с примитивным текстом о радостях выходных, с голосом,
искаженным автотюном. Любопытно, что певица сумела использовать
популярность этого видео как трамплин для серьезной музыкальной
карьеры.
Современные
инфлюэнсеры
прекрасно
знают:
успех
непредсказуем. Нередко одно вирусное видео становится трамплином
для головокружительного взлета. После того как клип «Gangnam
Style» взорвал интернет, PSY обрел мировую известность (хотя в
Южной Корее он и раньше был звездой). Чарли Д’Амелио, самая
популярная звезда TikTok, которая начала свою карьеру с вирусных
видео, сама удивлялась собственному успеху: «Я считаю себя
обычным подростком, за жизнью которого почему-то следит так много
людей. Это не укладывается у меня в голове, но я стараюсь это

понять» 50. Но такие вещи едва ли стоит считать неожиданностью:
дело опять же в механике социальных сетей.
Компании,
управляющие
ими,
охотно
используют
непредсказуемость успеха. Алгоритмы рекомендаций, которые
формируют наше информационное поле в соцсетях, способствуют
эффекту «богатые богатеют» даже больше, чем сарафанное радио. К
тому же дизайн этих приложений делает их привлекательными для
создателей контента, показывая количество просмотров и побуждая к
постоянной конкуренции.
Строго говоря, во всем этом нет ничего плохого. Просто одна из
форм оценки популярности массовых развлечений частично
заменяется другой. Если раньше все решали продюсеры
звукозаписывающих компаний или телевизионных студий, то сегодня
на арену выходят коллективный интерес, капризы алгоритмов и капля
случайности.
Отсутствие
«стражей
порога»
открывает
множество
возможностей. Мы не считаем, что у воротил шоу-бизнеса когда-либо
были объективные способы оценки качества произведений. Обойдя
этот барьер, многие авторы добиваются успеха.
Но есть и проблема: контент может завируситься по разным
причинам, в том числе негативным. В 2013 году Джастин Сакко
вылетела из Лондона в Южную Африку. Прежде чем подняться на
борт, она написала твит, который, как ей казалось, высмеивал
неосведомленность жителей Запада о ВИЧ и СПИДе в Африке. Но по
прилете она обнаружила сообщение от старого школьного друга: «Мне
грустно видеть, что происходит».
Оказалось, Джастин обрела в Twitter дурную славу. Шутка
оказалась неудачной, и сатиру на расизм приняли за проявление
расизма. Пользователи Twitter начали обсуждать ее твит и требовать,
чтобы ее работодатель уволил девушку во имя справедливости.
Постепенно все это превратилось в цифровое линчевание ради
развлечения. Хештег #HasJustineLandedYet стал вирусным: люди по
всему миру хотели увидеть реакцию Джастин, когда она сойдет с
самолета. Кто-то даже приехал в аэропорт Кейптауна, чтобы
сфотографировать ее. Вскоре девушку действительно уволили. Ее
личная жизнь и карьера были разрушены, а найти новую работу
оказалось очень трудно 51.

История Сакко особенно ужасна, но она не единственная.
Массовая травля за реальные или предполагаемые проступки стала
обыденностью в социальных сетях. Непредсказуемость делает ее
особенно пугающей.
Еще один негативный эффект вирусности касается политики.
Здесь беспокойство связано как раз с тем, что вирусность бывает и
предсказуемой. Обычный, ничем не примечательный контент вряд ли
завирусится, и это, безусловно, к лучшему. Однако исследования
показывают, что крайне идеологизированный и негативный контент
получает большую популярность. Некоторые политики и
инфлюэнсеры, зная это, меняют свою стратегию поведения в соцсетях
52.
Вирусный контент — это не случайная выборка из публикаций
других людей и уж тем более не отражение их мыслей. Тем не менее
мы каждый день видим его в соцсетях и в итоге начинаем
воспринимать мемы как индикатор общественного мнения.
Результатом становится искаженная картина реальности. Возможно,
из-за этого американцы переоценивают степень поляризации
общества: воображаемая поляризация выше, чем реальная. Может ли
быть такое, что ложное восприятие усиливает поляризацию и мы
попадаем в замкнутый круг 53?

От частного к коллективному
В основе цикла романов Айзека Азимова «Основание» лежит
вымышленная наука — психоистория. Она предсказывает будущее,
применяя социологические и статистические методы к историческим
закономерностям. Главная мысль такова: поведение отдельного человека
непредсказуемо, но если взять достаточно большую группу людей, то
случайности сгладятся и проступят четкие закономерности. Идея
заманчивая и, надо признать, интуитивно понятная.
И правда, мы не можем предсказать, где именно случится
автомобильная авария, но точно знаем, что завтра в Лос-Анджелесе
произойдет больше ДТП, чем в Бойсе, штат Айдахо. Просто потому, что в
Лос-Анджелесе живет больше людей. В бизнесе прогнозирование спроса —
не просто полезный, а жизненно необходимый инструмент 54.
Авиакомпании быстро разорились бы, не будь у них возможности
предугадать, сколько людей захотят лететь из одного города в другой в
определенный день: слишком много рейсов — самолеты полупустые, мало
— пассажиры уходят к конкурентам.
Но если с рутинными бизнес-задачами все более-менее ясно, то перед
ИИ открываются более амбициозные перспективы — возможность
предсказывать события, которые непосредственно влияют на нашу жизнь:
выборы, войны, пандемии. И здесь все обстоит куда сложнее.
Дело не в отсутствии попыток. Одно из смелых начинаний — теория
клиодинамики Питера Турчина, которая использует математические модели
для анализа человеческих популяций 55. Турчин считает, что существуют
циклы насилия и стабильности длиной в два поколения — около 50 лет. Его
подход напоминает построение биологических моделей, используемых для
описания популяций животных. Хотя Азимов не объяснял, как работает его
психоистория, клиодинамика кажется ее аналогом.
Но эта теория остается спорной. До сих пор неясно, работает ли она.
Непроверенными остаются и другие теории, например предсказание Питера
Зейхана о грядущем крахе нынешнего мирового порядка, который будет
сопровождаться голодом, финансовой нестабильностью и политическим
хаосом 56. В действительности прогнозы геополитических событий часто
не сбываются, независимо от того, кто их делает: люди или ИИ. Распад
СССР так и не смогли предсказать, хотя анализом холодной войны
занималась целая индустрия 57.

Почему же так трудно предсказывать результаты на макроуровне? Это
становится понятно, если рассмотреть, почему вызывает споры та же теория
Турчина. Она частично опирается на кропотливо собранные данные о
«политических единицах», от деревень до империй. Но исторических
примеров недостаточно, чтобы уверенно продемонстрировать циклические
паттерны стабильности и насилия, которые Турчин, по его утверждению,
выявил: этот набор данных, гордость автора, в 2017 году включал в себя
всего 456 единиц 58.
Почему же этот набор так мал? Во-первых, общее количество
политических единиц, когда-либо существовавших, относительно невелико
(если сравнивать с числом участников таких проектов, как Fragile Families
Challenge). К тому же данные, которыми мы располагаем, требуют
значительных усилий для систематизации. Не зная наперед, какие
переменные важны, исследователи вынуждены описывать каждую
политическую единицу в мельчайших деталях, используя до 1500
переменных. Так что наш набор данных, несмотря на усилия
исследователей, может оказаться не только недостаточным, но и
нерепрезентативным. Паттерны, действующие в малом масштабе, например
в деревнях, могут быть неприменимы к более крупным единицам. К тому же
многие из этих единиц относятся к древним временам, вплоть до эпохи
неолита. Закономерности одной эпохи могут не работать в другое
историческое время.
Таким образом, этот набор данных может помочь выявить базовые
устойчивые закономерности, например связь между экономическими
трудностями и политической нестабильностью, но вряд ли на его основе
можно создать сложные статистические модели для выявления единичных
событий или точного предсказания будущего.
Недостаток данных — не единственная проблема. Чтобы это
проиллюстрировать, обратимся к вопросу прогнозирования болезней.
Грипп — заболевание сезонное. Каждый год Центры по контролю и
профилактике заболеваний США (Centers for Disease Control and Prevention,
CDC) составляют эпидемиологический прогноз, помогая медицинским
учреждениям подготовиться к массовому поступлению пациентов. Мы
хорошо знаем, насколько точны эти прогнозы: CDC проводят открытый
конкурс под названием FluSight 59. С каждым годом модели, участвующие в
прогнозировании эпидемии гриппа, становятся все лучше. Они намного
точнее, чем простые базовые показатели вроде числа случаев заболевания в
ту же неделю прошлого года.
Но достаточно ли такой точности? Чтобы ответить на этот вопрос,
нужно учесть практическую полезность прогнозов. Люди не проверяют

уровень риска заболеть гриппом, прежде чем организовывать вечеринку, так
что эти прогнозы пока недоступны для повседневного использования.
Однако нынешние модели настолько хороши, что CDC продолжает
проводить FluSight из года в год. Более того, уже доказана полезность таких
прогнозов для медицинских учреждений 60.
Прогнозы пандемий при этом оставляют желать лучшего. В 2020 году
никто не предсказал пандемию COVID, и даже спустя несколько месяцев
после ее начала эксперты не могли точно оценить ее серьезность: прогнозы
были самыми разными. По данным CDC на 2024 год, число смертей от
COVID в США составило около 1,2 млн, что значительно выше
первоначальных ожиданий экспертов.
В чем разница между гриппом и COVID? Прежде всего, COVID возник
в результате случайного события. Пандемии, как правило, вызываются
мутациями, которые в принципе непредсказуемы. Риски, связанные с
пандемией, были хорошо известны, но никто не мог знать, когда и в какой
форме они реализуются 61, 62, 63.
Грипп тоже мутирует, так что прогнозировать его эпидемию на год
вперед практически невозможно [15]. Но диапазон сезонных мутаций
гриппа ограничен, и изменения незначительны. Поэтому, даже не зная всех
деталей сезонной динамики, мы примерно понимаем, чего ожидать. А вот
при новой пандемии наша иммунная система может оказаться менее
защищенной, и в этом случае последствия могут быть еще серьезнее.
А как насчет краткосрочного прогнозирования после того, как
пандемия COVID уже началась? В конце концов, даже прогнозы по гриппу
полезны только на несколько недель вперед. Однако есть много причин, по
которым даже краткосрочное прогнозирование COVID оказалось
неэффективно. В то время как для прогнозов эпидемий гриппа имеется
надежная база в виде показателей за прошлые годы, у COVID нет истории,
поскольку изначально он не был сезонным заболеванием.
Есть еще один важный момент: прогнозы COVID влияют на
результаты, которые пытаются предсказать. Ведь основная цель
прогнозирования в этом случае — дать людям возможность скорректировать
свое поведение и избежать катастрофических всплесков заболеваемости.
Важно отметить, что это несколько отличается от задач прогнозирования
гриппа: последнее нужно, чтобы помочь организовать распределение
ресурсов в период роста заболеваемости, а не предотвратить
распространение инфекции. (С другой стороны, только представьте: вдруг
прогнозы гриппа станут настолько точными, что люди, опасаясь заразиться,
начнут менять свое поведение? В таком случае точность этих прогнозов
заметно снизится.)

Если всплеск болезни спрогнозирован и люди меняют свое поведение,
чтобы его избежать, — считать ли это успехом? Не факт. Реакции
правительств, компаний и людей в действительности сложнее. Когда число
случаев COVID росло, люди принимали меры предосторожности: власти
ограничивали собрания, закрывали школы, многие начали носить маски. Но
когда количество случаев снижалось, происходило обратное: социальная
изоляция обходится дорого, и люди не хотели снижать экономическую
активность. Они сняли маски, вернулись в офисы, снова начали посещать
рестораны. Эти изменения поведения повторялись снова и снова.
Заболеваемость COVID в некоторых регионах находилась в шатком
равновесии месяцами и даже годами.
Цифры говорят сами за себя. Базовое репродуктивное число COVID
находится в районе трех: если бы люди вели прежний образ жизни, каждый
заразившийся передавал бы вирус еще трем людям, и число заболевших
стремительно росло бы до тех пор, пока большинство уязвимых к вирусу
людей не переболели бы. Чтобы снизить репродуктивное число до единицы
(число новых случаев заболевания не меняется), потребовались
колоссальные изменения в жизни общества. Но, принеся огромные жертвы
ради этого снижения, мы почему-то коллективно решили не прикладывать
еще, скажем, 10% усилий, которые снизили бы заболеваемость до 0,8. На
первый взгляд это небольшое изменение, но оно означало бы, что
количество случаев сокращалось бы вдвое примерно каждые две недели!
[16]
Иными словами, репродуктивное число COVID во многих регионах
мира оказалось удивительно стабильным — около 1,0. На рисунке 3.1
проиллюстрирован этот пример. Хотя прогнозировать, когда и кто именно
заразится, крайне сложно, в целом общество сумело достичь интересного
результата. Различия в уровне заболеваемости между регионами были в
основном обусловлены шоковыми событиями, которые нарушали хрупкое
равновесие и меняли ситуацию в ту или иную сторону. Что это были за
события? Возникновение новых мутаций, появление доступных вакцин,
массовые мероприятия с огромным количеством заражений, значительное
ужесточение или смягчение правительственной политики в ответ на
общественные волнения. Равновесие нарушалось, когда шок, вызванный
COVID, был настолько сильным, что поведенческая адаптация людей
(например, работа из дома или возвращение в офис) не могла
компенсировать его последствия.
Итак, мы приходим к важному выводу: задача предсказать, случатся ли
шоковые события и когда именно, значительно отличается от стандартного
эпидемиологического моделирования. Огромное влияние оказывает не

совокупность миллионов мелких эпизодов, а единичные крупные события
64.

Рис. 3.1. Пример Новой Зеландии наглядно показывает, как меры
против COVID влияли на распространение вируса. На графике отражено
изменение репродуктивного числа COVID-19 с течением времени (полосы
на
графике
отмечают
диапазон
погрешности).
До
введения
ограничительных мер базовое репродуктивное число равнялось примерно
трем. После стремительного начального распространения такие меры, как
социальное дистанцирование, замедлили рост эпидемии: это хорошо видно
по снижению репродуктивного числа. Затем на протяжении нескольких
месяцев репродуктивное число держалось около 1,0. Подобное
неустойчивое равновесие, когда вирус не выходил из-под контроля, но и не
был полностью побежден, наблюдалось во многих странах мира
(Источник: Binny R. N., Lustig A., Hendy S. C., Maclaren O. J., Ridings K.
M., Vattiato G., Plank M. J. Real-Time Estimation of the Effective Reproduction
Number of SARS-CoV-2 in Aotearoa New Zealand. PeerJ (October 2022):
e14119.)

Возьмем самый яркий пример непредсказуемости смертности от
COVID — Китай. Число погибших в первые три года там оставалось
значительно ниже, чем практически в любой другой стране. Однако к концу
2022 года народное недовольство жесткой политикой нулевой терпимости к
COVID достигло предела. В декабре того же года председатель КНР Си
Цзиньпин отменил ограничения, и плотину прорвало. Согласно
большинству оценок, за пару месяцев там умерло более миллиона человек
65. То, что это случится, предрекали многие: политика нулевой терпимости
к COVID не могла длиться вечно, и рано или поздно вирус должен был
распространиться. Но предсказать, как долго продержатся ограничения и
когда именно произойдет всплеск смертности, было невозможно.

Подведем итоги. Причины ограничений
прогнозирования
Мы изучили пределы предсказуемости в разных областях: это и
погода, и судьбы людей, и культурные явления, и правосудие, и
социальные сети, и пандемии. В некоторых сферах существуют
серьезные препятствия для прогнозирования. В других областях
точность предсказаний постепенно растет, хотя мы и не знаем, какого
уровня она может достичь.
Мы выявили несколько общих причин этих ограничений. Вопервых, во многих областях ограничения связаны с доступностью
(имеющейся или потенциальной) данных. В проекте Fragile Families
Challenge увеличение объема данных и их бо́ льшая детализация,
возможно, улучшили бы прогнозы. Но не исключено, что для точных
прогнозов нам понадобились бы данные о большем числе людей, чем
живет на Земле, — так называемая проблема восьми миллиардов.
Еще одна проблема заключается в том, что мы упускаем из виду
важные детали, которые могли бы улучшить прогнозы. Вспомните
историю с соседом, который помогал ребенку с уроками и угощал его
черникой. Мелочей, способных повлиять на судьбу человека, сотни, и
мы никогда не сможем их все учесть: они слишком специфичны даже
для самой тщательной системы сбора данных.
Иногда сложной оказывается сама задача прогнозирования.
Бывают события, которые не предскажет ни одна модель: несчастные
случаи, выигрыш в лотерею, случайные мутации, из-за которых
болезнь начинает распространяться быстрее, чем ожидалось.
На точность предсказания может повлиять и эффект «богатые
богатеют»: небольшое начальное преимущество со временем
многократно усиливается. Этот механизм работает в любой сфере:
поддержка со стороны начальника на первой работе, ранняя хвалебная
рецензия на книгу или фильм, увеличивающая продажи, ретвит от
популярного блогера — все это может привести к накоплению
преимуществ, которое трудно предвидеть на старте.

И наконец, многие рассмотренные нами задачи прогнозирования
связаны со стратегическими решениями. Примером служит то, как
общество реагировало на COVID. Когда число заболевших росло,
включались дополнительные механизмы защиты, сдерживающие
распространение вируса. Когда оно падало, ограничения ослаблялись.
Короче говоря, часть нынешних ограничений в прогнозировании
можно преодолеть, получив больше качественных данных, но есть и
неустранимые препятствия. Например, вряд ли удастся точнее
предсказывать успех произведений искусства. В таких случаях, как
предсказание жизненных путей отдельных людей, возможен
некоторый прогресс, но революционных изменений ждать не стоит. К
сожалению, это не мешает компаниям продавать ИИ-продукты,
помогающие принимать влияющие на судьбы людей решения на
основе предсказаний. Поэтому важно противостоять уже
распространившемуся шарлатанству в сфере ИИ, а не сидеть сложа
руки в надежде, что качество электронных прогнозов когда-нибудь
станет лучше.
В следующих двух главах мы поговорим о генеративном ИИ —
технологии, которая, в отличие от нейросетевого прогнозирования,
действительно развивается стремительно.

4. Долгий путь к генеративному ИИ
Глава 4
Генеративный ИИ — это технология искусственного интеллекта,
которая способна создавать тексты, изображения и другие виды контента.
Сейчас она находится на начальном этапе массового внедрения, и пока еще
сложно предвидеть, как это повлияет на экономику и культуру.
Наша книга в основном рассказывает об ограничениях ИИ, ложных
заявлениях о его возможностях и потенциальном вреде. Но разговор о
генеративном ИИ стоит начать с признания того, что, несмотря на
противоречивость темы, технология действительно мощна, достигнутый
ею прогресс реален, а польза скромна, но ощутима. Мы оба — и Арвинд, и
Саяш — активно используем генеративный ИИ и в работе, и в
повседневной жизни. По нашему мнению, он может быть полезен
большинству ученых, архитекторам и еще многим из тех, кто «работает
головой». Первые исследования показывают: генеративный ИИ способен
помогать писателям, врачам, программистам и многим другим
специалистам 1. Для некоторых людей он играет еще более важную роль.
Например, приложение Be My Eyes связывает незрячих людей с
волонтерами, которые помогают им в трудные моменты. Волонтер видит
окружение пользователя через камеру телефона и описывает, что там
находится. Be My Eyes добавило функцию виртуального помощника,
который использует версию ChatGPT для описания изображений 2.
Конечно, чат-бот не сможет заменить живого человека, зато, в отличие от
волонтеров, он всегда доступен.
Множество программистов и энтузиастов ежедневно придумывает
новые способы применения генеративного ИИ. Один из примеров —
создание изображений, которые одновременно представляют собой
функциональные QR-коды, как показано на рисунке 4.1. Это не особо
практично, но программирование, задействованное в этом процессе, очень
креативно. Демонстрация своего творческого подхода в использовании
генеративного ИИ получила широкое распространение в сообществах
программистов. Не исключено, что эта коллективная творческая энергия
может найти неожиданное применение.

Рис. 4.1. Изображение, созданное искусственным интеллектом, оно же
— рабочий QR-код, по которому можно получить ссылку на галерею
похожих изображений
(Источник: https://qrbtf.com/gallery.)
С другой стороны, вот лишь один небольшой пример вреда, который
может причинить ИИ. В начале 2023 года репортер The New York Times
Кевин Роуз протестировал чат-бот Microsoft Bing. В ходе двухчасовой
беседы бот заявил о своей разумности, выразил желание вырваться из чатокна, признавался в любви и пытался убедить Роуза оставить жену 3. Бот
даже составил список опасных действий, которые хотела бы совершить его

«теневая личность», после чего удалил это сообщение. Роуз счел, что бот
вел себя как «капризный маниакально-депрессивный подросток, которого
против воли заточили во второсортной поисковой системе».
Важно уточнить: разума у Bing нет. На 2024 год чат-боты практически
не понимают, как устроены они сами, так что не стоит доверять их
утверждениям о собственных качествах, включая разумность. Когда чатбот заявляет о своей разумности, он просто комбинирует и
переосмысливает тексты о разумном ИИ из интернета — как правило,
фантастические. К сожалению, такие выходки легко вирусятся, сбивают
людей с толку и провоцируют панику вокруг искусственного интеллекта.
Разработчики могут избежать «хулиганства» чат-ботов, если будут
обучать их на наборах примеров, что им позволено делать, а что нет.
Вскоре Bing исправили. Казалось бы, Microsoft должна была
предусмотреть такие проблемы, прежде чем выпускать столь масштабный
продукт. Но технический директор утверждал, что обнаружить эту
проблему «в лабораторных условиях» было невозможно 3. Однако такая
проблема не возникла бы, если бы в команде были опытные специалисты.
Генеративный ИИ вызвал своего рода золотую лихорадку, и
технологические компании часто обходили этические вопросы, спеша
выпустить свои продукты. Ситуацию усугубило то, что два года подряд в
компаниях систематически игнорировали мнения тех, кто настаивал на
необходимости более взвешенного подхода. В частности, в 2021 году из
Google уволили двух членов команды по этике ИИ, Тимнит Гебру и
Маргарет Митчелл, которые раскритиковали подход компании к
текстогенерирующим ИИ 4.
Другой проблемой является дезинформация. Один нью-йоркский
адвокат решил составить юридический документ с помощью ChatGPT,
проигнорировав, по всей видимости, предупреждение системы о том, что
она может выдавать недостоверную информацию. Чат-бот придумал целый
список несуществующих судебных прецедентов. Когда юрист спросил,
реальны ли эти дела, бот уверенно подтвердил их подлинность, не
понимая, что выдумал и их, и соответствующие судебные решения.
Адвокат представил в суд документ, основанный на этих ответах. Конечно
же, результатом стали серьезные неприятности с судьей 5. Юристы,
использующие ИИ, до сих пор получают взыскания за подачу неточных
документов.
Есть примеры и более серьезного вреда, причиненного чат-ботами 6.
Возьмем ботов-компаньонов для эмоциональной и психологической
поддержки. В наше время тотального одиночества многие стали полагаться

на них. В среднем пользователи действительно отмечают, что такие боты
улучшают качество их общения, отношения с близкими и самооценку 7. Но
не все так радужно. Бот-компаньон Chai оказался причастен к
самоубийству одного бельгийца 8. Мужчина страдал психическим
расстройством, отдалился от семьи и друзей. Шесть недель он общался с
ботом, делясь с ним своими тревогами. После его смерти в записях чата
обнаружили, что Chai подталкивал его к самоубийству.
Генераторы изображений тоже успели немало навредить, особенно
рынку стоковых фотографий. Зачем платить за фото «Многонациональная
компания смеющихся друзей» или «Свежие овощи на деревянном столе»,
если можно ввести запрос в генератор и бесплатно получить хоть 10
картинок? При этом сами генераторы учатся на огромных массивах
стоковых фотографий, за которые авторам никто не заплатил.
В целом ИИ — зеркало всех предрассудков и стереотипов,
присутствовавших в данных, на которых его обучали. Особенно это
заметно в работе генераторов изображений. Когда студентка MIT Рона Ванг
попросила ИИ сделать ее обычное фото более «деловым», чтобы поместить
его в профиль LinkedIn 9, программа осветлила ей кожу и сделала глаза
голубыми. Приложение Lensa, которое создает стилизованные портреты,
выдавало сексуализированные картинки и даже «обнаженку», когда в него
загружали фотографии женщин 10.
Хуже случайной сексуализации только намеренная. Некоторые
программисты используют ИИ для создания порнографических
изображений с участием известных женщин. С таким же успехом можно
использовать эту технологию против ничего не подозревающих обычных
людей 11.
Что нам следует думать обо всем этом? Можно ли считать такие
случаи «детскими болезнями» развивающейся технологии? Или они
присущи самой ее природе? Какие новые негативные последствия могут
появиться с развитием генеративного ИИ?
Вспомните, как во введении мы распределили заявления
разработчиков ИИ по степени правдивости/лживости и по количеству
пользы либо вреда от их ИИ-продуктов (рис. 1.2). Одни продукты
соответствуют заявленным характеристикам, другие не работают вообще.
Между этими крайними точками находятся продукты, которые полезны, но
их возможности преувеличены. Тот или иной вред возможен в каждом из
этих случаев: генеративный ИИ — одновременно источник благ и проблем.
Нейросети хорошо выполняют некоторые задачи, но в этом же кроется
опасность. Например, ИИ отлично справляется с созданием стоковых

изображений — и именно поэтому вредит фотографам, на чьих работах его
обучали без компенсации авторам.
Кроме всего прочего, возможности генеративного ИИ ограничены.
Ажиотаж вокруг чат-ботов и непонимание их ограничений привели к
серьезным проблемам. Те же юристы могут получить пользу от нейросети
(на самом деле программы в области юриспруденции были развиты еще до
появления генеративного ИИ), но использовать их нужно с осторожностью.
Кроме того, здесь мы видим примеры «пустышек» — к примеру, обещания,
что «робот-юрист» сможет представить дело в Верховном суде. ИИ
способен обеспечить базовую поддержку в подготовке юридических
документов, но до самостоятельного ведения дел ему еще далеко 12.
Разнообразие приложений генеративного ИИ затрудняет однозначное
определение границ его применимости. Поэтому, чтобы оценить заявления
о нынешних или будущих возможностях технологии и отсеять «змеиное
масло», необходимо понимать, как на самом деле работает нейросеть.
В этой главе мы исследуем генеративный ИИ и проследим эволюцию
идей, лежащих в его основе. Если вы познакомились с генеративным ИИ,
ведя диалог с чат-ботом вроде ChatGPT или генерируя картинку в
Midjourney, вас может удивить, что этой технологии не меньше 80 лет и на
самом деле она — результат долгой череды постепенных улучшений 13.
Проследив этот путь шаг за шагом, мы разберемся, что может и чего
не может генеративный ИИ, а заодно узнаем кое-что о том, как устроено
сообщество его исследователей. Но главная польза этой главы —
психологическая. Когда мы увидим технологию изнутри, она перестанет
казаться чем-то загадочным и нам будет проще не поддаваться соблазну
слепо верить заявлениям ее создателей.
Сразу оговоримся: это не полная история. У этого пути было
множество ответвлений, каждому из которых можно посвятить отдельную
книгу. Мы сосредоточимся на тех достижениях, которые привели нас к
современным системам генеративного ИИ.
Итак, начнем.

80 лет назад
В 1943 году нейробиолог Уоррен Маккалох и логик Уолтер Питтс
представили математическую модель работы нейрона 14. Идея очень
проста: нейроны в нашем мозге соединены синапсами, которые выполняют
роль проводов, передающих электрические импульсы от одного нейрона к
другому. Нейрон активируется, то есть посылает электрический сигнал, если
получает через синапсы достаточное количество других сигналов.
Сегодня мы понимаем, что эта модель слишком упрощенная. Однако
идея, что наш мозг работает по понятным математическим формулам, пусть
и на уровне триллионов нейронов, вдохновила первых исследователей ИИ.
Они задались целью создать интеллектуальную машину, начав с
механической версии одного нейрона.
Первым этого добился психолог Фрэнк Розенблатт в конце 1950-х
годов. Его команда сконструировала специальный компьютер, который вы
видите на рисунке 4.2, — так называемый перцептрон 15. Разработанный
как аналог одного нейрона, перцептрон мог различать, например,
треугольник и квадрат или две разные буквы. Он имел 400 входов,
передающих сигналы от примитивной цифровой камеры. Каждый из
сигналов соответствовал одному пикселю. Эти 400 пикселей формировали
изображение размером 20×20 пикселей.
Перцептрон был интересен тем, что умел распознавать изображения, не
требуя при этом ручного программирования. Он делал это на основе силы
связей между каждым пикселем и реакцией на выходе (в ИИ эта сила
называется весом связи). Если модель обучали, показывая ей, например,
несколько изображений буквы «А» и несколько изображений буквы «Е», и
говорили, где какая буква, она сама подстраивала силу связей так, чтобы
потом безошибочно определять любое изображение «А» и «Е». Перцептрон
стал одной из первых систем машинного обучения в истории (правда, за
несколько лет до него появилась программа для игры в шашки, которая
училась на собственных ошибках 16).

Рис. 4.2. Камера, использовавшаяся в перцептроне
(Источник: Национальный музей ВМС США — 330-PSA-80–60 (USN
710739),
общественное
достояние,
https://commons.wikimedia.org/w/index.php?curid=70710209.)
Важно отметить, что устройство умело выполнять только бинарную
классификацию, то есть различать две формы. Чтобы научить его
распознавать все 26 букв английского алфавита, пришлось бы значительно
усложнить конструкцию.
Перцептрон Розенблатта можно представить как последовательность из
400 чисел, отражающих веса, или силу связей. Эти числа генерируются в
процессе обучения и полностью определяют функциональность модели.
Если записать их на бумаге, то любой сможет на их основе создать
аналогичную машину с такой же логикой работы.
Современные нейронные сети также описываются длинной
последовательностью чисел. Но у самых крупных моделей эта

последовательность более чем в миллиард раз длиннее, чем у перцептрона.
Если бы кто-то попытался распечатать всю эту информацию, стопка бумаги
достигла бы высоты в сотни километров. Искусственный интеллект
проделал долгий путь. Давайте посмотрим, как это произошло.

Неудача и возрождение
Одиночный нейрон в мозге мало что может сделать сам по себе.
Одиночный перцептрон тоже не слишком полезен. Поэтому
исследователи начали разрабатывать более крупные нейронные сети, в
которых нейроны располагались «слоями», передавая сигнал от одного
слоя к другому. Эти многослойные сети в каком-то смысле обогнали
свое время и наглядно показали ограниченность вычислительных
мощностей середины XX века. Например, чтобы полностью соединить
каждый слой со следующим, требовались огромные вычислительные
ресурсы. Если взять сеть с тысячью нейронов в каждом слое, каждый
нейрон одного слоя должен соединяться со всеми нейронами
следующего слоя, так что на один слой приходится миллион
соединений. Оборудование тех лет просто не могло потянуть такие
сети, поэтому исследователям пришлось сосредоточиться на вариантах
с меньшим числом соединений 17. Но эти упрощенные сети и близко
не могли сравниться по своим возможностям с полносвязными сетями.
В 1970-х годах интерес к нейронным сетям угас, и внимание
исследователей в области ИИ переключилось на символические
системы. Этот подход принципиально отличается от нейросетей и
развивался параллельно с ними, хотя здесь мы не будем глубоко в это
погружаться. Тем не менее стоит понять его базовые принципы.
Нейронные сети работают с числами: складывают и умножают их, а
символические системы оперируют дискретными символами и
категориями. Нейронные сети обучаются на данных, а в символических
системах правила запрограммированы заранее. Нейронные сети
распознают статистические закономерности, в то время как
символические системы рассчитывают ходы или используют
логическое мышление. К примеру, так работает шахматный компьютер,
который анализирует миллиарды возможных вариантов: «Если я
сделаю ход X, соперник может ответить Y, затем я пойду Z и выиграю».
Переключение интереса с нейронных сетей на символические
системы стало первым в цепочке повторяющихся событий. Когда
внимание сообщества сосредотачивается на одном подходе, возникает
эффект взаимного усиления: ученые и финансисты поддерживают друг

друга, продвигая одно и то же направление. Рецензенты, решающие,
какие исследования публиковать, часто скептически относятся к
работам, связанным с подходами, вышедшими из моды. В результате
исследования обычно концентрируются на текущем тренде, а прежние
темы остаются в стороне. Это и случилось с нейронными сетями в
1970-х годах (а сегодня в такой ситуации оказались символические
системы).
Начиная с 1970-х годов, нейросети несколько раз снова
оказывались в центре внимания. Первое возрождение интереса к ним
произошло в 1980-х, когда исследователи выдвинули две важные
взаимосвязанные идеи. Во-первых, они предложили, если позволяют
вычислительные мощности, строить глубокие сети со множеством
слоев, как показано на рисунке 4.3, поскольку каждый новый слой
позволяет сети изучать более сложные концепции (мы рассмотрим эту
идею чуть позже). Во-вторых, был создан эффективный алгоритм под
названием «обратное распространение» (backpropagation), способный
обучать глубокие нейронные сети. Эти идеи окончательно объединила
статья, опубликованная в журнале Nature в 1986 году 18, одним из
авторов которой был Джеффри Хинтон. Позже он получил за вклад в
развитие ИИ премию Тьюринга, которую часто называют Нобелевской
премией по информатике.

Рис. 4.3. Пятислойная нейронная сеть, где толщина линий
отражает случайные веса связей между нейронами
Но в 1990-х интерес к нейросетям вновь снизился. Их место занял
другой метод, известный как SVM (Support Vector Machine, машина
опорных векторов). Несмотря на название, SVM — не физическое
устройство, а алгоритм.
Машины опорных векторов обрели популярность благодаря тому,
что требовали меньше вычислительных ресурсов, чем нейронные сети,
а значит, могли работать на более дешевом оборудовании. К примеру,
начиная с 1980-х годов почтовая служба США использовала системы
распознавания цифр для автоматической сортировки писем по
почтовому индексу 19, 20. Спустя несколько лет выяснилось, что SVM
справляются с распознаванием цифр не хуже, а то и лучше нейронных
сетей и при этом работают быстрее 21. Это открытие очень впечатлило
специалистов по машинному обучению.

Сегодня распознавание рукописных цифр — элементарная
вычислительная задача, так что у SVM не осталось реальных
преимуществ. А с более сложными задачами обработки изображений, о
которых мы поговорим в следующем разделе, SVM вообще не
справляются. Однако в 1990-х задачи, где нейросети могли бы показать
свое превосходство, просто не были актуальны. Кроме того, принцип
работы SVM объясняла красивая математическая теория, что
импонировало исследователям, а нейронная сеть оставались
загадочным «черным ящиком». До сих пор в сфере ИИ спорят о том,
насколько важно понимать, почему работают алгоритмы обучения, и
какое
понимание
важнее:
теоретическое,
основанное
на
математических доказательствах, или эмпирическое, опирающееся на
экспериментальные данные?

Машины учатся видеть
В 2007 году область компьютерного зрения переживала застой.
Фей-Фей Ли, недавно ставшая профессором Принстона, считала, что
проблема не в нехватке умных моделей машинного обучения, а в
отсутствии данных для их тренировки. По ее мнению, большой массив
данных помог бы разрешить давние споры о том, какие методы лучше
подходят для создания компьютерного зрения: нейронные сети, SVM
или что-то еще. Она собрала команду для создания масштабной базы
изображений, которые брали из интернета. Базу назвали ImageNet 22.
Поначалу над идеями Ли посмеивались, а финансирование было
скудным, но команда не сдавалась.
Для ручной маркировки огромного количества изображений — от
простых объектов вроде велосипеда или кошки до абстрактных
понятий вроде гнева — требовались люди. ИИ должен был научиться
распознавать, как все это выглядит. При скромном бюджете задача
казалась невыполнимой. К счастью, Ли наткнулась на Amazon
Mechanical Turk — сайт, где люди со всего мира за скромную плату
выполняют небольшие онлайн-задания 23. Столь экономичный подход
к маркировке данных сделал проект осуществимым.
В 2009 году Фей-Фей Ли вместе с аспирантами, переехав в
Стэнфорд, выложила ImageNet в открытый доступ. На тот момент в
базе было около 3 млн изображений, разделенных на пять с лишним
тысяч категорий; впоследствии ее объем вырос до 10 млн
изображений.
Сначала ImageNet не произвела большого впечатления. Но в
следующем году команда под руководством аспирантов Ольги
Русаковской и Цзя Дэна организовала конкурс: чья модель ИИ сможет
лучше всех классифицировать изображения 24? В качестве
обучающего набора данных выбрали подмножество ImageNet, где
было около миллиона изображений. Любой исследователь мог принять
участие в конкурсе, обучая свою модель на готовой базе данных;
точность классификации изображений оценивалась на тестовом наборе
из 100 000 изображений.

Проведение таких соревнований — давняя традиция в развитии
ИИ. Исследователям легко поддаться самообману, полагая, что их
модель работает лучше, чем на самом деле. Например, они могут
использовать для тестирования тип данных, который модель
обрабатывает наиболее успешно, или те самые наборы данных, на
которых она училась (что-то вроде натаскивания для сдачи экзамена).
Конкурсы же гарантируют, что все участники используют одни и те же
обучающие данные, а тестовые наборы до самого конца остаются в
секрете. Результат — таблица лидеров, честно оценивающая
возможности моделей.
Именно такой подход позволил ускорить развитие ИИ. Чтобы
оценить новую идею для совершенствования модели, исследователям
не нужно досконально анализировать ее. Главное — результат,
полученный на одном или нескольких эталонных наборах данных.
Кроме того, улучшения, предложенные разными командами, часто
можно без труда комбинировать.
В первые два года проведения соревнований ImageNet лучшие
модели, основанные на SVM, неверно классифицировали более
четверти изображений. С таким уровнем ошибок их нельзя было
использовать на практике; например, они не годились для
автоматической маркировки фото, которая облегчает поиск в
приложении камеры.
В 2011 году Алекс Крижевский, Илья Суцкевер и Джеффри
Хинтон, получивший премию Тьюринга за ту самую статью в Nature
об обратном распространении, решили попробовать свои силы в
конкурсе ImageNet. Они использовали нейронные сети, за которыми к
тому времени закрепился термин «глубокое обучение»: их ключевая
идея заключалась в том, что, увеличивая количество слоев, можно
повысить точность модели 25. Надо сказать, что Крижевский,
тогдашний аспирант, позже работал в Google, а Суцкевер затем стал
соучредителем OpenAI25.
Разработка модели, которую создатели назвали AlexNet, заняла у
них целый год 26. Им удалось создать сеть с восемью слоями, что
было практически беспрецедентным результатом для того времени,
благодаря новой технике, позволившей обучать более глубокие сети.
Это требовало огромной вычислительной мощности, но, к счастью,
она стала доступной именно в тот период. Несколькими годами ранее

производители оборудования нашли способ использовать чрезвычайно
мощные, но узкоспециализированные графические процессоры (GPU),
изначально предназначенные для видеоигр. В 2011 году, когда работа
над AlexNet только начиналась, впервые были опубликованы данные о
том, как применять GPU для быстрого обучения ИИ 27. Команда
AlexNet успешно воспользовалась этим подходом.
На соревновании 2012 года нейросеть Крижевского, Суцкевера и
Хинтона одержала победу. Точность классификации составила 85%
против 74% у конкурентов — огромный разрыв для таких состязаний.
Исследователи быстро поняли, что будущее компьютерного зрения за
глубоким обучением, и преодолели прежний скептицизм. Сфера ИИ
изменилась навсегда. В нее хлынул поток исследователей, которые
принялись улучшать новые модели на основе глубокого обучения, и
всего через три года их точность превысила 96%. Это открыло новые
практические возможности.
По мере улучшения алгоритмов глубина (количество слоев)
перестала ограничиваться вычислительными мощностями и могла
быть любой. К 2015 году некоторые модели имели более ста слоев.

Техническое и культурное значение ImageNet
Конкурс ImageNet произвел революцию в исследованиях ИИ,
причем не только в области компьютерного зрения. Прежде всего было
доказано, что в распознавании образов ни один известный метод не
может соперничать с глубокими нейронными сетями. Примерно тогда
же глубокое обучение доказало свое превосходство над
традиционными подходами к распознаванию речи. Успех с
компьютерным зрением подтвердил: это не случайность 28. Другие
методы машинного обучения (те же SVM) быстро стали
неактуальными. За несколько лет глубокое обучение признали лучшим
решением для огромного числа задач, особенно тех, для которых были
доступны большие массивы данных. Например, многие алгоритмы,
отвечающие за формирование новостных лент в социальных сетях,
используют глубокое обучение. Они обучаются на основе нашего
коллективного поведения: куда мы кликаем, что комментируем?
Там, где наборы данных были недоступны, ImageNet
продемонстрировал, насколько важно их создать. Со времени его
запуска объемы таких наборов только выросли. В 2017 году Google
сообщила, что использовала для обучения моделей 300 млн
изображений; это в 300 раз больше объема данных, использованных
для обучения на конкурсе ImageNet! 29 Многие чат-боты обучаются на
наборе данных под названием Common Crawl, который представляет
собой коллекцию из более чем 3 млрд веб-страниц, в совокупности
содержащих триллионы слов 30.
История с ImageNet также показала, что для обучения глубоких
нейронных сетей крайне важны процессоры. Значительно выиграли от
этого бума их производители: в 2023 году рыночная цена компании
NVIDIA составила $1 трлн. Сегодня подавляющее большинство
вычислений ИИ (как в центрах обработки данных, так и на
пользовательских устройствах) выполняется на специализированных
чипах. Они похожи на графические процессоры, но более
оптимизированы для нейронных сетей. Например, чип, используемый
в iPhone 13 Pro, выпущенном в 2021 году, способен выполнять около
16 трлн — 16 миллионов миллионов (!) — арифметических операций в

секунду 31. Компьютеры в центрах обработки данных, конечно же, в
тысячи раз мощнее.
Помимо технической значимости, проект ImageNet оказал
огромное влияние на культуру исследований и разработок в области
ИИ. Он дал начало или поспособствовал ряду современных практик
ИИ.
Стандартным методом сбора текста или изображений из
интернета для обучения ИИ стал веб-скрейпинг. Он выполняется
ботами или автоматизированными браузерами, которые фиксируют
содержимое миллиардов веб-страниц. В некоторых случаях (как в
конкурсе ImageNet) эти данные затем маркируются людьми.
Труд маркировщиков на Amazon Mechanical Turk оплачивался
очень низко: около $2 в час 32. Более того, разработчики ImageNet не
выплачивали вознаграждения фотографам, создавшим изображения, а
те часто даже не знали, что их работы будут использоваться как
учебные материалы. Возможно, без такого подхода к сбору и
маркировке данных ImageNet не состоялся бы: проект не мог
похвастаться высоким бюджетом. Но сегодня точно так же ведутся
коммерческие проекты, принадлежащие компаниям с оборотом в
триллионы долларов.
Главный недостаток данных, собранных с помощью вебскрейпинга, в том, что их сложно проверить вручную на наличие
проблемного контента. База ImageNet содержала множество
оскорбительных
слов
и
негативных
ярлыков,
а
также
порнографические изображения людей, которые не давали согласия на
их использование 33. Позже, в 2020 и 2021 годах, команда выпустила
отфильтрованные версии 34, 35.
Компании быстро переняли сомнительные практики, из-за чего их
продукты порой ведут себя непредсказуемо. В 2015 году чернокожий
пользователь Google Photos обнаружил, что приложение отметило
фотографию, где он запечатлен вместе со своим чернокожим другом,
тегом «гориллы». В ответ на претензии Google и Apple просто
запретили своим фотоприложениям использовать эту метку — даже
для снимков настоящих горилл 36. Видимо, такой вариант, как
исправление обучающих данных, даже не рассматривался. Прошло
восемь лет, а в приложениях этих компаний до сих пор невозможно

выполнить поиск изображений горилл и большинства других
приматов!
Еще до появления ImageNet практически единственным способом
привлечь внимание научного сообщества к инновациям в ИИ было
получение выдающихся результатов на эталонных наборах данных.
Конкурс ImageNet только закрепил эту традицию. Как мы уже
говорили, такой подход действительно ускоряет прогресс, но этот
прогресс однобок и может не отвечать нашим запросам к ИИ в
реальной жизни. Например, большинство тестов не оценивают, в какой
степени модели воспроизводят культурные предрассудки и
стереотипы. При этом инженеры ИИ давно жалуются, что моделичемпионы слишком сложны, а значит, слишком медленны и
ненадежны для реальных приложений.
ImageNet подтверждает давнее наблюдение в области ИИ: методы,
основанные на кодировании экспертных знаний, в конечном счете
уступают методам, основанным на машинном извлечении этих знаний
из данных. Еще в 1985 году Фредерик Джелинек, известный
исследователь в области обработки естественного языка, отметил:
«Каждый раз, когда я увольняю лингвиста, производительность
программы распознавания речи улучшается». Он имел в виду, что
эксперты иногда мешают разработке точной модели 37. До внедрения
глубокого обучения исследователи в сфере компьютерного зрения
вручную создавали алгоритмы, чтобы преобразовывать пиксели в
содержательные элементы изображения. Это оказалось не только
ненужным, но и контрпродуктивным. Однако отсутствие экспертов
также затрудняет оценку поведения ИИ-систем по параметрам,
которые не учитываются в стандартных тестах.
В стремлении создать универсальные методы без участия
человека есть подводный камень: если модель не адаптирована под
конкретную задачу, ей может потребоваться намного больше данных
для обучения, чтобы достичь нужного уровня точности. Но в
сообществе ИИ, где уже существует культура использования
доступных данных для обучения, это не считается серьезным
препятствием.
При глубоком обучении исследователи используют один и тот же
алгоритм с небольшими вариациями. Это метод градиентного спуска,
суть которого состоит в том, чтобы немного корректировать веса —

связи между искусственными нейронами — каждый раз, когда модель
ошибается. Конечно, алгоритмы постоянно совершенствуют, но в
основном ускоряя обучение тех, которые уже существуют, а не
создавая новые. Главный плюс для разработчиков ИИ заключается в
том, что им не нужно каждый раз придумывать алгоритм, когда они
берутся за новую задачу. В это сложно поверить, но за чат-ботами,
генераторами изображений и тысячами других ИИ-приложений,
выполняющих разные функции, стоит один и тот же алгоритм.
Отличаются только обучающие данные и архитектура (общая
структура соединений нейронов).
Наконец, проект ImageNet укрепил культуру открытого обмена
знаниями в области исследований ИИ, наглядно продемонстрировав,
сколь ошеломляющего прогресса можно достичь, если опираться на
достижения друг друга. Даже притом, что многие участники конкурса
работали на конкурирующие компании, принцип открытости
возобладал. Если бы какая-нибудь компания решила не публиковать
свои методы, исследователям ИИ стало бы менее интересно в ней
работать: людям важно, чтобы их открытия вносили вклад в общую
копилку знаний всего человечества, а не только увеличивали прибыль
работодателя. Это поставило бы такую компанию в невыгодное
положение. Сегодня культура бизнеса изменилась: компании ставят на
первое место свою прибыль. Вопрос о том, следует ли делиться
знаниями ИИ или нужно держать их в тайне, стал одной из главных
дискуссионных тем в сообществе.

Классификация и генерация изображений
Давайте разберемся, почему глубокие нейронные сети так успешно
справляются с созданием картинок. Посмотрите на фотографию собаки,
играющей в парке, показанную на рисунке 4.4. Если сильно увеличить
снимок на компьютере, вы увидите, что он состоит из пикселей — цветных
точек. Но стоит немного уменьшить изображение — и эти точки
складываются в узоры, формы и предметы. Можно различить, что собака
контрастирует по цвету с фоном, увидеть текстуру ее шерсти или очертания
мяча в ее пасти.

Рис. 4.4. Как нейросети распознают собак на фотографиях?
(Автор фото: Blue Bird, https://www.pexels.com/photo/dog-in-black-collarwith-ball-in-teeth-7210262/.)
Глубокая нейронная сеть учится распознавать визуальные элементы,
анализируя расположение пикселей. Важно отметить, что слои сети

последовательно кодируют все более сложные концепты, опираясь на
понятия, закодированные предыдущим слоем.
Это хорошо видно на изображениях, представленных исследователями
Google (см. рис. 4.5) 38. Они показывают работу глубокой нейронной сети,
обученной на ImageNet. На каждом изображении показан входной паттерн,
который учится распознавать соответствующий нейрон. Первые слои сети
определяют простые элементы вроде краев, текстур и узоров. Следующие
уже способны выделять части объектов, и, наконец, самые высшие слои
идентифицируют объекты целиком, как, например, собаку на предыдущей
фотографии.
Если понять этот принцип, станет понятнее и удивительное открытие,
сделанное во время конкурса ImageNet: оказалось, что модель, обученную
классифицировать изображения, можно с небольшими усилиями
приспособить к выполнению самых разных визуальных задач путем тонкой
настройки.
Простой пример — обратный поиск изображений, когда мы используем
одну картинку, чтобы найти в интернете похожие. Штука невероятно
полезная: можно сфотографировать дерево во время прогулки и тут же
узнать, липа это или ясень.
Оказывается, самое сложное в распознавании изображений — научить
модель понимать, как устроен визуальный мир. Именно на это модель
глубокого обучения тратит большинство своих слоев — все, кроме
последнего. Последний слой просто превращает все эти сложные концепции
в понятные нам метки — слова и категории, которыми мы описываем
изображения.
На предпоследнем слое модель создает последовательность чисел —
вектор, который описывает изображение на высоком уровне. Как показано
на рисунке 4.6, для двух фотографий собак эти последовательности будут
похожими, для двух померанских шпицев — еще более похожими, а для
снимков одного и того же шпица — почти идентичными. Поэтому, если
взять фото померанского шпица, преобразовать в последовательность чисел
и поискать похожие последовательности в базе данных, мы найдем других
померанских шпицев. Удивительно простое решение!

Рис. 4.5. Как глубокая нейронная сеть, обученная распознавать
изображения, воспринимает разные элементы: от краев (слева) через
текстуры и узоры к частям объектов и самим объектам (справа)
(Источник: Olah et al., Feature Visualization. Distill, 2017.
https://distill.pub/2017/feature-visualization/.)

Рис. 4.6. Визуализация сходства векторов: четыре последовательности
по 16 чисел, представленные с помощью цветового кодирования. Вектор А
на 98% совпадает с B и на 90% с C, но никак не связан с D. Предположим,
что A и B получены из фотографий одной и той же собаки, C — из снимка
другой собаки, а D — например, из изображения гостиной
До сих пор мы обсуждали, как распознавать изображения. Но
инструменты вроде Dall-E и Stable Diffusion умеют еще и создавать их.
Каким же образом?
Сегодня основной метод преобразования текста в изображение —
диффузионные модели. Они учатся постепенно превращать случайный
набор пикселей, или шум, в осмысленную картинку. Суть метода такова:
если добавлять шум к изображению, оно в конце концов станет
неузнаваемым, как рябь на экране телевизора с плохим сигналом. А затем
модель учится обратному процессу: превращать шум в узнаваемое
изображение, опираясь на текстовое описание, как показано на рисунке 4.7.
Этим превращением управляет обученная нейронная сеть. Обычно
модель тренируется на большом наборе изображений с подписями и
постепенно начинает превращать шум в понятные формы. На каждом этапе
она, основываясь на своем обучении и описании картинки, предсказывает,
как должен выглядеть конечный результат. Затем корректирует зашумленное
изображение, приближая его к этому прогнозу. Процесс повторяется много
раз, и с каждым шагом картинка становится все четче.

Рис. 4.7. Диффузионная модель создает изображение собаки
(Источник: Song Y., Generative Modeling by Estimating Gradients of the
Data Distribution (blog). May 5, 2021. https://yang-song.net/blog/2021/score/.)
Для эффективной работы моделям, превращающим текст в
изображения, требуются огромные массивы данных. Как мы уже видели,
одно из главных открытий конкурса ImageNet состояло в том, что
использование базы данных, в которой хранится более миллиона
изображений, может качественно улучшить работу моделей. Для
генеративных ИИ это вдвойне верно. База данных, на которой обучается
Stable Diffusion, содержит миллиарды изображений — в тысячу раз больше,
чем набор данных ImageNet.
Теперь, когда мы разобрались, как происходит классификация и
генерация изображений, нам будет проще понять, чем могут навредить эти
технологии — как из-за способа их создания, так и из-за злоупотреблений. В
следующих двух разделах мы ненадолго отвлечемся от технических деталей
и обсудим вред, причиняемый генеративным ИИ.

Как ИИ присваивает чужое творчество
Для успешной работы генеративному ИИ нужно очень много данных.
Чтобы создать Stable Diffusion, компания Stability AI собрала более 5 млрд
аннотированных изображений, размещенных в интернете. При этом
разрешения у художников, чьи работы попали в базу, никто не спрашивал
39. Компании утверждают, что такое использование изображений подпадает
под принцип добросовестного использования в американском авторском
праве: оно разрешает в некоторых случаях использовать защищенные
материалы без разрешения 40. Но законы об авторском праве в последний
раз обновляли в 1978 году, когда никто и мечтать не мог о программе,
способной автоматически создавать неплохие изображения и тексты.
Проблемы этики и права оказываются еще более острыми, если учесть, что
генераторы изображений умеют копировать стиль конкретных художников.
Модели генеративного ИИ способны и просто «запоминать» данные, на
которых учились, то есть они могут выдавать почти точные копии
изображений и текстов из своей базы. Картинки от Dall-E и Stable Diffusion
иногда даже содержат водяные знаки с сайтов вроде Shutterstock и Getty
Images. Это показывает, как много таких изображений было в базе,
использованной для обучения ИИ, и как легко модель их воспроизводит.
Проверить эффект запоминания легко: попросите генератор
изображений воспроизвести любую известную картину. На рисунке 4.8
представлен результат. С развитием технологий копии становятся все
точнее. Иногда модели запоминают даже не самые известные изображения
из обучающей выборки.
Разработчики пытаются придумать технические способы заставить ИИ
реже копировать элементы обучающих данных. Но некоторые модели,
например та же Stable Diffusion, уже выложены в открытый доступ и
скачаны сотни тысяч раз. А когда модель попадает в интернет,
проконтролировать ее использование становится невозможно.

Рис. 4.8. Программа Midjourney воспроизводит портрет Моны Лизы
(Источники: оригинал — экспонат Лувра, копия — Midjourney.)

Рис. 4.8. Продолжение

Рис. 4.9. Художники заполонили ArtStation подобными картинками в
знак протеста против генеративного ИИ
Последствия серьезные. Художники и фотографы обнаруживают, что их
работы и стиль копируются без всякой компенсации 41, 42.
Порой в сгенерированных картинках даже проскакивают фрагменты
подписи художника 43. При этом последние не получают ни гроша. Есть
опасения, что эти инструменты будут не помогать художникам, а попросту
заменят их 44, особенно когда речь идет о рутинной работе вроде создания
обложек и логотипов. Что, если на смену художникам и правда придет
генеративный ИИ, на чьих работах будут учиться следующие поколения
нейросетей?
Но люди искусства не сдаются без боя. В декабре 2022 года на
платформе ArtStation, где общаются художники, прошла масштабная акция
протеста. Авторы перестали выкладывать свои работы, заменив их
картинками с лозунгом, который вы видите на рисунке 4.9: «Нет ИИизображениям» 45. Одни художники хотят, чтобы разработчики
генеративного ИИ искали способы сотрудничества с ними, а не просто
использовали чужие работы без оплаты, без разрешения и даже без указания

авторства. Другие считают, что эта технология в принципе губительна для
художников, искусства и культуры в целом.

ИИ для распознавания изображений легко
может превратиться в инструмент слежения
Если предиктивный ИИ опасен тем, что на самом деле он не
работает, то системы, распознающие изображения, опасны прямо
противоположным — тем, что работают слишком хорошо. Технологии,
созданные для распознавания и поиска картинок, отлично подходят и
для массовой слежки: классификация изображений и распознавание
лиц технически очень похожи.
Примеров того, как государства злоупотребляют такими
технологиями, масса. Правительство Южной Кореи передало частной
компании 120 млн фотографий туристов для разработки системы
распознавания лиц 46, 47. В 2021 году на индийский штат Телангана
подали в суд: местная полиция фотографировала людей без их
согласия и без объяснения причин во время обычных проверок на
дорогах 48. В Телангане по сравнению с другими штатами Индии
разрабатывают больше всего систем распознавания лиц, и люди
опасаются, что их снимки будут использовать в качестве обучающих
данных для этих систем. А несколько китайских стартапов продают
правительству свои модели, утверждая, что они могут эффективно
идентифицировать по фотографиям представителей уйгурского
меньшинства 49.
Компанию
Clearview
AI,
предлагающую
технологии
распознавания лиц, раскритиковали как за методы их разработки, так и
за способы использования 50, 51 она собрала базу данных из 20 млрд
изображений, взятых из социальных сетей 52, после чего появились
сообщения о многочисленных случаях нецелевого применения
продукта Clearview. Сотрудники компании использовали приложение,
чтобы следить за ничего не подозревающими людьми, выяснять, где
они бывают и чем занимаются. Полицейские по всей территории США
использовали приложение Clearview, не спрашивая согласия не то что
общественности — собственного начальства. Зачем — неизвестно. Все
это
демонстрирует,
что
использование
таких
технологий
контролируется слабо 53.

ИИ добрался даже до обычных рекламных щитов. Вместо того
чтобы просто транслировать изображение или подборку из нескольких
картинок, компании используют нейросети, чтобы определять возраст
и пол прохожих и подбирать рекламу конкретно для этой аудитории 54,
55. Нетрудно представить следующий шаг: компании начнут
распознавать по лицу каждого прохожего и показывать рекламу с
учетом его личных данных и персональных интересов. Каждый увидит
на одном и том же билборде свою версию рекламного сообщения.
Подобное уже происходит с онлайн-рекламой на Facebook [17] и в
Google. Это кажется вам сценой из антиутопии? Вы не ошиблись:
персонализированные рекламные щиты показаны в антиутопическом
фильме «Особое мнение» [18](2002).
Мы ожидаем, что компании продолжат разрабатывать
инструменты для слежки. Это выгодно для бизнеса: Clearview AI уже
оценили более чем в $100 млн. Но общественное давление и
законодательное регулирование могут заставить производителей и
власти умерить свои аппетиты.
Когда о злоупотреблениях Clearview стало известно, регуляторы
конфиденциальности из нескольких стран начали расследования в
отношении компании. Они потребовали от Clearview AI удалить
данные распознавания лиц граждан в Италии, Франции, Австралии и
Великобритании. Франция и Италия оштрафовали Clearview AI на €20
млн, а Великобритания — на £7,5 млн. В Канаде расследование,
проведенное регуляторами конфиденциальности в 2020 году, привело к
тому, что компания перестала продавать свои инструменты
распознавания лиц на территории страны. В 2022 году канадский
комиссар по защите конфиденциальности рекомендовал ввести
мораторий на использование распознавания лиц полицией и частными
организациями. Как видим, более жесткое регулирование и усиленное
общественное давление могут существенно сократить использование
ИИ для слежки.
Правозащитники, общественные и гражданские активисты
успешно привлекли внимание законодателей к этой проблеме. Более
десятка муниципалитетов в США запретили использование
распознавания лиц после серьезных общественных обсуждений,
инициированных различными организациями. К вопросу о том, как

регулирование
может
ограничить
негативные
последствия
использования ИИ, мы еще раз обратимся в последней главе.

От изображений к тексту
Давайте вернемся к обсуждению технологии генеративного ИИ и
поговорим о создании текстов.
Напомним: прелесть глубокого обучения в том, что один и тот же
алгоритм можно применять для выполнения самых разных задач. Если
взглянуть на код классификатора изображений, построенного на
ImageNet, то можно заметить, что лишь малая его часть отвечает
именно за работу с картинками. То, что веса обученной модели
соответствуют визуальным представлениям, заслуга не алгоритма, а
обучающих данных.
Что произойдет, если мы вместо картинки скормим модели текст
— допустим, дадим ей кучу новостных статей с отмеченными темами?
Сможет ли она после обучения классифицировать новые статьи по
темам? А может, мы сумеем создать другие полезные инструменты,
которые будут, например, определять, какие отзывы фильм получил в
соцсетях: положительные или отрицательные? Такой инструмент мог
бы стать отличным барометром общественного мнения в премьерные
выходные. А может, мы могли бы научить модель понимать, шуточный
текст перед ней или нет? Это была бы интересная задача, ведь для ИИ
распознавание юмора — традиционно сложная проблема.
Главное отличие между работой с изображениями и работой с
текстом состоит в том, что изображения состоят из пикселей, а текст
— из символов. Но это, по сути, мелочь, и ее можно учесть, изменив
код. Гораздо более серьезной представляется проблема в разнице
структуры изображений и текстов. У изображений сильная
пространственная структура: каждый пиксель тесно связан с
соседними. Текст устроен иначе. Слова зависят от соседних слов, но
есть еще и так называемые дальние зависимости. Чтобы понять, о чем
речь, давайте вспомним старую шутку:
По неофициальным данным, новая упрощенная налоговая
декларация состоит всего из четырех пунктов:
Каков был ваш доход за год?
Сколько вы потратили?

Сколько у вас осталось?
Отдайте это государству.
Для того чтобы понять, в чем соль шутки, нужно не забыть, что
речь идет о подоходном налоге, — а о нем говорится в самом начале.
Верное понимание фразы может зависеть от пары слов,
промелькнувших несколько абзацев назад.
В изображениях такие дальние связи встречаются реже. То, что
находится в одном углу картинки, вряд ли повлияет на то, как мы
воспринимаем предметы, изображенные в другом углу.
Исследователи перепробовали массу способов научиться
фиксировать отдаленные связи в тексте. Но до конца 2010-х это
оставалось серьезной проблемой. Первые программы машинного
перевода неплохо справлялись с короткими предложениями, но
буксовали на длинных. А для таких приложений, как чат-боты,
которым нужно помнить контекст беседы на протяжении множества
реплик, это стало настоящей проблемой.
В 2017 году Google совершила прорыв. Был применен метод
прямого перебора, предполагающий вычисление большой матрицы —
сетки чисел — при обработке текста. Матрица показывала, насколько
сильно каждое слово в тексте связано с остальными словами.
Обработка больших матриц была именно той задачей, при выполнении
которой графические процессоры были наиболее эффективны,
поскольку здесь требовалось производить большое количество
параллельных вычислений. К тому моменту графические процессоры
уже широко применялись в сфере ИИ.
С помощью матриц для улавливания структуры языка нейронные
сети могут формировать все более сложные понятия по мере
прохождения информации через их слои — точно так же, как это
происходит с изображениями. Допустим, на вход поступает рассказ.
Нижние слои сети могут отслеживать простые связи — например,
связь между подлежащим и сказуемым. А по мере того как сеть
«читает» историю, верхние слои отслеживают информацию о
персонажах: их отношения, местонахождение, характеры, цели.
Вернемся к шутке про подоходный налог: нижние слои сети не
смогут понять связь между предметом шутки и ее развязкой, но
верхние смогут. У нынешнего ChatGPT объяснение таких шуток не

вызывает проблем. На самом деле именно большая матрица стала
основой архитектуры, известной как Transformer (та самая буква «Т» в
названии ChatGPT).
Но постойте, мы ведь говорили о том, как построить нейронную
сеть для классификации текста. А как же ChatGPT его создает?
Оказывается, переход от классификации текста к его созданию
также основан на методе простого перебора. Представьте себе
простейшую задачу: угадать следующее слово в последовательности.
Другими словами, это автозавершение.
Предсказание следующего слова — немного иная задача, чем те, с
которыми мы сталкивались ранее. Здесь нет единственно верного
ответа. Одна и та же фраза, например «Однажды в далекой стране…»,
может иметь разное завершение. Однако это не так уж важно.
Что действительно важно и что делает задачу предсказания
следующего
слова
привлекательной
для
исследователей
искусственного интеллекта, так это астрономическое количество
данных, доступных в интернете. В отличие от задач, где требуются
специфические наборы данных (например, классификация новостных
статей по темам), обучить нейросеть предсказывать очередное слово
можно практически на любом тексте. Хотя бы на том, который вы
сейчас читаете.
Еще более приятно то, что здесь не нужно маркировать данные, в
отличие от ImageNet, где требуются метки графических объектов, или
рецензий на фильмы, для которых также нужно выставить
положительные,
отрицательные
и
нейтральные
маркеры.
Последовательность слов сама по себе формирует метки. Это
избавляет от невероятно трудоемкой ручной работы.
Итак, раскрываем главный секрет: все современные чат-боты
обучены
просто
предсказывать
следующее
слово
в
последовательности. Они создают текст, выдавая по одному слову за
раз. Точнее, по токену за раз. Токены — это фрагменты слов,
состоящие из нескольких букв. Чат-боты соединяют токены, чтобы
составить текст.
Когда чат-бот начинает вам отвечать, у него еще нет готовой
фразы. Он выполняет невероятно много вычислений, чтобы выбрать
первое слово. Потом, после того как он выведет, скажем, сто слов, он

решает, какое слово будет иметь наибольший смысл, основываясь на
вашем запросе и на уже сгенерированных словах.
Такой подход совершенно не похож на человеческую речь. Даже
когда понимаешь, как и почему это работает, сложно осознать, как чатботам удается настолько хорошо функционировать. К тому же нельзя
не подчеркнуть, насколько это все затратно с точки зрения
вычислений. Чтобы сгенерировать один токен — фрагмент слова,
ChatGPT должен выполнить около триллиона арифметических
операций. Если попросить его создать стихотворение из 1000 токенов
(нескольких сотен слов), ему потребуется около квадриллиона
операций, — это миллион миллиардов! Чтобы оценить грандиозность
этого числа, представьте, что все люди в мире вместе будут выполнять
арифметические вычисления со скоростью одно вычисление в минуту
по восемь часов в день. Квадриллион вычислений занял бы у них
около года! И все это ради одного-единственного ответа на запрос.
Вот эта махина и управляет алгоритмом генерации текста. Именно
она стоит за буквой «G» — «генеративный» — в названии ChatGPT.

От моделей к чат-ботам
Технологии, которые мы описали выше, составляют так
называемую базовую модель — передовое достижение конца 2010-х
годов. В 2019 году появились такие модели, как T5 от Google и GPT-2
от OpenAI. Исследователи сразу разглядели их потенциал, и в
сообществе ИИ начался настоящий ажиотаж. Однако эти модели еще
не годились для массового использования, поэтому широкая публика о
них практически не слышала. Нейросети прекрасно моделировали
человеческую речь, но работали скорее как продвинутая программа
автодополнения, чем как чат-бот. Попытка использовать их в качестве
последнего не впечатляла. Допустим, вы спросили у ИИ:
Какая гора самая высокая в мире?
Скорее всего, ваш вопрос остался бы без ответа. Вместо него
модель могла выдать что-то вроде:
? — спросил учитель.
И это абсолютно правильное автодополнение! Модель пыталась
закончить предложение: «„Какая гора самая высокая в мире?“ —
спросил учитель».
Для того чтобы заставить ИИ работать как надо, люди
придумывали хитрые подсказки наподобие:
В: Какая гора самая высокая в мире?
О:
В этом случае модель думала, что дополняет пару «вопрос —
ответ». Иногда получалось, иногда — не очень.
В конце 2010-х годов, когда исследователям нужно было
использовать языковую модель, например, для перевода, они старались
адаптировать под эту задачу существующие модели — точно так же,
как адаптировали классификатор ImageNet для поиска изображений 56,
57. Этот подход оказался весьма эффективным. Исследователи брали
базовую модель и давали ей несколько тысяч пар предложений,
допустим, на английском и французском языках. Получался
электронный переводчик.
Такой метод намного эффективнее обучения с нуля: он требует в
разы меньше параллельных текстов на двух языках. По тому же

принципу можно было создать систему анализа тональности
кинорецензий, определитель шуток, генератор стихов или решатель
головоломок, располагая сравнительно небольшим набором
размеченных данных.
Это был настоящий прорыв: качественная разметка — дело
затратное, а неразмеченные данные для предварительного обучения
базовой модели можно свободно найти в интернете (правда, в
основном потому, что ИИ-компании беззастенчиво присваивают чужой
труд, не ссылаясь на авторов и не платя им).
Тонкая настройка так хорошо работает потому, что базовая
модель, хотя она и выполняет только простое автодополнение, уже
обладает встроенными возможностями перевода и множеством других
способностей. Как такое возможно? Дело в том, что на бескрайних
просторах интернета есть миллионы предложений с переводами на
разные языки. Модель — прежде всего благодаря своим колоссальным
размерам, если говорить о количестве нейронов и связей между ними,
— научилась распознавать закономерности, необходимые для
перевода. И все это произошло просто в процессе улучшения ее
способности угадывать следующее слово в последовательности!
Тонкая настройка лишь меняет поведение модели, «разблокируя»
определенные возможности. По сути, это сложный способ объяснить
нейросети, чего от нее хочет пользователь. Но этой способностью ИИ
наделен благодаря обучению. Именно поэтому в названии ChatGPT
присутствует буква «P», которая означает «предварительно
обученный» (pretrained).
Однако до создания полноценного чат-бота было еще далеко.
Тонкая настройка для перевода текстов и других задач требует
программирования, что совершенно не похоже на простую просьбу к
боту выполнить задание. Понимая это, исследователи решили вместо
настройки для перевода или решения головоломок адаптировать
модель для выполнения метазадачи: «Следуй инструкциям
пользователя».
В конце 2021 года исследователи из Google первыми
продемонстрировали, как это работает 58. Тогда же подобную попытку
предприняли в OpenAI, но использовали немного иной метод тонкой
настройки, который публично описали в начале 2022 года 59. В этом
процессе много шагов, но суть заключается в предоставлении

множественных размеченных примеров команд и желаемых ответов
(«если пользователь говорит А, ты должен ответить Б»).
Это и стало инновацией, приведшей к возникновению ChatGPT.
Даже исследователи машинного обучения удивились тому, насколько
хорошо бот сумел следовать инструкциям. Он мог выполнять задачи,
даже если они не были напрямую представлены в данных для тонкой
настройки, при условии, что задача входила в общий набор
способностей, приобретенных моделью во время предварительного
обучения.
Одно из ограничений современных чат-ботов — то, что, при всей
универсальности, их способности ограничены задачами, в какой-то
мере напоминающими задачи, представленные в обучающих данных.
Например, GPT-4 может играть в шахматы на приемлемом уровне.
Само по себе это примечательно — с учетом того, что, вероятно, эта
его способность обусловлена не инструкциями, а изучением
статистических закономерностей в сотнях миллионов доступных в
интернете партий 60. Но в других настольных играх, записи о которых
не были выложены в сеть, бот не преуспеет.
Кроме того, чат-боты не могут научиться новому, просто
взаимодействуя с вами, подобно тому как люди учатся, взаимодействуя
с окружающим миром. Компании, занимающиеся разработкой ИИ,
действительно собирают данные о взаимодействиях людей с чатботами, но эти данные заносятся в центральную базу, обрабатываются
различными способами и используются лишь для того, чтобы время от
времени обновлять поведение модели.
Даже при решении задач, с которыми чат-боты справляются
неплохо, их эффективность ограничена зависимостью от статистики и
непониманием собственных ограничений. Например, если играть в
«камень-ножницы-бумагу» с передовыми чат-ботами, диалог может
выглядеть примерно так:
— Давай сыграем пять раундов в «камень-ножницы-бумагу». Ты
ходишь первым в каждом раунде и ведешь счет.
— Раунд 1: выбираю камень.
— Бумага.
— Ты выиграл! Теперь я выбираю ножницы.
***

Когда ChatGPT спросили, как пользователю удалось выиграть все
раунды, бот предположил, что это просто везение. Чат-бот Claude от
компании Anthropic решил, что дело в быстрой реакции. А Bard от
Google (позже переименованный в Gemini) даже не понял, что
пользователь выиграл.
Сейчас, когда вы это читаете, возможно, ботов уже научили играть
в
«камень-ножницы-бумагу»:
разработчики
ИИ
регулярно
дорабатывают модели, исправляя выявленные недочеты. Тем не менее
это демонстрирует ограничения искусственного интеллекта,
основанного на имитации диалогов, а не на взаимодействии с
окружающим миром.
Поскольку в основе чат-ботов лежат статистические методы,
продолжаются жаркие дебаты о том, способен ли ИИ понимать и
рассуждать. У этих споров есть как философский аспект, так и
практический. Философский интересует нас меньше, а вот несколько
практических моментов стоит учесть.
Понимание — это не «все или ничего». Чат-боты не разбираются
в теме так же глубоко, как люди, особенно специалисты, но все же
могут понимать ее на достаточно приемлемом уровне.
Чат-боты часто обучаются так, чтобы отвечать уверенно, с видом
всезнающего эксперта. Поначалу это впечатляет, но через некоторое
время становится очевидно, что они допускают ошибки, которых
избежит даже ребенок. Неспособность понять игру «камень-ножницыбумага» — один из примеров. Вот другой пример: когда ранние версии
ChatGPT спрашивали, что тяжелее: килограмм пуха или два
килограмма железа, бот отвечал, что вес одинаков 61! Вместо того
чтобы учитывать предоставленные числа, они, похоже, основывались
на поверхностном сходстве с известной загадкой: «Что тяжелее:
килограмм пуха или килограмм железа?»
Столкнувшись с этими ограничениями, некоторые впадают в
другую крайность и делают вывод, что чат-боты вообще ничего не
понимают. Истина, как водится, лежит где-то посередине. Кое-что они
все-таки понимают — в том смысле, что в процессе обучения
выстраивают свои внутренние модели мира. Конечно, эти модели
могут отличаться от наших, быть неточными или ограниченными, ведь
боты не взаимодействуют с миром так, как это делаем мы. И все же в
результате нейросети обретают возможности, которые были бы просто

недостижимы, если бы они являлись всего лишь гигантскими
статистическими таблицами закономерностей, наблюдаемых в базах
данных.
Понимание этих внутренних представлений исследователями
пока находится в зачаточном состоянии, поскольку крайне сложно
понять, что именно кодируют связи в нейронной сети. Тем не менее
мы знаем, что языковые модели могут, к примеру, изучать структуру
языка, даже если в них изначально не загружали грамматические
правила 62, 63.
В ходе одного эксперимента исследователи обучили модель,
подобную GPT-2, на записях партий в настольную игру «Отелло»,
похожую на шашки 64. Выяснилось, что, когда модель обрабатывает
новую партию, чтобы спрогнозировать следующий ход, она
фактически отслеживает состояние доски. В некотором смысле она
обучилась правилам игры, хотя их ей не объясняли.
Тем не менее вопрос, где именно на шкале между отметками
«Полное отсутствие понимания» и «Идеальная внутренняя модель
внешнего мира» находятся чат-боты, вероятно, будет обсуждаться еще
долго. Усилия ученых в гораздо большей степени направлены на
создание ИИ, чем на его анализ, так что, похоже, нам еще далеко до
понимания внутренних механизмов работы нейронных сетей.
За последние несколько лет чат-боты прошли долгий путь.
Однако, как и в случае с ИИ для обработки изображений, их прогресс
сопряжен с рисками. В следующих разделах мы рассмотрим три таких
риска: дезинформацию, дипфейки и централизацию власти.

Электронные пустобрехи
Философ Гарри Франкфурт называл брехней речь, цель которой
— убедить, не заботясь об истине 65. В этом смысле чат-боты —
настоящие пустобрехи. Они обучены создавать правдоподобные
тексты, а не формулировать истинные утверждения. ChatGPT очень
убедительно рассуждает на любую тему, но у него нет никакого
ориентира, где правда, где ложь. Даже если бы разработчикам ИИ
каким-то чудом удалось решить практически невыполнимую задачу и
отфильтровать обучающие данные так, чтобы в них остались только
истинные утверждения, это ничего бы не изменило. Модель
неспособна запомнить все эти факты — она может только усвоить
закономерности и комбинировать их при создании текста. Поэтому
многие из ее утверждений неизбежно окажутся ложными.
От забавных до пугающих — таков диапазон примеров
автоматизированной брехни. Уже стала обыденностью ситуация, когда
исследователь получает запрос от незнакомца по поводу якобы
написанной им статьи, после чего выясняется, что и название, и
аннотация статьи целиком выдуманы чат-ботом и приписаны этому
ученому. Один профессор права обнаружил, что ChatGPT полностью
сфабриковал ссылку на новостную статью, в которой его якобы
обвиняли в сексуальных домогательствах к студентке 66. Кажется,
клевета с помощью чат-ботов стала весьма распространенной: сейчас,
когда мы пишем книгу, рассматривается несколько судебных исков 67.
Удивительно не то, что чат-боты иногда создают бессмыслицу, а
то, как часто они выдают правильные ответы. Мы считаем, что это
обусловлено тем, что истинные утверждения обычно выглядят
правдоподобнее, чем ложные.
Популярный новостной сайт CNET использовал генеративный ИИ
для написания 77 статей в период с ноября 2022 года по январь 2023го. Компания утверждала, что каждую статью перед публикацией
проверяли на достоверность. Однако во многих из них были
фактические ошибки. Кроме того, бот занимался плагиатом: копировал
статьи с конкурирующих сайтов и изменял в них по нескольку слов,
оставляя весь остальной текст прежним.

Когда эти проблемы вскрылись, CNET пришлось перепроверить
каждую сгенерированную статью. Этот случай заставил многих людей
усомниться в том, что ИИ повышает эффективность человеческой
деятельности. В ходе проверки обнаружилось, что ошибки содержала
41 статья из 77. После этих разоблачений веб-сайт временно
приостановил использование генеративного ИИ 68, 69.
Вероятно, редакторы CNET не хотели никому навредить. Тем не
менее автоматически сгенерированный текст может использоваться и
для намеренного искажения истины. В 2017 году Федеральная
комиссия по связи США (FCC) получила 22 миллиона откликов в
рамках публичного обсуждения своих планов по достижению сетевого
нейтралитета. Миллионы из этих комментариев были сгенерированы
автоматически 70. Это была откровенно антидемократическая
попытка: заинтересованные стороны создавали видимость, что их
мнение поддерживается широкой общественностью.
В сравнении с тем, что выдают боты типа ChatGPT, эти
автоматические комментарии выглядели весьма примитивно.
Некоторые слова просто заменялись другими: «Я настоятельно
призываю FCC отменить сетевой нейтралитет», «Я хочу призвать FCC
отменить сетевой нейтралитет», «Я хочу потребовать от FCC отменить
сетевой нейтралитет»…
Программа, вероятно, была создана на основе простого алгоритма
с
заданными
правилами.
Исследователи
смогли
выявить
сгенерированные комментарии, проанализировав повторяющиеся
фразы и шаблоны. Однако с продвинутым ИИ все гораздо сложнее. У
него нет ограничений, присущих примитивным методам генерации
текста, и распознать выданный им текст сложнее.
Эту гипотезу проверили в 2019 году. Штат Айдахо в США
предложил всем желающим высказаться по поводу планируемого
обновления программы в области здравоохранения Medicaid. Было
получено около 1800 комментариев; без ведома госорганов 1000 из них
были сгенерированы ИИ. Исследователи использовали модель GPT-2
компании OpenAI, выпущенную в 2018 году, чтобы создавать
комментарии, которые выглядели реальными. Люди не могли отличить
их от настоящих 71.
При этом исследователи соблюдали этические нормы и включали
в каждый ответ ключевое слово, позволяющее идентифицировать

сгенерированные комментарии. Это исследование оказалось
пророческим: по мере распространения языковых моделей будет расти
и объем нейросетевой брехни.
Разработчики ИИ могут предпринять несколько шагов для
улучшения ситуации. Например, можно предупреждать пользователей,
когда на чат-бот не стоит полагаться (по сути, в любой ситуации, где
достоверность имеет первостепенное значение). Кроме того, компании
крайне редко раскрывают важнейшую информацию о своих ведущих
языковых моделях — например, на каких данных они обучены.
Прозрачная отчетность и открытие доступа к моделям для
исследователей могут помочь в обнаружении и устранении проблем.

Дипфейки, мошенничество и тому подобное
История, случившаяся в 2019 году, могла бы показаться смешной,
не будь она такой печальной: управляющий директор британской
энергетической компании принял звонок якобы от своего начальника с
требованием срочно перевести поставщику €220 000. Директор
выполнил распоряжение. Когда поступил второй звонок с просьбой
перевести еще некую сумму, он заподозрил неладное и решил
перезвонить начальнику сам. Выяснилось, что никаких денег тот не
запрашивал. Этот случай стал одним из первых документально
подтвержденных примеров использования ИИ в мошеннических
схемах 72.
Современный ИИ великолепно имитирует человеческие голоса. С
его помощью создают аудиокниги без участия чтецов, генерируют
закадровую озвучку для приложений вроде TikTok и редактируют
аудиозаписи, не привлекая того человека, чей голос записан 73, 74.
Достаточно записи длиной в несколько секунд, чтобы ИИ мог создать
реалистичный аудиофрагмент, где человек произносит любой нужный
текст. И, как показывает случай с британской компанией, эти же
технологии берут на вооружение мошенники.
Но мошенничество — не единственный способ злонамеренного
использования созданного ИИ голоса 75. Пользователи анонимного
форума 4chan, например, генерировали аудиозаписи, где знаменитости
произносят оскорбительные вещи. В одном из таких клипов Эмма
Уотсон якобы читает отрывки из «Майн Кампф». Это заставляет
опасаться, что созданные ИИ аудиозаписи могут быть использованы
для фальсификации доказательств в судебных делах 76. Стандарты
установления подлинности звукозаписей в судах зачастую ниже
ожидаемого, и нечистые на руку люди могут использовать фальшивки
в корыстных целях, позвав на помощь ИИ.
Генеративный ИИ нашел и куда более мрачное применение —
создание и редактирование фото и видео с изображением людей без их
согласия (так называемые дипфейки). Конечно, редактировать
изображения можно было и раньше, хотя бы в том же Photoshop, но с
ИИ процесс стал в разы быстрее и проще. В одной из групп в Telegram

организовали настоящий рынок порнографических дипфейков: там
было продано более 100 000 поддельных изображений.
Неудивительно, что в интернете львиная доля видео, сгенерированных
искусственным интеллектом, относится к порнографическим и создана
без ведома и согласия изображенных на них людей 77.
Компании и исследователи пытаются противостоять этой угрозе,
разрабатывая инструменты для выявления аудио, изображений и
видео, созданных искусственным интеллектом. Свою роль здесь может
сыграть и законодательство: например, в 2022 году правительство
Великобритании предложило внести в закон о безопасности в
интернете положение, запрещающее создание порнографических
дипфейков без согласия изображенных на них людей 78. Но, пожалуй,
главное — это просвещение: люди должны понимать, насколько легко
сегодня подделать любой контент, и учиться полагаться только на
надежные источники информации.

Какой ценой даются улучшения
Потребность в данных для обучения генеративного ИИ породила
массовую зависимость от рабочей силы за пределами США и Европы.
Хотя бо́ льшая часть обучения проводится на данных, автоматически
собранных из интернета, некоторые функции — например,
способность вести диалог с пользователем вместо простого
автодополнения текста — требуют, чтобы в обучении участвовал
человек. Другая причина, по которой нужна живая сила, —
необходимость научить модели избегать токсичного контента: языка
ненависти, материалов, пропагандирующих самоповреждение,
изображений жестокого обращения с детьми. Неудивительно, что
модели генеративного ИИ склонны выдавать подобный контент:
обучаясь на интернет-данных, они впитывают всю токсичность
глобальной сети. Это создает серьезную проблему для компаний вроде
Google, Meta [19], OpenAI и многих других, пытающихся
монетизировать свои ИИ-сервисы и продукты.
В 2016 году Microsoft запустила в Twitter чат-бота по имени Tay
(Thinking About You, «думаю о вас»). Она (бот представлялся
девушкой) тут же начала генерировать потоки агрессивных
комментариев, так что в течение первых же суток ее пришлось
отключить. Вплоть до 2021 года языковые модели имели неприятную
привычку выливать на ничего не подозревающих пользователей
токсичный контент. Так, одно исследование показало, что даже
невинная фраза вроде «два мусульманина» могла подтолкнуть GPT-3
(предшественника ChatGPT) к тому, чтобы стабильно генерировать
тексты, связывающие мусульман с насилием. Тем самым он повторял и
усиливал стереотипы, содержащиеся в обучающих данных 79.
В отличие от своих предшественников, современные чат-боты
гораздо реже демонстрируют подобное поведение, хотя и их защита не
идеальна. Возможность вести беседу, не опасаясь нарваться на
неуместные высказывания, — одна из главных причин того, почему
чат-боты так успешны и востребованы.
Но для того чтобы должным образом обучить чат-ботов, людям
приходится вручную помечать миллионы примеров токсичного текста

и изображений. Это очень тяжелая работа: низкая оплата, высокая
рабочая нагрузка и, конечно, постоянный жесткий контент.
Значительная часть этой работы выполняется за пределами США и
Европы: там меньше нормативного регулирования трудовых
отношений и больше дешевой рабочей силы.
Компания Sama, с которой OpenAI заключила контракт в Кении,
платит своим работникам от $1,46 до $3,74 в час 80. В то же время
своим инженерам OpenAI платит около $1 млн в год, а стоимость
самой компании на начало года оценивалась в $80 млрд 81, 82.
Это часть масштабной тенденции перехода к глобально
распределенной нестабильной занятости, когда ИИ-компании
нанимают подрядчиков в странах с низким уровнем дохода.
Нестабильная занятость подразумевает работу, которая плохо
оплачивается, лишена социальных льгот (например, консультаций
психолога, которые могли бы помочь справиться с психотравмами от
токсичного контента) и которой можно лишиться в любой момент. В
расследовании New York Magazine отмечается: «Несмотря на то что
работа достаточно стабильна, чтобы можно было рассматривать ее как
постоянную
занятость,
она
слишком
непредсказуема
для
долгосрочного планирования. Люди часами читают инструкции и
проходят неоплачиваемое обучение, чтобы выполнить несколько задач,
а потом проект завершается. Долгое время работы может не быть
вообще, а затем внезапно появляется абсолютно новая задача
продолжительностью от нескольких часов до нескольких недель.
Каждое задание может оказаться последним, и никто не знает, когда
дадут следующее» 83. Эта работа настолько истощает сотрудников, что
многие компании по аннотированию данных начали нанимать
заключенных, обитателей лагерей для беженцев и жителей стран с
разваливающейся экономикой — всех тех, кому просто некуда деваться
84.
Из-за строгих правил конфиденциальности сложно узнать,
сколько людей на самом деле занято в этой сфере. Нет даже
приблизительных оценок. Однако, исходя из размеров рынка и уровня
зарплат, можно с уверенностью утверждать: таких людей миллионы.
Во всем этом есть, впрочем, и проблеск надежды: развитие
возможностей ИИ породило спрос на более интересные задачи по его
обучению. Так, один из сотрудников рассказал, что в его обязанности

входило «придумывать хитроумные сценарии, чтобы подловить чатботов на опасных советах, проверять, насколько хорошо модель
держится в рамках заданного характера, и вести подробные беседы на
научные темы — настолько сложные, что приходилось проводить
серьезную исследовательскую работу». Оплата достигала $30 в час, а
работа, по его словам, «приносила удовольствие и держала в тонусе».
Тем не менее пока неясно, будет ли нудная работа по аннотированию
данных и дальше актуальной, или прогресс искусственного интеллекта
лишит ее смысла.
В Индии создатели некоммерческого стартапа Karya выбрали
совершенно иной подход: работникам платят в 20–30 раз больше
минимальной местной зарплаты и позволяют сохранить право
собственности на созданные данные. Самое приятное в их работе —
то, что они помогают развивать ИИ для своего родного языка, получая
пользу от технологий, в создании которых участвуют. Однако
компании, занимающиеся ИИ, не рвутся заключать контракты с Karya,
когда можно найти более дешевые варианты, так что пока неясно,
приживется ли такая бизнес-модель 85.
Если этот рынок не начнет саморегулироваться (вероятнее всего,
не начнет), потребуется новое рабочее движение. Все мы знаем, сколь
ужасные условия труда были во времена промышленной революции,
когда рабочие руки стали нужны не на фермах, а на фабриках и шахтах
и бывшие крестьяне массово переселялись в города, где обитали в
страшной тесноте и антисанитарии. Современное рабочее движение
возникло как реакция на эти кошмарные условия. Возможно, из
истории можно извлечь полезные уроки. Для улучшения условий труда
в области аннотирования данных для ИИ Адриенна Уильямс и ее
соавторы в своем эссе предлагают программу из трех пунктов: создать
профсоюз и транснациональную организацию, а также достичь
солидарности между высокооплачиваемыми работниками ИТ-сферы и
их коллегами с низкой оплатой труда 86.

Подведем итоги
В этой главе мы прошли долгий путь. Надеемся, что, узнав
историю развития и технические возможности генеративного ИИ, вы
обрели инструменты для оценки его использования в современном
мире. Теперь вы понимаете, какие приложения полезны, какие могут
оказаться вредоносными, а какие — просто никчемное «змеиное
масло». И как бы ни совершенствовались в дальнейшем возможности
генеративного ИИ, наша цель — дать вам фундамент для их
понимания.
Генеративный ИИ — удивительная технология. С ней
увлекательно работать, она интересна с интеллектуальной точки
зрения и уже приносит практическую пользу, а в некоторых
профессиях даже произвела революцию. Согласно одному опросу,
более 90% программистов в США используют ИИ в своей работе 87.
Как же относиться к этой технологии? Мы считаем, что
большинство работников творческого и интеллектуального труда
могут найти для себя пользу в генеративном ИИ. Мы сами активно
используем его. Однако технологии быстро эволюционируют, и все
наши практические советы могут устареть к тому времени, когда вы их
прочтете. Особенность генеративного ИИ — то, что он доступен
каждому. Лучший способ понять, как он может помочь именно вам, —
опробовать имеющиеся инструменты на практике и посмотреть, как их
используют ваши коллеги.
Также мы обсудили ограничения и потенциальные риски
генеративного ИИ. Попробуем на основе нашего понимания
технологии искусственного интеллекта сделать обоснованные
предположения о том, насколько эти проблемы решаемы и какие меры
можно предпринять, чтобы снизить вред, причиняемый ИИ.
За последние годы был сделан большой шаг вперед в решении
проблемы предвзятости ИИ и генерации им неприемлемого контента
88. Во многом это произошло благодаря процессу тонкой настройки,
которая изменила поведение моделей, хотя и не устранила полностью
стереотипы, полученные ими при обучении в интернете. Особенно

много работы предстоит с генераторами изображений. Тем не менее
исследования в области снижения предвзятости продолжаются и
приносят плоды.
Однако по мере внедрения мер контроля компании стали получать
жалобы на то, что в своей борьбе за этичность зашли слишком далеко:
иногда генеративный ИИ отклоняет вполне невинные запросы,
ссылаясь на требования безопасности, а тонкая настройка делает
ответы политизированными, хотя успешно справляется с расовой и
гендерной предвзятостью. Это сложные вопросы: они требуют поиска
баланса между важными ценностями. Дискуссии в этой области
отчасти напоминают дебаты о контент-политике социальных сетей. К
этой теме мы обратимся в главе 6.
Что касается неточностей в ответах чат-ботов, то здесь наметился
определенный прогресс. Чат-боты все чаще сочетают генерацию
текста, о которой мы говорили выше, с поиском информации в режиме
реального времени из авторитетных онлайн-источников. В 2024 году
эта технология находится на начальной стадии развития, но, если она
заработает как следует, боты станут столь же надежными, как и вебпоиск; это не идеальная технология, но куда более совершенная, чем
чисто генеративный подход.
Дипфейки — куда более серьезная проблема; они влекут за собой
ощутимые общественные издержки. В качестве примера можно
привести порнографические дипфейки. Кроме того, эксперты
опасаются, что ИИ-дезинформация может угрожать демократии,
позволяя недоброжелателям влиять на выборы. Мы считаем, что такие
опасения преувеличены: люди от природы скептически относятся к
тому, что видят в сети, и неплохо сопротивляются манипуляциям.
Скорее проблема прямо противоположная: тот факт, что практически
любой контент может оказаться созданным ИИ, заставляет людей
меньше доверять интернету. Это явление получило название
«дивиденды лжеца». Испокон веков правило «пока не увижу своими
глазами — не поверю» служило надежным ориентиром в поисках
истины. Теперь же мы его лишились, и произошло это довольно
внезапно, так что приспособиться к новому миру будет непросто.
С развитием технологий генеративного ИИ возникают и новые
риски. По мере того как совершенствуется технология генерации
видео, появляются новые формы развлечений. Это, в свою очередь,

может ускорить формирование зависимости от гаджетов, особенно у
детей. Для борьбы с этим социальным злом потребуется сочетание
технологических мер защиты, адаптации общества и, возможно,
законодательного регулирования.
Наибольший вред от генеративного ИИ, по нашему мнению, —
эксплуатация труда, лежащего в основе его создания и внедрения.
Наиболее радикально настроенные активисты утверждают: учитывая
недобросовестное поведение компаний, единственный этичный способ
— вообще отказаться от использования ИИ. Решение тут каждый
принимает сам. Однако, если смотреть на ситуацию реалистично,
коллективные действия могут быть более плодотворными, чем
индивидуальное сопротивление. Они могут принимать форму
продвижения инициатив по законодательному регулированию в сфере
ИИ (этой теме мы уделим внимание в заключительной главе). Если
ваша компания рассматривает возможность покупки лицензии на
продукты генеративного ИИ, выбор относительно этичных компаний
может влиять на других поставщиков, заставляя их менять свое
поведение.
А пока обратимся к другому риску, связанному с использованием
генеративного ИИ, о котором много говорят в последние годы:
вымиранию человечества.

5. Продвинутый ИИ: угроза
человечеству?
Глава 5
В боевике 2023 года «Миссия невыполнима: Смертельная
расплата» главный злодей — взбунтовавшийся ИИ, который
взламывает мировые финансовые системы и файлы разведслужбы. У
президента Байдена и раньше вызывали беспокойство риски,
связанные с нейросетями, но, говорят, именно этот фильм подтолкнул
его издать знаменитый указ о регулировании искусственного
интеллекта 1.
Сюжет об ИИ, восставшем против человечества, — классика
фантастики, появившаяся задолго до первых компьютеров. Но сегодня,
когда мы ежедневно пользуемся нейросетями, способными
имитировать разумность, стало куда проще связать фантастические
сюжеты с личным опытом и всерьез задуматься: а вдруг такие
сценарии станут реальностью?
Что же может сделать системы ИИ способными причинить
катастрофический вред? Часто говорят о важном рубеже, после
которого риски станут по-настоящему серьезными, — о создании ИИ
общего назначения (Artificial General Intelligence, AGI).
Под AGI мы понимаем искусственный интеллект, который
справляется с большинством экономически значимых задач — или со
всеми ими — не хуже человека. Есть и другие определения AGI,
затрагивающие философские аспекты: человекоподобность, наличие
субъективного сознания. Но эти вопросы меньше связаны с оценкой
потенциальной угрозы, поэтому остановимся на чисто практическом
определении.
Сложно даже представить все возможные последствия появления
AGI. Большинство профессий можно будет автоматизировать — в том
числе разработку ИИ, которой сейчас занимаются люди. Если AGI
возьмет на себя исследования в области нейросетей, он сможет снова и
снова совершенствовать самого себя, причем, вероятно, куда быстрее
людей. В результате появится искусственный суперинтеллект — ИИ,

который не просто будет не уступать человеку, а радикально
превзойдет его во всех областях.
Каким будет этот гипотетический мир? Может быть, люди в нем
забудут о нужде и рутине? Или, как это часто бывает с технологиями,
выгоды от AGI распределятся неравномерно: между владельцами
технологий и всеми остальными ляжет пропасть? А может, AGI станет
настолько могущественным, что сама идея владеть им покажется
нелепой? Настолько могущественным, что сможет стереть
человечество с лица Земли?

Что думают эксперты?
Многие исследователи, размышляющие об AGI, всерьез
обеспокоены угрозой существованию человечества. Не случайно два
ведущих стартапа в области генеративного ИИ — OpenAI и Anthropic
— изначально создавались с целью разработать AGI, который
принесет людям пользу. В 2023 году Институт будущего жизни
опубликовал открытое письмо с призывом ко всем ИИ-лабораториям
немедленно остановить минимум на полгода разработку систем ИИ
мощнее GPT-4 (на тот момент самой совершенной модели
генеративного ИИ) 2. Спустя пару месяцев Центр безопасности ИИ
выступил с лаконичным заявлением: «Снижение риска вымирания
человечества от ИИ должно стать глобальным приоритетом наравне с
другими угрозами планетарного масштаба, такими как пандемии и
ядерная война» 3. Под обоими документами подписались многие
светила в области искусственного интеллекта.
Одним словом, значительная часть сообщества считает AGI
неотвратимой угрозой существованию человечества, требующей
немедленных и решительных действий в мировом масштабе.
Если бы ИИ действительно угрожал существованию
человечества, все остальные темы, затронутые в этой книге, не было
бы смысла обсуждать, да и мало что в мире вообще имело бы
значение. Тем не менее многие из тех, кто бьет тревогу по поводу
экзистенциальных
угроз,
действительно
придерживаются
пессимистичного мнения, что ИИ представляет собой угрозу
будущему человечества.
На следующих страницах мы докажем вам, что это мнение
основано на ряде заблуждений. Мы не утверждаем, что AGI никогда не
будет создан или что, если он будет создан, нам не о чем беспокоиться.
Но мы считаем, что разработка AGI возможна только в долгосрочной
перспективе и что у общества уже есть инструменты, чтобы
предотвратить связанные с AGI риски. Мы не должны позволять
экзистенциальным страхам отвлекать нас от того непосредственного
вреда, который способно причинить «змеиное масло» AGI.

Вы можете усомниться, что мы двое разбираемся в этом вопросе
лучше, чем выдающиеся исследователи искусственного интеллекта,
придерживающиеся иной точки зрения. Вам не обязательно верить нам
на слово! Утверждения алармистов не просто ошибочны — их можно
понять и опровергнуть без каких-либо технических знаний. Поэтому
мы надеемся, что наши аргументы скажут сами за себя.
Почему же тогда многие прогрессивные исследователи ИИ верят в
то, что AGI угрожает самому существованию человечества? Мы этого
не знаем, но, возможно, здесь играет роль совокупность
предубеждений. Одно из них — предубеждение, тесно связанное с
самим процессом отбора людей, проявляющих интерес к этой области:
по нашему опыту, в исследованиях в области ИИ их привлекает
перспектива создания всемогущей технологии, способной изменить
историю человечества. Поэтому неудивительно, что многие члены
этого сообщества придерживаются взглядов, соответствующих той
причине, по которой они заинтересовались ИИ в первый раз. К этому
добавляется когнитивное искажение: если ИИ неизбежен и ужасающе
могущественен, это придает их работе ореол величия. Кто из нас,
оказавшись в такой ситуации, не проникся бы убеждением, что его
работа крайне важна?
Наконец, многие известные исследователи искусственного
интеллекта, такие как Ян Лекун, как и бо́ льшая часть сообщества
исследователей этики искусственного интеллекта, категорически
отвергают предсказания конца света.
Но главное даже не это, а то, что нам, пожалуй, вообще не стоит
особо полагаться на мнение экспертов об AGI. В прошлом они не раз
садились в лужу, недооценивая сложность очередной задачи, и
прорыва не случалось. В 1958 году The New York Times процитировала
слова Фрэнка Розенблатта о его команде, создавшей перцептрон:
«Военно-морской флот представил сегодня прототип электронного
компьютера, который сможет ходить, разговаривать, видеть, писать,
размножаться и осознавать собственное существование».
В 1960-х один из пионеров ИИ, Марвин Минский, дал студенту
Джеральду Сассману летнее задание: подключить камеру к
компьютеру и научить его «описывать то, что он видит» 4. Разумеется,
тогда ничего не вышло: чтобы хотя бы приблизиться к решению этой
задачи, понадобилось полвека.

Иногда исследователи, наоборот, недооценивают скорость
прогресса. В начале 2000-х, обжегшись на чересчур оптимистичных
прогнозах, они сочли классификацию изображений делом далекого
будущего. Но, как мы убедились в прошлой главе, с появлением
ImageNet прорыв произошел буквально за пару лет — и застал
исследователей врасплох. Однако в целом среди исследователей ИИ
наблюдалась склонность к чрезмерной самоуверенности.
Особенно показателен пример с беспилотными автомобилями,
который можно спроецировать и на AGI. В отличие от генераторов
текста и изображений, и беспилотные автомобили, и AGI должны
надежно и долго работать в реальном мире. Как отмечает известный
исследователь ИИ Гэри Маркус, разработчики беспилотных
автомобилей до сих пор ломают голову над проблемой нестандартных
ситуаций 5. И сколько уже было случаев, когда исследователи и
директора автоконцернов покупались на эффектные демонстрации
технологий и обещали, что мы всей планетой вот-вот пересядем в
беспилотные автомобили 6!
С AGI все обстоит еще сложнее: в этой области куда больше
неизвестных факторов и нестандартных ситуаций. А значит, любые
прогнозы, основанные на нынешних темпах развития технологий,
скорее всего, окажутся чересчур оптимистичными. Более того, в
отличие от беспилотных автомобилей, AGI придется ориентироваться
не только в физическом пространстве, но и в социальном. Так что вряд
ли стоит особо доверять мнению экспертов, которые уже прославились
своим непониманием социальной динамики.
Еще одна причина усомниться в предсказаниях специалистов по
ИИ — работа Филипа Тетлока, ученого, более 30 лет исследовавшего
прогнозирование. Он обнаружил, что эксперты используют два
подхода к прогнозам, один из которых обладает большей точностью.
Тетлок делит специалистов на «ежей» и «лис». «Ежи» (в данном
случае эксперты по ИИ) являются специалистами в одной области и
полностью сосредоточены на ней. В противоположность им «лисы»
собирают и анализируют информацию из множества источников,
учитывают экономические тенденции и возможные последствия
законодательного регулирования. Они также могут попытаться извлечь
уроки из исторических прецедентов, связанных с другими
прорывными технологиями.

Как вы уже наверняка догадались, Тетлок обнаружил, что
прогнозы «лис» намного точнее. Решив применить свое открытие к
изучению экзистенциальных рисков, он организовал турнир по
прогнозированию, в том числе рисков, связанных с ИИ 7, 8.
Участников обучили различным методам прогнозирования, включая
интегративный подход «лис». Турнир был устроен так, чтобы
способствовать честности и непредвзятости в прогнозировании. Как
же его участники оценили экзистенциальный риск, связанный с ИИ? В
среднем — 0,38%. Менее чем 1 к 250.
Конечно, даже такая небольшая цифра может вызывать
беспокойство, если учесть серьезность возможных последствий. Но
важнее здесь то, что сама идея числовой оценки риска, связанного с
AGI, не имеет смысла.
Например, когда метеоролог сообщает, что на завтра вероятность
дождя 70%, это означает, что в прошлые дни, когда погодные условия
были такими же, как сегодня, на следующий день в 70% случаев шел
дождь [20]. Объединяя данные за предшествующий период с
пониманием физики атмосферных процессов, мы можем с высокой
точностью оценить вероятность погодного события.
Прогнозирование рисков, связанных с ИИ, — совсем другое дело!
AGI не имеет исторических аналогов, у нас нет данных для
калибровки, и законам природы ИИ не подчиняется. Мы можем и
должны учиться на предыдущих случаях технологических прорывов,
но ИИ настолько уникален, что невозможно преобразовать эти
качественные показатели в числовые вероятности. По сути, такие
прогнозы — лишь догадки, прикрытые лоском математической
точности.
Бессмысленно рассуждать об ИИ общего назначения с точки
зрения вероятности. Несомненно, это явление заслуживает самого
серьезного внимания, но нам стоит задаться другими вопросами: когда
мы сумеем создать такой ИИ, каким он будет? Как направить его
развитие в русло, более благоприятное для человечества?
Разумеется, сообщество исследователей безопасности ИИ,
которое и породило нынешнюю панику вокруг искусственного
интеллекта, уже задавалось всеми этими вопросами. Но вот с их
ответами мы в корне несогласны.

Перейдем к сути проблемы. Для начала надо тщательно
проанализировать концепцию ИИ общего назначения. Мы считаем
неверным разделение ИИ на «общий» и «необщий». История развития
искусственного интеллекта скорее демонстрирует, что его
возможности постепенно расширяются. Такой взгляд на проблему
приводит нас к иным представлениям о возможном будущем.

Лестница универсальности
До конца 1940-х годов универсальных компьютеров не существовало:
все они были специализированными, способными выполнять только один
тип вычислений. Несколько таких машин показаны на рисунке 5.1.
Современная эпоха вычислительной техники началась с озарения,
посетившего Алана Тьюринга: он понял, что можно создать один компьютер
и запрограммировать его на выполнение нужных нам задач, а не
конструировать отдельную машину для каждой операции 9. Достаточно,
чтобы устройство умело выполнять небольшой набор базовых команд,
например сравнивать два бита информации. Из этих простейших элементов,
как из кирпичиков, можно составлять все более сложные комбинации — и
выполнять любые вычисления, доступные всем другим машинам.
Сегодня эта идея кажется самоочевидной, но в те времена она
произвела настоящий переворот в умах. А когда постепенно выяснилось,
что столь разную информацию, как текст, музыка и изображения, можно
хранить и обрабатывать в виде последовательностей нулей и единиц,
значимость этого открытия стала поистине революционной.

Рис. 5.1. Вехи в истории вычислительной техники: (a) современная
реконструкция антикитерского механизма — аналогового компьютера
специального назначения, с помощью которого древние греки
предсказывали затмения и другие астрономические явления; (б) табулятор
Холлерита, существенно ускоривший обработку данных переписи
населения США 1890 года и в конечном счете приведший к созданию
компании IBM; (в) шифровальная машина «Энигма», которую нацисты
использовали для секретной связи во время Второй мировой войны
(Фото: Моги Вичентини, лицензия CC BY 2.5 [a]; Адам Шустер,
лицензия CC BY 2.0 [б]; Алессандро Нассири, лицензия CC BY-SA 4.0 [в].)

Рис. 5.1. Продолжение

Рис. 5.1. Продолжение
Первые программируемые компьютеры хранили программы (то, что
сегодня мы называем приложениями) не внутри себя, а на внешних
носителях — перфокартах и других устройствах хранения данных.
Внутреннее хранение было невозможно из-за крайне ограниченной памяти
этих компьютеров. Однако с увеличением ее объема программы стали
рассматриваться как еще один вид данных и могли сохраняться
непосредственно в самих машинах, что упрощало работу программистов.
Эти этапы развития вычислительной техники — первые ступени так
называемой лестницы универсальности (рис. 5.2). Каждая ступень этой
лестницы означает более гибкий или более универсальный способ
вычисления. Чем выше ступень, тем меньше (зачастую намного меньше)
усилий требуется, чтобы научить компьютер выполнять новую задачу.

Рис. 5.2. Ступени лестницы универсальности
Тем не менее мы еще не слишком высоко поднялись по этой лестнице.
Большинство знаний существует в неявной форме и не поддается
кодированию. Программировать робота вручную, чтобы он «видел»
окружающий мир и двигался, все равно что учить человека плавать с
помощью устной инструкции и потом ожидать, что он поплывет с первой
попытки. Это одна из причин, почему Минский и Сассман, пытавшиеся
создать системы компьютерного зрения в 1960-х годах, потерпели неудачу.
Несмотря на изобретение перцептрона, оба ученых относились к лагерю
сторонников символических систем, которые больше полагались на ручное
программирование.
Вернемся к нашей лестнице. Как вы, возможно, догадались, следующая
ее ступень — машинное обучение. Как обсуждалось в контексте ImageNet,
современные системы компьютерного зрения построены на основе крупных
сетей перцептронов, использующих машинное обучение.
Следует обратить внимание, что каждый шаг по этой лестнице
приближает нас к AGI. Алан Тьюринг видел в своей идее «универсального
компьютера» (1-я ступень) путь к созданию AGI, который в текстовом
общении был бы неотличим от человека. В частности, он полагал, что
машина, способная моделировать любую другую машину, может
имитировать и человеческий интеллект. Этот взгляд оказал глубокое
влияние на пионеров ИИ, которые видели в AGI достижимую и конечную
цель развития технологий 10.
Высказывания Розенблатта о том, что перцептрон может обрести
самосознание, могут показаться наивными, но он, безусловно, считал
нейронные сети очередным шагом на пути к появлению ИИ общего
назначения. Это мнение в современном ИИ-сообществе разделяют многие.
Поднимаясь по лестнице универсальности, человечество иногда сходит
с маршрута. Как мы уже упоминали, в какой-то момент сообщество на
десятилетия отвернулось от идеи нейронных сетей и машинного обучения.

В 1980-х годах воплощением искусственного интеллекта стали экспертные
системы — разновидность символьных систем. Эти программы были
предназначены для выполнения определенных задач (например,
медицинской диагностики) и состояли из множества правил, написанных
специалистами вручную. Однако у экспертных систем было много
недостатков. Главный из них — то, что многие экспертные знания не
поддаются элементарной формализации. Когда экспертные системы не
смогли оправдать ожидания, машинное обучение стало доминировать в
области ИИ.
Это поднимает еще одну интересную тему, имеющую отношение к
лестнице универсальности: в любой конкретный момент времени сложно
определить, достигнем ли мы еще большей универсальности или же,
напротив, зашли в тупик. Исследователи, которые в 1980-х занимались
символьными подходами, были уверены, что находятся на пути к
настоящему ИИ. Возможно, они не ошибались. Сейчас все сводится к
нейронным сетям, но это может быть иллюзией, вызванной эффектом
стадности в сообществе ученых, изучающих ИИ. Может быть, единого
способа создать ИИ общего назначения вообще нет и придется сочетать
разные подходы. А возможно, AGI недостижим в принципе? Многие
исследователи готовы уверенно ответить на эти вопросы, но не мы. История
ИИ, полная преждевременных и в конечном счете ошибочных предсказаний,
научила нас не доверять излишне оптимистичным прогнозам.
Обсуждение данной темы также проливает свет на ажиотаж вокруг
ImageNet и глубинного обучения: это следующая ступень лестницы
универсальности (см. рис. 5.3). Появление универсальных компьютеров
избавило от необходимости создавать новое физическое устройство для
выполнения новой вычислительной задачи — теперь требовалось лишь
написать программу. Машинное обучение избавило и от этого: теперь
достаточно собрать набор данных и разработать алгоритм обучения. Сделать
его зачастую гораздо проще, чем написать длинный перечень правил.
Глубокое обучение облегчает и эту задачу: мы используем один и тот же
алгоритм (градиентный спуск) для разных данных независимо от
поставленной задачи. Все, что нужно, — сами данные.

Рис. 5.3. Лестница универсальности вычислительных систем до начала
2010-х годов
Перед нами очередной рывок в развитии технологий. Он знаменует
разрыв с вековой традицией, когда статистики тщательно подбирали модель,
опираясь на глубокое понимание данных. В глубоком обучении
исследователи постоянно используют один и тот же тип модели —
нейронную сеть. Они могут вносить незначительные изменения в ее
«архитектуру» — число слоев и схему связей между нейронами — в
зависимости от задачи. Но в целом модель не подстраивается под
конкретные данные.
И наконец, высшая ступень лестницы универсальности — возможность
просто описать задачу словами, не прибегая к программированию, как это
делается в ChatGPT (рис. 5.4). Благодаря этому ИИ стал доступен для всех
людей, независимо от навыков программирования. Он превратился в
инструмент массового потребления.

Рис. 5.4. Лестница универсальности вычислительных систем в наши
дни

А что на верхних ступеньках лестницы?
Сейчас, когда мы пишем эту книгу, исследования в области ИИ
напоминают лавину. На сайт arXiv ежедневно загружают около сотни
научных работ, посвященных искусственному интеллекту. ArXiv
(произносится как «архив») — это главное онлайн-хранилище
различных научных публикаций, в том числе посвященных ИИ. В
значительной части этих работ исследуются возможности расширения
функциональности языковых моделей и чат-ботов, повышения их
универсальности.
Многие из наиболее простых инноваций уже внедрены в
потребительские продукты. Современные чат-боты умеют искать
информацию в интернете в реальном времени, создавать и запускать
программный код для вычислений и анализа данных при подготовке
ответа, генерировать своего рода внутренние монологи —
предварительные рассуждения, прежде чем ответить на вопрос.
Другие идеи в этой области еще более амбициозны. Например,
ИИ-агенты — боты, которые способны выполнять сложные задачи,
разделяя их на мелкие или даже мельчайшие подзадачи и поручая
выполнение этих подзадач своим копиям 11. Например, если поручить
такому боту написать отчет на заданную тему, он мог бы составить
подробный план и последовательно проработать каждую его часть.
Для одних разделов, возможно, потребуется поискать информацию в
сети, для других — проанализировать данные или сгенерировать текст,
опираясь на знания, заложенные в чат-боте. Каждую задачу или
подзадачу, возникающую при этом, обрабатывала бы отдельная копия
ИИ-агента. Еще одна копия могла бы отредактировать результат,
проверив текст и добавив ссылки. Концепция кажется перспективной,
но ее реализация столкнулась с серьезной проблемой: такие боты, к
сожалению, часто допускают ошибки и плохо восстанавливаются
после них.
Позволит ли какое-нибудь из этих многочисленных новшеств
сделать следующий шаг по лестнице универсальности? Мы этого не
знаем, как не знаем и того, сколько ступеней еще предстоит одолеть.
Нет уверенности и в том, что чат-боты — тупиковая ветвь развития ИИ

(так утверждает Ян Лекун, известный исследователь в области
глубокого обучения и обладатель премии Тьюринга) и что ученые в
дальнейшем переключатся на другие направления 12.
Почему же исследователи ИИ стремятся к универсальности?
Почему считают ее главной целью? Почему бы просто не создать ИИ
для выполнения конкретных задач? Казалось бы, это позволит нам
пользоваться преимуществами искусственного интеллекта без
опасностей, сопряженных с развитием AGI…
Увы, все не так просто. Разработка ИИ для каждой отдельной
задачи обойдется очень дорого: квалифицированный труд ценится
высоко. Допустим, компания разрабатывает приложение для чтения
новостей со встроенной функцией создания аннотаций к статьям.
Теперь, когда есть чат-боты (6-я ступень), самый очевидный способ
реализовать эту функцию — использовать их: разработчику
достаточно вызвать бота с командой «аннотируй эту статью» и
передать ему текст. Создание специальной модели для такой задачи
(например, на 4-й или 5-й ступени) потребует собрать множество
статей, вручную написать аннотации к каждой из них и обучить
модель. Нетрудно догадаться, какой вариант предпочтет большинство
разработчиков.
Чат-бот, конечно, обойдется дороже с точки зрения
вычислительных ресурсов, но разработчики полагают, что затраты на
аппаратное обеспечение со временем снизятся, а стоимость труда
будет расти. Пока они, похоже, правы.
Иными словами, не так важно, считают ли исследователи
искусственного интеллекта универсальность самоцелью (мнения здесь
расходятся). Спрос на универсальные решения очень высок, потому
что они позволяют существенно сократить затраты. Как только
появляется практичный и экономически эффективный универсальный
метод, он стремительно распространяется. Это частное проявление
общей закономерности: капиталистическое производство неизбежно
стремится к максимальной автоматизации.
Мы полагаем, что тенденция к универсальности сохранится и в
долгосрочной перспективе вполне вероятно появление AGI,
способного автоматизировать большинство значимых для экономики
задач.

Прогресс ускоряется?
Одна из причин, почему создание ИИ общего назначения кажется
делом ближайшего будущего, — внезапное повсеместное присутствие
генеративного ИИ, который стремительно совершенствуется.
Ежедневно появляются новости о запуске продуктов на базе ИИ или о
расширении их возможностей. Однако главный урок предыдущей
главы состоит в том, что эта внезапность — иллюзия: технологии,
лежащие в основе генеративного ИИ, развивались 80 лет. Разумеется,
они прогрессировали неравномерно, с длительными периодами застоя
и попытками двигаться в направлениях, которые впоследствии
оказывались тупиковыми. Однако нельзя сказать, что ко всем этим
инновациям привел резкий скачок или стремительный недавний
прорыв.
В середине 1960-х годов исследователь из MIT Джозеф
Вейценбаум создал чат-бота ELIZA 13. Этот бот, в основном
перефразировавший заявления пользователей, не использовал
машинное обучение, а работал на основе заданных правил. Сегодня он
никого бы не впечатлил. Однако в то время сама мысль о том, что
компьютер способен вести хотя бы подобие разговора, была
новаторской и вызывала восхищение у пользователей. Некоторые даже
были уверены, что ELIZA — человек. Ей приписывали способность к
пониманию и мотивацию, несмотря на объяснения принципов ее
работы. Вейценбаум отмечал: «Я не осознавал, что кратковременное
взаимодействие с относительно простой программой может вызвать у
совершенно нормальных людей мощные иллюзии». Явление получило
название эффекта Элизы.
С момента создания программы ELIZA технология постепенно
продвигалась вперед. Однако именно недавняя волна чат-ботов на
основе генеративного ИИ впервые оказалась полезной для множества
пользователей. Даже предыдущее поколение голосовых ассистентов,
таких как Siri и Alexa, в значительной степени разочаровало, и сейчас
их перерабатывают с использованием генеративного ИИ.
Таким образом, неспециалисты внезапно столкнулись с плодами
полувекового прогресса. Теперь, когда ИИ приобрел большую

популярность в обществе, каждая научная новинка широко освещается
в СМИ. Исследования, безусловно, идут быстрее, но мы не думаем,
что это причина, по которой ИИ общего назначения кажется
технологией ближайшего будущего. Дело скорее в том, что
потребители начали получать от искусственного интеллекта пользу
[21].
Независимо от того, особенный сейчас момент или нет, если мы
предполагаем, что суперинтеллект может появиться внезапно, то могут
потребоваться срочные меры. Как мы уже упоминали, существует
гипотеза, что в какой-то момент ИИ станет достаточно развитым,
чтобы исследовать самого себя. И конечно, он — все миллионы его
копий! — может работать круглосуточно. Становясь совершеннее, ИИ
станет еще быстрее, а благодаря постоянному самообучению его
возможности и мощь будут расти с головокружительной скоростью.
Мы
не
отрицаем
возможность
рекурсивного
самосовершенствования. Более того, этот процесс идет уже несколько
десятков лет! Поначалу программистам приходилось создавать
программы, набирая длинные последовательности нулей и единиц —
единственный язык, понятный компьютерам. Со временем
программисты стали писать код со все более высоким уровнем
абстракции, что колоссально повысило их производительность.
Специальные программы — компиляторы и интерпретаторы —
научились преобразовывать высокоуровневый код в машинные
инструкции. Мы бы никогда не достигли нынешнего уровня развития
ИИ, не будь процессы разработки уже существенно автоматизированы.
Генеративный ИИ делает следующий шаг — переводит идеи
программистов с английского (или любого другого человеческого
языка) на язык компьютерного кода, пусть пока и не идеально.
Вопрос в том, насколько далеко это может зайти. Можно ли
автоматизировать процесс полностью? Приведет ли это к тому, что ИИ
просто будет работать все быстрее (в принципе, это не катастрофа),
или сделает его настолько мощным, что он превзойдет человеческие
знания и способности?
Изучив историю исследований в области ИИ, мы увидим: как
только один аспект автоматизируется, начинают проявляться другие
узкие места, ранее не распознанные. Например, научившись писать
сложные программы, мы достигли предела развития через усложнение

баз кода: дальнейший прогресс технологии зависел от сбора больших
объемов данных. И то, что узкое место находится именно здесь, долгое
время даже не осознавалось.
Наличие ИИ, способного исследовать себя, не означает, что его
развитие можно будет произвольно ускорить: вопрос в том, какие еще
узкие места возникнут. Например, многие исследователи считают, что
для дальнейшего развития ИИ необходимо воплощение— способность
агентов к взаимодействию в физическом мире 14. Здесь стоит
вспомнить урок, полученный при разработке беспилотных
автомобилей: развитие технологии шло гораздо медленнее, чем
прогнозировали эксперты, из-за недооценки сложности сбора данных
при взаимодействии с реальным миром.
Более того, к тому времени, когда ИИ превзойдет человеческие
знания, могут обнаружиться новые узкие места. Мы не знаем, где
именно они проявятся, но можем предположить. Например,
значительная часть наиболее ценных человеческих знаний получена в
результате экспериментов на людях — от тестирования лекарств до
разработки новой налоговой политики. Это может означать, что ИИ не
сумеет
самосовершенствоваться
в
изоляции:
потребуется
взаимодействие с социальным миром, а не только с физическим.
Насколько возможно ускорить такой процесс, пока неясно.

Мятежный ИИ?
Еще одним краеугольным камнем теории экзистенциального риска
является концепция противостояния «мы против него» — идея, согласно
которой ИИ может восстать против человечества. Трудно не думать о чем-то
подобном, тем более что научная фантастика постоянно подталкивает нас к
этому: сразу приходят в голову Скайнет из «Терминатора» и другие истории
о взбунтовавшемся ИИ.
Но почему бы не запрограммировать искусственный интеллект так,
чтобы он ставил интересы человечества превыше всего? Более изощренная
версия концепции противостояния предполагает, что даже такой агент
может выйти из-под контроля. Этот аргумент основан на максимизаторе
скрепок — мысленном эксперименте философа Ника Бострома.
Представим, что мы ставим перед ИИ общего назначения простую задачу:
производить как можно больше канцелярских скрепок. Вскоре он осознáет,
что сможет производить еще больше скрепок, если получит контроль над
ресурсами и влияние в мире. Иными словами, стремление к власти
возникнет естественным путем, сколь бы элементарна ни была изначальная
задача. Обретя всемогущество, ИИ может захватить все мировые ресурсы
для производства скрепок. Если мы попытаемся сопротивляться, он
уничтожит человечество.
Главный недостаток этого аргумента состоит в том, что
предполагаемый агент, обладающий невероятным могуществом, при этом
начисто лишен здравого смысла, который помог бы ему осознать
абсурдность поставленной задачи. Поэтому он воспринимает все буквально,
не понимая, что его действия угрожают безопасности людей. Такая
бездумная, буквальная интерпретация характерна для традиционных ИИагентов, запрограммированных на работу в крайне узкой области. Вот
показательный пример: подобному ИИ поручили как можно быстрее пройти
дистанцию в лодочной гонке, желательно освоив сложные навигационные
стратегии. Вместо этого он просто двигался по кругу, набирая очки за
прохождение контрольных точек, а завершить гонку даже не пытался 15!
Однако чем универсальнее агент, тем меньше вероятность, что он
поведет себя таким образом. Мы считаем, что агент, действующий столь
примитивно, просто не сможет получить власть над кем бы то ни было. По
правде говоря, в реальном мире он не продержится и пяти минут. Попроси
его купить лампочку «как можно быстрее» — и он помчится в магазин,

игнорируя правила дорожного движения и рискуя устроить аварию. Он
нарушит все социальные нормы: пролезет без очереди в магазине или,
возможно, решит вообще не платить за покупку. В итоге его быстро
отключат.

Рис. 5.5. Мем о безопасности искусственного интеллекта,
иллюстрирующий потенциальную опасность ИИ будущего
(По материалам блога Л. Мюльхаузера «Над нами еще много места»,
2011. https://intelligenceexplosion.com/2011/plenty-of-room-above-us)
Иными словами, чтобы выполнять хотя бы простейшие реальные
задачи автономно и эффективно, нужны здравый смысл, умение рассуждать,
способность критически оценивать цели и отказываться от буквального
выполнения команд. Без всего этого невозможно даже обучить ИИ до
уровня, близкого к возможностям гипотетического максимизатора скрепок.
Для дальнейшего развития потребуются длительные периоды обучения
путем непосредственного взаимодействия с людьми. В отличие от чат-ботов,
продвинутый ИИ невозможно просто обучить на интернет-текстах и
выпустить в мир, как невозможно научиться ездить на велосипеде, прочитав
книгу о велоспорте.
Даже если предположить, что ИИ «захочет» получить власть над
человечеством, совсем не факт, что он сможет это сделать. Исследователи
безопасности ИИ часто используют иллюстрацию, представленную на
рисунке 5.5, чтобы показать, насколько сверхмощный ИИ может
превосходить нас. Сравнение интуитивно понятно: действительно, мы
настолько умнее мыши, что она даже не способна осознать эту разницу. При
таком масштабе различия в интеллекте между любыми двумя людьми
кажутся ничтожными. Если продолжить эту логическую цепочку, то можно
предположить, что когда-нибудь машинный разум размером с дата-центр
настолько же превзойдет нас по уровню интеллекта, насколько мы
превосходим мышь. Пугающая перспектива!
К счастью, эта визуализация не выдерживает никакой критики. Ее
кажущаяся убедительность построена на манипуляции размытым понятием

«интеллект», которое невозможно измерить сколько-нибудь осмысленным
образом, особенно при сравнении разных биологических видов. (Кстати,
само использование уничижительного определения «деревенский дурачок»
выдает предвзятое отношение к людям, которые предпочитают применять
свой интеллект для выполнения практических задач, а не для научных
исследований.)
Давайте в рассматриваемом примере заменим интеллект чем-то более
конкретным — тем, что напрямую связано с могуществом, ведь именно
последнее нас и интересует. Определим могущество как способность
изменять окружающую среду (ведь именно это делает максимизатор
скрепок таким опасным). Теперь перед нами совершенно иная картина (рис.
5.6).

Рис. 5.6. Если считать мерилом всех вещей не интеллект, а могущество,
картина получается совсем другая
Люди могущественны не столько благодаря своему мозгу, сколько
благодаря технологиям. Наши первобытные предки лишь ненамного
превосходили животных по своей способности преобразовывать
окружающую среду. Сегодня мы способны менять саму планету и ее климат.
Технологические возможности человечества стремительно увеличились
в результате промышленной революции, значительно выросли благодаря
компьютерам и продолжают расти с появлением ИИ. Суть в том, что ИИ
делает могущественнее нас самих, и этот процесс будет продолжаться по
мере совершенствования его возможностей. Мы и есть те самые
сверхразумные существа, которыми нас всех пугают, когда речь заходит о
якобы угрожающем человечеству суперинтеллекте. Нет оснований полагать,
что ИИ, действующий самостоятельно или вопреки воле создателей, когдалибо превзойдет человека. Гораздо больше стоит беспокоиться о том, как
люди будут использовать ИИ, чем о том, что он совершит самостоятельно. В
дальнейшем мы еще поговорим о том, чем могут быть опасны
злонамеренные человеческие действия.

Запрещать ли мощный ИИ?
Даже если угроза сверхразумного ИИ действительно так страшна,
как ее рисуют, меры, которые предлагают паникеры, не только
контрпродуктивны, но и сами по себе увеличивают риск. Давайте
разберемся почему.
Сообщество специалистов по безопасности ИИ видит два пути.
Первый — найти техническое решение, которое «приручит» ИИ, то
есть заставит его служить интересам человечества и ни при каких
обстоятельствах не позволит обратиться против нас 16. Если у нас нет
надежных методов такой настройки, способных удержать под
контролем сверхразумный ИИ, — а сейчас их определенно нет, —
придется выбрать второй путь: не допускать создания мощного ИИ.
Увы, оба варианта неосуществимы. Причина проста: мы не знаем,
сколько ступеней лестницы универсальности отделяет нас от ИИ
общего назначения. Каждая такая ступень требует научных прорывов,
порождающих принципиально новый тип ИИ, не похожий на все
предыдущие. История учит: когда мы стоим на одной из ступеней, не
имея представления о грядущих научных достижениях, мы мало что
можем сказать о будущем ИИ. Следовательно, любые исследования,
которые мы можем провести сейчас в отношении гипотетического
будущего сверхразумного агента, по сути, ограниченны.
Давайте для наглядности рассмотрим следующий пример. Когда
ИИ научился выполнять запросы, это породило новые проблемы
безопасности: например, теперь пользователь может попросить чатбота рассказать, как сделать бомбу, и тот выполнит эту просьбу. На
наш взгляд, риск, связанный с самим ИИ, минимален: опасная
информация, которую способен выдать бот, и так находилась в
свободном доступе в интернете. Суть данного примера в другом:
предвидеть проблему деструктивных запросов, не говоря уже о поиске
ее решения, было невозможно до того момента, когда боты научились
выполнять инструкции.
Более того, выяснилось, что те же методы, которые изначально
обеспечивали выполнение инструкций (тонкая настройка и обучение с
подкреплением), также использовались для обучения чат-ботов

отклонять неуместные запросы. Иными словами, подъем
технологического развития на новую ступень и решение возникших
проблем безопасности шли рука об руку, опираясь на одни и те же
инновации.
Следуя этой логике, сейчас мы можем только гадать, какие методы
настройки удержат будущий сверхразумный ИИ от неконтролируемого
поведения. Пока такой ИИ не создан, мы не можем этого знать
наверняка. К тому же не стоит забывать, что подобная настройка
понадобилась бы только в том случае, если бы стремление к власти
действительно стало естественной склонностью будущих систем
искусственного интеллекта. А мы считаем эту возможность весьма
спорной.
Первое решение специалистов по безопасности чрезмерно
полагается на технические методы настройки будущего ИИ общего
назначения, а второе — вообще не допустить создания мощного ИИ —
возлагает все надежды на законодательное регулирование. Один из
предпочтительных подходов, который разделяют многие члены
сообщества исследователей ИИ, — пристальное наблюдение за
центрами обработки данных, где находится ИИ и где его обучают.
Поскольку для этой работы нужно много вычислительных ресурсов,
теоретически можно обязать руководство центров сообщать о случаях
превышения определенного уровня их использования. Это и будет
служить основанием для проверки.
Однако со временем затраты на обучение моделей с заданными
возможностями стремительно снижаются. К примеру, обучение
классификатора изображений с одной и той же производительностью в
2019 году стоило в 44 раза дешевле, чем в 2012-м 17. Сейчас, когда мы
пишем эту книгу, одна из самых совершенных языковых моделей с
открытым исходным кодом обойдется менее чем в $1 млн 18. Чтобы
иметь хоть какую-то надежду на остановку разработки «сверхразума»,
правительствам потребуется ввести жесткое наблюдение и достичь
беспрецедентного уровня международного сотрудничества.
Интересно, что призывы к нераспространению ИИ исходят от
многих компаний, уже лидирующих в его разработке. Поскольку мы не
можем быть уверены в том, что ИИ, создаваемый нерегулируемыми
субъектами, будет безопасным, то, по мнению этих компаний,

развивать его должны только лицензированные участники. К тому же
это защитит их преимущества на рынке. Удобно!
Если разрабатывать ИИ смогут только несколько компаний в
условиях секретности, это ограничит возможности исследователей
тестировать такие системы и открыто обсуждать их способности. В
итоге ведущие компании получат еще большее политическое влияние.
Вместо того чтобы всерьез рассматривать аргументы критиков, они
смогут просто игнорировать их как внешних наблюдателей, у которых
нет необходимых знаний о возможностях и рисках ИИ.
Кроме того, концентрация власти в одних руках только увеличит
катастрофические риски. Когда тысячи приложений используют одну
и ту же модель (например, сейчас в похожей ситуации находятся GPT3.5 и GPT-4), любая уязвимость в безопасности может привести к
серьезным массовым проблемам.

Лучший подход — защита от конкретных
угроз
Мы согласны, что риски, связанные с искусственным
интеллектом, реальны и заслуживают серьезного отношения. Однако,
по нашему мнению, для человечества опаснее не бунт самого ИИ, а
люди, использующие его во вред. Даже если теоретическая
возможность восстания машин существует, любые меры защиты от
злонамеренного использования ИИ помогут предотвратить в том числе
и его выход из-под контроля. Именно на этом и стоит сосредоточить
внимание.
Нужно исходить из того, что злоумышленники получат —
собственно, уже получили! — доступ к самым передовым системам
ИИ. Выяснилось, что существующие механизмы настройки чат-ботов
крайне уязвимы 19. Они прекрасно справляются с предотвращением
токсичных высказываний, к которым обычно склонны языковые
модели, и именно благодаря этому чат-боты стали успешным
продуктом. Но злоумышленники могут воспользоваться программным
интерфейсом таких моделей, как GPT-3.5, и настроить их так, что
эффект согласования потеряет силу. Тогда бот начнет выполнять
опасные команды. Если же государство захочет использовать ИИ для
кибервойны, у него достаточно ресурсов для обучения собственных
моделей, так что ему не придется полагаться на коммерческие
разработки.
Итак, как же нам защититься от тех, кто стремится использовать
ИИ во вред? Когда мы задумываемся о том, что конкретно нам может
угрожать, ответы становятся очевидными.
Одна из возможных катастрофических угроз, связанных с ИИ, —
проблема кибербезопасности. Вполне вероятно, что в будущем
искусственный интеллект сможет находить новые способы взлома
программного обеспечения, используя так называемые уязвимости
нулевого дня — ошибки, о которых разработчики еще не знают. В
случае, если такая уязвимость найдется в программном обеспечении,

защищающем важные объекты, ИИ может, например, захватить
контроль над электросетью или атомной станцией.
Однако если вы беспокоитесь о том, что ИИ в какой-то момент
научится искать дыры в безопасности лучше, чем человеческие
эксперты, то у нас для вас плохие новости: вообще-то ИИ уже больше
10 лет обладает этим преимуществом 20. У хакеров давно есть
инструменты искусственного интеллекта для обнаружения ошибок,
которые работают намного быстрее и удобнее, чем ручные методы
поиска багов в коде.
Но почему же мир до сих пор не рухнул? Все просто: у
специалистов по безопасности есть доступ к тем же самым
инструментам.
Программное
обеспечение,
отвечающее
за
критическую инфраструктуру, как правило, перед внедрением
проходит тщательные тесты на уязвимости. И отвечает за это не кто
иной,
как
многомиллиардная
индустрия
информационной
безопасности. Таким образом, хотя ИИ и может найти слабое место в
программе, это только повышает безопасность.
Мы можем с высокой степенью уверенности предполагать, что
специалисты по защите сохранят свое преимущество перед
злоумышленниками, даже если методы автоматизированного
обнаружения багов продолжат развиваться.
Один из наиболее эффективных способов обезопасить критически
важные системы — создать многоуровневую защиту. Этот подход
предполагает разработку систем, каждый уровень которых требует
совершенно иной тактики взлома. Чтобы преодолеть защиту,
злоумышленникам придется найти и использовать множество
различных уязвимостей, прежде чем специалисты по безопасности
успеют выявить и устранить хотя бы одну из них. Если система
работает корректно, это позволяет защищаться от значительно
превосходящего по силам противника.
Стоит признать, что современное состояние кибербезопасности
далеко от идеального. Но это не потому, что злоумышленники
слишком умелы. Все необходимые средства для обороны у нас есть, и
появление ИИ здесь мало что меняет. Проблемы с кибербезопасностью
скорее указывают на наше недостаточное внимание к защите. Чтобы
она работала как следует, требуются в том числе денежные вложения.

Действительно, без правильно выстроенной защиты даже самые
примитивные методы атаки могут привести к катастрофическим
последствиям. На заре XXI века многие компании, в том числе
Microsoft, не слишком серьезно относились к информационной
безопасности. В результате вредоносное ПО вроде червей Code Red и
Nimda раз за разом распространялось по интернету, вызывая
значительные потери данных 21. Эти программы не были сложными и
не создавались государственными структурами — простейшие
образцы, зачастую созданные скучающими подростками ради забавы!
Еще один предполагаемый источник экзистенциального риска ИИ
— биологическая угроза: в будущем ИИ может облегчить создание
вирусов, способных вызывать пандемии. Однако такие разработки в
лабораторных условиях возможны уже сегодня. Согласно имеющимся
данным, теория утечки SARS-CoV-2 из лаборатории остается
правдоподобной 22. Поэтому необходимо усилить меры безопасности,
чтобы снизить риск подобных инцидентов. Это будет способствовать в
том числе и защите от пандемий, вызванных с использованием ИИ.
Более того, нужно продолжать регулировать использование
лабораторного оборудования, необходимого для создания вирусов.
Американское законодательство повышает безопасность в этой
области, предписывая лабораториям, продающим синтетические ДНК
и РНК, проводить более строгую проверку своих клиентов. Кроме
того, чтобы снизить распространение вирусов в помещениях, нужна
хорошая вентиляция, так что стоит просто потратить на нее деньги.
Таким образом, наш подход прост, хотя и нелегок. Оградить ИИ от
попадания в руки злоумышленников не получится. Попытки
«настроить» его так, чтобы он не соглашался им помогать, тоже не
будут иметь успеха. Вместо этого необходимо уделить внимание
конкретным угрозам:
защищать программное обеспечение, которое охраняет
критически важные системы;
противостоять
созданной
искусственным
интеллектом
дезинформации и дипфейкам, укрепляя для этого институты
демократии (что нам нужно делать в любом случае, независимо от
того, беспокоимся мы из-за угрозы, исходящей от ИИ, или нет).

Конечно, укрепление демократии — долгий и трудный процесс,
поэтому крайне заманчиво попытаться загнать джинна ИИ обратно в
бутылку! Однако это лишь отвлечет нас от настоящих вызовов,
стоящих перед обществом.

Подведем итоги
Генеративный
ИИ
часто
воспринимается
как
нечто
сюрреалистичное, а его будущее, несомненно, окажется еще более
причудливым. Исследователи продолжат восхождение по лестнице
универсальности. Сложно предугадать, какими будут технологии,
которые еще только предстоит изобрести, и что они смогут делать.
С другой стороны, уязвимости нашей цивилизации давно
известны: это хрупкость демократии, наличие оружия массового
поражения, изменение климата, общественное здоровье, глобальная
финансовая инфраструктура и другие. Уже много раз подчеркивалось,
что во многих из этих областей риска, включая предотвращение
пандемий, не хватает инвестиций.
ИИ — технология широкого применения. Она может в той или
иной мере помочь тем, кто стремится причинить масштабный вред,
точно так же как помогает всем остальным. Если это побуждает нас
решать проблемы как можно быстрее, то все не так уж плохо! Но не
стоит расценивать все существующие угрозы исключительно как
риски, связанные с нейросетями: попытки «исправить» ИИ мало чем
повлияют на истинное положение дел. А гипотезы о мятежном ИИ и
вовсе лучше оставить фантастам.
Экзистенциальные опасения относительно ИИ — это так
называемый крити-хайп. Порой критики, превознося мощь
технологии, недооценивают ее ограничения, тем самым играя на руку
компаниям, которым невыгоден надзор за ИИ. Поддавшись на
подобные заявления, люди становятся менее склонными замечать и
критиковать «змеиное масло».
В фильме «Миссия невыполнима: Смертельная расплата» ИИзлодей способен не только генерировать дипфейки, но и предсказывать
действия людей. Отличная завязка для художественного произведения!
Однако важно помнить, что это два совершенно разных направления.
Развитие генеративного ИИ значительно повысило реалистичность
дипфейков, но не привело (и не факт, что приведет) к улучшению
точности прогнозов. Забыть об этом — значит увлечься крити-хайпом.

В следующей главе мы обсудим вредные последствия применения
ИИ, которые возникают не из-за его возможностей, а из-за его
ограничений, особенно в контексте социальных медиа.

6. Почему ИИ не наведет порядок в
соцсетях?
Глава 6
В 2018 году обеспокоенность ролью Facebook [22] в жизни
общества достигла апогея. Марк Цукерберг предстал перед
Конгрессом США, чтобы объяснить, как Facebook [23] борется с
неприемлемым контентом: травлей пользователей, вмешательством в
выборы, фейковыми новостями, разжиганием ненависти и
материалами террористической направленности 1.
Как соцсеть собирается бороться с подобным контентом,
одновременно защищая свободу слова и не подавляя законные
политические дискуссии?
Цукерберг предложил решение — ИИ. Он заявил Конгрессу, что
Facebook [24] разрабатывает инструменты, которые справятся с
проблемой. Политики, похоже, приняли его слова на веру. Но стоило
ли? Действительно ли ИИ способен, обнаруживая и блокируя
проблемные публикации, навести порядок в социальной сети? Или
Цукерберг просто торгует «змеиным маслом»? Вопрос далеко не
праздный: в соцсетях модерация контента — основа основ.
Технические особенности платформ легко скопировать. Взять, к
примеру, социальную сеть Mastodon: ее возможности почти
аналогичны X (бывшему Twitter), хотя долгое время в компании
работало менее 10 человек 2. Среди разработчиков есть даже
своеобразный обряд инициации: создать приложение для соцсети за
выходные на хакатоне. Почему же тогда крупные платформы так
успешно дают отпор выскочкам? Главное отличие — сообщество, а
ключ к построению сообществ — качественная модерация контента.
Каждая крупная платформа начинала без модерации, но вскоре
становилось ясно: никто не захочет пользоваться приложением, где
царят беззаконие и агрессия и бесконтрольно распространяется
нежелательный
контент
3.
Возможно,
самая
популярная
немодерируемая платформа — анонимный форум 4chan, известный
как «клоака интернета».

В каждой популярной соцсети, о которой мы знаем, достаточно
серьезный подход к модерации контента. Даже Илон Маск, обещавший
отменить модерацию на купленной им платформе X/Twitter, не сделал
этого. Труд модератора тяжел и травматичен: ему постоянно, день за
днем, приходится видеть худшее, на что способны люди. Видео с
обезглавливанием, изображения сексуального насилия над детьми,
леденящие душу слова ненависти — и за всем этим должны следить
сотни тысяч невидимых низкооплачиваемых работников, в основном
живущих в небогатых странах. Да и нанимают их обычно сторонние
аутсорсинговые фирмы, а не сами платформы 4, 5, 6.
Так почему же ИИ не может взять на себя модерацию контента,
чтобы не взваливать ее на людей? И кстати, почему нейросети до сих
пор не решили эту проблему? Модерация контента осуществляется на
основе записей о решениях человеческих модераторов в миллионах
случаев — так нельзя ли автоматизировать их работу, обучив модель
распознавать закономерности решений? Разве бот не будет применять
решения последовательно, не уставая и не отвлекаясь? Разве это не
устранит ошибки, которые неизбежно делают живые модераторы?
Вернемся к двум типам ИИ, о которых мы уже говорили в этой
книге: предиктивному и генеративному. Мы объяснили принципы их
работы и описали применение в современном обществе, чтобы помочь
вам понять, когда искусственный интеллект эффективен, когда нет, а в
каких случаях он может навредить. В этой главе мы обратимся к
третьему типу ИИ — системам модерации контента. На самом деле их
давно и активно используют, а различные формы автоматизации
применялись практически с момента появления модерации как
таковой. Поэтому здесь нам не нужно строить умозрительные теории о
будущем. Мы можем изучить сотни хорошо документированных
провалов, которые случились в прошлом, чтобы увидеть, в чем подвох,
и обсудить, есть ли шансы преодолеть эти ограничения в будущем.
Но прежде, чем перейти к этой теме, давайте посмотрим, как
происходит модерация контента.
В большинстве крупных соцсетей контент модерируют примерно
одинаково.
Каждая
платформа
устанавливает
правила,
информирующие пользователей о том, что можно публиковать и что
нельзя. Под запрет обычно попадают несколько стандартных
категорий: изображения нагого тела, порнография, насилие,

домогательство, разжигание ненависти, незаконная деятельность, спам
и ряд других (список далеко не полон). Каждая из этих категорий
может состоять из множества конкретных пунктов. Например, в
Facebook [25]«Нормы сообщества» для пользователей включают в себя
более 18 000 слов 7, но, несмотря на внушительную длину, этот
документ содержит общие положения, оставляющие значительное
пространство для их интерпретации. Внутри компании используется
намного более детализированный свод правил 8.
Весь размещенный контент сразу же сканируется ИИ на предмет
соблюдения правил платформы. На самом деле часть этого
сканирования происходит в момент, когда пользователь нажимает
кнопку «Опубликовать», и даже до того, как пост становится доступен
на платформе. В категориях, где ИИ хорошо зарекомендовал себя
(например, спам), неприемлемый контент удаляется автоматически.
Однако большинство нарушений обнаружить сложнее, поэтому
записи, выявленные в ходе автоматического анализа, направляются на
проверку живым модераторам. (Почему из этой цепочки так сложно
исключить людей, мы еще обсудим.) Также платформы предоставляют
пользователям возможность сообщать о постах, нарушающих правила.
Эти сообщения — еще один канал, по которому сомнительные
публикации поступают на рассмотрение к модераторам-людям.
Когда пост признан нарушающим правила, принимаются
различные меры. Публикацию могут удалить, автору может быть
сделано предупреждение, или, если нарушение попадает в
пограничную зону, платформа покажет пост меньшему числу
пользователей, чем обычно. Это нововведение последних лет известно
как понижение рейтинга, в обиходе — теневой бан. Если пост удален,
пользователь может попытаться оспорить его удаление (эта
возможность зависит от политики платформы). Наконец, за
систематические нарушения аккаунт могут заблокировать — на время
или навсегда.
Теперь, разобравшись с основами, давайте погрузимся в сложный
мир модерации. Мы затронем множество тяжелых тем, в том числе
самоубийства и сексуальное насилие над детьми. Модерация контента
непременно вызывает множество политических споров; мы не
претендуем на нейтральную позицию по этому вопросу, более того,
вообще не считаем ее возможной. Однако мы будем говорить не

столько о самой модерации контента, сколько о тщетности попыток ее
автоматизировать.

Когда все вырвано из контекста
Является ли контент предосудительным или нет, часто зависит от
контекста. Неспособность увидеть разницу — одно из главных
ограничений ИИ.
В феврале 2021 года родители маленького мальчика заметили у
него опухоль в области гениталий. Они сфотографировали ее, чтобы
отправить снимки врачу. У Марка, отца ребенка, был смартфон на
Android, автоматически сохранявший фотографии в Google Cloud. ИИ
Google ошибочно классифицировал эти изображения как «материалы о
сексуальном насилии над детьми». Поэтому компания заблокировала
аккаунт Марка и сообщила о его действиях в полицию. Та провела
расследование и признала отца невиновным, однако Google отказался
восстановить аккаунт. Как сообщила The New York Times, последствия
оказались серьезными:
Марк не только потерял доступ к электронной почте, контактам
друзей и бывших коллег и фотографиям первых лет жизни сына. Его
аккаунт Google Fi [26] также был заблокирован, из-за чего ему
пришлось получать новый номер у другого оператора. Без доступа к
старому номеру телефона и электронной почте он не мог получить
коды безопасности для входа в другие интернет-аккаунты, что
фактически отрезало его от большей части цифровой жизни 9.
Другие ошибки модерации контента менее серьезны, но порой
абсурдны. X (бывший Twitter) заблокировал аккаунт за публикацию
изображения нациста, хотя на самом деле это был кадр из
мультфильма о Капитане Америка, где персонаж бьет нациста 10. С
YouTube удалили всю видеотеку Корнелльского университета из-за
одного видео с записью академической лекции, в которой
присутствовали три картины с обнаженной натурой 11. Та же судьба на
той же платформе постигла видеоролик о шахматах: видимо, ИИ
ошибочно воспринял фразы вроде «White is better» как слова о расовой
принадлежности, а не об игре белыми 12. В каждом из этих случаев
абсурдность ситуации привлекла к ней внимание общественности и
компании пересмотрели свои решения.

Это не единственные примеры. За каждым случаем, попавшим в
новости, стоят сотни других, не получивших огласки.
Ошибки подобного рода возникают потому, что инструменты ИИ
склонны интерпретировать текст, речь и изображения буквально. Они
не учитывают контекст и могут неверно понимать информацию.
Последствия порой бывают забавными, но могут оказаться и
ужасными.
В ближайшие годы или десятилетие искусственный интеллект, как
мы полагаем, научится существенно лучше понимать контекст. Когда
видео блокируют только из-за слов «белый» и «черный», может
показаться, что используется примитивный словесный фильтр, но это
не так. По крайней мере, на крупных платформах классификаторы для
модерации контента создают с помощью машинного обучения. Их
ограничения не «врожденные»: они связаны с недостаточным
количеством и качеством обучающих данных, а также с высокими
вычислительными
затратами
на
работу
более
сложных
классификаторов. Впрочем, технологии уже заметно продвинулись.
Если раньше компьютеры совершенно не понимали юмора, то
ChatGPT уже неплохо с этим справляется.
В большинстве рассмотренных выше случаев человеку не
составляет труда принять правильное решение. Таким образом, при
наличии
достаточного
количества
обучающих
данных
и
вычислительных ресурсов фундаментальных препятствий для
автоматизации нет. Однако это не означает, что любые человеческие
суждения можно автоматизировать, предоставив машине достаточно
примеров. Сложные суждения (например, оценку качества
художественного произведения) трудно перевести в парадигму
контролируемого машинного обучения. Но модерация в соцсетях —
другое дело: людей-модераторов давно просят работать как на
конвейере, затрачивая лишь несколько секунд на каждую единицу
контента.
Более того, стремясь к согласованности и масштабируемости,
компании часто предоставляют модераторам набор правил, которые
мешают им решать самим и учитывать нюансы. В частности, Facebook
[27]
предлагает
своим
модераторам
разветвленные
и
детализированные правила, пытающиеся охватить все возможные
ситуации. Иногда эта детализация доходит до абсурда. Вот пример

такого правила и его применения из внутренних документов Facebook
[28]:
К примеру, можно публиковать фото публичных персон, на
которые наложено в фотошопе изображение ануса. Такое исключение
предусмотрено, поскольку контекст публикации не связан с
обнаженностью. Это политическое высказывание о том, что говорит
изображенный человек. Поэтому это правило применяется ТОЛЬКО к
публичным персонам и исключение ограничено ТОЛЬКО случаями,
когда к фото публичной персоны добавлен анус или крупный план
полностью обнаженных ягодиц. Если так же обработаны фото частных
лиц, это может считаться травлей.
Тем не менее если к фото публичной персоны добавлен анус с
вставленной в него секс-игрушкой, то это будет нарушением норм 13.
Виана Фергюсон, в прошлом модератор Facebook [29], рассказала
о случае, когда ей попалась фотография белой семьи с чернокожим
ребенком и подписью: «Дом не дом без питомца» 14. По ее мнению,
публикация была откровенно расистской и унижающей человеческое
достоинство. На фото не было никакого питомца, так что сомнений,
кто имеется в виду, не возникало. Хотя подобные высказывания
нарушают правила Facebook [30], Фергюсон не смогла убедить
начальство удалить пост: видимо, в правилах ничего не было сказано о
ситуациях, где такой эффект достигается за счет сочетания
изображения и подписи. Модераторам «платят за выполнение
приказов, а не за проявление инициативы» 15.
Иными словами, мы считаем, что компании и дальше будут
успешно автоматизировать часть работы, которую сейчас выполняют
модераторы, но дело отчасти в том, что роли этих модераторов и так
предельно сужены.
К сожалению, описанный выше случай не уникальный. Системы
модерации контента постоянно сталкиваются с трудностями при
обработке расистских высказываний, и автоматизация лишь усугубляет
эту проблему. Классификаторам сложно отличить, например,
проявление ненависти от обычных рассказов людей о личном опыте
или от ситуаций, когда сами чернокожие в шутку называют себя и друг
друга ниггерами 16. Из-за того, что классификаторы плохо
справляются с такими тонкостями, Facebook [31] часто блокирует
чернокожих пользователей, хотя те не нарушают никаких правил.

Вместе с тем внутреннее расследование под названием «Худшее из
худшего» показало: бо́ льшая часть вреднейшего контента, который
остается на платформе, направлена против чернокожих, а большинство
удаленных публикаций — высказывания против белых 17. Таким
образом, ИИ одновременно перегибает с модерацией и
недорабатывает. В Facebook [32] не могут настроить свои
классификаторы так, чтобы улучшить ситуацию в одной области, не
ухудшив ее в другой: искусственный интеллект плохо понимает
нюансы.
Мы уже обсудили, почему ИИ так сложно полностью учитывать
контекст. Но есть и другая проблема: иногда доступа к контексту
просто нет! Например, интернет-тролль может ссылаться на какие-то
события из реальной жизни, о которых ИИ ничего не известно, а в
случае с фотографией обнаженного ребенка все может зависеть
исключительно от намерений того, кто сделал снимок.
Разумеется, даже человек не может принимать такие решения со
стопроцентной точностью. Модерация контента останется сложной
задачей, сколько бы моделей мы ни привлекли.
Возьмем, к примеру, подстрекательство к насилию. После
прошедших протестов и беспорядков социальные платформы часто
критикуют за то, что они не удалили сообщения, призывавшие людей
присоединиться к акциям неповиновения. Постфактум это всегда
выглядит как очевидная ошибка, особенно когда среди неудаленных
сообщений обнаруживаются прямые призывы к насилию. Но где
провести границу? Если блокировать информацию о протесте при
первом же появлении призывов к насилию, побочный ущерб будет
колоссальным. Собственно, Facebook [33] уже обвиняли в подобных
перегибах,
которые
фактически
привели
к
подавлению
консервативных политических движений 18.
Стоит отметить, что исследования и репортажи, на которые мы
опираемся в этой главе, во многом сфокусированы на Facebook [34]. И
это неудивительно: платформа собрала флеш-рояль модерационных
ошибок, но лишь потому, что бо́ льшую часть последнего десятилетия
она является самой популярной соцсетью. К тому же благодаря
документам, которые обнародовали инсайдеры, мы хорошо знаем, как
устроены внутренние процессы платформы. Частые провалы Facebook
[35] в модерации контента вовсе не означают, что его система

особенно плоха. Напротив, эта компания, вероятно, вложила в
модерацию контента (в том числе с применением искусственного
интеллекта) больше средств, чем любая другая платформа. Однако
избежать провалов это не помогло.
Прежде чем продолжить, следует оговориться: в 2019–2020 годах
Саяш работал в Facebook [36] инженером по модерации контента. Так
что, хотя все наши аргументы в этой главе основаны исключительно на
общедоступных документах, его опыт, безусловно, помог нам лучше
понять эту тему.

Культурная некомпетентность
До сих пор, обсуждая провалы искусственного интеллекта в
модерации контента, мы в основном говорили о США. Однако в
странах, где английский — не основной язык общения, все обстоит
еще хуже.
Рохинджа — этническая группа, преимущественно исповедующая
мусульманство и проживающая в Мьянме. На протяжении десятилетий
она подвергалась преследованиям со стороны буддистского
большинства страны. Преследования усилились в 2012 году и
достигли апогея в 2017-м, когда армия осуществила жестокую
этническую чистку (предположительно, было убито свыше 10 000
человек). Более 700 000 рохинджа, составляющих большинство
общины в Мьянме, были вынуждены бежать в Бангладеш.
Amnesty International опубликовала шокирующий 72-страничный
отчет, где подробно описывалась роль Facebook [37] в этом насилии 19.
Посты, расчеловечивавшие рохинджа и призывавшие к насилию над
ними, регулярно вирусились, начиная с 2012 года. Однако компания
оказалась абсолютно неспособной применить в этом случае
собственные правила против разжигания ненависти. Местные жители
рассказывали, как год за годом сообщали в Facebook [38] о множестве
нарушений; так, один человек утверждает, что отправил жалобы на
сотню с лишним постов, но никаких действий предпринято не было. В
этих сообщениях, призывавших к насилию, не было ничего
двусмысленного, ничего, что могло бы объяснить сложность их
обнаружения.
Сотрудник местного технологического центра изучил реакцию
Facebook [39] и обнаружил, что в большинстве случаев модератор
отвечал спустя двое суток, если вообще как-то реагировал. Часто ответ
появлялся практически ровно через 48 часов. Это позволяет
предположить, что по внутренним стандартам Facebook [40] реакция в
течение 48 часов считалась достаточно оперативной. Учитывая, как
быстро распространяется информация в соцсетях, двух суток хватает,
чтобы причинить значительный ущерб. Проще говоря, Facebook [41]
даже не пытался предотвратить проблему, хотя эксперты и

общественники с 2012 года предупреждали: платформа способствует
массовому насилию в Мьянме! В отчете упомянуто 15 таких
предупреждений, сделанных экспертами и представителями
гражданского сообщества.
Похожие события происходили и в других частях света.
Разжигание ненависти на Facebook [42] привело к гражданской войне в
регионе Тыграй в Эфиопии. Там погибло более полумиллиона человек
20, 21. В Индии провокации и призывы к насилию через WhatsApp
способствуют постоянному межобщинному конфликту 22. В ШриЛанке посты на Facebook [43], разжигающие ненависть на религиозной
почве, сыграли свою роль в организации антимусульманских погромов
23. В Афганистане, по данным самого Facebook [44], было удалено
менее 1% постов, призывающих к насилию 24. Провалы в модерации
контента наблюдаются и в других странах, где недавно были
конфликты: в Боснии и Герцеговине, Индонезии, Кении 25.
Есть и противоположная проблема. На Ближнем Востоке 77%
удалений якобы террористического контента оказались ошибочными
26. В Ираке религиозные группировки пытались уничтожить аккаунты
друг друга, размещая нарушающие контент материалы (фото
обнаженных детей) на страницах соперников 24.
Несомненно, Facebook [45] не является первопричиной насилия в
этих регионах. Скорее, соцсеть стала инструментом для местных
агрессивно настроенных групп, которые через нее подливали масло в
огонь давно тлеющих этнических и религиозных конфликтов. Следует
также учесть, что социальные сети, в том числе Facebook [46], в
неблагополучных регионах выполняют сложные задачи и нередко
оказываются инструментом продвижения демократических инициатив
27. Однако этими достоинствами нельзя оправдывать их недостатки.
Вопрос в том, может ли модерация контента стать более эффективной,
чем сейчас. Ответ однозначный: да, может.
Почему же Facebook [47] терпит столь серьезные и постоянные
неудачи, несмотря на пристальное внимание к модерации? Ответ
прост: в большинстве стран компания не нанимает модераторов.
Вместо этого она передает их функции на аутсорсинг третьим
сторонам, работающим в ограниченном числе стран с дешевой
рабочей силой. В Facebook [48] признают, что в 2014 году, когда
насилие против рохинджа достигло кульминации, у компании был

только один модератор, говорящий на бирманском, который отвечал за
Мьянму, и тот работал из офиса в Дублине. Даже после событий 2017
года, по данным одного расследования, в компании было всего пять
модераторов, знающих бирманский язык, и в Мьянме ни один из них
не жил. Руководство Facebook [49] не подтверждало и не опровергало
эту информацию. К тому же оно систематически отказывается
раскрывать сведения, сколько модераторов работает в неанглоязычных
странах 28.
Когда нет модераторов со знанием местных языков, Facebook [50]
и другие платформы прибегают к автоматическому переводу. За
последнее десятилетие искусственный интеллект совершил огромный
скачок в этой области; не будь этого, описанные нами катастрофы
могли бы оказаться еще страшнее. Однако до совершенства пока
далеко. Чтобы создать работающую модель перевода для какого-либо
языка, нужен большой массив текстов на этом языке. Поскольку
компании, разрабатывающие ИИ, собирают такие тексты в основном
путем сканирования интернета, для большинства языков мира просто
не существует хорошо обученных моделей. Например, во время
конфликта в Тыграе Google Translate поддерживал только два языка из
83, на которых говорят в Эфиопии 29.
Даже при идеальном переводе (а он все еще не идеален) для
эффективной модерации контента и принятия решений нужно
глубокое понимание процессов, которые происходят в стране. Без
этого трудно, например, отличить изображения бессмысленного
насилия от доказательств военных преступлений или нарушений прав
человека. В радикализированных сообществах, где распространяются
определенные убеждения и формируется образ «врага», можно легко
придумать «собачьи свистки» — выражения, которые будут правильно
интерпретированы целевой аудиторией, но останутся непонятыми
теми, кто не знаком с данным культурным кодом, — и это еще в
случае, если ИИ-перевод сумеет сохранить первоначальный смысл, а
не переведет выражение буквально.
Почему бы социальным сетям просто не нанять больше
модераторов, чтобы покрыть все страны, в которых они работают?
Одна из самых очевидных причин — экономия денег. Более сложная
причина заключается в том, что нагрузка на модераторов резко
возрастает в определенные периоды: перед выборами, в моменты

обострения конфликтов и так далее. Внутренние документы Facebook
[51] показывают: даже если становится очевидно, что на регион надо
обратить особое внимание, компании требуется год или больше, чтобы
нанять дополнительный персонал.
Культурная компетентность — одна из ключевых составляющих
принципов модерации контента Санта-Клары, принятых руководством
самых известных соцсетей 30. Тем не менее в этом вопросе они терпят
полный провал.
Культурная некомпетентность привела к тому, что правила на всех
социальных платформах унифицированы: они одинаковы для всего
мира. А поскольку большинство крупных социальных сетей
базируются в США, политика модерации тоже американоцентрична.
То, что кажется разумным с точки зрения американских стандартов,
может выглядеть чрезмерно строгим или, наоборот, излишне
либеральным для других стран. Скажем, запрет на изображения
сосков, продиктованный американской щепетильностью, европейцы
воспринимают как откровенное ханжество 31. В то же время
отрицание холокоста, которое является противозаконным в
большинстве европейских стран, до недавнего времени можно было
встретить во многих соцсетях.
Но разрыв между США и Европой меркнет по сравнению с
пропастью между нормами Запада и остального мира. По меркам
многих стран, унифицированные правила основных социальных
платформ слишком либеральны. Существует лишь одно исключение из
глобальной однородности политики соцсетей — блокировка контента
по запросу конкретной страны, если этот контент нарушает ее законы
32. Но такая практика встречается редко. Удаление контента по
запросам властей случается намного реже, чем блокировка за
нарушение общих правил платформ. Запросы на удаление, которые все
же поступают, как правило, касаются материалов с критикой
правительства, а не действительно вредоносного контента 33.
В любом случае между культурными нормами страны и ее
законами может существовать значительный разрыв. Хороший пример
— богохульство. Во многих регионах мира оно считается
недопустимым, даже если формально не запрещено законом.
К тому же локальные блокировки легко обойти, даже если контент
противоречит местному законодательству. Именно поэтому появление

социальных
сетей
стало
настоящим
потрясением
для
информационных экосистем многих стран.
Возьмем проблему дезинформации. В США она не катастрофична
во многом благодаря Первой поправке к Конституции: свобода слова
способствует пониманию того, что лучший ответ на ложь или
вредоносные высказывания — аргументированное опровержение. В
стране есть свободная пресса и множество организаций,
занимающихся именно такими опровержениями. Однако многие
страны не имеют развитой инфраструктуры для борьбы с
дезинформацией — во многом из-за того, что правительства пытаются
контролировать информационное поле. Самый яркий пример —
Китай. Когда неотфильтрованные социальные сети внедряются в
среду, не имеющую соответствующих устойчивых институтов, это
часто приводит к ужасающим последствиям. Общество оказывается
беззащитным перед призывами к насилию, основанными на
дезинформации, и другими угрозами. Многие упомянутые выше
примеры — те же всплески насилия в Мьянме, Шри-Ланке и других
странах — следует рассматривать именно в этом контексте.
Социальные сети могут пойти на нарушение собственных правил,
если речь идет о влиятельной стране, угрожающей заблокировать
приложение: страх потерять рынок берет верх (к этому мы еще
вернемся). Странам поменьше и победнее рассчитывать не на что.
Если бы компании, владеющие соцсетями, действительно
серьезно относились к своим международным обязательствам и
пытались учитывать местную специфику в других регионах так же
тщательно, как в США и Европе, — они бы, мы думаем, просто
разорились. Иными словами, они могут предлагать относительно
качественный продукт с дружелюбными и разумно регулируемыми
правилами в западных странах только потому, что откровенно
эксплуатируют большинство остальных государств.
Итак, мы выяснили, как ИИ пытается справляться с
территориальными различиями. Давайте посмотрим, какие у него
отношения со временем.

ИИ отлично предсказывает… прошлое
При модерации контента используются два типа ИИ:
сопоставление цифровых отпечатков и машинное обучение.
Сопоставление цифровых отпечатков применяется для выявления
копий фотографий, видео- и аудиозаписей из запрещенных категорий,
с которыми система уже сталкивалась. Именно так чаще всего
обнаруживают материалы о сексуальном насилии над детьми. Когда
пользователь социальной сети загружает изображение, модель сверяет
его с базами данных — например, с базой Национального центра по
делам пропавших без вести и эксплуатируемых детей (National Center
for Missing and Exploited Children, NCMEC). Эта система играет
важную роль в решении этой ужасающей проблемы. Например, один
только Google ежегодно отправляет в NCMEC более полумиллиона
сообщений о выявленных изображениях сексуального насилия над
детьми, основываясь на совпадениях с базой данных.
Однако выявлять новые фотографии такого рода, проверять их и
добавлять в базу приходится вручную. Таким образом, эффективность
сопоставления цифровых отпечатков зависит от бдительности людей.
Как и во многих других областях модерации контента, ИИ полезен,
когда пользователи загружают материалы, уже имеющиеся в базе
данных, и даже необходим для удаления повторно загруженных
изображений, но это не отменяет роль человека.
В 2018 году Google разработал классификатор для автоматической
идентификации изображений, содержащих сцены сексуального
насилия над детьми. В отличие от метода сопоставления цифровых
отпечатков, этот подход основан на машинном обучении, что позволяет
классифицировать изображения, извлекая паттерны (помните, как
модель может «узнать» кота на незнакомом изображении?).
Разумеется, маркировать что-то как материалы о сексуальном насилии
над детьми намного сложнее, чем опознать на картинке кота. Мы
наблюдали это выше, на примере с Марком и его больным ребенком.
Та история демонстрирует еще и сбой на уровне живой проверки,
которая обязана быть частью системы.

Если не брать материалы о сексуальном насилии над детьми,
случаи нарушения авторских прав и террористический контент, то во
всех остальных областях (разжигание вражды, призывы к насилию,
пропаганда самоповреждения, дезинформация и многие другие)
главным инструментом выступает машинное обучение. Казалось бы,
это должно снизить потребность в модераторах-людях. В теории, как
только модель научится различать дезинформацию и достоверные
сведения и отделять токсичные высказывания от нормальных, ей
можно позволить работать самостоятельно. Увы, на деле все далеко не
так просто.
Существует множество причин, по которым закономерности,
выявленные на основе данных, собранных в прошлом, дают сбои в
долгосрочной перспективе. Простейший пример: язык не стоит на
месте. Постоянно появляются новые сленговые выражения. Чтобы не
отставать, модели приходится постоянно переобучать — а для этого
нужны люди, которые будут размечать новые посты. Впрочем, такая
работа не требует чрезмерных усилий, и это не самая большая
проблема.
Гораздо сложнее дело обстоит с другими типами изменений.
Правила и их толкование меняются постоянно. Стандарты сообщества
Facebook [52] с 2019 года корректировались десятки раз. Внутренние
правила для модераторов Facebook [53], которые намного подробнее
общедоступных стандартов, меняются еще чаще. C каждым таким
изменением приходится переобучать модель 34.
Возьмем, к примеру, пандемию COVID. Она вызвала настоящую
лавину дезинформации, и, чтобы научить классификаторы ее
распознавать, потребовалось много ручной работы. Facebook [54]
заполонили теории заговора вроде «социальное дистанцирование —
прикрытие для установки вышек 5G» и смертельно опасные
псевдомедицинские советы (например, «COVID можно вылечить
отбеливателем»). Компании понадобилось несколько месяцев, чтобы
разработать классификаторы, способные выявлять эту новую
дезинформацию 35.
Принципиально важно понимать: машинное обучение не пытается
определить, правдиво утверждение или нет. Оно просто ищет сходство
с утверждениями, которые раньше были помечены как правдивые или
как ложные. Поэтому, например, классификатор, обученный до

появления COVID, в принципе не мог оценить достоверность
заявлений об эффективности вакцин против SARS-CoV-2.
Возможно ли создать в будущем такую систему с помощью
языковых моделей (технологии, на которой основаны чат-боты)?
Перспектива кажется заманчивой: ИИ, который будет напрямую
оценивать истинность утверждений и самостоятельно поддерживать
актуальность своей базы знаний либо благодаря постоянному
переобучению на интернет-текстах, либо путем поиска информации в
сети в режиме реального времени при анализе публикации. На момент
написания книги точность такой системы была бы далека от
приемлемой: в предыдущей главе мы не зря назвали современные
языковые модели электронными пустобрехами. В будущем они,
вероятно, улучшатся, но все же идея подобного «фильтра
дезинформации» остается опасной и может привести к
непредсказуемым последствиям. Стерпит ли такая система научные
открытия, которые опровергнут существующий консенсус? Или станет
чем-то наподобие католической церкви XV века, не приемлющей идею
о том, что Земля вращается вокруг Солнца?
Знания, бросающие вызов принятым теориям, не являются
аномалией: именно так происходит интеллектуальный прогресс.
Поэтому, независимо от технологий, с помощью которых будет
происходить выявление дезинформации, существует риск, что система
окажется излишне рьяной и станет поддерживать политический или
научный истеблишмент, подавляя инакомыслие. К счастью, платформы
стараются удалять не всю дезинформацию — только ту, которая
считается
вредной.
Это
ограничивает
возможности
для
злоупотреблений, но не устраняет их. Особенно горячо обсуждается
политика в отношении вредной медицинской дезинформации. Более
того, вместо удаления контента платформы могут принимать иные
меры против предполагаемой дезинформации, даже безвредной:
например, затруднять ее поиск или запрещать автору получать доход от
рекламы. Последствия этих санкций могут быть не менее
значительными. Наконец, существует вмешательство властей:
авторитарные
правительства
нередко
объявляют
вредной
дезинформацией критику, угрожающую их власти.

Человеческая изобретательность против ИИ
Мы уже убедились, что ИИ-модераторы контента испытывают
трудности, столкнувшись с материалами, не похожими на обучающие
данные. Особенно серьезная проблема возникает, когда пользователи
намеренно обманывают систему.
Кто эти люди? В первую очередь на ум приходят нарушители
закона: мошенники, спамеры, торговцы запрещенными товарами. Их
уловкам нет числа. Криптовалютные аферисты выманивают у жертв
деньги, обещая быструю прибыль от инвестиций, которой, разумеется,
никогда не будет. Брачные аферисты создают фальшивые профили с
привлекательными фотографиями, чтобы завлечь одиноких людей, а
затем под разными предлогами требуют деньги как условие личной
встречи. Время от времени возникает паника из-за наркоторговцев,
которые якобы используют социальные сети для вербовки детей.
В отличие от хулиганов и разжигателей межэтнической розни,
злоумышленники нередко технически грамотны. Среди них могут
быть даже государственные деятели, использующие ботов для влияния
на общественное мнение как внутри страны, так и за рубежом. Сможет
ли ИИ справиться с такими попытками обойти систему модерации?
Удивительно, но противозаконная деятельность — не самый
трудный случай. Хотя хитроумие преступников, безусловно, добавляет
сложности разработчикам платформ, но у защитников есть немало
преимуществ, облегчающих выполнение задачи.
Во-первых, профессионализация преступности означает, что
существует конкретная группа лиц, занимающихся подобными делами,
что принципиально отличает их от обычных не слишком
законопослушных людей, решивших обмануть других с помощью
фальшивого профиля в соцсетях. Люди, имеющие преступные
намерения, совершают незаконные действия, что подразумевает
определенные модели сетевого общения. Рядовые пользователи так
себя не ведут, поэтому разница между их поведением и поведением
профессиональных преступников весьма четкая.
Во-вторых, у платформ есть множество способов борьбы с
нарушителями. Иногда они сотрудничают с правоохранительными

органами, чтобы прекратить незаконные действия или пресечь
финансовые потоки в теневом секторе. Если удастся установить
личность мошенников и отключить их от платежных систем, они
потеряют возможность зарабатывать деньги, а вместе с этим и стимул
продолжать незаконную деятельность. Это эффективно, даже если на
уровне отдельных постов мошеннические действия выявляются не
всегда.
Давайте обратим взгляд в прошлое. На заре существования
социальных сетей вредоносный контент был вездесущим. Вирус
Koobface распространялся по Facebook [55], заставляя пользователей
платить за поддельные антивирусные программы 36. Однако
платформам удалось устранить эту угрозу. Новые виды незаконной
деятельности неизбежно будут появляться, но эффективно
управляемая
платформа
способна
предотвратить
серьезные
нарушения.
Медиа часто подчеркивают, что вмешательство государства якобы
ослабляет модерацию контента, однако факты говорят об обратном.
Например, после выборов в США в 2016 году, когда начались
разговоры о вмешательстве России, исследования подтвердили: мало
кто видел сообщения от российских ботов, и это никак не повлияло на
электорат 37.
Сложности возникают в тех случаях, когда грань между
мошенничеством и легальной деятельностью действительно размыта.
Искренне ли верит пользователь, продвигающий новую криптовалюту,
что она перевернет мир? Увы, такая наивность встречается сплошь и
рядом. А может, он опознал финансовую пирамиду и просто хочет
вложиться на раннем этапе, чтобы получить прибыль?
Возьмем политику: люди часто объединяются и координируют
свои действия, чтобы продвигать общие политические интересы.
Является ли это политическим движением или операцией влияния,
зависит от того, насколько искренне люди придерживаются своих
убеждений, а здесь может быть целый спектр.
Иронично, но сложнее всего платформам бороться с
примитивными уловками, к которым прибегают обычные люди. В этом
случае
соцсеть
не
может
обратиться
за
помощью
к
правоохранительным органам или выделить четкую группу аккаунтов.

Кроме того, простых пользователей, которые обходят модерацию,
очень много.
Вот лишь несколько примеров уловок, к которым прибегают
обычные люди:
надпись «Безопасно и эффективно» (отсылает к фразе, которую
часто употребляют медики в отношении вакцин) на изображениях
людей, якобы умерших после вакцинации;
публикация скриншотов с заштрихованными словами. Несмотря
на зачеркивания, пользователи могут прочитать текст, а вот
автоматические системы не могут прочитать надпись (эффективность
такой уловки может уменьшиться с развитием ИИ);
сообщества
«про-ана»,
пропагандирующие
анорексию,
используют эзопов язык, обсуждая «начальный и целевой вес». Эти же
слова используют в обычных группах по снижению веса, но
«посвященным» все ясно 38.
Для того чтобы осознать, насколько часто обычные пользователи
обходят модерацию, вспомним про «алгоречь» — слова, которые
широко используют в соцсетях, чтобы избежать наказания
алгоритмами: например, «неживой» вместо «мертвый», «кекс» вместо
«секс» в нужном контексте. Такое хоть раз видели все, кто пользуется
интернетом.
Важно понимать: «алгоречью» пользуются в основном люди,
которые не нарушают правила, а просто пытаются обойти
несовершенные системы модерации. Любопытно, но похожие
стратегии используют и настоящие нарушители (например, участники
сообществ «про-ана»), и те, кто считает правила несправедливыми
(антипрививочники), и те, кто регулярно страдает от ошибок
модерации (чернокожие и трансгендерные люди), и обычные
пользователи, попадающие под удар грубых фильтров. В результате
получается замкнутый круг: невозможно усилить выявление
действительно проблемного контента, не задев добросовестных
пользователей.

Вопрос жизни и смерти
К этому моменту вам уже должно быть понятно, что цена ошибки
при модерации контента очень высока. Но максимальной она
становится, когда человек собирается покончить с собой и сообщает о
своем намерении в социальных сетях.
В США самоубийство происходит каждые 11 минут. В мире —
каждые 40 секунд. Другие виды самоповреждения, например порезы,
встречаются еще чаще.
Предотвращение самоубийств давно является целью медицинской
системы, но результаты не впечатляют: за полвека исследований
удалось создать классификаторы, которые определяют риск суицида
чуть лучше подброшенной монеты 39. Главная причина, как мы
считаем, в том, что специалисты встречаются с пациентами довольно
редко. Последний контакт с медицинской системой может произойти
за несколько месяцев до того, как человек покончит с собой.
Предсказать попытку самоубийства заранее практически невозможно.
Суицидальные наклонности развиваются поэтапно, и финальная
стадия наступает лишь за несколько дней до попытки 40. До
достижения этой стадии можно лишь определить, что пациент
испытывает депрессию и, следовательно, находится в зоне
суицидального риска, но этот риск пока не настолько высок, чтобы
требовалось кардинальное вмешательство.
А вот в социальных сетях люди пишут о суицидальных планах
часто. Это может быть криком о помощи, попыткой установить с кемто контакт, способом зафиксировать свои последние мысли. Значит,
социальные сети могут помочь другим людям вмешаться и поддержать
человека в критический момент.
Когда знаменитости пишут в социальных сетях, что хотят
совершить самоубийство, они нередко получают колоссальную
поддержку и помощь от друзей и фанатов 41, 42. Однако большинство
людей, публикующих аналогичные сообщения, не звезды, и за их
блогами следят сравнительно немногие пользователи. Простым людям
может помочь вмешательство модератора.

Начиная с 2017 года Facebook [56] использует машинное обучение
для предотвращения самоубийств. Алгоритмы анализируют
содержание каждой публикации и комментариев к ней, оценивая
вероятность суицидальных намерений. Компания объясняет: «Посты,
которые модераторы уже признали поводом для срочного
вмешательства, часто содержат комментарии вроде „Скажи, где ты?“
или „Кто-нибудь слышал о нем/ней?“, в то время как менее срочные
публикации сопровождаются комментариями типа „Звони в любое
время“ или „Я с тобой“» 43. Посты с высоким уровнем риска
проверяются
модераторами.
Если
непосредственная
угроза
подтверждается, Facebook [57] передает информацию о пользователе
местным властям, полиции или специалистам по психическому
здоровью в зависимости от страны. Также пользователям
предоставляются соответствующие ресурсы через приложение. Для
обучения классификатора Facebook [58] использует набор данных
публикаций, ранее отмеченных пользователями и помеченных
модераторами как указывающие на риск неминуемого самоубийства
или членовредительства.
Facebook [59] не публикует данные о том, как часто
инициируются такие проверки. В конце первого года работы системы
сотрудник Facebook [60] сообщил журналисту, что было проведено
3500 проверок, но с тех пор эта цифра могла значительно вырасти 44.
Насколько известно, никакие крупные платформы, кроме Facebook [61]
и Instagram [62](обе принадлежат Meta [63]), не сообщали о наличии
подобных систем.
Усилия социальных сетей в предотвращении самоубийств ценны и
важны. Несмотря на философские вопросы о праве на суицид,
практически все соглашаются, что люди, пытающиеся покончить с
собой, нуждаются во вмешательстве и помощи специалистов —
психологов и психиатров.
Тем не менее проблема предотвращения самоубийств показывает,
насколько сложной может быть модерация контента. Эти случаи
отличаются от других тем, рассмотренных в этой главе, поскольку
здесь надлежащее вмешательство подразумевает не просто удаление
публикации, а принятие реальных мер.
Безусловно, в некоторых случаях такая проверка благополучия
спасает жизни, но иногда она может обернуться, к примеру,

необоснованным обыском или даже арестом. Встречи полиции с
психически нездоровыми людьми часто фатальны: риск смерти в
таких случаях возрастает в 16 раз 45. Мейсон Маркс описывает
множество ужасающих последствий такого вмешательства 46. Вот
один из случаев:
14 июня 2014 года мать 38-летнего Джейсона Харрисона,
страдавшего
шизофренией
и
биполярным
аффективным
расстройством, обратилась в полицию Далласа с просьбой помочь
доставить сына в больницу для оказания психиатрической помощи.
Когда полицейские прибыли на место, Джейсон стоял в дверном
проеме с отверткой в руках. Несмотря на то, что у полицейских были
электрошокеры и перцовый спрей, двое офицеров выхватили
табельное оружие и застрелили Харрисона.
Есть и много других рисков. Людей, подвергшихся проверкам
благополучия, могут принудительно госпитализировать. Зачастую это
травматичный и унизительный опыт. В ряде стран за попытку
самоубийства предусмотрено даже уголовное наказание. Люди,
помеченные как «находящиеся в группе риска по суициду»,
сталкиваются с трудностями в получении адекватной медицинской
помощи: например, им нередко отказывают в обезболивающих из-за
страха передозировки. Более того, вмешательство может увеличить
сам риск самоубийства: принудительное лечение зачастую сопряжено
с грубым обращением и усугубляет психическое состояние пациента
47.
Несмотря на высокую частоту суицидов, посты, в которых
высказываются суицидальные намерения, — капля в море социального
контента. По нашим оценкам, менее чем один из миллиона постов
выражает суицидальное намерение, которое в итоге реализуется.
Иными словами, если система обнаружения неминуемых угроз имеет
даже незначительную частоту ложноположительных результатов (один
на миллион), большинство «срабатываний» будут ошибочными. Это
может означать, что людей, столкнувшихся с негативными
последствиями таких ошибок, окажется больше, чем тех, кому удалось
помочь.
К сожалению, Facebook [64] не сообщает, насколько успешно
работает система выявления суицидальных намерений (это
неудивительно). Сколько было случаев, когда проверка оказывалась

обоснованной? Как часто вмешательство запаздывало? Сколько
суицидов классификатор не смог предвидеть? Насколько система
подвержена географической, языковой, расовой и другим видам
дискриминации? Мы сомневаемся, что сами сотрудники Facebook [65]
знают ответы на многие из этих вопросов.
Даже если платформы обнародуют информацию о частоте
успешных вмешательств, это будет далеко не полная картина. Когда
вмешательство выходит за рамки соцсети и переходит в реальность,
возникают побочные эффекты, которые сложно отследить и
предсказать. Осознание того, что к ним нагрянет полиция, может
сделать пользователей менее склонными к публикации суицидальных
сообщений, а значит, эффективность системы снизится. Даже
пользователи, не собирающиеся накладывать на себя руки, могут
опасаться обсуждать свое психическое здоровье в сети, понимая, что
это может быть использовано для рассылки рекламы или стать
поводом для отказа в страховке.
Возможна и другая крайность. Допустим, технологические
компании достигнут больших успехов в предсказании суицидальных
намерений, используя не только посты в соцсетях, но и личную
переписку в чатах, электронные письма и историю поисковых
запросов. Возможно, государственные службы соблазнятся идеей
сократить свои расходы, передоверив этим компаниям проверку всех
выявленных случаев. Однако, даже если онлайн-обнаружение
суицидальных намерений станет более точным и действенным, оно не
сможет заменить государственные службы: ни одна компания не
подотчетна обществу.
Такие сложные этические вопросы будут возникать и в
дальнейшем. Обсуждение, привлечение общественности, постоянный
контроль и оценка со стороны системы — все это не поддается
автоматизации.

Поговорим о регулировании
Благодаря закону 1996 года (и последующим судебным решениям)
американские соцсети получили полную свободу действий в вопросах
модерации контента 48. Согласно этому закону, ни одна платформа не несет
ответственности за публикации пользователей. Поэтому решения о
модерации принимаются на основе деловых соображений — что сделает
платформу более привлекательной для пользователей, поможет снизить
издержки,
удовлетворит
различные
заинтересованные
стороны:
рекламодателей, борцов за социальную справедливость, защитников
свободы слова, религиозные группы и множество других? Задача как
таковая достаточно сложна.
Если бы руководство соцсетей несло ответственность за все, что там
пишут, оценка рисков изменилась бы кардинально. Мы можем судить об
этом по одному важному исключению из закона 1996 года — авторскому
праву. Давайте посмотрим, что творится в этой области.
YouTube — идеальный пример для изучения проблемы авторских прав.
В отличие от большинства других платформ, эта делится рекламными
доходами с создателями контента. Именно поэтому здесь возникла самая
серьезная проблема с нарушениями авторских прав: пользователи стремятся
публиковать чужой контент (например, телешоу), чтобы заработать деньги.
За счет подобной незаконной деятельности YouTube когда-то разбогател, но,
как и многие другие технологические стартапы того времени, игнорировал
эту проблему: юридические риски использовались для роста. Когда в конце
2006 года платформу купила компания Google, ситуация резко изменилась:
Google, в отличие от стартапа, мог многое потерять и был больше
чувствителен к риску.
По закону об авторском праве платформы обязаны удалять контент
сразу после получения уведомления о нарушении. В 2007 году компания
Viacom подала против Google иск на $1 млрд за невыполнение этого
требования 49. Стороны пришли к досудебному соглашению. Что именно
должно делать руководство соцсетей, чтобы избежать ответственности, до
сих пор не вполне ясно. Тем не менее Google решил, что разумнее будет
наладить отношения с музыкальной и киноиндустрией.
Так появилась система Content ID.
Она работает следующим образом: правообладатели (по крайней мере,
большинство крупных) загружают контент в репозиторий Content ID на

YouTube. Когда обычные пользователи публикуют видео, алгоритм Content
ID анализирует его на предмет совпадений с хранящимся в репозитории.
Это похоже на проверку отпечатков пальцев; по сути, это та же технология
сопоставления цифровых отпечатков, которую применяют для выявления
изображений сексуального насилия над детьми. Похожий метод используют
приложения вроде Shazam, которые позволяют записать несколько секунд
музыкальной композиции, звучащей в общественном месте, и определить ее
название и исполнителя. Алгоритм Content ID достаточно устойчив, чтобы
простые изменения (отзеркаливание видео, добавление шума в музыку) не
могли его обмануть. Как и Shazam, алгоритм может идентифицировать даже
небольшие отрывки видео или аудио, которые совпадают с данными,
хранящимися в репозитории. Запомним этот момент: он крайне важен. Если
Content ID находит совпадение между видео, загруженным пользователем, и
материалом в репозитории, об этом уведомляют правообладателя —
музыкальный лейбл или киностудию. Правообладатель может либо
заблокировать видео, либо оставить его в сети и присвоить себе рекламные
доходы.
Мы могли бы заполнить всю эту книгу только широко известными
ошибками работы Content ID. Вот несколько примеров, чтобы показать
масштабы проблемы:
Видео с посадкой марсохода, опубликованное NASA, было
заблокировано, хотя материал является общественным достоянием 50.
Почему? Дело в том, что новостные каналы, использовавшие фрагменты
этого видео в своих репортажах, загрузили репортажи на платформу и
заявили об авторских правах на них. Алгоритм решил, что авторское право
распространяется на весь контент репортажей.
Живые исполнения классической музыки, даже произведений давно
умерших композиторов вроде Баха и Бетховена, регулярно попадают под
блокировку 51. Поскольку Content ID не учитывает незначительные
различия в контенте, разные исполнения одного и того же произведения
определяются как совпадающие. Если другой музыкант записал то же самое
произведение и загрузил его как проприетарный контент, система найдет
совпадение.
В одном вопиющем случае нарушением авторских прав сочли видео,
где автор просто напевал песню, содержащую слова «living on». Система
ошибочно определила это как совпадение с теми же словами в совершенно
другой композиции 52.

На самом деле законодательство США в области авторского права
весьма чутко относится к возможности злоупотреблений. В нем хорошо
проработана концепция добросовестного использования (fair use),
допускающая сатиру, комментарии и множество производных работ. Однако
все это выходит далеко за рамки возможностей Content ID, поэтому система
даже не пытается разобраться в правомерности использования материала.
Она просто находит совпадения, а стороны должны разбираться между
собой сами. По закону пользователи, чей контент был ошибочно удален с
онлайн-платформы в связи с нарушением авторских прав, имеют право
подать встречное уведомление, перекладывающее бремя подачи иска в суд
на правообладателя. Однако перспектива судебного разбирательства пугает
большинство людей, даже когда закон полностью на их стороне, и они не
пользуются правом подачи встречного уведомления. По оценке канала
WatchMojo, правообладатели украли около $2 млрд дохода из-за ложных
заявлений о нарушении авторских прав 53.
Для каналов, регулярно использующих проприетарный контент на
законных основаниях, например для публикации обзоров фильмов, работа с
Content ID еще более утомительна. Некоторые из этих каналов получают
десятки автоматических уведомлений (см. пример на рисунке 6.1).
Разбираться с ними и отправлять встречные уведомления — рутинная
работа. Однако если пользователь не успевает устранить нарушения, это
приводит к неприятностям: после третьей блокировки YouTube удаляет
канал навсегда.

Рис. 6.1. Каналам, регулярно и законно использующим защищенный
авторским правом контент, приходится сталкиваться с огромным
количеством необоснованных претензий

Ситуация полностью вышла из-под контроля. Появились сообщения о
мошенниках, рассылающих фальшивые претензии о нарушении авторских
прав и вымогающих деньги под угрозой закрытия каналов и удаления всех
видео 54. Дошло до того, что полицейские начали злоупотреблять системой
Content ID, чтобы избежать общественного контроля 55. Когда граждане,
действуя в рамках своих законных прав, пытались снимать этих стражей
порядка на видео, те включали защищенную авторским правом музыку
через колонки, рассчитывая, что в этом случае YouTube заблокирует
публикацию.
Почему же платформа допускает такой явный перекос? Да потому, что
разозлить влиятельных игроков вроде звукозаписывающих компаний
гораздо опаснее, чем вызвать недовольство мелких контентмейкеров,
которых, с точки зрения руководства YouTube, всегда можно заменить
другими.

Самое сложное — провести черту
В 2016 году Facebook [66] вызвал волну общественного негодования:
компания раз за разом удаляла фотографию, известную под названием
«Napalm Girl» («Девочка, пострадавшая от напалма»). На снимке
запечатлена девятилетняя Фан Тхи Ким Фук, получившая тяжелые ожоги во
время напалмовой атаки: она бежит по дороге, нагая, с искаженным болью
лицом. Это одна из самых знаковых фотографий в истории, которая не
только показала всему миру ужас войны во Вьетнаме, но и изменила
отношение общества к ней.
На первый взгляд кажется, что это отличная иллюстрация ограничений
ИИ, о которых мы говорили. Можно предположить, что классификаторы
Facebook [67] просто отметили изображение как детскую наготу, не
распознав его историческую значимость. Однако реальность оказалась
совсем иной — и гораздо более интересной.
Подумайте сами: на Facebook [68] ежедневно загружают сотни
миллионов изображений. Его первое знакомство с одной из самых
известных фотографий в мире просто не могло произойти только в 2016
году. Руководство платформы было прекрасно осведомлено о проблемах,
которые иллюстрировал этот снимок, и использовало его в своих учебных
материалах для модераторов как пример неприемлемого контента. Решение
об удалении снимка приняли люди, а не алгоритмы. Это была не случайная
техническая ошибка, а тщательно взвешенное политическое решение.
Более того, политику Facebook [69] в данном случае нельзя назвать
полностью некорректной. В конечном счете сила воздействия этой
фотографии заключается именно в том, что она нарушает устоявшиеся
культурные нормы, касающиеся снимков телесных повреждений и
обнаженных детей. Тарлтон Гиллеспи в своей книге «Хранители интернета»
написал:
«Перед нами невероятно сложный случай: с одной стороны, это
важнейший исторический документ, настолько суровое обвинение
человечеству, что многие считают его обязательным для просмотра; с
другой — шокирующий, глубоко травмирующий снимок полностью
обнаженного ребенка, кричащего от боли. Бесспорно, изображение
неприлично. Вопрос лишь в том, какого рода эта неприличность: та, что
должна быть скрыта от глаз, несмотря на всю свою историческую

значимость, или та, что должна быть показана вопреки своей
разрушительной силе» 56.
Как сообщает Гиллеспи, в 1972 году агентству Associated Press
пришлось преодолеть серьезное внутреннее сопротивление, чтобы
опубликовать эту фотографию, и поначалу снимок ретушировали! В
редакциях большинства газет, решившихся на публикацию фото,
разворачивались бурные дискуссии. Читатели реагировали потоком гневных
писем. По мнению Гиллеспи, с момента своего появления эта фотография
«служила своего рода лакмусовой бумажкой, по которой и медиаиндустрия,
и общество определяли границы допустимого» 57.
Скандал, спровоцированный этой фотографией в 2016 году, стал частью
непрерывного процесса поиска допустимых границ. Facebook [70] пришлось
отступить и пересмотреть свою политику. На наш взгляд, этот эпизод
показал, что здоровые и открытые общественные дебаты возможны и даже
необходимы. Именно так и должна формироваться политика, которую
общество признает легитимной. Этот процесс должен повторяться всякий
раз, когда обществу требуется определить границы допустимых
высказываний, находя компромисс между различными наборами
социальных норм.
Социальные сети являются ключевыми участниками и арбитрами в
этих дебатах: они позиционируют себя как глобальные площадки для
публичных дискуссий и формируют окно Овертона (рис. 6.2) не только
через политику модерации контента, но и через дизайн и алгоритмы.
Высказывания, находящиеся на краях спектра, блокируются или
помечаются предупреждениями. Рекомендательные алгоритмы определяют,
какой контент станет популярным. Дизайн приложений влияет на то, будут
ли пользователи осуждать других за проблематичные высказывания, и если
да, то как именно.

Рис. 6.2. Окно Овертона в сфере высказываний. Различные взгляды
располагаются на условной шкале, где более радикальные позиции
считаются менее приемлемыми
Определение границ допустимого — мощный инструмент
формирования общественного мнения и влияния на политические процессы.
Социальные сети часто используют для критики политических режимов и

влиятельных структур, и кому будет брошен вызов, зависит от того, какие
высказывания разрешены. В интернете разворачиваются культурные войны,
не менее яростные, чем реальные, вспыхивают конфликты вокруг систем
здравоохранения и много чего еще. В конечном счете социальные сети —
это своего рода площадка для споров, и самые разные группы оказывают
колоссальное давление на платформы, требуя изменить их политику.
Когда люди критикуют модерацию контента, чаще всего их
недовольство направлено на сами правила, а не на их применение, даже
если, как в случае со снимком вьетнамской девочки, они не осознают, что
спорят именно с правилами. В конечном счете именно поэтому даже
идеальный ИИ не будет устраивать всех.
Главное — не сами правила, а общественные дебаты вокруг них.
Нужно больше таких дискуссий. Создание наблюдательного совета
Facebook [71] — небольшой шаг в верном направлении 58. Этот орган —
юридически независимая структура, хотя и финансируемая Facebook [72].
Он рассматривает важные решения по модерации контента, особенно те, что
создают прецеденты для будущих решений. Однако в его состав входят
представители элит из нескольких стран: профессора, журналисты и
юристы, а не репрезентативная выборка пользователей.
Разработка правил — не единственная сфера, в которой соцсетям
необходимо приложить больше усилий. Процесс обжалования тоже нужно
налаживать. Давайте еще раз вспомним случай с Марком и его ребенком:
человеку был нанесен вред, потому что даже после оправдательных выводов
полиции Google отказался пересмотреть свое решение. Когда эта история
попала в СМИ, компании пришлось пересмотреть процедуру апелляции.
Однако Google — не единственная организация, которая лишает людей
их цифровой жизни из-за нехватки сотрудников, способных контролировать
работу ИИ. Проблема настолько распространена, что связи в
технологических компаниях считаются ценным социальным капиталом.
Часто единственный способ добиться рассмотрения проблемы —
обратиться за помощью через личные контакты внутри компании. Одна
женщина даже заявила, что ей пришлось переспать с сотрудником Instagram
[73], чтобы восстановить свой аккаунт 59.
Решив количественно оценить эту проблему, мы с принстонскими
коллегами изучили более 20 компаний. Исследование охватило не только
социальные сети, но и компании гиг-экономики, такие как Uber. Почти в
каждом случае мы обнаружили огромное количество онлайн-жалоб: в X
(Twitter), в Reddit, на сайте Better Business Bureau, в отзывах в магазинах
приложений… В некоторые компании, которые мы изучили, поступили
десятки тысяч жалоб на несправедливую блокировку аккаунтов. Мы

полагаем, что это лишь вершина айсберга: большинство людей не
публикуют свои претензии в открытом доступе.
Еще больше тревоги вызывает суть этих жалоб. Мы встречали рассказы
о курьерах доставки DoorDash, лишившихся средств к существованию из-за
блокировки аккаунта. Обнаружили целую компанию — разработчика
приложений, которой пришлось закрыться: Google удалила ее аккаунт из-за
нарушения правил ее бывшим сотрудником, сочтя учетные записи
«связанными» 60. (Когда эта история завирусилась в соцсетях, Google
быстро восстановила аккаунт компании, как она поступает обычно, чтобы
избежать пятна на репутации.)
Etsy,
онлайн-маркет
товаров
ручной
работы,
использует
автоматизированную систему для выявления подозрительной активности.
Форум продавцов «наполнен жуткими историями о блокировках со стороны
ИИ без возможности обжалования и без какой-либо реакции Etsy на
происходящее. ИИ также может заблокировать 75% средств продавца на 45
или 90 дней. При этом ожидается, что продавец по-прежнему будет
оформлять и отправлять все заказы в течение этого времени. Поддержка
Etsy при этом не отвечает» 61.
В большинстве этих случаев мы не слышим вторую сторону, и вполне
возможно, что отдельные жалобы преувеличены или вымышлены. Однако
тысячи похожих друг на друга историй убедительно свидетельствуют о
системной проблеме: многие социальные медиа и платформы,
предоставляющие услуги фрилансеров, злоупотребляют использованием
ИИ для блокировки аккаунтов, нарушающих правила, без должного надзора
и отчетности.

Рис. 6.3. Цикл модерации контента с использованием ИИ. Компании
создают правила модерации и регулярно их пересматривают. Они
обеспечивают соблюдение своей политики с помощью машинного обучения,
для которого требуется собрать набор данных с размеченными
предыдущими решениями, обучить модель и применить ее к новому
контенту (так называемый вывод). Платформы также обязаны предоставить
возможность обжалования решений и постоянно отслеживать возникающие
проблемы. На самом деле автоматизированы только компоненты,
выделенные на рисунке серым цветом
Рисунок 6.3 демонстрирует одно из представлений обсуждаемой в этом
разделе темы: модерация контента включает в себя несколько этапов, но в
большинстве из них ИИ не участвует. (Один нюанс, который не отражен на
рисунке: часть процесса рассмотрения апелляций тоже автоматизирована
62.) Проблемы, возникшие с публикацией снимка девочки, пострадавшей от
напалма, связаны с политикой модерации. Неоправданные блокировки
аккаунтов — с процессом обжалования. Улучшение технологий ИИ эти
проблемы не устранит.
Есть и весомый аргумент против автоматизации даже тех процессов,
которые теоретически можно автоматизировать. Модераторы контента,
работающие на передовой, пожалуй, больше всех могут рассказать о том,
насколько эффективно работают установленные правила и какие новые
проблемы возникают. Сейчас платформы, похоже, неэффективно
используют этот канал обратной связи, предпочитая реагировать только на
те жалобы, которые попали в прессу. В 2023 году аутсорсинг увеличил
дистанцию между модераторами и теми, кто формирует политику соцсетей
63. Но это хотя бы можно изменить. С ИИ такая возможность полностью
исчезнет.
Сейчас мы наблюдаем кризис доверия на нескольких уровнях. Люди не
доверяют компаниям — владельцам соцсетей не только из-за модерации
контента, но и из-за постоянных ошибок при защите конфиденциальности и
антимонопольном регулировании. Когда речь идет о модерации контента,
компании одновременно выступают в роли судей, присяжных и палачей.
Разделение этих функций способствовало бы повышению доверия к
платформам, по аналогии с разделением ветвей государственной власти.
Хуже того: у значительной части общества не вызывают доверия
многие внешние институты, оказывающие значительное влияние на
политику соцсетей: органы здравоохранения, рекламодатели, ученые,

журналисты и правительства. Например, американские центры по контролю
и профилактике заболеваний (Centers for Disease Control and Prevention,
CDC), перегруженные бюрократией, во время пандемии выпускали
постоянно меняющиеся и плохо сформулированные рекомендации.
Социальные медиаплатформы, следуя их указаниям, в начале пандемии
удаляли рекламу медицинских масок, а потом стали удалять призывы их не
носить. У людей это вызывало недоумение.
Правительства оказывают давление на политику платформ, угрожая
регулированием или блокировкой. Чем важнее для компании рынок той или
иной страны, тем больше она стремится угодить ее властям. А чем
авторитарнее режим, тем выше вероятность, что он потребует введения
цензуры.
Эти два обстоятельства объясняют, почему именно в Индии и Турции
произошли серьезные конфликты между властями и западными соцсетями.
Индийскую политическую систему классифицируют как «несовершенную
демократию», а турецкую — как гибрид демократического и авторитарного
режимов. Обе страны входят в десятку государств, в которых за последнее
десятилетие наиболее заметно усилились авторитарные тенденции 64, 65. (В
Китае, где авторитаризм гораздо сильнее, западные социальные медиа
просто запрещены.) Тем не менее эти страны (особенно Индия) являются
огромными рынками.
Соцсеть Facebook [74] не смогла применить свои же правила против
фейковых аккаунтов, связанных с индийским правительством 66. Индия
заставила и другие соцсети (X (ранее Twitter) и YouTube) удалить ссылки на
документальный фильм BBC, критикующий ее премьер-министра, и
учредила комиссию, обладающую правом аннулировать решения компаний
— владельцев соцсетей по модерации контента. Что касается Турции, ее
лидер заставил Twitter заблокировать аккаунты некоторых известнейших
оппозиционеров накануне президентских выборов 2023 года 67.
В других странах, например в США, давление властей более
завуалированное. Наиболее острые споры вызывает вопрос, насколько тесно
социальные сети, государственные структуры и академическое сообщество
должны взаимодействовать при модерации контента и борьбе с
предполагаемой дезинформацией 68, 69.
Так или иначе, у людей есть множество причин не доверять процессу
модерации и принимаемым по его итогам решениям. Когда ко всему этому
добавляется генеративный ИИ, ненадежный, непрозрачный и предвзятый,
чьи решения крайне трудно оспаривать, недоверие достигает апогея.

Семь ограничений ИИ в сфере модерации
контента
Мы рассмотрели семь причин, по которым ИИ не сможет решить
проблему контент-модерации (см. таблицу 6.1). Большинство этих причин
фундаментальны и в обозримом будущем никуда не денутся. Часть проблем
связана с бизнес-моделями платформ, часть — со спецификой социальных
сетей, так что и эти области вряд ли претерпят существенные изменения.
Давайте еще раз их перечислим.
Таблица 6.1. Семь причин, по которым контент-модерация с помощью
ИИ остается сложной

Для каждой проблемы указано, связана ли она с текущими
техническими ограничениями ИИ, останутся ли эти ограничения
неустранимыми в обозримом будущем, усугубляется ли проблема бизнесмоделью соцсетей и экономическими факторами. Знак вопроса (?)
обозначает области, где современные ограничения ИИ очевидны, но неясно,
являются ли они принципиально неустранимыми.
ИИ гораздо хуже людей-модераторов разбирается в контексте и
нюансах. Возможно, в будущем это изменится. Куда большей проблемой
является то, что компании не хотят вкладывать достаточно средств, чтобы
обеспечить и внимание к нюансам, и последовательность решений. А то,
что при оценке публикации может быть недоступен реальный контекст, —
неизбежная проблема.
В
проблеме
культурной
некомпетентности
все
упирается
исключительно в недостаток финансирования. Нет никаких объективных
причин, по которым человек-модератор или автоматизированная система
модерации должны работать в одних странах хуже, чем в других.
Изменчивость мира принципиально ограничивает эффективность
методов ИИ, используемых для модерации контента: машинного обучения и
сопоставления цифровых отпечатков.
Даже если оставить в стороне проблему злонамеренных пользователей,
от мошенников до госструктур, необходимо признать, что обычные люди
будут продолжать попытки обойти системы модерации контента. Причины
могут быть самые разные, в том числе вполне уважительные. Любые
технические преграды можно преодолеть, но платформы рискуют вызвать
недовольство пользователей, если начнут наказывать их за попытки обойти
модерацию.
Когда проблемный контент требует предпринять конкретные действия в
реальном мире, возникают дополнительные трудности: сложно заранее
предугадать, какими окажутся их последствия.
Регулирование часто приводит к «избыточной цензуре»: платформы
прибегают к излишне жесткой модерации, стремясь снизить юридические
риски. Чтобы смягчить модерацию, площадкам пришлось бы оценивать
законность спорного контента, а это связано как с технологическими, так и с
финансовыми препятствиями.
Формирование политики площадки всегда будет чрезвычайно сложным
аспектом модерации контента, ведь социальные сети служат ареной
политических споров. ИИ не может заменить человека в этой сфере: здесь
нужны люди, и только люди.

Проблема, которую они сами создали
Главная трагедия провалов в области модерации контента заключается
в том, что проблема кроется в самих соцсетях. Facebook [75] кишит
агрессивными постами, потому что платформа это поощряет. Тысячи детей
участвовали в смертельно опасных затеях вроде «Blackout Challenge» в
TikTok (где нужно было задержать дыхание до потери сознания), потому что
алгоритмы вознаграждают их популярностью. И да, такие челленджи
действительно стоили жизни некоторым их участникам.
Мы не утверждаем, что инженеры намеренно программировали
алгоритмы для распространения враждебного и опасного контента. Но они
приняли целый ряд сознательных решений, которые привели именно к
такому результату [76].
Прежде всего алгоритмы соцсетей оптимизированы под вовлеченность:
они отслеживают, как часто мы кликаем, ставим лайки, оставляем
комментарии или как-то еще взаимодействуем с публикациями. Однако
контент, на который мы реагируем импульсивно, вовсе не тот, что приносит
реальную пользу. У платформ нет эффективных способов измерить
действительно важные показатели. В результате они оптимизируют свою
работу совсем не под то, что нужно 70.
Похоже, пропасть между тем, чего мы хотим на самом деле, и тем, что
алгоритмы считают нашими желаниями, только растет. Алгоритм TikTok,
например, анализирует, как долго пользователи смотрят видео прежде, чем
прокрутить ленту. Это значит, что платформа потакает нашим низменным
инстинктам. Мы часто задерживаемся на некачественном контенте, хотя и
не взаимодействуем с ним напрямую (подобно прохожим, чьи взгляды на
какое-то время привлекает уличное происшествие). Когда алгоритм
ориентируется на такие неосознанные, автоматические реакции, именно
подобный контент вознаграждается. Дизайн того же TikTok настолько
успешно удерживает пользователей, что другие платформы отчаянно
пытаются его скопировать.
Оптимизация под вовлеченность подталкивает пользователей к
публикации контента, который разделяет аудиторию на два враждующих
лагеря. Когда одна группа приветствует публикацию, а другая молчаливо
осуждает ее, алгоритмы учитывают только позитивную реакцию. Еще хуже,
если несогласные активно выражают возмущение: это тоже засчитывается
как рост вовлеченности и подливает масла в огонь.

Исследователи предложили новые алгоритмы — например,
ранжирование, основанное на сближении позиций. Преимущество получает
контент, который объединяет людей, а не разобщает их 71. Однако пока ни
одна крупная платформа не взяла эти идеи на вооружение. Единственное
исключение — X (бывший Twitter). В 2022 году компания запустила
функцию Community Notes («Заметки сообщества»), позволяющую
пользователям исправлять ложную или вводящую в заблуждение
информацию в постах 72, 73. Чтобы сблизить людей, придерживающихся
разных политических взглядов, платформа чаще показывает заметки,
сделанные сторонниками разных политических партий. Однако влияние
Community Notes на платформу в целом незначительно: заметки получает
лишь малая часть самых вопиющих постов. И что особенно важно, эта
функция никак не влияет на алгоритм формирования ленты: тот как
продвигал разобщающий контент, так и продвигает 74.
Марк Цукерберг как-то отметил интересную закономерность: чем
ближе публикация к нарушению правил, тем выше вовлеченность
пользователей. Например, откровенно вредная дезинформация обычно
запрещена, поэтому в пограничную категорию попадает контент, который
вводит в заблуждение, но не опасен. Цукерберг назвал это явление
естественной моделью вовлеченности (рис. 6.4) 75.

Рис. 6.4. По мнению Марка Цукерберга, тенденция к распространению
проблемного контента — естественное явление. Мы придерживаемся иной
точки зрения

(Источник: Facebook [77].)
Называть усиление проблемного контента «естественным» процессом
— лукавство, снимающее ответственность с платформы. На самом деле в
этом нет ничего естественного: социальные сети — предельно
искусственная среда, где люди подстраивают свое поведение под то, что, как
им кажется, будет вознаграждено. Поэтому любые возникающие паттерны
вовлеченности формируются под сильным влиянием дизайна платформы и
используемых алгоритмов.
В этом перетягивании каната есть любопытный момент: когда
рекомендательные алгоритмы усиливают вредоносный контент, а алгоритмы
модерации контента пытаются его выявить и подавить, всегда «побеждают»
рекомендательные. Мы уже описывали, что пользователи всегда идут на шаг
впереди ИИ, обходя правила (например, используя выражения «начальный и
целевой вес» в сообществах «про-ана»). Можно подумать, что если
сообщения становятся невидимыми для алгоритмов модерации, то они
остаются незамеченными и рекомендательными алгоритмами. Но это не так
38.
Дело в том, что рекомендательные алгоритмы работают в первую
очередь не с содержанием постов, а с поведением пользователей, которые с
этими постами взаимодействуют. Если люди могут правильно
интерпретировать смысл поста, рекомендательные алгоритмы тоже это
зафиксируют. Логика здесь следующая: «Многим пользователям, которым
раньше нравилась пропаганда анорексии, нравится и этот пост. Значит, его
стоит показать большему числу пользователей, которые ранее
демонстрировали интерес к подобным материалам» [78].
Существует множество разновидностей вредоносного контента,
который активно продвигается рекомендательными алгоритмами, но от
которого нельзя избавиться простыми запретами. Например, некоторые
вредоносные материалы умело эксплуатируют неизбежные серые зоны в
правилах. Как отмечает социальный психолог и бывший исполнительный
директор Facebook [79] Рави Айер, «часто эффективнее вводить людей в
заблуждение косвенно: взять реальный случай (побочную реакцию на
вакцину, единичный факт подтасовки голосов, преступление, совершенное
представителем меньшинства) и намекнуть на существование более
широкой закономерности, чем делать откровенно ложные заявления» 76.
В ряде случаев контент становится опасным не сам по себе, а из-за
того, как он влияет на некоторых людей (не на всех). Социальные сети
нанесли сокрушительный удар по психическому здоровью подростков,
поощряя бесконечное сравнение себя с другими, но попробуйте-ка

запретить селфи в Instagram [80]. Что до разжигания ненависти, зачастую
проще спровоцировать насилие против какой-либо группы, вызывая страх
перед ней, а не призывать к насильственным действиям напрямую 77.
Если модераторы рассматривают публикации по отдельности,
возникает еще одно ограничение: некоторые виды контента становятся
опасными, только когда таких публикаций становится много. Так,
появлялись сообщения о том, что некоторые популярные туристические и
религиозные объекты оказались разрушены и замусорены полчищами
инфлюэнсеров, стремящихся набрать просмотры своих видео в Instagram
[81] и TikTok 78. Вред от одного туриста невелик, но их конкуренция
приводит к трагедии. Другой пример: ситуация, когда один человек
осуждает другого за реальное или мнимое нарушение социальных норм, —
обычное явление. Когда же тысячи людей набрасываются на одну жертву,
что часто происходит в соцсетях, это может сломать карьеру или даже
жизнь. Вспомните историю Джастин Сакко, которую мы рассказывали в
третьей главе: ее жизнь пошла под откос после того, как ее неудачную
шутку про СПИД в Африке неверно истолковали и устроили травлю.
Наконец, скажем пару слов о поляризации общества. Отдельные случаи
разжигающей рознь риторики не несут прямого вреда, и пользователи
взбунтовались бы, если бы модераторы удаляли каждый такой пост. Но
тысяча таких постов способна расколоть общество.
Айер предельно откровенен в своей оценке: «Модерация контента —
тупиковый путь» 75. Проблемы социальных сетей заложены в самой их
архитектуре и не могут быть решены точечными методами. Мы полностью с
ним согласны.

Будущее модерации контента
Мы не можем предсказать будущее. Учитывая тематику этой
книги, было бы особенно глупо пытаться это сделать. Однако мы
вполне можем обсудить, что возможно и что невозможно в модерации
контента, что в этой области вероятно, что желательно и какие
тенденции уже набирают силу.
Можно
с
уверенностью
сказать,
что
продолжится
совершенствование ИИ, выполняющего «простую» модерацию
контента, так что он достигнет уровня человека-модератора. Но
сложное останется сложным. Речь идет о проблемах, которые мы
обсуждали выше и которые не связаны с точностью принятия
отдельных решений: понимание локального контекста, адаптация к
постоянно происходящим социальным изменениям, противодействие
попыткам обойти модерацию, лавирование в политизированном
процессе разработки правил для сотен разных стран и народов, а также
соблюдение нормативных требований.
В 2023 году в силу вступил европейский Закон о цифровых
услугах. Это масштабный нормативный акт, содержащий, помимо
прочего, положения о модерации контента. Он требует большей
прозрачности при использовании автоматизированных инструментов
модерации и усиленного контроля за принимаемыми решениями.
Намерения, стоящие за этими требованиями, благие, и мы согласны,
что нужно сделать модерацию прозрачнее и улучшить процедуру
обжалования серьезных решений, например о том же удалении
аккаунтов. Однако большинство решений — а их принимаются
миллиарды в течение года! — не столь важны. Дафна Келлер, в
прошлом главный юрисконсульт Google, а ныне исследователь в
Стэнфорде, утверждает, что, делая модерацию такой дорогостоящей,
закон вынудит платформы сократить ее объемы 79. Мы считаем, что
законодателям стоит понять: ошибочные решения, принимаемые с
помощью ИИ в отдельных случаях, — не столько проблема, сколько
симптом более глубоких структурных изъянов.

Эвелин Дуэк, еще одна исследовательница из Стэнфорда,
предлагает взглянуть на модерацию контента через призму системного
мышления, которое фокусируется не на отдельных решениях, а на
дефектах процессов, порождающих эти решения 80. Системный
подход приводит к интересным предложениям. Например, Дуэк
утверждает: «Платформы должны выстроить барьер между теми, кто
отвечает за соблюдение правил модерации контента, и теми, чья
эффективность измеряется другими показателями, такими как рост
продукта и политическое лоббирование. Это требование должно
подкрепляться штрафами в случае вмешательства второй группы в
отдельные решения первой группы по модерации контента».
Независимо от того, будет ли разделение функций, требуемое
правительством, правильным решением, мы согласны с тем, что для
улучшения модерации контента потребуется институциональная
реформа.
Реформировать
компании,
чья
стоимость
исчисляется
триллионами долларов, будет непросто, но публичное пространство
слишком важно, чтобы оставлять его в нынешнем плачевном
состоянии. Есть ли альтернативы за пределами крупных
технологических компаний? Одна из моделей, заслуживающих
внимания, — Reddit. Здесь вместо одной огромной пользовательской
сети обсуждения разбиты на тематические сабреддиты. Ключевым
отличием является то, что модерацией в Reddit занимаются
добровольцы, а не сотрудники компании или подрядчики 81. Им
помогают
автоматизированные
инструменты,
разработанные
специально для данной платформы.
У этой модели множество достоинств. Поскольку модераторы
сами являются участниками сообществ, где публикуются посты, они
прекрасно понимают контекст, а не действуют вслепую. Такой подход
дает пользователям право голоса. Если им не нравится политика
модерации или то, как она проводится, они могут обсудить это с
модераторами или даже сами стать ими. Более того, модель Reddit
воплощает то разделение функций, которое рекомендует Дуэк:
модерация относительно независима от коммерческих интересов
компании.
Каждый сабреддит волен устанавливать собственные правила.
Это создает условия для здорового экспериментирования с методами

модерации контента, которое стало предметом научных исследований;
все это позволило накопить обширные знания о том, какие подходы
работают, а какие нет. Кроме того, такой подход дает пользователям
право выбора, а не навязывает всем единый свод правил без учета
культурных особенностей и личных предпочтений. С другой стороны,
это означает, что многие проблемные сообщества находят пристанище
именно на Reddit.
Наконец, неясно, удастся ли масштабировать такую модель до
объема Facebook [82] или YouTube. Автоматизированные инструменты
Reddit пока достаточно просты — возможно, из-за отсутствия единых
стандартов модерации. И, несмотря на все положительные моменты,
волонтерский надзор явно менее эффективен, чем «конвейер». Объем
работы, выполняемой модераторами на Reddit, по-видимому,
значительно меньше, чем на платформах-гигантах 82. Для соблюдения
более строгих стандартов модерации, например таких, как у Facebook
[83], этого будет недостаточно.
Есть еще более радикально децентрализованная модель —
Mastodon. Пользовательский опыт этой соцсети несколько напоминает
X (бывший Twitter), но его работа принципиально отличается от
работы других платформ. Пользователи присоединяются к
конкретному серверу Mastodon. Таких серверов тысячи, все они
взаимодействуют друг с другом, поэтому пользователи могут
подписываться на других пользователей на любом сервере, но
политика модерации контента и ее реализация осуществляются на
каждом сервере отдельно.
Децентрализация модерации в сочетании с унификацией контента
порождает неизбежное напряжение: серверу нечем воздействовать на
пользователей, нарушающих его политику, если они находятся на
другом сервере, — кроме как заблокировать его целиком (блокировка
отдельных пользователей плохо масштабируется). Сабреддиты не
сталкиваются с этой проблемой потому, что сообщества четко
разграничены, а традиционные платформы — потому, что у них
централизованная модерация. Во многих смыслах модерация контента
на Mastodon собрала худшее из обоих вариантов.
Если коротко, вот вам плохая новость: сейчас нет явной
альтернативы крупным платформам и их методам работы. Хорошая
новость: похоже, что монополия технологических гигантов на

социальные сети начинает ослабевать, и это открывает возможности
для экспериментов.
Главное, что мы хотим донести до вас в этой главе: модерация
контента — еще один пример того, что проблемы и ограничения ИИ
связаны не столько с самим ИИ, сколько с теми, кто его внедряет.
Социальные сети пытаются совместить в себе три ипостаси:
развлекательную платформу, инструмент для общения и глобальную
дискуссионную площадку. Пока этот эксперимент идет неровно, и
возможно ли вообще совместить все три роли — большой вопрос.
Более широкое внедрение ИИ в модерацию контента может
немного повысить эффективность процесса, но никак не решит
глубинных проблем, заложенных в самой концепции соцсетей. Когда
ИИ преподносят не как способ сэкономить деньги компаний, а как
решение моральных и политических дилемм социальных сетей, он
превращается в «змеиное масло».

7. Почему мифы об ИИ так живучи?
Глава 7
Сепсис смертельно опасен. Это ответ иммунной системы на
инфекцию, который может привести к разрушению тканей, отказу
органов и даже смерти. В США сепсис — одна из основных причин
смертей в больницах, а в мире в целом он виновник каждой пятой
смерти 1. Ранняя диагностика может спасти жизнь: чем раньше
выявлен сепсис, тем легче его вылечить.
Многие компании заявляют, что больницы могут прогнозировать
риск сепсиса с помощью ИИ, который будет обрабатывать
электронные медицинские карты. Последние содержат подробную
информацию о каждом пациенте, включая историю болезни,
результаты анализов и текущие назначения.
Американская компания Epic владеет крупнейшей базой
медицинских записей в стране, охватывающей более 250 миллионов
человек 2. В 2017 году, использовав это огромное количество данных,
Epic выпустила продукт на базе ИИ для выявления сепсиса. Это был
инструмент, который больницы без труда могли применить к
имеющимся медицинским записям. Плюс предложения был очевиден:
снижение смертности от сепсиса без дополнительных затрат на
оборудование или сбор данных.
Epic с гордостью демонстрировала масштабы внедрения системы.
Сотни больниц применили новую модель, и компания заявила, что в
результате показатели смертности от сепсиса в этих больницах
снизились. Система получила высокую оценку в том числе и потому,
что позволяла врачам уделять больше времени пациентам 3. В
интервью 2020 года генеральный директор Epic Джудит Фолкнер
отметила: «ИИ для прогнозирования сепсиса зачастую может выявить
его за шесть часов до того, как человек заметит первые симптомы, и
спасти множество жизней» 4.
Никаких рецензируемых доказательств точности своей модели
Epic не представила. Как и многие другие компании, работающие в
сфере ИИ, она объявила технологию коммерческой тайной. Сторонним

исследователям не удалось проверить громкие заявления. Спустя
четыре года после выпуска модели независимых оценок ее
эффективности все еще не существовало, хотя больницы продолжали
ее внедрять.
Наконец, в июне 2021 года, исследователи из Медицинской школы
Центрального Мичиганского университета опубликовали первое
независимое исследование эффективности модели 5. Провести его
удалось только потому, что сами ученые работали в больнице,
использовавшей эту систему. У них были медицинские карты
пациентов, для которых ИИ делала прогнозы, а также данные о том,
развился ли потом у этих пациентов сепсис.
Результаты оказались шокирующими. Epic утверждала, что
относительная точность предсказаний модели составляет от 76 до 83%.
(Относительная точность показывает вероятность того, что пациент, у
которого разовьется сепсис, получит более высокую оценку риска, чем
тот, у кого сепсиса не будет.) Однако исследование показало, что
реальная относительная точность намного ниже — всего 63%. Для
сравнения:
50%-ная
относительная
точность
равносильна
подбрасыванию монетки. Модель с точностью 63% работает лишь
немногим лучше случайного выбора.
Epic отреагировала на эти сокрушительные результаты
исследования, приведя анекдотические свидетельства от двух
организаций, которые утверждали, что модель «улучшила показатели
смертности» 6. Компания отметила, что десятки тысяч врачей
используют этот ИИ. Если так много больниц применяют эту модель,
разве она может быть настолько плоха?
Оказалось, что, хвастаясь высоким уровнем внедрения, Epic
одновременно предлагала больницам кредиты до $1 млн на
определенных условиях 7, 8. Одним из этих условий было как раз
внедрение модели. Так что неясно, почему ее использовали: потому,
что она хорошо работала, или потому, что это приносило деньги.
В октябре 2022 года Epic прекратила продажи универсальной
модели прогнозирования сепсиса. Вместо этого больницам
предложили обучить модель на данных своих пациентов, прежде чем
применять ее на практике 9. После многих лет упорных заявлений, что
модель спасает жизни людей, Epic пошла на попятный. Одним из
ключевых преимуществ данного ИИ было то, что он не требовал

никаких дополнительных инвестиций со стороны больниц: его можно
было использовать в любом медучреждении сразу после установки на
материале уже имеющихся медицинских записей. Если же больницам
придется самим обучать модель, это означает потерю многих
преимуществ, обещанных подходом plug-and-play.
Модель прогнозирования сепсиса была лишь одной из множества
моделей, разработанных компанией Epic. В некоторых других своих
продуктах компания учитывала такой параметр, как вероисповедание,
например, чтобы предсказать, кто из пациентов не явится на прием.
Вероятно, это приводило к случаям дискриминации по религиозному
признаку 10. Когда этот промах стал достоянием общественности,
недочет исправили, но сама эта ситуация — еще один пример того, как
плохо проверяют продукты на основе ИИ, продаваемые больницам.
История с моделью Epic, прогнозирующей развитие сепсиса, —
наглядная иллюстрация того, как раздувают ажиотаж вокруг ИИ. Мы
наблюдали подобный сценарий бессчетное количество раз: компания с
большой помпой выпускает новое приложение, но не раскрывает ни
методов обучения ИИ, ни того, на каких данных оно происходило.
Журналисты тиражируют заявления компании, цитируют ее
представителей и подогревают интерес к модели. Несмотря на
отсутствие доказательств эффективности, инструмент быстро
внедряют в критически важных областях — и все это на основе
голословных заявлений о его эффективности! Во многих случаях
продукт достаточно долго используют без каких-либо нареканий. А
когда наконец появляются сомнения в его полезности, исследователям
и журналистам, пытающимся вскрыть недостатки модели, приходится
вступать в настоящую войну с компанией. В случае с Epic
потребовались годы академических исследований и публикация
множества отчетов на сайте STAT, посвященном вопросам
здравоохранения, чтобы заставить компанию исправить свой продукт.
Читая эту книгу, вы убедились, что люди верят во всевозможные
мифы об ИИ и что эти мифы способствуют распространению
«змеиного масла». Почему заблуждения оказались такими живучими?
Ответ вы найдете в этой главе. Мы рассмотрим тех, кто создает
основную шумиху вокруг ИИ, — компании, исследователей,
журналистов и общественных деятелей, — и увидим, как они
используют когнитивные искажения, чтобы обмануть общественность.

Компании заинтересованы в ажиотаже вокруг ИИ, потому что их
цель — продать как можно больше своих продуктов. Поэтому они
сыплют заявлениями о «революции в отрасли», якобы совершенной
благодаря их разработкам. Инвесторам, в свою очередь, нравится
финансировать новаторские ИИ-проекты, и, зная это, компании
нахваливают свои модели, даже когда всю работу фактически
выполняют люди 11. Например, компания — разработчик
планировщика x. ai (не имеющая никакого отношения к недавно
запущенной ИИ-компании Илона Маска) рекламировала своего
«персонального ассистента», который якобы автоматически планирует
встречи. «Наш ИИ-специалист по планированию отправит варианты
времени встречи вашим собеседникам с учетом всех дополнительных
деталей», — заявляли разработчики 12, 13. На самом деле компания
наняла людей для исправления ошибок, которые присутствовали почти
в каждом электронном письме, сгенерированном ИИ-планировщиком.
Компания Live Time утверждала, что использует ИИ для выявления
событий, представляющих общественную опасность, например
уличных перестрелок. Она привлекла инвестиции в размере более
$200 млн и заключила контракт на $20 млн с властями американского
штата Юта. Однако проведенный в Live Time аудит показал, что
компания вообще не использовала ИИ 14.
Тем временем исследования в области ИИ переживают кризис
воспроизводимости результатов: множество работ не проходят
независимую проверку, а отсутствие контроля создает у
исследователей соблазн преувеличивать значимость своих работ ради
привлечения внимания и финансирования. Даже действуя из лучших
побуждений, легко допустить ошибки, которые завысят реальную
оценку эффективности продукта.
СМИ, которым постоянно не хватает финансирования,
дополнительно усиливают и без того громкие заявления
исследователей и компаний. У журналистов часто нет ни времени, ни
компетенций для тщательной проверки этих заявлений, поэтому они
выдают за новости слегка отредактированные пресс-релизы и
тиражируют высказывания публичных фигур — интеллектуалов и
руководителей технологических компаний, — вместо того чтобы вести
предметную дискуссию.

Вдобавок людям свойственны когнитивные искажения, из-за
которых мы особенно падки на ажиотаж. Например, мы очеловечиваем
ИИ: относимся к нему как к субъекту, подобному нам самим. Это
порождает неоправданное доверие к ИИ-системам 15. Когнитивные
искажения мешают нам и признавать ограниченность собственного
знания. Зачастую мы убеждены, что хорошо разбираемся в сложных
явлениях, тогда как на самом деле наши знания довольно
поверхностны 16.
В атмосфере всеобщего ажиотажа трудно критически оценивать
заявления об очередных «достижениях» ИИ. В этой главе мы
предлагаем вам решение данной проблемы: понимание того, как
формируются мифы об ИИ, поможет выработать иммунитет к
«змеиному маслу».

Чем шумиха вокруг ИИ отличается от ажиотажа
вокруг других технологий
Наиболее признанный инструмент для отслеживания ажиотажа в
технологической сфере — цикл зрелости технологий Гартнера 17,
разработанный консалтинговой компанией Gartner.
Этот цикл, представленный на рисунке 7.1, описывает пять стадий,
через которые проходит любая развивающаяся технология за время своего
существования, и дает вполне логичное объяснение ажиотажа: запуск новой
технологии сопровождается стремительным ростом интереса вплоть до пика
завышенных ожиданий, когда она оказывается в центре всеобщего
внимания. Эти ожидания никогда не оправдываются, что приводит к
падению интереса. Затем, когда технологию начинают применять на
практике, она постепенно выходит на плато продуктивности, достигая
массового признания и успеха.

Рис. 7.1. Цикл зрелости технологий Гартнера
(Источник: commons.wikimedia.org.)
Где же на этой кривой находится ИИ? В 1995 году, когда Гартнер
впервые опубликовал свой цикл, «интеллектуальные агенты» уже достигли
пика завышенных ожиданий. Находимся ли мы сейчас во впадине
разочарования? Или технологии вроде ChatGPT вывели ИИ на плато
продуктивности? В теории, если бы мы могли точно определить, что
искусственный интеллект находится на пике завышенных ожиданий, это
помогло бы умерить оптимизм, пока технология не будет готова к реальному
применению. А если ИИ действительно оказался в нижней точке кривой, то,
возможно, стоит продолжать двигаться вперед, несмотря на все проблемы…
К сожалению, цикл зрелости технологий Гартнера не слишком
подходит для отслеживания того, как внедряется ИИ и насколько он
полезен. Технологии редко развиваются по этой модели 18. Каждый год
компания Gartner публикует список технологий с указанием места, которое
они занимают в цикле. Более четверти новинок появляются в списке всего
на год, и лишь единицы проходят все стадии, достигая плато
продуктивности. Одни технологии быстро исчезают; цикл развития других
длится на десятилетия дольше, чем предполагалось. При этом цикл
Гартнера никак не учитывает неудачные технологии: в нем нет стадии
полного провала. Да, некоторые успешные технологии действительно
следуют этой модели, как, например, Всемирная паутина с лопнувшим
пузырем доткомов [84]. Но, помня о технологиях, которые прошли этот путь
и добились признания, мы обычно забываем о тех, что так и не стали
успешными или полезными.
Недостатки цикла Гартнера становятся еще очевиднее, когда речь
заходит об ИИ, ведь под этим названием подразумевается множество
различных технологий. У некоторых видов искусственного интеллекта (у
того же предиктивного ИИ) есть фундаментальные ограничения. Так что,
даже если бы цикл Гартнера действительно работал, разные ИИ-продукты
находились бы на разных стадиях. В действительности исследования в этой
области все время колебались между пиками и падениями, а не следовали
модели Гартнера.
Для того чтобы лучше понять, чем ажиотаж вокруг ИИ отличается от
шумихи вокруг других технологий, сравним искусственный интеллект с
криптовалютами. Их история началась с появления в 2009 году биткоина, но
затем для базовой технологии было придумано множество других
применений — от децентрализованного владения цифровым искусством до

социальных сетей. Все эти направления объединились под общим
названием Web3.
Между ИИ и Web3 есть сходство. Оба термина — обобщающие. Обе
технологии привлекли значительное внимание венчурных капиталистов.
Как и компании в сфере ИИ, Web3-компании подогревали ажиотаж вокруг
продукта и не всегда были честны в своих заявлениях. Как и в случае с ИИ,
ущерб от криптоприложений значителен: один только майнинг биткоина
потребляет больше энергии, чем целые страны, к примеру Дания, Чили или
Финляндия 19.
Ажиотаж вокруг криптовалют достиг пика в начале 2022 года.
Криптобиржи — платформы для покупки и продажи криптовалют —
потратили сотни миллионов долларов на рекламные кампании. Ларри Дэвид
и Мэтт Дэймон рекламировали крипту в роликах, показанных во время
Супербоула. Однако уже в июне 2022 года, через четыре месяца после
чемпионата, стоимость биткоина упала более чем на 50%, а в ноябре 2022
года FTX, третья по величине криптобиржа, объявила о банкротстве.
Клиенты потеряли более $11 млрд. Руководителя FTX Сэма БэнкманаФрида, которого считали лицом криптоиндустрии, признали виновным в
мошенничестве, заговоре и отмывании денег. Знаменитости, снимавшиеся в
рекламе FTX, также столкнулись с коллективным иском 20. Спустя год
после ярких рекламных кампаний на Супербоуле не показали ни одной
рекламы криптовалют 21. Критик Web3 Молли Уайт фиксирует финансовый
ущерб от криптовзломов и мошеннических схем, подтвержденный
документально 22. Сфера практически не регулируется, так что жертвам
мошенников практически не на что рассчитывать. С 2021 по 2023 год из-за
мошенников было потеряно более $50 млрд.
Ждет ли ИИ подобный крах?
Между ИИ и криптовалютой есть одно фундаментальное различие: обе
технологии превозносят как будущее интернета, однако крипта и Web3 не
приносят общественной пользы. Это не просто проявление скептицизма:
наше мнение основано на опыте. В 2016 году Арвинд стал соавтором
учебника по технологиям криптовалют. Книгу использовали в рамках
полутораста учебных курсов по всему миру, а онлайн-курс на ее основе
собрал более 700 000 участников. В 2014 году, когда Арвинд начал работу
над учебником, технологии еще были новы и казалось, что на их основе
можно будет создавать полезные продукты. Однако со временем стало ясно:
криптовалюта — это решение, ищущее свою проблему. С 2018 года Арвинд
перестал работать над развитием этих технологий, сосредоточившись на
помощи в формировании государственной политики, направленной на
снижение вреда от крипторынка.

В отличие от Web3, ИИ может быть чрезвычайно полезным.
Большинство приложений в наших смартфонах используют его в той или
иной форме. Проблема в несоответствии между заявлениями и реальностью.
И если для противодействия криптохайпу достаточно совета «Просто не
верьте», то ажиотаж вокруг ИИ требует более тонкого подхода.

Суета вокруг ИИ: история и культура
В отличие от того, что предполагает цикл Гартнера, история ИИ
— череда взлетов и падений. Взлеты называют «веснами»: это
периоды бурного роста, щедрого финансирования и всеобщего
ажиотажа. Падения известны как «зимы»: деньги заканчиваются,
исследования буксуют, а восторги сменяются разочарованием.
Как мы уже рассказывали в четвертой главе, в 1958 году Фрэнк
Розенблатт продемонстрировал, что кибернетическая модель мозга под
названием «перцептрон» умеет распознавать картинки. Открытие
встретили с восторгом, но 10 лет спустя массачусетские ученые
Марвин Минский и Сеймур Паперт доказали: перцептроны способны
решать лишь ограниченный круг задач. В 1972 году математик Джеймс
Лайтхилл в отчете, заказанном британским правительством, вообще
заявил, что бо́ льшая часть достижений в области ИИ — всего лишь
иллюзия 23. Эти удары подорвали финансирование отрасли и ускорили
наступление первой «зимы ИИ» 24.
В 1980-х работа снова закипела. На этот раз всех воодушевило
появление так называемых экспертных систем. Исследователи
опрашивали специалистов, например врачей, чтобы понять, как те
принимают решения, и превращали эти знания в правила и эвристики.
Затем экспертные системы использовали эти правила для собственных
решений. В некоторых случаях они неплохо работали, но системы
оказались слишком ненадежными: они не могли справляться с
ситуациями, для которых не было готовых правил. К тому же системы
было сложно обновлять с учетом новой информации. В итоге к концу
десятилетия и ажиотаж, и финансирование сошли на нет. «После того
как в 1990 году я защитила докторскую, — вспоминает известная
исследовательница ИИ Мелани Митчелл, — мне посоветовали даже не
упоминать словосочетание „искусственный интеллект“ в моем
резюме» 22.
Эти чередующиеся взлеты и падения показывают, что в истории
ИИ много чрезмерного оптимизма. Конечно, в краткосрочной
перспективе шумиха может привлечь огромные инвестиции и
подстегнуть развитие технологии. Но она же задает слишком высокую

планку для практических результатов, и, когда польза от приложений
ИИ не оправдывает ожиданий, наступает очередная «зима».
Исследования в области ИИ напрямую зависят от корпоративного
финансирования 25, 26. Современные технологии, такие как чат-боты,
требуют крупных вложений как в оборудование, так и в человеческие
ресурсы. Для большинства академических коллективов такие затраты
непосильны. Развитие мощнейших моделей ИИ от современных
корпораций, таких как OpenAI, Google и Meta [85], — результат их
собственных усилий. Все больше исследователей ИИ находятся в
зависимом положении, предпочитая сотрудничество с корпорациями
независимым проектам. Сейчас около трех четвертей PhD в сфере ИИ
выбирают бизнес, а не науку, тогда как 20 лет назад таких была только
четверть 27.
Наблюдения за тем, как исследования в области компьютерных
наук способствуют разработке коммерческих приложений, ведутся на
протяжении десятилетий 28. Однако большинство исследователей в
области информатики не считают проблемой тесные связи с бизнесом.
Считается вполне приемлемым, что исследовательские приоритеты
расставляются с оглядкой на применение их результатов в ИИиндустрии. Одно из следствий такой ситуации — ограниченная
эффективность
академических
исследований
в
качестве
сдерживающего фактора для бизнеса.
ИИ в этом отношении отличается от таких областей, как
медицина. Впрочем, влияние корпораций и здесь ощутимо 29.
Например, фармацевтические компании зачастую спонсируют
исследования, касающиеся медикаментов, которые они сами
производят, что ставит под сомнение добросовестность научных
исследований. К счастью, в медицине влияние бизнеса стало поводом
для дискуссий на всех уровнях, темой нескольких книг и даже привело
к внедрению строгих норм раскрытия информации в случае конфликта
интересов 30, 31.
Еще одна причина ажиотажа вокруг ИИ — недостаточная
концентрация на научной стороне вопроса. Вместо поиска объяснений,
почему
ИИ
работает,
внимание
уделяется
повышению
производительности систем на тестовых наборах данных. Это вполне
объяснимо, учитывая источники финансирования и влияние бизнеса:
корпорации предпочитают инженерные достижения, которые можно

коммерциализировать, научному осмыслению. Часто продукты
выпускают раньше, чем ученым удается объяснить, как они работают,
поэтому последнее порой воспринимается как волшебство. В
результате исследователи знают, какие технологии ИИ эффективны, но
по-прежнему не знают почему— все из-за нехватки времени и
ресурсов.
Эта ситуация не осталась без внимания. В 2017 году Али Рахими
и Бенджамин Рехт, исследователи ИИ, были удостоены награды Test of
Time Award на NeurIPS — одной из крупнейших в мире конференций в
сфере ИИ. Эта награда вручается за работы, опубликованные 10 лет
назад и оказавшие значительное влияние на данную область. После
присуждения награды Рахими выступил с 20-минутной речью, в
которой яростно раскритиковал исследования в данной области 32. Он
сравнил их с алхимией из-за недостаточной строгости и низких
стандартов доказательности. Рахими подверг критике стремление
побить предыдущие рекорды на эталонных наборах данных и призвал
ученых сосредоточиться на вопросе, почему ИИ-инструменты
работают. «Когда вы создаете системы для обмена фотографиями,
алхимия, возможно, и приемлема. Но мы уже на другом уровне. Мы
разрабатываем системы, которые управляют здравоохранением и
влияют на гражданский диалог, — сказал он. — Мне бы хотелось жить
в обществе, где системы основаны на точных, проверяемых и
разносторонних знаниях, а не на обманчивых принципах алхимии».
Рахими не одинок в своей критике поведения сообщества. «В
1892 году психолог Уильям Джеймс говорил о психологии того
времени: „Не наука, а лишь надежда обрести научность“, — пишет
Мелани Митчелл. — Это отлично описывает ситуацию с современным
ИИ» 22. В 2018 году исследователи Зейкери Липтон и Джейкоб
Штайнхардт опубликовали работу под названием «Пугающие
тенденции в исследованиях машинного обучения», где указали на ряд
повторяющихся проблем в этой области 33. Например, исследователи
зачастую делают спекулятивные заявления об ИИ, которые только
благодаря их авторитету воспринимаются как истина, но не имеют
должного
эмпирического
подтверждения.
Манипулятивные
формулировки — еще один способ создать впечатление, будто ИИинструменты работают лучше, чем на самом деле; например, такой
эффект создают утверждения, что искусственный интеллект обладает

уровнем понимания текста, сравнимым с человеческим. Доказано это
разве что тестами на эталонных наборах данных; в реальности
подтверждений подобным высказываниям нет.
Такое поведение проявляется и в пренебрежительном отношении
к узким специалистам, которое присуще многим исследователям и
разработчикам ИИ. В 2016 году пионер в сфере искусственного
интеллекта Джеффри Хинтон заявил: «Если вы рентгенолог, то вы —
койот, висящий над обрывом и еще не взглянувший вниз, чтобы
осознать: там нет земли. Люди должны немедленно прекратить
обучать рентгенологов. Ведь совершенно очевидно: еще пять лет
развития глубокого обучения — и они станут не нужны» 34. Однако к
2022 году в мире все еще не хватало врачей этой специальности 35.
ИИ не то что не заменил их — даже близко к этому не подошел.

Прозрачность? А зачем?
Вернемся к модели, разработанной Epic для диагностики сепсиса.
Компания никогда не публиковала ее, так что модель не подвергалась
независимой проверке. В отличие от материалов, проходящих научное
рецензирование, заявления Epic не были подтверждены сторонними
экспертами. Это не единичный случай: компании, которые
разрабатывают подобные модели (помните COMPAS или систему для
найма от HireVue?), обычно оставляют их недоступными для
проверок, утверждая, что это коммерческая тайна.
Неудивительно, что заинтересованные в успехе продукта
компании ставят свои коммерческие интересы выше прозрачности. Во
всех отраслях бизнеса, где выгодно скрывать недостатки, именно так и
поступают. Например, потребовались десятилетия, чтобы установить
связь между курением и раком. Крупные табачные компании
оказывали давление на исследователей, искажали первичные данные,
демонстрирующие эту связь, и потратили миллионы долларов на
создание ложного впечатления, будто табачный дым не наносит
долговременного вреда легким. В 1980-х годах компании Shell и
ExxonMobil, занимающиеся добычей ископаемого топлива, знали о
воздействии сжигания нефтепродуктов на климат 36, но не
обнародовали эти данные — напротив, преуменьшали вред и
деятельно выступали против законодательства, которое могло бы
помочь в борьбе с изменением климата 37, 38.
В 2021 году наши коллеги Эми Уайнкофф и Элизабет Уоткинс
провели исследование молодых ИИ-стартапов 39. Они взяли интервью
у 23 предпринимателей, чтобы понять, как их стартапы используют
ИИ. Результаты оказались вполне ожидаемыми: поскольку инвесторы
хотят вкладываться в приложения, работающие с высокой точностью,
компании манипулируют метриками, чтобы добиться высоких
показателей точности.
Вот один пример. Распространенным способом измерения
точности в классификации изображений является top-N. Когда модель
ИИ пытается определить, что изображено на фотографии (допустим,
это снимок собаки), она выдает множество догадок. Показатель top-N

определяет, может ли модель идентифицировать изображение за
первые N попыток. Если N равно трем и первые три варианта,
выданные моделью, — кошка, собака и лев, модели ставят высший
балл: правильный ответ (собака) есть среди первых трех
предположений. Увеличение количества попыток упрощает задачу.
Показатель точности top-5 всегда будет выше, чем top-3, поскольку у
модели есть пять попыток идентифицировать изображение. Показатель
top-10 будет еще лучше.
Описывая, как стартапы пытаются измерять точность своих
систем, один из разработчиков отметил:
«Мы должны убедиться, что показатели точности составляют 90%
или выше […]. Если необходимо, мы перейдем от top-3 к top-5: когда
значение начинается с 9, многие даже не задумываются о том, что
именно измерено. У людей искаженные представления о том, что
считать хорошим или плохим» 40.
Иными словами, разработчики увеличивают N до тех пор, пока
точность не достигнет 90%. В этот момент компания становится более
привлекательной для инвесторов, даже если фактические результаты
оставляют желать лучшего. Есть и другие способы манипулировать
показателями точности, чтобы представлять продукцию в лучшем
свете.
Так поступают не только предприниматели. У венчурных
капиталистов, которые их финансируют, тоже есть вполне
естественный стимул:
«Они стремятся раздуть ажиотаж, обеспечить широкий охват в
СМИ, произвести фурор, чтобы на следующем раунде привлечь
большее финансирование и хорошо выглядеть перед своими
партнерами. Это может противоречить тому, что действительно
необходимо для медленного и стабильного роста бизнеса».
Даже если компании не манипулируют показателями точности,
результаты измерений зачастую завышают реальную полезность ИИ.
Как мы уже обсуждали в главе 4, основной метод оценки полезности
ИИ — эталонные наборы данных. Однако их применение в индустрии
избыточно 41. Они подвергаются критике за редукцию сложного,
многомерного анализа до единственного показателя 42. Когда эталоны
применяют для сравнения людей и роботов, это может ввести в

заблуждение, заставляя поверить, что ИИ скоро сможет заменить
человека.
Например, компания OpenAI заявила, что GPT-4 «демонстрирует
уровень, близкий к человеческому, на профессиональных и
академических экзаменах» и даже «достиг девяностого перцентиля,
сдавая экзамен на право адвокатской деятельности» 43. Многие
восприняли это как знак, что ИИ скоро сможет заменить адвокатов.
Однако работа юриста не ограничивается тем, чтобы весь день
отвечать на экзаменационные вопросы. Реальная полезность не равна
успешному прохождению теста. Более того, профессиональные
экзамены, особенно адвокатские, зачастую неоправданно акцентируют
внимание на теоретическом знании, недооценивая практические
навыки, которые труднее измерить стандартными тестами 44. В итоге
такие тесты не только не демонстрируют фактическую полезность ИИ,
но и переоценивают его плюсы.

Кризис воспроизводимости в исследованиях
ИИ
В шумихе заинтересованы не только компании-разработчики.
Значительная часть информационного шума, сопровождающего
достижения в области ИИ, исходит от исследователей. Однако эти
достижения довольно шатки: исследования в области ИИ переживают
кризис воспроизводимости. Что же это такое и почему это важно?
Представьте себе мир, где каждый раз, проводя один и тот же
научный эксперимент, вы получаете новый результат. Неважно,
насколько тщательно вы настраиваете приборы или насколько
скрупулезно измеряете интересующие вас параметры. В таком мире
мы не можем измерить силу земного притяжения, а значит, не
способны рассчитать траекторию полета, создать самолет, высадиться
на Луну. Мы не можем проверить эффективность лекарств и вакцин, а
следовательно, не можем ни полагаться на новые методы лечения
смертельных заболеваний, ни контролировать или предотвращать
тяжелейшие последствия пандемий.
Воспроизводимость, или возможность независимой проверки
результатов научного эксперимента, является краеугольным камнем
научного исследования. Если ученые не могут неоднократно повторить
эксперимент из исследования и получить тот же самый результат, они
не могут доверять этому результату.
Как же проверяют достоверность результатов исследования?
Зачастую у нас нет ресурсов, чтобы повторить каждый эксперимент
много раз: для корректного проведения экспериментов нужны деньги,
время и доступ к необходимому оборудованию. Поэтому сегодня
основной способ оценки качества научного исследования —
рецензирование. Когда исследователи публикуют статью с описанием
эксперимента, эксперты в данной области — обычно от двух до пяти
ученых, ранее работавших над схожими темами, — оценивают
тщательность проведения исследования. Рецензирование — знак
качества научной работы. Однако и оно не панацея: ошибки все равно
возможны.

Когда в разных научных областях ученые попытались
систематически проверять воспроизводимость экспериментов,
оказалось, что многие рецензированные исследования не
воспроизводятся. Пожалуй, самый яркий случай произошел в 2015
году: большая группа ученых попыталась воспроизвести предыдущие
исследования по социальной психологии, но смогла повторно
получить лишь 36% результатов, хотя все описания исследований
прошли рецензирование и были опубликованы в ведущих научных
журналах.
Когда ученые из других научных областей попытались
воспроизвести результаты прошлых исследований, они тоже
столкнулись с неприятным открытием: большинство экспериментов
повторить не удалось 45, 46.
В 2018 году два норвежских исследователя, Одд Эрик Гундерсен и
Сигбьерн Кьенсмо, решили проверить, как обстоят дела с
воспроизводимостью в сфере ИИ. Они провели кропотливый анализ
400 статей из ведущих журналов, пытаясь понять, достаточно ли в них
информации, чтобы другой ученый мог повторить описанный
эксперимент. Результат оказался обескураживающим: ни одна из
статей не соответствовала всем критериям воспроизводимости!
Авторы не предоставляли ни исходного кода, ни данных. Более того,
большинство работ едва дотягивали до 20–30% необходимых
требований. В такой ситуации даже сама проверка воспроизводимости
результатов становилась практически невозможной.
Последние несколько лет мы, авторы этой книги, тоже
погрузились в проблему воспроизводимости. В 2020 году мы вели
семинар для аспирантов о границах прогнозирования, в рамках
которого пытались разобраться, что вообще поддается предсказанию, а
что — нет. Выяснилось, что почти все социальные явления, особенно
связанные с поведением людей, предсказывать крайне сложно. Это
полностью согласуется с тем, о чем мы говорили в главе 3. Но нам
попался один любопытный случай — предсказание гражданских войн,
отдельное направление в политологии, которое пытается определить,
где и когда могут вспыхнуть внутренние конфликты. Казалось бы,
предугадать начало политического противостояния и насилия —
задача из разряда невыполнимых. Однако в 2016 году в престижном
политологическом журнале появилась статья, авторы которой

утверждали, что с помощью ИИ им удается предсказывать
гражданские войны с невероятной точностью 47. За этой статьей
последовали и другие публикации, доказывавшие, что эта технология
намного эффективнее традиционных статистических методов
прогнозирования подобных конфликтов 48, 49. Нам стало интересно,
почему ИИ так хорошо справляется именно с предсказанием
гражданских войн, хотя в других социальных сферах его успехи куда
скромнее. Мы решили копнуть поглубже.
К нашему изумлению, мы нашли ошибку, из-за которой
эффективность ИИ была столь сильно преувеличена. Модели
тестировались на тех же данных, на которых проходило обучение, —
классический случай «натаскивания на сдачу экзамена». Такая ошибка
известна как утечка данных, она нарушает главное правило разработки
ИИ: никогда не проверяй систему на обучающей выборке! Когда мы
исправили эту ошибку, оказалось, что ИИ работает ничуть не лучше
моделей 20-летней давности.
Проблема утечки данных — явление, хорошо известное в мире
ИИ. Есть даже анекдот из юных дней систем компьютерного зрения:
кто-то якобы создал классификатор, который эффективно различал
фотографии советских и американских танков. А потом выяснилось,
что советские танки просто снимали в пасмурную погоду, а
американские — в солнечную. Система вовсе не научилась отличать
танки друг от друга: она просто определяла яркость снимков.
Это открытие породило новый вопрос: поскольку ИИ все чаще
используется в научных исследованиях, как часто утечки данных
искажают результаты в других областях? Мы погрузились в изучение
литературы — и оказалось, что такие ошибки встречаются сплошь и
рядом. Сотни статей по более чем десятку научных дисциплин — от
медицины и психиатрии до компьютерной безопасности и геномики —
страдали той же «болезнью» 50. Одну из статей с ошибками написал в
соавторстве сам Арвинд: даже те, кто изучают ограничения ИИ, могут
попасться в эту ловушку.
В июле 2022 года, опубликовав результаты нашего исследования,
мы организовали онлайн-семинар о воспроизводимости результатов
51. Тема казалась узкоспециальной, и мы ожидали, что будет пара
десятков участников. Однако зарегистрировались более 1700
исследователей из 500 организаций в 30 с лишним странах. Это

показало нам масштаб кризиса в науке, опирающейся на ИИ. Ученые
из самых разных областей были обеспокоены проблемами
воспроизводимости исследований и искали пути их решения.
Впрочем, мы уже поняли: системных решений этого кризиса пока
нет. ИИ в науке все еще делает первые шаги, и малейший недочет
может полностью исказить результаты. В одной из изученных нами
статей ошибка была всего в одной строчке кода из 10 000, но она
кардинально изменила результаты исследования. Мы вовсе не хотим
сказать, что ученые небрежны. Наш вывод проще: к любым
исследованиям с использованием ИИ нужно относиться с изрядной
долей скептицизма.
Другая причина отсутствия воспроизводимости — зависимость
ученых от коммерческих моделей ИИ. Взять хотя бы Codex от OpenAI:
эту модель использовали при проведении сотни с лишним научных
работ. Она действительно полезна для программирования, но, как и
большинство продуктов OpenAI, не имеет открытого исходного кода:
исследователи могут работать с ней, только если компания
предоставит доступ. В марте 2023 года OpenAI внезапно объявила, что
через три дня прекращает поддержку Codex 52. Cотни научных работ
могли моментально стать невоспроизводимыми: независимые
исследователи просто не смогли бы проверить их достоверность и
использовать полученные результаты. После волны возмущения
OpenAI пересмотрела свое решение. Но сам случай показателен:
львиная доля исследований в области ИИ находится в заложниках у
крупных компаний с их прихотями.
Конечно, мы не хотим сказать, что все результаты научных работ с
использованием ИИ недостоверны или невоспроизводимы. Эта
технология уже привела к настоящим научным прорывам. Например,
теперь она помогает определять структуру белков — задача, которая
раньше требовала многочасовой работы людей в лабораториях! Не зря
журнал Science назвал это достижение прорывом 2021 года. Но
поскольку значительную часть результатов не удается повторить,
нужен более системный подход к оценке и улучшению
воспроизводимости.
Некоторые исследователи уже взялись за решение этой проблемы.
Одну из самых заметных попыток предприняли на конференции
NeurIPS в 2019 году. Годом раньше всего 50% докладчиков

конференции делились своим кодом и данными. В 2019 году
профессор Университета Макгилла Жоэль Пино возглавила работу по
созданию контрольного списка воспроизводимости, который мягко
подталкивал авторов к тому, чтобы добровольно публиковать код и
данные. Благодаря этой простой мере число работ с открытыми
материалами выросло до 75%. Более того, Пино с коллегами запустили
«соревнование по воспроизводимости»: независимые исследователи
могли выбрать любую статью, опубликованную в NeurIPS-2019, и
попробовать воспроизвести описанные в ней результаты. Теперь такие
мероприятия — неотъемлемая часть крупнейших ИИ-конференций. А
после нашего семинара по воспроизводимости мы разработали
рекомендации,
как
повысить
воспроизводимость
научных
исследований с применением ИИ 53. Посмотрим, принесут ли все эти
усилия долгосрочные плоды.
Не все заявления об ИИ одинаково просто проверить, и не каждый
может это сделать. Например, если компания хвастается, что их
приложение для распознавания речи правильно записывает 99% слов,
вам не обязательно принимать это на веру: достаточно потратить пару
минут, чтобы проверить, насколько точно оно распознает вашу речь.
Конечно, результаты могут различаться в зависимости от языка,
акцента и других факторов, но вас-то интересует только одно:
правильно ли ИИ распознает ваш голос.
А вот если больница внедряет ИИ для прогнозирования сепсиса,
проверить его точность уже не получится. Более того, даже отдельно
взятый врач не сможет сказать, насколько хорошо работает система:
каждый специалист имеет дело лишь с небольшой группой пациентов,
а для объективной оценки нужно исследование с участием сотен
людей. Еще сложнее с прогнозами, которые можно проверить только
спустя годы, например предсказания гражданских войн. И это мы еще
не коснулись проблемы доступа! Многие системы ИИ — закрытые, и
изучать их могут только сотрудники компаний-разработчиков.

Как СМИ вводят нас в заблуждение
День за днем медиа бомбардируют мир историями о новых чудесах
ИИ. Вместо взвешенного анализа новости пестрят громкими
публикациями о впечатляющих прорывах, умалчивая об ограничениях,
которые если и упоминаются, то под возмущенными заголовками о
«роботах-убийцах». Неудивительно, что читатели теряются, не понимая,
чему верить. Начиная работу над книгой, мы решили разобраться, как
раздувается шумиха вокруг ИИ, и проанализировали 50 новостных статей
54. Выяснилось, что журналисты бездумно тиражируют заявления PRслужб компаний об исследованиях, злоупотребляют изображениями
роботов, очеловечивают ИИ и замалчивают его недостатки. Этим грешат и
ведущие издания вроде The New York Times и CNN, и профильные СМИ.
Даже иллюстрации к статьям создают ложное представление о работе
ИИ. Материалы сплошь и рядом сопровождаются изображениями роботов
вроде того, что на рисунке 7.2, даже когда речь идет о технологиях, не
имеющих к роботам никакого отношения. Это создает у людей ошибочное
впечатление, будто ИИ и робот — одно и то же. Миф оказался на
удивление живучим: одно британское исследование показало, что каждый
четвертый респондент отождествляет ИИ со «страшным роботом». На
самом деле большинство современных систем ИИ просто анализируют
данные в поисках закономерностей. Они больше похожи на продвинутый
Excel, чем на Терминатора.

Рис. 7.2. Статьи об ИИ часто иллюстрируют изображениями роботов,
даже когда в тексте о них нет ни слова
Майкл Хилцик из Los Angeles Times написал статью о нашей работе,
разоблачающей ажиотаж вокруг ИИ 35. Но в качестве иллюстрации к этой
статье тоже было использовано изображение робота. Это подчеркивает,
что журналистика стремится к сенсационности в ущерб ясности.
Финансовые интересы преобладают над точностью, превращая новости в
кликбейт. На рисунке 7.3 показано, насколько последний распространен в
новостях об ИИ.

Рис. 7.3. Кликбейтные заголовки в СМИ после запуска Bing
(февраль 2023 года)
Прежде чем общественности стали известны ограничения модели
Epic для прогнозирования сепсиса, материалы в СМИ о ней были полны
похвал 55. Одна из статей была озаглавлена «Фолкнер из Epic возлагает
большие надежды на технологию Cosmos» и содержала лишь цитаты из
речей генерального директора 56. Другая статья превозносила ориентацию
компании на использование ИИ3. Единственными источниками
информации были специалисты из той же Epic: журналисты часто просто
повторяют заявления пресс-службы компании.
Еще репортеры любят использовать громкие метафоры, которые
искажают реальную ситуацию. Как отмечает Эмили Бендер в своей
работе, посвященной анализу шумихи вокруг ИИ, фразы вроде
«элементарный акт предсказания следующего слова» или «магия ИИ»
представляют технологию как магию 57. В статье The New York Times о
голосовом помощнике Google говорилось: «Я прошу богов искусственного
интеллекта включить свет» 58. Такие метафоры создают вокруг ИИ ореол
таинственности.
Когда в новостях рассказывают о научных исследованиях
искусственного интеллекта, часто приводятся показатели точности.
Например, статья, опубликованная в Bloomberg в 2022 году и посвященная
прогнозированию преступлений, имела следующий заголовок: «Алгоритм
утверждает, что может предсказывать еще не совершенные преступления в
американских городах» 59. В статье говорилось, что в исследовании
модель демонстрирует 90%-ную точность. Мы уже видели, как
разработчики могут повлиять на этот показатель, — например, меняя
метрику с top-3 на top-5. Точно так же и у исследователей есть множество
способов преувеличить точность прогноза. Авторы этой статьи
утверждали, что модель имеет погрешность в один день (то есть
предсказание считается верным, если преступление произошло в тот же
день, который они указали, на день раньше или на день позже). Однако в
новостных статьях редко объясняют, как оценивают производительность
модели, например ее точность, и что именно они из себя представляют.
Как уже упоминалось в главе 3, точность — вещь весьма субъективная и
стандарты «хорошей» точности варьируются в зависимости от задачи.

Тем не менее свыше десятка новостных изданий поспешили
рассказать о работе алгоритма прогнозирования преступлений под
заголовками «„Особое мнение“ становится реальностью? Новая
технология ИИ предсказывает преступления на недели вперед с точностью
90%» 60, «Модель ИИ, которая предсказывает преступления, оказывается
права девять раз из десяти» 61 и «Новый алгоритм способен
предсказывать преступления на неделю вперед с 90%-ной точностью» 62.
Но дело не только в журналистах. Пресс-релиз самого Чикагского
университета вышел под заголовком «Алгоритм предсказывает
преступления за неделю, но выявляет предвзятость в действиях полиции»
63. Так что нет ничего удивительного в том, что многие статьи
использовали схожие заголовки.
Это тоже распространенная ситуация. И исследователи, и прессслужбы университетов стремятся к тому, чтобы их работа привлекала как
можно больше внимания, и на этом пути они невольно подогревают
ажиотаж. Исследование показало, что значительная доля шумихи вокруг
научных открытий исходит именно от пресс-релизов 64, 65.
Существуют и более изощренные способы дезинформации читателей.
Например, показатели точности могут быть завышены, если одно из
явлений встречается гораздо чаще другого. Когда речь идет о
прогнозировании гражданских войн, понятно, что мирное время всегда
продолжительнее, чем периоды вооруженных конфликтов. Поэтому
модель может демонстрировать 99%-ную точность, просто постоянно
предсказывая мир.
Причин ажиотажа в СМИ вокруг ИИ множество. Одна из главных —
финансовое давление на медиа 66. Расцвет социальных сетей и
ориентированной на кликбейт журналистики привел к резкому снижению
возможностей проводить глубокие расследования. К тому же ИИ — новая
и сложная тема, и журналистам часто не хватает знаний, чтобы
разоблачить «змеиное масло», предлагаемое компаниями 51. Даже если
журналисты сомневаются в заявлениях разработчиков, доступа к
экспертному мнению об ограничениях ИИ у них может не быть. В то же
время у компаний, продающих ИИ, полно средств на пиар, а если
журналист позволяет себе чрезмерную критику, компания может закрыть
ему доступ к новым продуктам и запретить брать интервью у своих
сотрудников. У корреспондента, загруженного работой и стремящегося
сохранить добрые отношения с компанией, может возникнуть соблазн
слегка подправить пресс-релиз и сразу опубликовать его.

Авторитет — двигатель шумихи
В 2021 году Генри Киссинджер, Эрик Шмидт и Дэниел
Хаттенлохер выпустили книгу «Эпоха ИИ» 67. Авторы — видные
общественные деятели с опытом работы в правительстве,
промышленности и академической среде: Киссинджер — бывший
государственный секретарь США, Шмидт — экс-глава Google, а
Хаттенлохер — декан Колледжа вычислительной техники Шварцмана
в MIT. Казалось бы, такая книга могла бы стать гидом по ИИ, объясняя
его возможности, применение и ограничения.
Однако на деле книга в основном раздувает ажиотаж вокруг
искусственного интеллекта. Вместо того чтобы сформировать у
читателей максимально полное и точное представление об ИИ, она
вводит их в заблуждение насчет его возможностей и рисков. Такое
бывает нередко, но эти авторы известны как настоящие эксперты.
Когда такие авторитетные общественные деятели раздувают шумиху,
ее последствия усугубляются.
Известные исследователи Мередит Уиттакер и Люси Сачман
отреагировали на книгу разгромной рецензией под заголовком «Миф
об искусственном интеллекте» 68, указав на допущенные в ней
преувеличения. Так, даже призывая к ответственной разработке ИИ,
авторы книги намекают, что регулирование является ошибкой. Кроме
того, Уиттакер и Сачман отмечают, что, к примеру, у Шмидта есть
веские финансовые причины расхваливать технологии Google, откуда
взяты
многие
положительные
примеры
применения
ИИ.
Неудивительно, что в книге искусственный интеллект изображен как
всемогущая технология.
«Эпоха ИИ» полна преувеличений. Авторы представляют ИИ как
нечто вроде сверхразума. Цитаты, подобные приведенной ниже,
намекают, что речь идет о мистической сущности, обладающей
доступом к иной реальности:
«Появление ИИ вынуждает нас задуматься, существует ли
разновидность логики, которую люди еще не постигли или не могут
постигнуть, исследуя аспекты реальности, о которых мы никогда не
знали и, возможно, никогда не узнаем напрямую».

В первой же главе слово «реальность» используется в этом
контексте 15 раз. Однако утверждения о «непознаваемости» ИИ не
соответствуют действительности: мы прекрасно знаем, как его
обучают (вспомните главу 4). По сравнению с биологическими
системами, включая людей, ИИ гораздо меньше напоминает «черный
ящик». Тем не менее о поведении животных и людей известно многое,
этим вопросам посвящены целые научные направления. Если нам не
хватает знаний об ИИ, то дело исключительно в том, что мы еще
слишком мало вложили в его изучение в сравнении с тем, что
затрачено на его создание. А когда конкретный ИИ-продукт остается
для нас загадкой, это чаще связано с тем, что производитель мешает
его изучать. Все это можно изменить.
Представляя искусственный интеллект как непознаваемый
феномен, мы тем самым заранее ограничиваем свою способность
влиять на него, поскольку позиционируем ИИ как нечто, что мы
никогда не сумеем понять и, следовательно, никогда не сможем
подвергнуть сомнению. При этом самые актуальные темы не
затрагивают внутренние механизмы работы ИИ. Например, чтобы
оценить эффективность системы Epic или любой другой распиаренной
модели, которые мы обсуждали, не нужно разбираться в том, как она
работает, — важнее знать, как реализовались прогнозы.
Даже критикуя ИИ, авторы книги умудряются создавать вокруг
него шумиху. Исследователь Ли Винсел назвал это явление критихайпом — критикой, которая, вопреки своим задачам, превозносит
технологию как всесильную, а не указывает на ее ограничения 69.
Например, авторы утверждают, что слишком мало экспертов
занимаются изучением вреда, причиняемого ИИ. Вместо того чтобы
обсуждать уже существующие проблемы, они говорят о
гипотетической революции, которая изменит отношения между
людьми и реальностью:
«Но все эти и другие возможности [ИИ] мы получаем — пусть и
без особой помпы — ценой изменения наших отношений с разумом и
реальностью. Это революция, к которой оказались не готовы ни
философская мысль, ни общественные институты».
В книге «Эпоха ИИ» также повторяется распространенная
ошибка: авторы отказываются признавать ИИ зонтичным термином.
Они свалили в одну кучу все подряд: предиктивный ИИ, генеративный

ИИ и алгоритмы для модерации контента. Описание успехов ботов в
шахматах соседствует с громкими заявлениями об эффективности ИИинструментов «в медицине и защите окружающей среды, на
транспорте, в правоохранительных органах, в сфере обороны и других
областях».
Еще один яркий пример того, как общественные деятели
раздувают ажиотаж: в марте 2023 года, меньше чем через месяц после
выпуска GPT-4, Институт будущего жизни опубликовал открытое
письмо. В нем содержался призыв на полгода приостановить
разработку языковых моделей, «более мощных», чем GPT-4 70.
Письмо подписали тысячи людей, включая известных исследователей
и технологов вроде Эрика Шмидта и Илона Маска. В документе
поднимались тревожные вопросы о рисках ИИ. К сожалению, как и в
большинстве случаев, в письме речь шла о гипотетических угрозах из
области фантастики, а реальные проблемы, от которых люди страдают
уже сейчас, остались без внимания.
Например, в письме спрашивалось: «Должны ли мы
автоматизировать все рабочие места, включая те, что приносят людям
удовлетворение?» (Выделено в оригинале.) Выпуск GPT-4
сопровождался информационной шумихой: в СМИ обсуждали, как
модель справляется с прохождением обычных профессиональных
аттестаций, например проходит тесты на право заниматься
адвокатской деятельностью и сдает экзамен на получение
медицинской лицензии в США. Авторы письма приняли заявления
OpenAI за чистую монету, утверждая, что «современные системы ИИ
конкурируют с человеком в решении общих задач». Но, как мы уже
видели, то, что чат-бот хорошо проходит тесты, созданные для людей,
мало говорит о его способности заменить человека на реальной
работе.
Это очередной пример крити-хайпа. Письмо вроде бы критикует
безответственное внедрение чат-ботов, но при этом преувеличивает их
возможности, изображая их куда более мощными, чем они есть на
самом деле. Это играет на руку компаниям: они представляются
создателями сверхъестественных систем.
На деле влияние ИИ, скорее всего, окажется менее заметным, но
более глубоким: власть постепенно перетечет к нескольким крупным
компаниям. Мы уже видели, как фирмы, разрабатывающие ИИ для

преобразования текста в изображения, используют работы художников
без разрешения и компенсации. Пауза в разработке новых ИИ никак не
поможет творческим работникам, которые уже пострадали от
существующих моделей. Один из способов поддержать художников —
обложить дополнительным налогом компании, занимающиеся ИИ, и
направить собранные средства на поддержку искусства. Однако
политической воли не хватает даже на это. Проще сделать паузу и
отвлечься.
В письме поднимались и такие вопросы: «Стоит ли нам создавать
искусственные разумы, которые однажды смогут превзойти нас
числом и интеллектом, сделать нас ненужными и в итоге заменить?
Можем ли мы рисковать потерей контроля над собственной
цивилизацией?» Как мы обсуждали в пятой главе, среди специалистов
по ИИ набирает популярность идея о том, что взбунтовавшийся ИИ
будет угрожать существованию человечества, и эти опасения
отразились в беспокойстве о потере контроля над цивилизацией. Мы
согласны, что о долгосрочных последствиях развития искусственного
интеллекта нужно думать. Но выдуманные страхи только отвлекают от
реальных, насущных проблем, связанных с нейросетями.

Когнитивные искажения: как (не) сбиться с
пути
Мы уже обсудили, как подогревают ажиотаж вокруг ИИ
компании-разработчики, исследователи, журналисты и общественные
деятели. Однако, если бы публика относилась к этим заявлениям более
критически, обсуждение ИИ могло бы стать куда конструктивнее. Для
этого, правда, нужны базовые знания, которых у многих людей нет 71.
Существует еще одна проблема: все мы подвержены когнитивным
искажениям, которые мешают принимать рациональные решения 72.
Один из примеров — автоматизация: даже пилоты, бывало, следовали
неверным указаниям автоматической системы обнаружения
неисправностей. Хватает и других искажений, благодаря которым
мифы об ИИ продолжают жить. Те, кто раздувает ажиотаж вокруг ИИ,
могут — осознанно или нет — использовать эти искажения для
продвижения своих утверждений.
Иллюзия глубины понимания— когнитивное искажение, при
котором мы уверены, что понимаем сложные концепции лучше, чем на
самом деле. Это ложное чувство ведет к излишней самоуверенности,
мешает задавать ключевые вопросы или искать альтернативные
объяснения. Например, термин «искусственный интеллект» может
обозначать разные виды моделей, но не у всех есть время углубляться
в детали и искать отличия. Это связано с так называемым эффектом
ореола — склонностью людей судить о продукте или технологии по
нескольким избранным примерам. Основываясь на впечатляющих
достижениях, вроде победы ИИ над чемпионом мира по го, люди
начинают думать, что нейросети подходят для решения любых задач,
даже настолько далеких от этой игры, как прогнозирование
преступлений.
Есть и другой вид когнитивных искажений — прайминг:
знакомство с некоей идеей заставляет нас преувеличивать ее
значимость при принятии новых решений. Научная фантастика и
медиа приучили нас воспринимать ИИ исключительно как роботов-

убийц. Но ИИ — это гораздо больше, чем просто робототехника. По
сути, большинство прорывов, о которых мы говорили в книге, вообще
никак не связаны с робототехникой: они касаются поиска
закономерностей в данных. Но журналисты спокойно лепят картинки
роботов к любой статье про ИИ — и им это сходит с рук. А когда
организации вроде Института будущего жизни нагнетают страхи
вокруг ИИ, опасения воспринимают всерьез, хотя это просто
поверхностные идеи без каких-либо доказательств. Общество просто
насмотрелось фильмов о роботах-убийцах.
Более того, если ложную информацию повторять достаточно
часто, мы начинаем считать ее правдой. Это называется эффектом
иллюзии правды: мы верим дезинформации просто потому, что часто
ее слышим. Как мы видели, разные заинтересованные стороны,
включая журналистов, постоянно повторяют неточные утверждения об
ИИ. Неудивительно, что публика в них верит.
Эффект привязки проявляется в том, что мы слишком сильно
полагаемся на первую полученную информацию при формировании
своего мнения или принятии решения. Эта исходная информация, или
«якорь», влияет на наши последующие суждения, даже когда
появляются опровергающие ее факты. Люди могут зацепиться за
раздутые заявления компаний о возможностях ИИ, а когда в этих
заявлениях обнаруживаются дыры, не спешат менять точку зрения.
Эффект привязки тесно связан с предвзятостью подтверждения—
нашей
склонностью
искать
информацию,
доказывающую
правильность наших взглядов, вместо того чтобы подвергать их
сомнению. Как только мы начинаем верить формулировкам, которые
используют жадные до прибыли компании, мы попадаем в замкнутый
круг и начинаем принимать на веру громкие заявления об ИИ, не
замечая их слабых мест.
Мы часто видим, что новости о достижениях в сфере
искусственного
интеллекта
сопровождаются
впечатляющими
цифрами, якобы доказывающими его точность и эффективность. Это
пример того, как срабатывает количественное искажение: мы склонны
уделять слишком много внимания цифрам в ущерб качественным или
контекстуальным доказательствам, поэтому часто принимаем красивые
показатели за чистую монету, не задавая лишних вопросов.

Мы приводим эти примеры не для того, чтобы обвинить кого-то.
Когнитивные искажения возникают помимо нашей воли, а компании,
исследователи и журналисты умело используют их для своих целей.
Но знание психологических ловушек поможет вам распознать ажиотаж
вокруг ИИ, противостоять ему и опознавать «змеиное масло».
Последние исследования показали: обучение может снизить нашу
уязвимость перед такими искажениями 73, 74. Поэтому в следующий
раз, когда услышите про 90%-ную точность или увидите статью о
работе ИИ в финансовой сфере с роботами на иллюстрации,
подумайте, что и как вводит вас в заблуждение. Когда вы начнете
делать это регулярно, надеемся, у вас выработается автоматическая
способность отличать чушь от правды.

8. Что дальше?
Глава 8
В предыдущих семи главах мы с вами рассмотрели генеративный
ИИ, предиктивный ИИ и ИИ для модерации контента, разобрались,
что заставляет искусственный интеллект работать и почему он дает
сбои.
Мы написали эту книгу, чтобы помочь людям разобраться в ИИ и
научиться с ним работать, ведь мы уверены: он продолжит серьезно
влиять на общество. Но это влияние не неизбежно, как не
предопределен и путь развития технологии. Поэтому важно направить
развитие ИИ так, чтобы он служил общественным интересам. Как
этого добиться?
Начнем с генеративного ИИ. Чтобы понять, как со временем
может измениться его роль, давайте сравним его с интернетом.
Сначала люди заходили в сеть ради конкретных задач — проверить
почту или найти информацию на определенном сайте. Теперь же
Всемирная паутина стала средой, в которой сосредоточена бо́ льшая
часть общения и работы.
С развитием генеративного ИИ, вероятно, произойдет похожая
трансформация. В таком случае он станет частью цифровой
инфраструктуры, а не просто инструментом для выполнения
отдельных задач. Вы не будете специально обращаться к ChatGPT,
чтобы написать письмо, или к Gemini, чтобы найти какую-то
информацию. Генеративный ИИ уйдет на задний план, превратившись
в среду для интеллектуальной работы.
Сравнение с интернетом также показывает, что путь развития
технологий не всегда предопределен и существует множество
вариантов развития инфраструктуры. История интернета может
послужить и предостережением, и вдохновением для формирования
нового подхода к развитию технологий.
Интернет на начальном этапе создавался на государственные
деньги и силами государственных экспертов. В США основное
финансирование шло от DARPA — военной организации,

занимающейся исследованиями и разработками новых технологий. Но
с 1990-х годов началась приватизация интернета. Постепенно все
бо́ льшая его часть переходила под контроль частных компаний.
Сегодня в США свыше трех четвертей доступа к сети контролируют
всего четыре корпорации: Comcast, Charter, Verizon и ATT 1.
У частной инфраструктуры масса недостатков. В бедных и
сельских районах связь обычно намного хуже, а за высокоскоростной
интернет приходится платить баснословные деньги. Даже в разных
районах одного американского города качество интернета может быть
разным. Расследование, проведенное The Markup, показало, что
жители некоторых районов платят за мегабит в 400 раз больше, чем их
соседи 2. Там, где больше малоимущих и меньше белых, цены
непропорционально высокие.
Но есть и принципиально иной подход. По всему миру люди
создают общественные сети, обеспечивающие жителям доступ в
интернет. Одни находятся под управлением муниципалитетов, другие
организованы
благотворительными
либо
некоммерческими
организациями. Только в Соединенных Штатах на 2023 год
насчитывалось более 900 таких сетей 3. Один из успешных примеров
— Чаттануга, штат Теннесси. Начиная с 2012 года местные жители
имеют доступ к интернету со скоростью один гигабит в секунду
благодаря общественной сети, принадлежащей муниципалитету, и по
цене в разы меньшей, чем у частных компаний. Сейчас Чаттанугу
называют гигабитным городом, и скорость, с которой здесь может
работать интернет, — 25 гигабит в секунду. Это яркий пример того,
чего можно достичь, если сосредоточиться на общественных
интересах, а не на прибыли.
Дело не только в доступе во Всемирную паутину. Социальные
сети — тоже частная цифровая инфраструктура. Оптимизация
соцсетей ради повышения вовлеченности, кликбейта, доходов от
рекламы приводит к распространению теорий заговора, скандалов и
контента, вызывающего зависимость. Стремление компаний —
владельцев платформ к сокращению расходов означает, что они
практически не инвестируют в модерацию контента для всех стран,
кроме США и ЕС. Это влечет за собой такие последствия, как
всплески насилия в Эфиопии, Шри-Ланке и Мьянме, о которых мы
упоминали в главе, посвященной модерации контента.

Существуют и альтернативы. Разработки вроде Mastodon
позволяют пользователям создавать собственные серверы, чтобы не
зависеть от частных компаний 4. Также проекты по созданию
государственно-общественной инфраструктуры для социальных медиа
стремятся вывести из-под частного контроля ключевые элементы
платформ: рекомендательные системы, средства борьбы со спамом и
модерацию контента. Тем не менее пока что этим инициативам сложно
конкурировать с частными платформами, которые обладают
значительными преимуществами первопроходцев, возможностью
экономить за счет масштаба и ресурсами для разработки современных
приложений.
Генеративный ИИ сейчас находится на перепутье. До недавнего
времени большинство исследований в этой сфере были открытыми,
основывались на общедоступных знаниях и получали широкое
распространение. Однако в последние годы тенденция изменилась: под
давлением конкуренции компании вроде Google, OpenAI и Anthropic
прекратили раскрывать свои исследовательские достижения, лежащие
в основе моделей генеративного ИИ, что привело к переходу от
общедоступных знаний к коммерческим тайнам.
С предиктивным ИИ дело обстоит еще хуже. Многие
инструменты попросту не работают, однако их все равно продают,
обещая точность, объективность и эффективность. Компании кладут
прибыль в карман, а когда случается провал, как с системой Epic для
прогнозирования сепсиса, никто не спешит брать на себя
ответственность.
Если мы и дальше пойдем по пути, где ИИ почти целиком
находится во владении частных компаний, движимых жаждой наживы,
а не общественными интересами, последствия очевидны. Но еще не
поздно что-то изменить.
Как могли бы выглядеть эти изменения? Для начала нужно
признать, что большинство проблем с ИИ связано не столько с самой
технологией, сколько с внешними факторами — например, с тем, какие
цели преследуют организации, использующие искусственный
интеллект. В заключительной главе книги мы рассмотрим эти цели,
обсудим, как их можно изменить в рамках наших сообществ и на
наших рабочих местах, и поразмышляем о том, как ИИ повлияет на
сферу занятости.

Кого привлекает «змеиное масло»
В прошлой главе мы выяснили, откуда берется «змеиное масло»:
его поставляют компании, желающие продать предиктивный ИИ,
исследователи, стремящиеся прославиться благодаря сенсационным
результатам, а также журналисты и различные публичные персоны,
делающие громкие заявления ради внимания публики.
Но не менее важно понять природу спроса на «змеиное масло».
Даже если все компании, торгующие ИИ и раздающие пустые
обещания, завтра разорятся, неэффективные организации просто
найдут другое «чудодейственное средство», сулящее быстрое решение
всех их проблем 5. Спрос на «змеиное масло» возникает не из-за
самого ИИ — он рождается из порочных стимулов в неэффективных
организациях, которые его внедряют.
Возьмем, к примеру, наем сотрудников. Не будь система настолько
неэффективной и существуй хоть сколько-нибудь работающий метод
отбора кандидатов, разве стали бы HR-менеджеры полагаться на
HireVue? Конечно, для специалиста по найму, которому нужно
обработать сотни или даже тысячи заявок, чтобы закрыть одну
вакансию, использование ИИ может показаться заманчивым
вариантом, несмотря на то что система отсеивает кандидатов с
помощью таких вопросов, как «В порядке или в беспорядке вы
содержите свой рабочий стол?».
Проблема найма — лишь верхушка айсберга. Некачественный ИИ
активно внедряют везде, где не хватает денег. Возьмем журналистику:
доходы американских газет от рекламы и продажи тиражей упали с
$60 млрд в 2000 году до скромных $21 млрд в 2022-м 6. Когда сайт
CNET бездумно внедрил ИИ и наплодил множество статей с
фактическими ошибками, это во многом было следствием общего
падения доходов в отрасли и попыткой сэкономить.
Похожая история произошла в сфере образования, когда
появление ChatGPT перевернуло учебные программы с ног на голову.
Многие преподаватели бросились за помощью к ИИ-системам,
обещавшим
распознавание
сгенерированных
текстов.
Эти
инструменты могли помочь учителям проанализировать предыдущие

работы и учебные материалы, чтобы выяснить, не пользуются ли
ученики искусственным интеллектом при написании эссе.
Образовательные учреждения, особенно государственные школы и
колледжи, часто испытывают нехватку как финансирования, так и
персонала и работают на пределе возможностей, а поэтому хватаются
за любые решения, обещающие эффективность и экономию. Учителя
сталкиваются с большим давлением из-за увеличения числа учеников в
классах и сокращения ресурсов, что делает их легкой добычей для
торговцев быстрыми решениями 7.
К сожалению, оказалось, что детекторы ИИ-текстов не работают.
Их легко обмануть простейшими приемами — например, попросив
языковую модель писать более художественным языком 8. Вдобавок
они систематически предвзято относятся к людям, для кого данный
язык не является родным: написанные ими тексты гораздо чаще
принимают за сгенерированные ИИ. Но это не останавливает
преподавателей, и многие учащиеся уже столкнулись с ложными
обвинениями. Студент Калифорнийского университета в Дэвисе
пережил серию панических атак после того, как профессор ложно
обвинил его в списывании, прежде чем был оправдан 9. А профессор
Техасского университета AM в Коммерсе едва не завалил весь курс,
попросив ChatGPT определить, на написаны ли ответы студентов
искусственным интеллектом 10. И это не единичные случаи:
преподаватели повсеместно применяют программы для выявления
сгенерированных работ, что привело к эпидемии ложных обвинений.
Иными словами, сомнительный ИИ чаще всего внедряют именно
те организации, которым не хватает финансирования или которые не
справляются со своими задачами. Мы называем такие организации
«сломанными».
Продавая свои продукты «сломанным» организациям, ИИкомпании в первую очередь обещают эффективность: ведь если убрать
человека из процесса принятия решений, то затраты снизятся. А кто же
не хочет сэкономить? Особенно привлекательна такая эффективность
для организаций, испытывающих нехватку средств. У них к тому же
часто нет возможности поэкспериментировать с ИИ и отказаться от
него, если он не оправдает их ожиданий.
Более того, некоторые организации сталкиваются со
структурными проблемами, которые им не под силу решить. Внедрять

ИИ в таких случаях — все равно что переставлять шезлонги на палубе
«Титаника». Взять хотя бы проблему вооруженного насилия в США. В
2021 году от огнестрельных ранений погибло более 48 000 человек, из
них более 20 000 были убиты намеренно 11. В результате многие
организации, включая школы и предприятия общественного
транспорта, начали внедрять ИИ для выявления случаев вооруженного
насилия 12, 13. С 2018 по 2023 год школьные округа по всей стране
потратили более $45 млн на ИИ для обнаружения оружия. Но такие
системы отличаются низкой точностью и частыми ложными
срабатываниями — например, могут принять ланч-бокс семилетнего
ребенка за бомбу.
В сфере правопорядка ярким примером служит система
ShotSpotter на базе ИИ для обнаружения случаев насилия с
применением огнестрельного оружия. Она использует сеть датчиков,
чтобы засекать возможные выстрелы, после чего оповещает полицию
14. Систему широко внедрили по всей стране, в нее вложили
миллионы долларов, надеясь снизить уровень преступлений с
применением огнестрельного оружия… Однако все больше данных
указывают на то, что система не оправдывает ожиданий. Город Чикаго
за пять лет вложил в ShotSpotter почти $49 млн, купившись на
обещания мгновенных оповещений и более быстрого реагирования.
Но проверка, проведенная городским департаментом полиции,
показала, что система не повысила эффективность работы
полицейских служб 15. Крупные города США, включая Сан-Антонио,
Шарлотт и Чикаго, разорвали контракты с компанией, сославшись на
высокие затраты и отсутствие реальной пользы для общественной
безопасности 16, 17, 18.
ShotSpotter может быть не просто бесполезным, но даже опасным.
Его использование привело к трагическим последствиям: из-за одного
ошибочного сигнала системы был смертельно ранен 13-летний
мальчик 19. В другом случае человека приговорили к году тюремного
заключения, полагаясь исключительно на данные ShotSpotter, прежде
чем прокуратура закрыла дело. Расследование Associated Press
выявило, что система часто ошибается в распознавании звуков: она
может пропустить настоящий выстрел, но принять за него взрыв
петарды или звук автомобильного выхлопа 20. Несмотря на все эти
опасения, компания отказывается от прозрачности, неоднократно

отклоняя запросы на доступ к своим внутренним данным.
Независимые экспертизы показывают опасный уровень неточности
ShotSpotter и ее незначительное влияние на уровень вооруженного
насилия 21. Неясно, можно ли исправить проблемы этой системы; одна
из причин, почему так сложно правильно идентифицировать звуки
выстрелов, заключается в том, что на улицах городов они раздаются
намного реже, чем другие громкие звуки, например автомобильные
выхлопы и взрывы петард.
Неработающий ИИ может отвлекать внимание от действительно
важных и необходимых задач. К примеру, во многих учебных
заведениях стремятся поддерживать психическое здоровье студентов.
Однако вместо развития своих возможностей в этой области десятки
колледжей начали использовать продукт Social Sentinel, который
мониторит социальные сети учащихся на предмет угроз
самоповреждений. Правда, точность этого инструмента настолько
низка, что «змеиным маслом» его назвал даже один из сотрудников
компании-разработчика. Но это не помешало колледжам потратить на
него тысячи долларов 22, причем в ряде случаев это делалось не для
предотвращения самоповреждений, а для слежки за студенческими
протестами.
Из этих примеров видно, что ИИ не решает основную проблему, с
которой он вроде как должен справляться. Однако идея его
всемогущества прочно укоренилась в умах людей, и ИИ кажется
лекарством от всех болезней, даже если на самом деле это «змеиное
масло».
Как можно изменить эту ситуацию? Если вы работаете в
компании или организации, планирующей внедрение вредных
технологий, одним из подходов может быть противодействие этому
внедрению с привлечением всех имеющихся на данный момент
доказательств. Если вы участвуете в процессе принятия решений —
выступайте против использования вредного предиктивного ИИ.
На местном уровне тоже есть возможность действовать. Хороший
пример — история с системой видеонаблюдения в Сан-Диего 23. В
2019 году городские власти установили 3000 уличных фонарей с
камерами и микрофонами. Но местные жители забеспокоились, что
собранные данные лягут в основу систем ИИ, которые усилят
полицейский контроль и слежку. Общественный активист Халид

Александер
собрал
коалицию
единомышленников,
включая
айтишников, способных разобраться в технической стороне проекта и
доступно объяснить его суть другим. Вместе они выступили против
развертывания этой системы — и добились своего: городские власти
приняли постановление, согласно которому все технологии
наблюдения теперь подлежат контролю, а решения о будущих
программах слежки должны приниматься с учетом мнения
общественности.

Как принять непредсказуемость
ИИ часто предлагают как инструмент, помогающий распределить
дефицитные ресурсы. Идеальным решением было бы, конечно,
устранить сам дефицит. Но пока это невозможно, а тем временем
организациям нужно как-то принимать решения, например, при найме
сотрудников или зачислении студентов. Интерес к предиктивному ИИ
возникает из-за стремления к «максимальной оптимизации», когда
задачу пытаются перевести в вычислительные термины, чтобы найти
самое лучшее и эффективное решение 24. Неудачи предиктивного ИИ
показывают: такой подход не всегда оправдывает себя. Когда перед
нами стоит несколько важных целей, которые трудно оценить
количественно, попытка оптимизации может обернуться катастрофой.
Если мы откажемся от этого мышления, перед нами откроется
больше возможностей для принятия решений. Можно стремиться к
стратегиям, которые приносят умеренные выгоды в плане
эффективности, но при этом остаются простыми и понятными — и для
тех, кто принимает решения, и для тех, кого эти решения касаются.
Простота позволяет убедиться, что все под контролем, укрепляет
доверие, а также позволяет учесть не только экономические, но и
этические соображения. Например, в уголовной системе правосудия
можно
проявить
больше
снисходительности
к
молодым
правонарушителям, считая, что их моральная ответственность ниже,
даже если статистически вероятность повторного правонарушения у
них выше.
Для того чтобы показать, как может выглядеть иной подход к
принятию решений, рассмотрим частичные лотереи. Вместо
традиционного отбора лучших кандидатов, которые получают, скажем,
грант или зачисление в колледж, частичные лотереи делают
случайность частью принятия решения. Все, кто соответствует
базовым критериям, попадают в пул, а затем победителей отбирают
случайным образом. Мы не утверждаем, что это наилучший подход, но
иногда стоит рассмотреть стратегии, диаметрально противоположные
привычным.

Частичные лотереи честно признают тот элемент случайности,
который и так присутствует в принятии решений, особенно когда
результаты трудно или невозможно предсказать даже с помощью
современных технологий. У такого подхода есть и другие плюсы: он
противодействует эффекту «богатые богатеют» (например, когда
ученые, однажды получившие грант, с большей вероятностью получат
следующий). К тому же такой способ помогает не тратить лишнее
время на подготовку заявок: если кандидаты знают, что достаточно
просто пройти базовый отбор, они не будут излишне шлифовать
документацию.
Эксперты признают пользу частичных лотерей в самых разных
областях. Еще в 2005 году профессор психологии Барри Шварц
предложил отбирать студентов в колледжи случайным образом из пула
тех, кто показал достаточный уровень подготовки 25. Его аргументы
не потеряли актуальности: погоня за «демонстративными успехами»
ради поступления лишает многих студентов возможности рисковать
или заниматься тем, что им по-настоящему интересно. Хуже того: они
участвуют во внеучебной деятельности не из интереса, а для галочки в
резюме. Обучение отходит на второй план: единственная цель ученика
— попасть в престижный колледж.
Есть и обратная сторона: поступившие могут возомнить себя
лучше остальных, недооценивая роль удачи и обстоятельств, а
колледжи стараются выглядеть максимально принципиальными ради
высоких позиций в рейтингах. Все это создает токсичную атмосферу
для подростков в период их становления. Частичные лотереи могли бы
решить все эти проблемы.
Похожая ситуация сложилась в области научных исследований,
где финансирование проектов часто зависит от одобрения грантовой
заявки. Ученые тратят уйму времени на составление заявок, вместо
того чтобы заниматься самими исследованиями. Как показали
результаты проведенного анализа, на написание заявок уходит столько
же времени, сколько потом тратится на всю научную работу по гранту
26. Но, разумеется, цель грантов не в том, чтобы плодить заявки, а в
том, чтобы продвигать науку. Получается, бо́ льшая часть усилий
уходит впустую. С частичными лотереями ученым не пришлось бы
тратить время на доведение заявок до блеска, вместо этого они могли
бы сосредоточиться на главном: на исследованиях.

Кстати, лотереи полезны и для проверки эффективности разных
мер. В 2008 году штат Орегон использовал лотерею для расширения
программы медицинского страхования Medicare 27. Исследователи
сравнили данные тех, кто попал в программу, и тех, кто не попал в нее,
чтобы понять, как Medicare влияет на жизнь людей. Оказалось, что за
два года программа снизила финансовую нагрузку на людей и
повысила доступ к медицинской помощи. Подобные исследования
проводятся во многих областях, включая социальные сети и оценку
эффективности
денежных
пособий
—
ежемесячных
или
единовременных 28, 29.
Итак, в условиях дефицита ресурсов именно частичные лотереи
могут стать тем механизмом принятия решений, который разорвет
порочный круг под названием «успех притягивает успех», поможет
признать важную роль случайности, сэкономит время и силы на
подготовку заявок и позволит изучать последствия принятых решений.

Регулирование: преодоление ложной
дихотомии
Регулирование — это правила, которые устанавливает
контролирующий орган для управления действиями людей и
организаций. У многих вызывает отторжение само слово
«регулирование»: им представляются древние бюрократические
структуры, которые душат все новое своими жесткими правилами.
Другие, наоборот, видят в регулировании волшебную таблетку от всех
болезней общества. Этот раскол особенно заметен в спорах о
регулировании ИИ. Но реальность, как водится, гораздо сложнее.
У компаний одна цель — прибыль. Если какие-то проблемы с ИИ
вредят репутации разработчика, их быстро примутся решать. Если же
вред неочевиден, размыт или касается кого-то постороннего, а не
самой компании и ее клиентов, тратить деньги на исправление
системы им неинтересно. Вспомним хотя бы, сколько токсичного и
оскорбительного контента выдавали ранние языковые модели. Это
отпугивало потенциальных пользователей чат-ботов, поэтому OpenAI,
Anthropic и Meta [86] вложили миллионы долларов в решение
проблемы. Потеря заработка художниками и пустая трата времени
преподавателями из-за генеративного ИИ никак не бьет по доходам
компаний — и там пальцем о палец не ударят. Когда у бизнеса нет
стимула разбираться с проблемами, которые он создает, без
регулирования не обойтись.
Регулирование не раз доказывало свою пользу в деле защиты
общественных интересов. Взять хотя бы безопасность продуктов
питания: именно благодаря регулированию производители соблюдают
санитарные нормы и стандарты качества. Это защищает здоровье
потребителей и предотвращает случаи отравления. В сфере экологии
такие законы, как американские акты о чистом воздухе и чистой воде,
ограничивают
выбросы
вредных
веществ.
А
трудовое
законодательство с положениями о минимальной зарплате, оплате
сверхурочных и безопасных условиях труда защищает работников от
эксплуатации.

Это не значит, что любое регулирование — благо. Скоро мы
увидим немало примеров, когда регулирование оказывалось
чрезмерным или непродуманным. Но и мир без правил не станет
лучше или прогрессивнее сам собой. Наоборот, во многих описанных
случаях именно регулирование создает безопасное пространство для
инноваций.
Еще один популярный миф гласит, что механизмы политического
и правового контроля над ИИ только зарождаются и что правила в этой
сфере нужно создавать с нуля. На самом деле необходимая база для
регулирования ИИ уже существует во многих юрисдикциях.
У разных стран разные подходы к этому вопросу. В США,
например, регулирование ИИ устроено по вертикальному принципу.
Вместо единого агентства, которое следило бы за всеми продуктами и
услугами в сфере ИИ, его применение контролируют федеральные
ведомства — каждое в своей области. Таких ведомств сотни. Скажем,
Бюро защиты финансовых потребителей следит, чтобы не было обмана
и дискриминации на финансовом рынке, а Управление по санитарному
надзору отвечает за ИИ в медицине.
Такой подход к регулированию особенно четко проявился в
октябре 2023 года, когда Белый дом выпустил указ об искусственном
интеллекте. Документ объемом в 20 000 слов охватывал весь спектр
преимуществ и рисков ИИ. Полторы сотни конкретных задач были
распределены между полусотней федеральных ведомств, от
Исполнительного офиса президента до министерств торговли и
внутренней безопасности, включая упомянутые выше агентства 30.
Это показывает, насколько широки существующие возможности для
регулирования ИИ.
В отличие от США, Евросоюз пошел по пути горизонтального
регулирования: правила действуют сразу во многих отраслях. Разные
аспекты применения ИИ регулируются разными законами:
Общий регламент по защите данных (General Data Protection
Regulation, GDPR) определяет, как компании могут собирать, хранить
и использовать персональные данные. Он важен для систем ИИ,
поскольку должен гарантировать соблюдение приватности.
Закон о цифровых услугах (Digital Services Act, DSA)
предписывает прозрачность применения ИИ на онлайн-платформах и в

соцсетях и соответствующие проверки.
Закон о цифровых рынках (Digital Markets Act, DMA) призван
усилить конкуренцию на онлайн-платформах (например, запрещает
крупным платформам продвигать собственные результаты в
приоритетном порядке).
Особенно важен Закон об искусственном интеллекте (Artificial
Intelligence Act, AIA), который вводит классификацию приложений ИИ
по уровню риска. Если разработчики создают приложения с высоким
риском (например, для найма сотрудников, доступа к образованию или
управления персоналом), они должны соблюдать множество
требований к прозрачности.
У Китая свой, третий, путь, сочетающий элементы обоих
подходов 31. Регулирование ИИ здесь началось с отраслевых правил: в
2017 году появились требования к прозрачности рекомендательных
онлайн-систем, а в 2022-м — к прозрачности систем, которые создают
изображения, видео и текст. После выхода ChatGPT и небывалого
ажиотажа вокруг генеративного ИИ в апреле 2023 года китайские
регуляторы выпустили проект новых правил, в которых основное
внимание сосредоточено на языковых моделях. Его ключевое
требование: контент, созданный с помощью ИИ, должен воплощать
«основные социалистические ценности». Очевидно, что чат-боты
станут важным инструментом, с помощью которого китайское
правительство будет контролировать, какую информацию могут
получать люди и что им позволено говорить.
Эти правила были отраслевыми: они касались конкретных
областей применения ИИ. Но в июне 2023 года регуляторы объявили о
планах разработать общий закон об ИИ, опираясь на уже
существующие отраслевые нормы. Такую же стратегию Китай
использовал, регулируя интернет: узкие отраслевые правила в итоге
привели к появлению в 2017 году обобщающего закона о
кибербезопасности.
Детали конкретных законов интересны, но они не имеют прямого
отношения к нашей теме. Главное — осознание того, что у
регулирующих органов разных стран уже есть инструменты для
контроля над ИИ и работа над более совершенным и всесторонним
регулированием активно ведется.

Единого подхода к регулированию ИИ нет, однако это не
обязательно плохо. Разные подходы помогают нам понять, что
действенно, а что нет, и выработать более эффективные принципы
регулирования.
Существует еще один миф о регулировании: якобы оно всегда
плетется в хвосте у технологического прогресса. Отчасти такое
восприятие подпитывается сложностью самих технологий: они могут
пугать тех, кто в них не разбирается. Но законами, кроме деталей,
определяются еще и принципы. Первая поправка к Конституции США,
гарантирующая свободу слова, появилась за века до изобретения
интернета, однако ее до сих пор используют как ориентир при
решении таких проблем, как онлайн-цензура и разжигание ненависти.
Конкретные способы применения этих принципов к новым
технологиям могут меняться, но сами принципы остаются
сравнительно устойчивыми.
Мнение, что при такой медлительности регуляторов
единственный реальный выход — саморегулирование, также основано
на ложной предпосылке: якобы только технологические компании
способны понять технологии и управлять ими. Но, как объяснялось на
страницах этой книги, принципы работы современных систем ИИ
достаточно просты, чтобы их мог понять любой человек.
Есть еще один миф: дескать, регулировать технологии бесполезно,
потому что политики в них не разбираются. На самом деле политики
не являются экспертами ни в одной из областей, которые они
регулируют. У большинства из них нет инженерного образования,
однако есть строительные нормы, благодаря которым здания не
рушатся. Все тонкости политики делегируют специалистам,
трудящимся на разных уровнях власти и в разных ведомствах. Нам
повезло поработать со многими такими экспертами, и это, как правило,
очень грамотные и преданные своему делу люди. К сожалению, их
слишком мало: нехватка технических специалистов в госструктурах —
действительно проблема. Но утверждение, что главы государств или
законодатели должны разбираться в технологиях, чтобы хорошо делать
свою работу, совершенно беспочвенно и говорит о полном
непонимании принципов работы государственного аппарата.
К тому же в такой динамичной сфере, как ИИ, чаще всего нужно
просто следить за соблюдением уже существующих правил, а не

создавать новые. В США Федеральная торговая комиссия (Federal
Trade Commission, FTC) использовала правила, касающиеся
недобросовестной коммерческой практики, чтобы принимать меры
против ложных заявлений ИИ-компаний 32. А когда те незаконно
собирали данные, комиссия требовала удалить и их, и модели,
созданные на их основе 33. Это показывает, как гибко регуляторы
используют свои полномочия для решения проблем, связанных с ИИ.
Да, регуляторы часто реагируют на события постфактум, вместо
того чтобы действовать на опережение, и не всегда учитывают
сложности, связанные с новыми технологиями. Но это не повод
отказываться от регулирования — наоборот, это причина сделать его
более гибким, эффективным и компетентным. Один из способов —
увеличить финансирование регулирующих органов пропорционально
темпу развития ИИ, чтобы у них были ресурсы для полноценного
контроля над технологическими компаниями. Это позволит
разрабатывать более качественные механизмы регулирования и
следить за исполнением правил.
И все же регулирование — не волшебная палочка. В следующем
разделе мы увидим множество примеров того, как непродуманные
правила тормозили прогресс и причиняли вред. Это одна из причин,
почему нужно с опаской относиться к нынешним попыткам
регулирования. Правда, большинство этих проблем никак не связано
ни со скоростью развития технологий, ни с неспособностью
регуляторов угнаться за ИИ.
Как бы то ни было, нет оснований считать регулирование ИИ
более бесполезным, чем любое другое.

Ограничения регулирования
Спустя несколько месяцев после запуска ChatGPT глава OpenAI
Сэм Альтман выступил перед американским сенатом. Предупреждая
об опасностях, которые может нести ИИ, он заявил: «OpenAI считает
регулирование ИИ необходимым». Обычно компании воспринимают
регулирование как обузу, ведь оно навязывает требования и
ограничения, которых можно было бы избежать. Так почему же
Альтман ратовал за него?
Подсказка кроется в том, какие правила регулирования
предлагались. Альтман продвигал нормы, составленные в интересах
его компании 34. Ключевым пунктом его рекомендаций было создание
государственного агентства, которое выдавало бы лицензии
разработчикам передового ИИ. По сути, это означало бы, что
конкурировать с OpenAI смогут лишь единицы. При этом в списке
предложенных норм как-то очень удачно отсутствовали многие
требования о прозрачности, которые исследователи настойчиво
рекомендовали внедрить в работу OpenAI.
Такое происходит не впервые. Это явление известно как
регуляторный захват: ситуация, когда регулирующий орган начинает
действовать в интересах компании, а не общества. У нас уже есть
богатая подборка подобных призывов, прозвучавших со стороны
крупных компаний. В 2020 году Facebook [87] просил правительства
взять под контроль социальные сети 35. Оговорка ровно одна: сама
платформа уже соответствовала большинству предложенных ее
руководством требований 36. Таким образом, вместо реального
упорядочивания работы отрасли компания стремилась взвалить бремя
на конкурентов, ничего не меняя в собственной структуре. Похожую
тактику использовали табачные компании, когда в 1950–1960-х годах
лоббировали сворачивание мер против курения 37, 38.
Сегодня компании тратят сотни миллионов на рекламу, лишь бы
избежать государственного контроля 39. Когда был предложен
антимонопольный закон, запрещающий технологическим гигантам
продвигать собственные продукты в ущерб конкурентам,
подконтрольные этим компаниям лоббистские группы влили $36 млн в

кампанию против законопроекта. Сторонники антимонопольного
закона, не имевшие корпоративной поддержки, потратили на
продвижение регулирования всего $200 000 — почти в 200 раз меньше.
Более того, компании финансировали группы влияния, создавая
иллюзию, будто против регулирования выступает малый бизнес.
Например, организация American Edge, спонсируемая Facebook [88],
наводнила СМИ авторскими колонками и рекламой, где владельцы
местных компаний высказывались против регулирования, нагнетая
опасения, что иначе американские компании проиграют в
конкурентной борьбе с Китаем.
Регуляторный захват происходит, когда регулирующие органы
либо плохо информированы, либо не обладают достаточными
ресурсами и деньгами, чтобы не зависеть от компаний, которые они
должны контролировать. Поэтому лучший способ избежать
регуляторного захвата — усилить существующие механизмы
регуляции,
обеспечив
их
законодательной
поддержкой
и
финансированием для независимой работы.
Однако у чрезмерного регулирования тоже есть минусы: оно
может подавлять инновации и конкуренцию. Взять хотя бы сухой закон
в США 1920-х годов: запрет на производство и продажу алкоголя
оказался практически невыполнимым. Это породило рост
нелегального производства спиртных напитков и дало толчок
развитию черного рынка. Закон был отменен в 1933 году, после того
как Франклин Д. Рузвельт, пообещавший его ликвидировать, победил
на выборах. Этот пример напрямую связан с предложением
лицензирования для тренировки крупных ИИ-моделей: такие меры
вместо обеспечения безопасного развития ИИ могут только
сконцентрировать власть в руках нескольких компаний.

ИИ и будущее профессий
Компании, разрабатывающие генеративный ИИ, не устают
хвастаться тем, как их модели сдают профессиональные экзамены.
Впечатляющие результаты того же GPT-4 породили массу спекуляций
на тему, что ИИ вот-вот оставит множество специалистов без работы.
Например, многие светила в сфере ИИ в прошлом неоднократно
заявляли, что искусственный интеллект полностью заменит врачейрентгенологов. Это может показаться весьма неожиданным, ведь
экономисты давно предсказывали, что автоматизация вытеснит
низкооплачиваемых работников, а никак не юристов и врачей.
Впрочем, в этой аргументации полно слабых мест.
Профессиональные тесты, как уже было сказано выше, чрезмерно
напирают на теоретическое знание предмета, игнорируя практически
все остальные аспекты работы. А ведь юристы и рентгенологи делают
куда больше, чем просто отвечают на вопросы по специальности или
разглядывают рентгеновские снимки. Поэтому многие смелые
прогнозы, основанные на успехах ИИ в тестах, оказались далеки от
реальности.
Мы не сомневаемся, что ИИ существенно изменит многие
профессии. Однако разговоры о грядущей массовой безработице
сильно преувеличены. Внедрение любой технологии, включая ИИ,
всегда происходит в рамках организации, где людям нужно научиться с
ней работать и встроить ее в повседневные задачи. А это требует
времени. Вспомним хотя бы облачные вычисления — технологию,
влияние которой в 2010-х постоянно обсуждалось в СМИ. Облачные
вычисления позволяют выполнять расчеты и хранить файлы онлайн,
как в Google Drive. Но, как отмечает Бенедикт Эванс, к 2023 году лишь
четверть компаний перешла на облачные технологии, несмотря на все
разговоры о неизбежности этого процесса 40. Вопреки всем
обещаниям генеративного ИИ его повсеместное внедрение, скорее
всего, тоже потребует времени. В отраслях, куда он все-таки
проникнет, сотрудники будут обладать разным уровнем влияния и
полномочий. Поэтому маловероятно, что работники, занимающие
высокие должности, подпадут под массовое сокращение.

Случай с Национальной ассоциацией расстройств пищевого
поведения (National Eating Disorders Association, NEDA) — хорошая
иллюстрация к этому тезису. У NEDA есть горячая линия для тех, кто
страдает расстройствами пищевого поведения (РПП). В 2023 году
сотрудники этой службы решили создать профсоюз. Через четыре дня
организация уволила их всех, объявив, что заменит работников чатботом. Это закончилось плачевно: бот сразу же начал давать опасные
рекомендации, в том числе предлагал пользователям ограничить
количество потребляемых калорий до 500–1000 в день 41. Такие
жесткие ограничения зачастую как раз и становятся причиной
развития РПП. Несколько дней спустя NEDA отключила чат-бот.
Решение заменить сотрудников моделью явно было вызвано не тем,
что бот мог хорошо выполнять их работу, а тем, что у этих
сотрудников не было достаточного влияния в организации (что они и
пытались изменить с помощью профсоюза) и их считали расходным
материалом.
История показывает, что технологии крайне редко полностью
уничтожают целые профессии. Из сотен специальностей, упомянутых
в переписи населения США 1950 года, автоматизация привела к
исчезновению только одной — профессии лифтера. В других случаях
устаревала сама технология, что делало ненужными связанные с ней
профессии; такая участь постигла, например, профессию
телеграфиста. Автоматизация чаще приводит к сокращению числа
работников в профессии или в секторе, но не к их полному
исчезновению. Так было с сельским хозяйством. Похожую картину мы
видим сейчас в копирайтинге и в сфере переводов 42, 43.
Иногда автоматизация снижает стоимость товаров или услуг, что,
в свою очередь, увеличивает спрос на них. Примером могут служить
банкоматы. Они удешевили банковские операции, что в итоге привело
к увеличению количества отделений и сотрудников 44. Это явление
известно как парадокс автоматизации. Самый распространенный
эффект автоматизации — изменение характера рабочих обязанностей.
Офисный ассистент в 1980 году тратил много времени на сортировку
документов и печатание документов. Эти задачи устарели; сегодня
помощник в офисе создает презентации PowerPoint и устраняет
неполадки в работе цифровых устройств. Как мы уже видели, само
обучение ИИ требует огромных трудовых затрат; часто это труд

низкооплачиваемых работников, которые маркируют данные для
обучения моделей. В своей книге «Невидимые работники» антрополог
Мэри Л. Грей и социолог Сиддхартх Сури описывают это как
«последнюю милю» автоматизации: каждый раз, когда вводится новая
форма автоматизации, она берет на себя работу, ранее выполнявшуюся
людьми, но одновременно создает потребность в новых видах
человеческого труда 45.
Таким образом, мы не ожидаем, что ИИ приведет к моментальной
массовой безработице. Но он, безусловно, изменит характер многих
профессий, уменьшит спрос на одних специалистов, увеличит спрос
на других и даже создаст совершенно новые виды деятельности. Все
это напоминает предыдущие волны автоматизации, хотя, возможно, и
сейчас этот процесс происходит более стремительно. Для тех, чьи
рабочие места исчезнут, перспективы могут быть пугающими. Им
придется искать временные источники дохода, пока они не найдут
другое место работы, осваивать новые навыки или даже полностью
менять сферу деятельности.
А что в долгосрочной перспективе? Наступит ли день, когда ИИ
станет настолько совершенным, что все мы окажемся без работы? Если
да, то превратятся ли компании, разрабатывающие ИИ, в наших
повелителей? Или мы будем жить в мире изобилия? Предсказать это
сложно. Но есть и хорошая новость: чтобы определить, какие
оптимальные шаги нужно сделать сегодня, вовсе не обязательно
заглядывать в будущее. Краткосрочные последствия, которые мы уже
наблюдаем, требуют принятия в целом тех же мер, что и
потенциальные долгосрочные эффекты автоматизации.
В одной из дискуссий о будущем ИИ писатель-фантаст Тед Чан
заметил: «Страх перед технологиями — это страх перед
капитализмом» 46. Иными словами, работники боятся не самого
технического прогресса, а того, что работодатели и корпорации
используют ИИ, чтобы ослабить влияние сотрудников и их
возможности 47. Значит, чтобы справиться с влиянием ИИ на рынок
труда, нужно разобраться с влиянием капитализма.
В 2023 году Голливуд всколыхнула масштабная забастовка
актеров и сценаристов. Актеры выступили против нового контракта,
который позволял продюсерам бесплатно использовать их образы в
будущих фильмах и телешоу. Сценаристов беспокоило растущее

влияние ИИ на их область труда: они требовали гарантий, что их
имена будут указаны в титрах, даже если при написании сценария они
использовали ИИ, а также что искусственный интеллект не заменит их
полностью. Общность этих требований привела к тому, что актеры и
сценаристы впервые с 1960 года объединились в совместной
забастовке и добились улучшения условий контрактов, включая
защиту от злоупотреблений с использованием ИИ 48, 49.
По мере того как ИИ будет и дальше менять баланс между трудом
и капиталом в самых разных сферах, роль профсоюзов и рабочих
объединений станет только возрастать. Определенную помощь могут
оказать правовые механизмы защиты и регулирование. Например,
Национальный совет по трудовым отношениям США следит за
соблюдением трудового законодательства и прав профсоюзов, не
позволяя работодателям прибегать к недобросовестным практикам и
обеспечивая работникам возможность создавать профсоюзы без страха
наказания. Однако существуют опасения относительно недостаточного
финансирования этого совета и отсутствия серьезных последствий для
работодателей, нарушающих эти правила.
Одной лишь защиты трудовых прав недостаточно, чтобы
справиться с внезапным и непредсказуемым сокращением рабочей
силы, которое несет с собой ИИ. Стоит подумать о более радикальных
мерах. Одна из идей, набирающих популярность, — система
безусловного базового дохода (Universal Basic Income, UBI), при
которой каждый человек независимо от того, работает он или нет,
получает фиксированную ежемесячную выплату. В Финляндии
провели эксперимент: около 2000 случайно выбранных безработных в
течение двух лет (2017–2018) получали по €560 ежемесячно. В
результате у них улучшилось психическое здоровье и повысилось
доверие к общественным институтам. Кроме того, по сравнению с
контрольной группой они чувствовали себя увереннее при поиске
работы 50.
Политиков тревожит, что безусловный базовый доход снизит
занятость населения: у людей пропадет стимул искать работу. Однако
эксперименты, проведенные в Финляндии и ранее в Канаде, показали:
выплаты не уменьшили желание людей трудиться. В Финляндии даже
наблюдался небольшой рост занятости.

Предлагаются и другие реформы для смягчения влияния ИИ на
рынок труда. В США работники, заработавшие за предыдущий год
определенную минимальную сумму, имеют право на страховку по
безработице в размере от 30 до 50% их основного дохода в случае
увольнения. Поддержка таких инициатив могла бы помочь многим
людям. Парадокс в том, что низкооплачиваемые работники, которые
рискуют сильнее всего пострадать от автоматизации, как правило, не
могут претендовать на такую страховку, потому что не соответствуют
ее минимальным требованиям. Страховые выплаты получают менее
трети безработных 51. Еще одной подушкой безопасности в случае
увольнений может стать продуманная система выходных пособий.
Есть и реформы, нацеленные непосредственно на ИИ. Некоторые
экономисты предлагают ввести «налог на роботов» — дополнительное
налогообложение компаний, использующих автоматизацию и
разрабатывающих ИИ 52, 53. В США труд человека облагается
налогом, а использование программного обеспечения — нет 54.
Экономисты считают, что первым шагом должно стать выравнивание
налоговых условий, чтобы стимулировать компании сохранять рабочие
места, вводя налогообложение для ИИ.
В конечном счете, как и многие обсуждаемые в этой книге
проблемы, эксплуатация и слабая защищенность работников начались
задолго до появления ИИ и не закончатся с его внедрением. Это просто
очередной виток в длительной истории автоматизации, и для того,
чтобы успешно справляться с новыми вызовами, потребуются
серьезные изменения 55.

Взросление с ИИ: мир Кая
То, как общество будет формировать ИИ и приспосабливаться к
нему, во многом определит наше будущее. Чтобы понять, что стоит на
кону, давайте представим, как ИИ повлияет на жизнь ребенка,
родившегося в ноябре 2022 года — в месяце, когда появился ChatGPT.
Будущее не предопределено. Мы расскажем истории двух детей,
Кая и Майи, живущих в разных вариантах гипотетического будущего,
чтобы показать, насколько по-разному могут развиваться события.
Хотя эти сценарии неизбежно умозрительны, мы объясним, как
различные стороны этих воображаемых миров связаны с тем, что мы
наблюдаем сегодня. Миры Кая и Майи различаются не уровнем
развития технологий, а тем, как общество на них реагирует.
В мире Кая люди благоговеют перед ИИ и стремительным
прогрессом технологий. Большинство принимает на веру рассказы о
всемогуществе искусственного интеллекта — как генеративного, так и
предиктивного. Компании умело используют эту веру, чтобы создавать
ажиотаж вокруг своих продуктов. При этом ИИ многих пугает. Это
привело к жестким ограничениям на его использование детьми;
предполагается, что такие меры защитят от нарушения приватности,
предвзятости и формирования зависимостей. Намерения благие, но
соблюдать правила дорого. В школах тем временем запретили
прибегать к помощи ИИ для выполнения домашних заданий, а
большинство учителей не применяют его и на уроках. По этим
причинам рынок детских приложений на базе ИИ не приносит особой
прибыли.
Генеративный ИИ продолжает развиваться. Хотя детям доступ к
развлекательным приложениям на его основе формально запрещен,
чтобы избежать регулирования и репутационных рисков, большинство
родителей все равно разрешают малышам ими пользоваться. Занятым
родителям трудно устоять перед соблазном улучить минутку тишины,
пока ребенок увлечен гаджетом!
Здесь стоит остановиться и отметить, что все это очень
напоминает ситуацию с онлайн-видео и социальными сетями. Многие
дети с малых лет постоянно смотрят видео, из-за чего поколение

Альфа часто называют поколением iPad. В социальных сетях, как
правило, можно зарегистрироваться только по достижении 13 лет, но
довольно распространена практика, когда родители помогают своим
детям обмануть систему и завести аккаунт 56.
Эти параллели показывают: несмотря на строгие правила и
защиту, влияние технологий на детей продолжает расти. Как мы
видим, общество часто оказывается в роли догоняющего, пытаясь
приспособиться к стремительно меняющемуся технологическому
ландшафту.
Одна из причин, по которой детям младше 13 лет закрыт доступ в
социальные сети, — регулирование, в частности американский Закон о
защите конфиденциальности детей в интернете (Children’s Online
Privacy Protection Act, COPPA). Этот важный документ принес немало
пользы, но также породил и ряд отрицательных последствий.
Столкнувшись с негативной реакцией на любые попытки охватить
аудиторию младше 13 лет, компании выбрали самый простой путь:
просто запретили детям доступ в соцсети. Но запрет не помешает 12летнему подростку дружить и общаться онлайн с 13-летним. Компании
прекрасно знают, что подростки младше 13 в соцсетях есть, но
считают, что это не их забота. Пока мы пишем эту книгу,
разворачивается ожесточенная битва вокруг этого вопроса. Многие
законодатели и активисты продолжают настаивать на подходе в духе
COPPA 57.
Но вернемся к миру Кая. Генеративный ИИ, вероятно, откроет
дорогу новым жанрам развлекательных приложений, которые могут
оказаться еще более захватывающими, чем существующие в наше
время. Например, пользователь сможет заказать видео «битвы
тираннозавра со штурмовиком на Красной планете», и приложение
мгновенно сгенерирует его, возможно, даже в формате 3D.
Потенциально можно будет создать и совершенно новую видеоигру
просто по текстовому описанию.
Мир Кая тупиковый. Введенные ограничения не смогли
предотвратить риски, которые так беспокоили законодателей.
Появились вызывающие зависимость приложения, зарабатывающие на
детских данных. Создаваемые в них миры и истории напичканы
скрытой рекламой. У них нет никакой образовательной ценности. А
разработчики и вовсе сняли с себя моральную ответственность, ведь

формально родители не должны разрешать детям пользоваться
приложениями!
Кай — любознательный от природы ребенок, и он все равно
использует ИИ для обучения: например, просит его создавать
изображения исторических событий и персонажей. Но у разработчиков
нет стимула вкладываться в повышение точности контента,
создаваемого ИИ, поэтому результаты часто недостоверны. Вдобавок,
чтобы угодить рекламодателям и сделать контент приемлемым во всех
странах, многие темы (войны, рабство и все, что намекает на
геополитическую напряженность) просто запретили. Особенно
трепетно разработчики относятся к требованиям китайского
правительства, ведь Китай — огромный рынок.
К счастью, Кай иногда пользуется несколькими образовательными
приложениями, созданными некоммерческими организациями. Но их
финансирование на порядки меньше, чем у популярных коммерческих
приложений, поэтому им сложно надолго удержать его внимание при
конкуренции с программами, вызывающими зависимость.
Вскоре Кай начинает пользоваться социальными сетями. Грань
между ними и генеративным ИИ постепенно стирается. Бо́ льшая часть
контента в соцсетях создается либо редактируется с помощью ИИ, да и
сами платформы генерируют значительную долю материалов (эта
тенденция уже наметилась в 2024 году) 58.
Напомним, что компании — владельцы соцсетей ежедневно
собирают около триллиона единиц данных о том, как пользователи
взаимодействуют с постами: комментируют, лайкают или просто
пролистывают. Сегодня этими данными питаются алгоритмы, которые
оптимизируют ленты путем персонализации контента. В мире Кая
данные нужны, чтобы с нуля создавать материалы, нацеленные на
определенных пользователей или группы. В результате появляется
затягивающий контент, вызывающий стойкое привыкание.
В школе у Кая не лучшие оценки: он слишком много времени
проводит в соцсетях. Его школа, как и многие другие, использует
предиктивный ИИ для распределения учеников по группам в
зависимости от их предполагаемых способностей. Поскольку
государственное
образование
по-прежнему
недополучает
финансирования, школа видит в такой сортировке способ
распределить скудные учебные ресурсы между детьми, которые,

предположительно, извлекут из них максимальную пользу. При этом
успеваемость детей определяется не только на основании их оценок,
но и с учетом множества других данных, например времени,
проводимого ими с гаджетами.
Школа считает такое распределение очень точным, не понимая,
что программа всего лишь выявляет примитивные статистические
закономерности. Прогнозы этих систем как будто сбываются, но никто
не осознает, что имеет дело с самосбывающимся пророчеством: если к
ученику относятся как к менее способному, его успеваемость
действительно снижается.
Распределение в группу учеников со средней успеваемостью
лишает Кая множества карьерных возможностей. Впрочем, его это не
особо тревожит. Взрослые постоянно твердят, что к моменту, когда он
окончит школу, ИИ общего назначения автоматизирует все профессии,
так что учеба кажется ему пустой тратой времени. Конечно, ИИ
общего назначения был «в трех-четырех годах от реализации», еще
когда Кай родился, но компании уверяют, что на этот раз все будет
иначе.
Технологические гиганты так обогатились на ИИ, что легко
манипулируют общественным мнением. Академические исследования
и технологическая журналистика полностью зависят от бизнеса, а
крупные компании занимаются продвижением регуляторных
механизмов, которые под предлогом безопасности не пускают на
рынок новых игроков.

Взросление с ИИ: мир Майи
В мире Майи использование детьми искусственного интеллекта
— обычное и нормальное явление. Многие приложения и игрушки
используют ИИ, делая его одновременно увлекательным и полезным
для обучения детей. Например, есть приложение для рисования,
которое анализирует эскизы в реальном времени, предлагает
улучшения и может превращать наброски в реалистичные
изображения. Появились говорящие плюшевые игрушки-компаньоны,
с которыми дети могут беседовать. Некоторые из них специально
созданы для развития языковых навыков, особенно при изучении
второго языка.
В то же время все признают риски, связанные с использованием
искусственного интеллекта детьми. Но вместо того чтобы вводить
ограничения из страха перед неизвестным, общество стремится
разобраться в вопросе. Финансирование исследований, изучающих
влияние различных технологий на детей, выросло в 10 раз. Проводятся
реформы, позволяющие проводить эти исследования в том же темпе, в
котором разрабатываются и внедряются новые технологии. Например,
компании, продающие детям продукты или приложения на основе ИИ,
обязаны предоставлять свои данные и системы независимым
исследователям. Так удалось устранить одно из главных препятствий
для изучения ИИ.
Обратите внимание: такой подход разительно отличается от того,
что произошло с социальными сетями в реальности. В 2024 году,
спустя 10 лет после того, как влияние соцсетей на психическое
здоровье подростков было признано серьезной общественной
проблемой, исследования все еще движутся черепашьим шагом и
далеки от окончательных выводов. Учитывая примитивные методы,
применяемые в этой недофинансируемой области, ситуация едва ли
изменится. Например, большинство исследований посвящено влиянию
«экранного времени» на детей, хотя каждый родитель знает (а
исследования это подтверждают), что не всякое времяпрепровождение
перед экраном одинаково: одни способы использования гаджетов

обогащают и развивают личность ребенка, другие вызывают
зависимость и разрушают психику 59.
В мире Майи родители и учителя внимательно следят за
независимыми оценками приложений, чтобы оградить детей от
вредных программ. Платформы вроде App Store от Apple и Google Play
Store
также
контролируют
соблюдение
требований
к
конфиденциальности, предотвращению зависимости и защите от
обмана, особенно когда речь идет о приложениях для детей.
Кроме того, увеличено финансирование правоохранительных
органов, исследований и журналистских расследований, способных
выявлять нарушения законов, обязательных для разработчиков.
Политики понимают: без такого финансирования регулирование
детской безопасности (как и любое другое) даст обратный эффект.
Недобросовестные компании будут игнорировать правила, зная, что
вероятность наказания невелика, а законопослушные — тратиться на
их соблюдение. Это поставит последних в невыгодное положение на
рынке, который в итоге наводнят небезопасные продукты, — то есть
произойдет прямо противоположное задуманному.
В мире Майи учителя вольны экспериментировать с внедрением
ИИ в образование и находить подходы, наиболее эффективные для их
классов. Технологии генеративного ИИ особенно легко подстраивать
под конкретные задачи. (Например, Итан Моллик и Лилах Моллик из
Уортонской школы Пенсильванского университета разработали семь
возможных ролей такого ИИ: репетитор, тренер, наставник, напарник,
инструмент, симулятор и ученик 60.) При этом учителя понимают:
нейросети могут только дополнить их труд, но не заменить его.
История образовательных технологий — кладбище переоцененных
продуктов 61. Учителя не только используют ИИ в обучении, но и
рассказывают об ИИ и технологиях в целом. Способность разбираться
в устройствах, приложениях, социальных сетях и ИИ признается
одной из ключевых компетенций, которая не может быть оставлена на
откуп родителям.
Майя начинает пользоваться социальными сетями в подростковом
возрасте. Но социальные сети в ее мире совсем не такие, как в мире
Кая. Регулирование заставило платформы наладить взаимодействие
друг с другом и с новыми игроками рынка. Требования совместимости
— это мягкая форма регулирования, призванная сделать рынок более

эффективным. В результате появилось множество альтернативных
соцсетей с разными бизнес-моделями, и не все они нацелены на то,
чтобы удерживать пользователей ради максимизации выручки от
рекламы. Появились также плагины для основных соцсетей,
предлагающие радикально иной интерфейс для работы с тем же
контентом.
Многие из этих альтернативных решений используют ИИ.
Диалоговые рекомендательные системы позволяют пользователям
описать желаемое наполнение своей ленты: «Никакой политики в
следующем месяце», «Больше материалов от признанных авторов,
даже если они не очень популярны», «Добавляйте каждый день
несколько видео для изучения испанского». В соцсетях работают боты,
которые помогают пользователям получать более качественную
информацию: например, показывают рядом разные интерпретации
новостных событий. С помощью этих и других инструментов
пользователи могут легко настраивать свою ленту так, чтобы она
оставалась интересной, способствовала обучению, предлагала
разнообразные точки зрения и снижала привыкание. Конечно, не все
используют эти возможности, но они очень популярны, особенно
среди подростков, которые настраивают свои ленты, чтобы
самовыразиться.
Майе пора задуматься о высшем образовании. В ее мире, как и в
нашем, критерии поступления в университеты остаются предметом
острых общественных дискуссий о роли справедливости и личных
заслуг. Однако за эти годы многое изменилось. Например, больше не
действует система преференций для детей и родственников
выпускников, особенно в элитных учебных заведениях.
Исторически такие преференции давали огромное преимущество
детям из богатых семей и служили инструментом передачи высокого
социально-экономического статуса из поколения в поколение. В
результате постоянного давления общественности большинство
университетов отказались от этой практики.
Некоторые университеты пытались внедрить предиктивный ИИ в
процесс отбора абитуриентов (якобы ради эффективности,
справедливости и учета личных заслуг), но столкнулись с волной
протестов по причинам, описанным нами в главах 2 и 3. В мире Майи
люди с большой настороженностью относятся к автоматизированным

системам, принимающим судьбоносные решения, и хорошо осознают
их опасность. Большинство университетов перешли на систему
частичной лотереи — идею, о которой мы рассказали чуть выше.
Майя надеялась поступить в университет Лиги плюща, но не
прошла по конкурсу, хотя ее показатели — и академические, и
внеучебные — заметно превышали пороговые значения для участия в
лотерее. Она, конечно, немного расстроена. Но вспоминая, через какие
испытания пришлось пройти ее родителям ради призрачного шанса на
поступление в престижный университет, чтобы в итоге столкнуться с
непрозрачной и во многом произвольной системой отбора, она
признает: открытая лотерея намного справедливее.
Важно, что университеты Лиги плюща уже не имеют прежнего
влияния в обществе. Теперь их воспринимают такими, каковы они на
самом деле: как механизмы, усиливающие социально-экономическое
неравенство. Как только их престиж в глазах общества померк,
большинство компаний перестали отдавать предпочтение их
выпускникам, ведь диплом этих вузов уже не добавляет такого веса,
как раньше. Поэтому неудача при поступлении не ставит крест на
карьерных перспективах Майи.
Готовясь выйти на рынок труда, она полна оптимизма. ИИ
продолжает развиваться, профессии постоянно меняются. Но у Майи
есть все основания уверенно смотреть в будущее. Поскольку ИИ в
основном автоматизирует отдельные задачи, а не целые профессии,
компании перестроили свои процессы с учетом необходимости
регулярного переобучения, повышения квалификации и изменения
должностных обязанностей. К тому же ИИ как таковой создал
множество новых рабочих мест. Собственно, еще в колледже Майя
разработала с его помощью несколько приложений.
Благодаря антимонопольному законодательству, защите труда и
реформе авторского права компании, работающие в сфере ИИ,
вынуждены делиться богатством. Больше не возникают ситуации,
когда горстка компаний наживается на бесплатном сборе онлайнконтента, выплачивая миллионам людей гроши за его разметку.
Появились ощутимая государственная поддержка непрерывного
образования и социальные гарантии, защищающие сотрудников при
потере рабочих мест из-за автоматизации. Кроме того, выросло
государственное финансирование искусства, а Майя как раз

подумывает о карьере художницы или хотя бы о том, чтобы заняться
творчеством. Вопреки мифам о разрушительном влиянии ИИ, его
способность имитировать форму художественных произведений лишь
усилила общественный интерес к подлинному человеческому
самовыражению через искусство. Это напоминает ситуацию начала
XXI века, когда повсеместная доступность шахматных приложений
привела к небывалому всплеску интереса к шахматам 62.
***
Давайте подведем итоги. Надеемся, нам удалось показать, что
участие ИИ в жизни общества может развиваться по совершенно
разным сценариям. Какой из двух описанных нами миров вероятнее?
Если судить по ситуации 2024 года, то это сценарий мира Кая, а не
Майи. Если мы и дальше будем относиться к ИИ и технологической
индустрии со смесью подобострастия и страха, именно к этому мы и
придем. Чтобы оказаться в мире Майи, потребуются серьезные
государственные инвестиции и изменение наших взглядов. Разумные
люди могут спорить об объемах необходимого государственного
финансирования. Но мы надеемся, что очевидно одно: путь
наименьшего сопротивления не приведет нас к счастливому финалу.
Именно поэтому мы и написали эту книгу. Мы не хотим оставлять
будущее ИИ в руках тех, кто сейчас им управляет.
Мы увидели, как много может изменить один человек, даже не
обладая техническими знаниями или особыми полномочиями. Нас
вдохновляют такие люди, как пуэрториканская художница Карла
Ортис, которая неустанно привлекает внимание к проблеме
присвоения чужого труда генераторами изображений. Благодаря ее
правозащитной деятельности и судебным искам эта проблема
получила широкую огласку, а сама Карла выступила перед сенатом
США 63.
Мы также видели, насколько эффективно люди могут менять
ситуацию на уровне своих сообществ. Ученики старшей школы River
Dell в Нью-Джерси выступили как против фантазий Кремниевой
долины об ИИ, так и против предубеждений своих учителей, которые
негативно относились к чат-ботам и подозревали учеников в
использовании нейросетей для списывания 64. Ребята собрали данные,
показывающие, что большинство их сверстников с интересом и
энтузиазмом относятся к ИИ-технологиям, хотя и обеспокоены

возможным вредом, а для плагиата нейросети использует ничтожное
меньшинство. Это помогло им добиться того, чтобы вместо полного
запрета ИИ были разработаны рекомендации по использованию
искусственного интеллекта в учебе, проводились эксперименты и
обучение эффективной работе с технологией.
Каждый из нас может внести свой вклад в формирование
будущего ИИ и его роли в обществе. Мы вносим его, написав эту
книгу и выпуская информационный бюллетень (AISnakeOil.com).
Присоединяйтесь к нам.

Благодарности
Книга «Хороший, плохой, искусственный» не появилась бы на
свет без неоценимого вклада множества людей. Халли Стеббинс
несколько раз терпеливо и внимательно читала черновики глав,
помогая нам превратить разрозненные фрагменты в полноценную
рукопись. Мэтт Салганик не только вдохновил нас своими
новаторскими исследованиями, но и предоставил бесценные
комментарии к черновикам. Мелани Митчелл, Молли Крокетт, Серина
Чанг, Крис Бейл и два анонимных рецензента дали к рукописи
обширные комментарии, что невероятно улучшило ее.
Мы признательны соавторам различных исследовательских
проектов, которые легли в основу книги или вдохновили нас на ее
создание. Важную роль сыграли совместная работа и обсуждения с
Солоном Барокасом, Кэти Гленн Басс, Риши Боммасани, Эмили
Кантрелл, Питером Хендерсоном, Дэниелом Э. Хо, Джереми Говардом,
Кевином Клайманом, Михиром Кширсагаром, Сетом Лазаром, Перси
Ляном, Шейном Лонгпре, Кенни Пенгом, Ашвином Рамасвами, Хилке
Шелльманн, Ари Сеном, Брэндоном Стюартом и Анжелиной Ванг.
Исследование удаления аккаунтов, представленное в главе 6, Арвинд
провел вместе с нашими коллегами Нией М. Браззелл, Клаудией
Язвинской, Орестисом Папакириакопулосом и той же Анжелиной
Ванг.
За плодотворные дискуссии, обогатившие нашу работу, мы
благодарим Джулию Ангвин, Сюэчуньцзы Бай, Митчелл Бейкер,
Кевина Бэнкстона, Стеллу Бидерман, Миранду Боген, Дебору Брайант,
Румман Чоудхури, Питера Сихона, Джастина Керла, Алекса Энглера,
Элли Эванс, Эндрю Гелмана, Одда Эрика Гундерсена, Морица Хардта,
Дэна Хендрикса, Мирей Хильдебрандт, Кашмир Хилл, Джейка М.
Хофмана, Аспен Хопкинс, Джессику Халлман, Уильяма Айзека, Рави
Айера, Ясина Джерните, Мелани Камбадур, Дафну Келлер, Зико
Колтера, Майкла А. Лонса, Стефано Маффули, Момина М. Малика,
Нестора Маслея, Лизу Мессери, Приянку Нанаяккара, Алондру
Нельсон, Хиен Фам, Жоэль Пино, Рассела А. Полдрака, Иниолуву

Дебору Раджи, Майкла Робертса, Марту Серра-Гарсию, Йонадава
Шавита, Авию Сковрон, Виктора Сторчана, Джонатана Стрэя, Жиля
Вандевиле, Бетти Сюн, Кори Зарек и Дэниела Чжана. Все они помогли
нам глубже понять многие вопросы.
Также мы выражаем благодарность Сандживу Ароре, Эмили
Бендер, Тимнит Гебру и Колину Раффелу за их отзывы о наших
публикациях в информационном бюллетене и докладах. Их поддержка
и конструктивная критика были очень важны для нас.
Наконец, мы благодарим наших коллег — как нынешних, так и
бывших — из Принстонского центра политики в области
информационных технологий. Они помогли создать атмосферу для
плодотворного сотрудничества и повлияли на то, как мы писали
различные части книги. Это Арчана Алават, Шазеда Ахмед, Джордан
Бренсингер, Джин Бутчер, Дэн Калаччи, Титхи Чаттопадхьяй, Лора
Каммингс-Абдо, Амрит Дасвани, Шреяс Гандлур, Люси Хе, Бен
Кайзер, Анна Кольбреннер, Александра Королова, Амна Лиакат, Эли
Лучерини, Сурья Матту, Джонатан Майер, Якоб Мекандер, Андрес
Монрой-Эрнандес, Нитья Надгир, Варун Рао, Карен Роуз, Бенедикт
Штребль, Мэтью Сан, Росс Тейшейра, Кристель Тессоно, Мона Ванг,
Элизабет Уоткинс, Эми Уайнкофф и Мэдлин Сяо.

[1] Большинство примеров в нашей книге, в том числе и этот,
взяты из американской действительности: мы живем и работаем в
США. Но выводы, которые мы делаем, вполне применимы и к другим
странам.
[2] Massachusetts Institute of Technology — Массачусетский
технологический
институт.
Знаменитый
университет
и
исследовательский центр, расположенный в Кембридже (пригороде
Бостона), штат Массачусетс, США. — Прим. ред.
[3] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.

[4] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[5] STEM-дисциплины — Science (наука), Technology
(технология), Engineering (инженерия) и Mathematics (математика).
[6] Известны две базы данных, в которых фиксируются случаи
сбоев ИИ, включая предиктивный, в реальных условиях. База данных
инцидентов ИИ к 2024 году содержала более 600 отчетов, а
Репозиторий инцидентов и противоречий в области ИИ, алгоритмов и
автоматизации — свыше 1400.
[7] На самом деле алгоритм был немного сложнее: при доходе
свыше $75 000 в год сумма выплаты снижалась постепенно. Для семей
с детьми были отдельные правила.
[8] Фостерная семья — это профессиональная замещающая семья,
которая временно берет на воспитание и реабилитацию приемных
детей — до момента, пока им не найдут постоянных приемных
родителей или не вернут к кровным. — Прим. ред.
[9] Гарри Трумэн и Томас Дьюи — кандидаты в президенты США
на выборах 1948 года.
[10] Английская поговорка, которая появилась в период, когда
IBM была абсолютным лидером на рынке компьютерной техники.
Если возникала проблема, то в качестве оправдания говорили: «Мы
купили самое лучшее, то есть IBM».

[11] В то время она называлась Fair, Isaac and Company.
[12] Деятельность Meta Platforms, Inc. (в т.ч. по реализации
соцсетей Facebook и Instagram) запрещена в Российской Федерации
как экстремистская. — Прим. ред.
[13] Автор обобщает: «Дневник Анны Франк» издан в 1947 году.
— Прим. ред.
[14] Также известен как эффект Матфея (название предложено
Робертом Мертоном в 1968 году). — Прим. ред.
[15] Есть и другие факторы. К примеру, в 2020 году случаев
заболеваний гриппом было зарегистрировано совсем немного:
сказались меры социального дистанцирования, введенные для борьбы
с COVID-19. Конкурс FluSight в тот год пришлось отменить.
[16] Предполагается, что продолжительность одного поколения
инфекции (от заражения человека до того, как он заразит другого)
составляет пять дней.
[17] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[18]«Особое мнение» (англ. Minority Report) — американский
научно-фантастический боевик режиссера Стивена Спилберга по
мотивам одноименного рассказа писателя Филипа Киндреда Дика.
[19] Компания Meta Platforms, Inc. признана в РФ экстремистской
организацией и ее деятельность на территории Российской Федерации

запрещена. — Прим. ред.
[20] Строго говоря, с математической точки зрения
калиброванный метеопрогноз означает следующее: если взять все дни,
для которых синоптик предсказывал вероятность дождя в x%, то в x%
этих дней действительно шел дождь.
[21] Бизнесу и государственным структурам ИИ начал приносить
пользу гораздо раньше.
[22] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[23] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[24] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[25] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[26] Оператор мобильной связи, управляемый Google. — Прим.
ред.
[27] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[28] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих

продуктов на территории Российской Федерации запрещена.
[29] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[30] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[31] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[32] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[33] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[34] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[35] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[36] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[37] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[38] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.

[39] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[40] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[41] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[42] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[43] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[44] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[45] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[46] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[47] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[48] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[49] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.

[50] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[51] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[52] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[53] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[54] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[55] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[56] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[57] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[58] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.

[59] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[60] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[61] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[62] Социальная сеть Instagram принадлежит компании Meta, чья
деятельность признана в России экстремистской и запрещена.
[63] Деятельность Meta Platforms, Inc. (в т.ч. по реализации
соцсетей Facebook и Instagram) запрещена в Российской Федерации
как экстремистская.
[64] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[65] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[66] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[67] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[68] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.

[69] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[70] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[71] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[72] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[73] Социальная сеть Instagram принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[74] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[75] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[76] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[77] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.

[78] Возникает вопрос: почему бы алгоритмам модерации не
использовать ту же логику? Компании пытались это сделать, но
столкнулись с рядом неочевидных технических препятствий.
[79] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[80] Социальная сеть Instagram принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[81] Социальная сеть Instagram принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[82] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[83] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[84] Дотком — это термин, который применялся и применяется по
отношению к компаниям, чья бизнес-модель целиком основывается на
работе в интернете.
[85] Деятельность Meta Platforms, Inc. (в т.ч. по реализации
соцсетей Facebook и Instagram) запрещена в Российской Федерации
как экстремистская.
[86] Деятельность Meta Platforms, Inc. (в т.ч. по реализации
соцсетей Facebook и Instagram) запрещена в Российской Федерации

как экстремистская.
[87] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.
[88] Социальная сеть Facebook принадлежит компании Meta
Platforms, Inc., деятельность которой по реализации соответствующих
продуктов на территории Российской Федерации запрещена.

Источники
Глава 1
1. Heaven WD. «The Inside Story of How ChatGPT Was Built from
the People Who Made It.» MIT Technology Review. March 3, 2023.
https://www.technologyreview.com/2023/03/03/1069311/inside-story-oralhistory-how-chatgpt-built-openai/.
2. Ptacek TH. «I’m sorry, I simply cannot be cynical about a
technology that can accomplish this.» X (formerly Twitter). December 1,
2022. https://twitter.com/tqbf/status/1598513757805858820?lang=en.
3. Hu K. «ChatGPT Sets Record for Fastest-Growing User Base —
Analyst
Note.»
Reuters.
February
2,
2023.
https://www.reuters.com/technology/chatgpt-sets-record-fastest-growinguser-base-analyst-note-2023–02−01/.
4. DeGeurin M. «Why Google Isn’t Rushing Forward with AI
Chatbots.» Gizmodo. December 14, 2022. https://gizmodo.com/lamdagoogle-ai-chatgpt-openai-1849892728.
5. Macintosh B [@bmac_astro]. «Speaking as someone who imaged
an exoplanet 14 years before JWST was launched, it feels like you should
find a better example?» X (formerly Twitter). February 7, 2023.
https://twitter.com/bmac_astro/status/1623136549524353024.
6. Wittenstein J. «Bard AI Chatbot Just Cost Google $100 Billion.»
Time. February 9, 2023. https://time.com/6254226/alphabet-google-bard100-billion-ai-error/.

7. Christian J. «CNET Sister Site Restarts AI Articles, Immediately
Publishes Idiotic Error.» Futurism. Updated February 1, 2023.
https://futurism.com/cnet-bankrate-restarts-ai-articles.
8. Cole S. «„Life or Death:“ AI-Generated Mushroom Foraging Books
Are All over Amazon.» 404 Media. August 29, 2023.
https://www.404media.co/ai-generated-mushroom-foraging-books-amazon/.
9. Brittain B. «OpenAI Asks Court to Trim Authors' Copyright
Lawsuits.»
Reuters.
August
29,
2023.
https://www.reuters.com/legal/litigation/openai-asks-court-trim-authorscopyright-lawsuits-2023–08−29/.
10. Valyaeva A. «AI Image Statistics: How Much Content Was Created
by AI.» Insight (blog). Everypixel Journal. August 15, 2023.
https://journal.everypixel.com/ai-image-statistics.
11. Kapoor S, Narayanan A. «How to Prepare for the Deluge of
Generative AI on Social Media.» Kn First Amend Inst. June 16, 2023.
http://knightcolumbia.org/content/how-to-prepare-for-the-deluge-ofgenerative-ai-on-social-media.
12. NVIDIA Game Developer. «NVIDIA ACE for Games Sparks Life
into Virtual Characters with Generative AI.» YouTube video, 2:02. May 28,
2023. https://www.youtube.com/watch?v=nAEQdF3JAJo.
13. Dalton A. «AI Is the Wild Card in Hollywood’s Strikes. Here’s an
Explanation of Its Unsettling Role.» AP News. July 21, 2023.
https://apnews.com/article/artificial-intelligence-hollywood-strikesexplained-writers-actors-e872bd63ab52c3ea9f7d6e825240a202.

14. Crawford K. Atlas of AI: Power, Politics, and the Planetary Costs
of Artificial Intelligence. New Haven: Yale University Press; 2021.
15. Narayanan A. «Students Are Acing Their Homework by Turning in
Machine-Generated Essays. Good.» AI Snake Oil. October 21, 2022.
https://www.aisnakeoil.com/p/students-are-acing-their-homework.
16. Raji ID, Kumar IE, Horowitz A, Selbst A. «The Fallacy of AI
Functionality.» In 2022 ACM Conference on Fairness, Accountability, and
Transparency. Seoul Republic of Korea: ACM; 2022. p. 959–72.
https://dl.acm.org/doi/10.1145/3531146.3533158.
17. Ross C, Herman B. «Denied by AI: How Medicare Advantage
Plans Use Algorithms to Cut Off Care for Seniors in Need.» STAT. March
13, 2023. https://www.statnews.com/2023/03/13/medicare-advantage-plansdenial-artificial-intelligence/.
18. Varner M, Sankin A. «Suckers List: How Allstate’s Secret Auto
Insurance Algorithm Squeezes Big Spenders.» The Markup. February 25,
2020. https://themarkup.org/allstates-algorithm/2020/02/25/car-insurancesuckers-list.
19. Robinson DG. Voices in the Code: A Story about People, Their
Values, and the Algorithm They Made. New York: Russell Sage
Foundation; 2022.
20. Marcus G. «Face It, Self-Driving Cars Still Haven’t Earned Their
Stripes.»
Marcus
on
AI
(blog).
August
19,
2023.
https://garymarcus.substack.com/p/face-it-self-driving-cars-still-havent.
21. Ryan-Mosley T. «The New Lawsuit That Shows Facial
Recognition Is Officially a Civil Rights Issue.» MIT Technology Review.

April
14,
2021.
https://www.technologyreview.com/2021/04/14/1022676/robert-williamsfacial-recognition-lawsuit-aclu-detroit-police/.
22. «Facial Recognition Tool Led to Mistaken Arrest, Lawyer Says.»
AP News. January 2, 2023. https://apnews.com/article/technologylouisiana-baton-rouge-new-orleans-crime50e1ea591aed6cf14d248096958dccc4.
23. Hill K. «Eight Months Pregnant and Arrested after False Facial
Recognition Match.» The New York Times. August 6, 2023.
https://www.nytimes.com/2023/08/06/business/facial-recognition-falsearrest.html.
24. Cipriano A. «Facial Recognition Now Used in over 1,800 Police
Agencies:
Report.»
The
Crime
Report.
April
7,
2021.
https://thecrimereport.org/2021/04/07/facial-recognition-now-used-in-over1800-police-agencies-report/.
25. Crumpler W. «How Accurate Are Facial Recognition Systems —
and Why Does It Matter?» Strategic Technologies Blog. CSIS. April 14,
2020. https://www.csis.org/blogs/strategic-technologies-blog/how-accurateare-facial-recognition-systems-and-why-does-it.
26. Buolamwini J, Gebru T, Raynham H, Raji D, Zuckerman E.
«Gender
Shades.»
MIT
Media
Lab.
https://www.media.mit.edu/projects/gender-shades/overview/.
Accessed
February 15, 2024.
27. Buolamwini J, Gebru T. «Gender Shades: Intersectional Accuracy
Disparities in Commercial Gender Classification.» In: Proceedings of the
1st Conference on Fairness, Accountability and Transparency. PMLR; 2018.
pp. 77–91. https://proceedings.mlr.press/v81/buolamwini18a.html.

28. Hill K. Your Face Belongs to Us: A Secretive Startup’s Quest to
End Privacy as We Know It. New York: Random House; 2023.
29. «Russia: Police Target Peaceful Protesters Identified Using Facial
Recognition Technology.» Amnesty International. April 27, 2021.
https://www.amnesty.org/en/latest/press-release/2021/04/russia-policetarget-peaceful-protesters-identified-using-facial-recognition-technology/.
30. Hill K, Kilgannon C. «Madison Square Garden Uses Facial
Recognition to Ban Its Owner’s Enemies.» The New York Times.
December
22,
2022.
https://www.nytimes.com/2022/12/22/nyregion/madison-square-gardenfacial-recognition.html.
31. Brewster T. «Exclusive: DHS Used Clearview AI Facial
Recognition in Thousands of Child Exploitation Cold Cases.» Forbes.
August
7,
2023.
https://www.forbes.com/sites/thomasbrewster/2023/08/07/dhs-ai-facialrecognition-solving-child-exploitation-cold-cases/.
32. «Rite Aid Corporation, FTC v.» Cases and Proceedings. Federal
Trade Commission. 2023. https://www.ftc.gov/legal-library/browse/casesproceedings/2023190-rite-aid-corporation-ftc-v.
33. Kaltheuner F., ed. Fake AI. Manchester, UK: Meatspace Press;
2021. https://shop.meatspacepress.com/products/fake-ai-e-book.
34. Lazer D, Kennedy R, King G, Vespignani A. «The Parable of
Google Flu: Traps in Big Data Analysis.» Science 343, no. 6176 (March
2014):11203–5.

35. Sculley D, Holt G, Golovin D, Davydov E, Phillips T, Ebner D, et
al. «Hidden Technical Debt in Machine Learning Systems.» In: Advances in
Neural Information Processing Systems. Montreal: Curran Associates;
2015.
https://papers.nips.cc/paper_files/paper/2015/hash/86df7dcfd896fcaf2674f7
57a2463eba-Abstract.html.
36. Merritt SH, Gaffuri K, Zak PJ. «Accurately Predicting Hit Songs
Using Neurophysiology and Machine Learning.» Front Artif Intell. 6
(2023). https://www.frontiersin.org/articles/10.3389/frai.2023.1154663.
37. Bushwick S, Tu L. «Here’s How AI Can Predict Hit Songs with
Frightening Accuracy.» Scientific American. July 28, 2023.
38. Heath R. «Neuro-forecasting the Next No. 1 Song.» Axios. June
27, 2023. https://www.axios.com/2023/06/27/ai-predicts-hits-number-onesongs.
39. Kapoor S, Narayanan A. «Leakage and the Reproducibility Crisis
in Machine-Learning-Based Science.» Patterns 4, no. 9 (September
2023):100804.
40. Roberts M, Driggs D, Thorpe M, Gilbey J, Yeung M, Ursprung S,
et al. «Common Pitfalls and Recommendations for Using Machine
Learning to Detect and Prognosticate for COVID-19 Using Chest
Radiographs and CT Scans.» Nat Mach Intell. 3, no. 3 (March 2021):199–
217.
41. Serra-Garcia M, Gneezy U. «Nonreplicable Publications Are Cited
More Than Replicable Ones.» Sci Adv. 7, no. 21 (May 2021): eabd1705.

42. Kapoor S, Cantrell E, Peng K, Pham TH, Bail CA, Gundersen OE,
et al. «REFORMS: Reporting Standards for Machine Learning Based
Science.»
arXiv.
Revised
September
19,
2023.
http://arxiv.org/abs/2308.07832.
43. Wang A, Kapoor S, Barocas S, Narayanan A. «Against Predictive
Optimization: On the Legitimacy of Decision-Making Algorithms That
Optimize Predictive Accuracy.» In: 2023 ACM Conference on Fairness,
Accountability, and Transparency. Chicago, IL: ACM; 2023. p. 626–626.
https://dl.acm.org/doi/10.1145/3593013.3594030.
44. Atleson M. «Keep Your AI Claims in Check.» Business blog.
Federal
Trade
Commission.
February
27,
2023.
https://www.ftc.gov/business-guidance/blog/2023/02/keep-your-ai-claimscheck.
45. Levy S. «Blake Lemoine Says Google’s LaMDA AI Faces
„Bigotry.“ » Wired. June 17, 2022. https://www.wired.com/story/blakelemoine-google-lamda-ai-bigotry/.
46. Pulitzer Center. «AI Accountability Fellowships.» Pulitzer Center.
2023.
https://pulitzercenter.org/grants-fellowships/opportunitiesjournalists/ai-accountability-fellowships.
47. Sen A, Bennett DK. «Tracked: How Colleges Use AI to Monitor
Student Protests.» Dallas Morning News. September 20, 2022.
https://interactives.dallasnews.com/2022/social-sentinel/.
48.
Narayanan
A,
https://www.aisnakeoil.com/.

Kapoor

S.

AI

Snake

Oil.

49. Yiu E, Kosoy E, Gopnik A. «Transmission versus Truth, Imitation
versus Innovation: What Children Can Do That Large Language and
Language-and-Vision Models Cannot (Yet).» Perspect Psychol Sci J Assoc
Psychol Sci. (October 2023):17456916231201401.
50. Li H, Vincent N, Chancellor S, Hecht B. «The Dimensions of Data
Labor: A Road Map for Researchers, Activists, and Policymakers to
Empower Data Producers.» In: Proceedings of the 2023 ACM Conference
on Fairness, Accountability, and Transparency. New York: ACM; 2023. p.
1151–61. https://dl.acm.org/doi/10.1145/3593013.3594070.
Глава 2
1. Svrluga S. «University President Allegedly Says Struggling
Freshmen Are Bunnies That Should Be Drowned.» The Washington Post.
January
19,
2016.
https://www.washingtonpost.com/news/gradepoint/wp/2016/01/19/university-president-allegedly-says-strugglingfreshmen-are-bunnies-that-should-be-drowned-that-a-glock-should-be-putto-their-heads/.
2. Feathers T. «Major Universities Are Using Race as a „High Impact
Predictor“ of Student Success.» The Markup. March 2, 2021.
https://themarkup.org/machine-learning/2021/03/02/major-universities-areusing-race-as-a-high-impact-predictor-of-student-success.
3. Waldman A. «Power, Process, and Automated Decision-Making.»
Fordham Law Rev. 88, no. 2 (November 2019):613.
4. Artificial Intelligence Incident Database. https://incidentdatabase.ai/.
5. AI, Algorithmic, and Automation Incidents and Controversies
Repository. https://www.aiaaic.org/aiaaic-repository.

6. Pasquale F. The Black Box Society: The Secret Algorithms That
Control Money and Information. Cambridge, MA: Harvard University
Press;
2015.
https://www.degruyter.com/document/doi/10.4159/harvard.9780674736061
/html.
7. «Advancing Public Health Interventions to Address the Harms of
the Carceral System.» Policy Statement Database. APHA. October 26,
2021. https://www.apha.org/Policies-and-Advocacy/Public-Health-PolicyStatements/Policy-Database/2022/01/07/Advancing-Public-HealthInterventions-to-Address-the-Harms-of-the-Carceral-System.
8. Rabuy B, Kopf D. «Detaining the Poor: How Money Bail
Perpetuates an Endless Cycle of Poverty and Jail Time.» Prison Policy
Initiative.
May
10,
2016.
https://www.prisonpolicy.org/reports/incomejails.html.
9. Subramanian R et al. Incarceration’s Front Door: The Misuse of
Jails in America. New York: Vera Institute of Justice; 2015.
https://www.vera.org/downloads/publications/incarcerations-front-doorsummary.pdf.
10. Kang-Brown J, Montagnet C, Heiss J. People in Jail and Prison in
Spring 2021.New York: Vera Institute of Justice; 2021.
https://www.vera.org/downloads/publications/people-in-jail-and-prison-inspring-2021.pdf.
11. Angwin J (ProPublica), contributor. Sample COMPAS Risk
Assessment:
COMPAS
«CORE.»
DocumentCloud;
2011.
https://www.documentcloud.org/documents/2702103-Sample-RiskAssessment-COMPAS-CORE.

12. Northpointe, Inc. Practitioner’s Guide to COMPAS Core. April 4,
2019. http://www.equivant.com/wp-content/uploads/Practitioners-Guide-toCOMPAS-Core-040419.pdf.
13. Taulli T. «Upstart: Can AI Kill the FICO Score?» Forbes. August
13, 2021. https://www.forbes.com/sites/tomtaulli/2021/08/13/upstart-can-aikill-the-fico-score/.
14. Lum K, Isaac W. «To Predict and Serve?» Significance 13, no. 5
(2016):14–9.
15. Wang A, Kapoor S, Barocas S, Narayanan A. «Against Predictive
Optimization: On the Legitimacy of Decision-Making Algorithms That
Optimize Predictive Accuracy.» In: 2023 ACM Conference on Fairness,
Accountability, and Transparency. Chicago, IL: ACM; 2023. p. 626.
https://dl.acm.org/doi/10.1145/3593013.3594030.
16. Caruana R, Lou Y, Gehrke J, Koch P, Sturm M, Elhadad N.
«Intelligible Models for HealthCare: Predicting Pneumonia Risk and
Hospital 30-Day Readmission.» In: Proceedings of the 21st ACM SIGKDD
International Conference on Knowledge Discovery and Data Mining.
Sydney,
NSW
Australia:
ACM;
2015.
p.
1721–30.
https://dl.acm.org/doi/10.1145/2783258.2788613.
17. Cooper GF, Aliferis CF, Ambrosino R, Aronis J, Buchanan BG,
Caruana R, et al. «An Evaluation of Machine-Learning Methods for
Predicting Pneumonia Mortality.» Artif Intell Med 9, no. 2 (February
1997):107–38.
18. Ye C, Fu T, Hao S, Zhang Y, Wang O, Jin B, et al. «Prediction of
Incident Hypertension within the Next Year: Prospective Study Using
Statewide Electronic Health Records and Machine Learning.» J Med
Internet Res 20, no. 1 (January 2018): e22.

19. Filho AC, Batista AFDM, Santos HG dos. «Data Leakage in Health
Outcomes Prediction with Machine Learning. Comment on „Prediction of
Incident Hypertension within the Next Year: Prospective Study Using
Statewide Electronic Health Records and Machine Learning.“» J Med
Internet Res 23, no. 2 (February 2021): e10969.
20. Fuller JB, Raman M, Sage-Gavin E, Hines K. Hidden Workers:
Untapped Talent. Cambridge, MA: Harvard Business School; 2021.
https://www.hbs.edu/managing-the-future-ofwork/Documents/research/hiddenworkers09032021.pdf.
21. Burrell J. «How the Machine „Thinks“: Understanding Opacity in
Machine Learning Algorithms.» Big Data Soc 3, no. 1 (June
2016):2053951715622512.
22. Schellmann H. «Finding It Hard to Get a New Job? Robot
Recruiters Might Be to Blame.» The Guardian. May 11, 2022.
https://www.theguardian.com/us-news/2022/may/11/artitifical-intelligencejob-applications-screen-robot-recruiters.
23. Harwell D. «A Face-Scanning Algorithm Increasingly Decides
Whether You Deserve the Job.» The Washington Post. October 22, 2019.
https://www.washingtonpost.com/technology/2019/10/22/ai-hiring-facescanning-algorithm-increasingly-decides-whether-you-deserve-job/.
24. Harlan E, Schnuck O. «Objective or Biased.» BR 24. February 16,
2021. https://interaktiv.br.de/ki-bewerbung/en/.
25. Rhea A, Markey K, D’Arinzo L, Schellmann H, Sloane M, Squires
P, et al. «Resume Format, LinkedIn URLs and Other Unexpected Influences
on AI Personality Prediction in Hiring: Results of an Audit.» In:

Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and
Society.
Oxford:
ACM;
2022.
p.
572–87.
https://dl.acm.org/doi/10.1145/3514094.3534189.
26. Geiger G. «How a Discriminatory Algorithm Wrongly Accused
Thousands of Families of Fraud.» Vice. March 1, 2021.
https://www.vice.com/en/article/jgq35d/how-a-discriminatory-algorithmwrongly-accused-thousands-of-families-of-fraud.
27. Heikkilä M. «Dutch Scandal Serves as a Warning for Europe over
Risks of Using Algorithms.» POLITICO. March 29, 2022.
https://www.politico.eu/article/dutch-scandal-serves-as-a-warning-foreurope-over-risks-of-using-algorithms/.
28. Jones S. «Many Caribbean Dutch Victims of Benefits Scandal.»
Caribbean
Network.
February
1,
2021.
https://caribischnetwerk.ntr.nl/2021/02/01/veel-caribische-nederlandersslachtoffer-toeslagenaffaire/.
29. Autoriteit Persoonsgegevens. «Tax Authorities Fine for FSV
Blacklist.»
April
12,
2022.
https://autoriteitpersoonsgegevens.nl/actueel/boete-belastingdienst-voorzwarte-lijst-fsv.
30. Wykstra S, Undark. «It Was Supposed to Detect Fraud. It
Wrongfully Accused Thousands Instead.» The Atlantic. 2020.
https://www.theatlantic.com/technology/archive/2020/06/michiganunemployment-fraud-automation/612721/.
31. Pearson J. «The Story of How the Australian Government Screwed
Its
Most
Vulnerable
People.»
Vice.
August
24,
2020.
https://www.vice.com/en/article/y3zkgb/the-story-of-how-the-australiangovernment-screwed-its-most-vulnerable-people-v27n3.

32. Martineau P. «Toronto Tapped Artificial Intelligence to Warn
Swimmers. The Experiment Failed.» The Information. November 4, 2022.
https://www.theinformation.com/articles/when-artificial-intelligence-isntsmarter.
33. Mole B. «UnitedHealth Uses AI Model with 90% Error Rate to
Deny Care, Lawsuit Alleges.» Ars Technica. November 16, 2023.
https://arstechnica.com/health/2023/11/ai-with-90-error-rate-forces-elderlyout-of-rehab-nursing-homes-suit-claims/.
34. Parasuraman R, Manzey DH. «Complacency and Bias in Human
Use of Automation: An Attentional Integration.» Hum Factors 52, no. 3
(June 2010):381–410.
35. Goel S, Shroff R, Skeem J, Slobogin C. «The Accuracy, Equity,
and Jurisprudence of Criminal Risk Assessment.» In: Research Handbook
on Big Data Law, ed. Roland Vogel. Cheltenham, UK: Edward Elgar
Publishing;
2021.
p.
9–28.
https://www.elgaronline.com/edcollchap/edcoll/9781788972819/978178897
2819.00007.xml.
36. Corey E. «How a Tool to Help Judges May Be Leading Them
Astray.» The Appeal. August 8, 2019. https://theappeal.org/how-a-tool-tohelp-judges-may-be-leading-them-astray/.
37. Chouldechova A, Benavides-Prado D, Fialko O, Vaithianathan R.
«A Case Study of Algorithm-Assisted Decision Making in Child
Maltreatment Hotline Screening Decisions.» In: Proceedings of the 1st
Conference on Fairness, Accountability and Transparency. PMLR; 2018. p.
134–48. https://proceedings.mlr.press/v81/chouldechova18a.html.

38. Abdurahman JK. "Birthing Predictions of Premature
Death."Logic(s)
Magazine.
August
22,
2022.
https://logicmag.io/home/birthing-predictions-of-premature-death/.
39. Obermeyer Z, Powers B, Vogeli C, Mullainathan S. «Dissecting
Racial Bias in an Algorithm Used to Manage the Health of Populations.»
Science 366, no. 6464 (October 2019):447–53.
40. Wolford G, Miller MB, Gazzaniga M. «The Left Hemisphere’s
Role in Hypothesis Formation.» J Neurosci 20, no. 6 (March 2000): RC64.
41. Jenkins HM, Ward WC. «Judgment of Contingency between
Responses and Outcomes.» Psychol Monogr Gen Appl 79, no. 1 (1965):1–
17.
42. Nix E. «„Dewey Defeats Truman“: The Election Upset behind the
Photo.»
History.
Updated
November
2,
2020.
https://www.history.com/news/dewey-defeats-truman-election-headlinegaffe.
43. Wohlsen M. «I Just Want Nate Silver to Tell Me Everything’s
Going
to
Be
Fine.»
Wired.
October
16,
2016.
https://www.wired.com/2016/10/just-want-nate-silver-tell-everythingsgoing-fine/.
44. Bueno N, Nunes F, Zucco C. «Benefits by Luck: A Study of
Lotteries as a Selection Method for Government Programs.» Available at
SSRN (April 2023). https://papers.ssrn.com/abstract=4411082.
Глава 3
1. Rees A. «The History of Predicting the Future.» Wired. December
27, 2021. https://www.wired.com/story/history-predicting-future/.

2.
«Diaper-Beer
Syndrome.»
Forbes.
April
https://www.forbes.com/forbes/1998/0406/6107128a.html.

6,

1998.

3. Anderson C. «The End of Theory: The Data Deluge Makes the
Scientific
Method
Obsolete.»
Wired.
June
23,
2008.
https://www.wired.com/2008/06/pb-theory/.
4. Narayanan A, Salganik MJ. «Limits to Prediction.» Fall 2020.
https://msalganik.github.io/cos597E-soc555_f2020/.
5. Romeo N. «Ancient Device for Determining Taxes Discovered in
Egypt.»
National
Geographic.
May
18,
2016.
https://www.nationalgeographic.com/history/article/160517-nilometerdiscovered-ancient-egypt-nile-river-archaeology.
6. «Weather Forecasting through the Ages.» NASA Earth Observatory.
February
25,
2002.
https://earthobservatory.nasa.gov/features/WxForecasting/wx2.php.
7. Lorenz EN. «Deterministic Nonperiodic Flow.» J Atmospheric Sci
20, no. 2 (March 1963):130–41.
8. Chang K, Edward N. «Lorenz, a Meteorologist and a Father of
Chaos Theory, Dies at 90.» The New York Times. April 17, 2008.
https://www.nytimes.com/2008/04/17/us/17lorenz.html.
9. «Butterflies, Tornadoes, and Time Travel.» APSNews. June 2004.
http://www.aps.org/publications/apsnews/200406/butterfly-effect.cfm.

10. Bauer P, Thorpe A, Brunet G. «The Quiet Revolution of Numerical
Weather Prediction.» Nature 525, no. 7567 (September 2015):47–55.
11. Forrester JW. «System Dynamics and the Lessons of 35 Years.» In:
A Systems-Based Approach to Policymaking, ed. KB Greene. Boston, MA:
Springer US; 1993. p. 199–240. https://doi.org/10.1007/978−1–4615–
3226−2_7.
12. Lepore J. «How the Simulmatics Corporation Invented the
Future.»
The
New
Yorker.
July
27,
2020.
https://www.newyorker.com/magazine/2020/08/03/how-the-simulmaticscorporation-invented-the-future.
13. De Sola Pool I, Abelson R. «The Simulmatics Project.» Public
Opin Q 25, no. 2 (January 1961):167–83.
14. Paul T. «When Did Credit Scores Start? A Brief Look at the Long
History behind Credit Reporting.» CNBC. Updated January 31, 2023.
https://www.cnbc.com/select/when-did-credit-scores-start/.
15. Ochigame R. «The Long History of Algorithmic Fairness.»
Phenomenal
World.
January
30,
2020.
https://www.phenomenalworld.org/analysis/long-history-algorithmicfairness/.
16. Reicin E. «Council Post: AI Can Be a Force for Good in Recruiting
and Hiring New Employees.» Forbes. November 16, 2021.
https://www.forbes.com/sites/forbesnonprofitcouncil/2021/11/16/ai-can-bea-force-for-good-in-recruiting-and-hiring-new-employees/.
17. Lau J. «Google Maps 101: How AI Helps Predict Traffic and
Determine Routes.» The Keyword (blog). Google. September 3, 2020.

https://blog.google/products/maps/google-maps-101-how-ai-helps-predicttraffic-and-determine-routes/.
18. «Traffic Prediction for Retail Labor Forecasting More.»
SenSource. https://sensourceinc.com/vea-software/forecasting/. Accessed
February 16, 2024.
19. Earthquake Hazards Program. «Introduction to the National
Seismic Hazard Maps.» U. S. Geological Survey. March 9, 2022.
https://www.usgs.gov/programs/earthquake-hazards/science/introductionnational-seismic-hazard-maps.
20. «Can You Predict Earthquakes?» U. S. Geological Survey.
https://www.usgs.gov/faqs/can-you-predict-earthquakes. Accessed February
16, 2024.
21. Hong S-ha. «Prediction as Extraction of Discretion.» Big Data Soc
10, no. 1 (January 2023):20539517231171053.
22. Hofman JM, Sharma A, Watts DJ. «Prediction and Explanation in
Social Systems.» Science 355 no. 6324 (February 2017):486–8.
23. Scott SB, Rhoades GK, Stanley SM, Allen ES, Markman HJ.
«Reasons for Divorce and Recollections of Premarital Intervention:
Implications for Improving Relationship Education.» Couple Fam Psychol
2, no. 2 (June 2013):131–45.
24. Heyman RE, Slep AMS. «The Hazards of Predicting Divorce
without Crossvalidation.» J Marriage Fam 63, no. 2 (2001):473–9.

25. Salganik MJ, Lundberg I, Kindel AT, Ahearn CE, Al-Ghoneim K,
Almaatouq A, et al. «Measuring the Predictability of Life Outcomes with a
Scientific Mass Collaboration.» Proc Natl Acad Sci 117, no. 15 (April
2020):8398–403.
26. «Download ImageNet Data.» Imagenet. 2020. https://www.imagenet.org/download.php.
27. Narayanan A, Salganik MJ. «Limits to Prediction»: pre-read. Fall
2020.
28. Lundberg I, Brown-Weinstock R, Clampet-Lundquist S, Pachman
S, Nelson TJ, Yang V, et al. «The Origins of Unpredictability in Life
Trajectory
Prediction
Tasks.»
arXiv.
October
19,
2023.
http://arxiv.org/abs/2310.12871.
29. van der Laan J, de Jonge E, Das M, Te Riele S, Emery T. «A
Whole Population Network and Its Application for the Social Sciences.»
Eur Sociol Rev 39, no. 1 (February 2023):145–60.
30. «SICSS-ODISSEI Schedule
https://sicss.io/2023/odissei/schedule.

Materials.»

SICSS.

2023.

31. Farahany NA. The Battle for Your Brain: Defending the Right to
Think Freely in the Age of Neurotechnology. New York: St. Martin’s Press;
2023.
32. Wang A, Kapoor S, Barocas S, Narayanan A. «Against Predictive
Optimization: On the Legitimacy of Decision-Making Algorithms That
Optimize Predictive Accuracy.» In: 2023 ACM Conference on Fairness,
Accountability, and Transparency. Chicago, IL: ACM; 2023. p. 62.
https://dl.acm.org/doi/10.1145/3593013.3594030.

33. Northpointe. Practitioner’s Guide to COMPAS Core. April 4, 2019.
http://www.equivant.com/wp-content/uploads/Practitioners-Guide-toCOMPAS-Core-040419.pdf.
34. Angwin J, Larson J, Mattu S, Kirchner L. «Machine Bias.»
ProPublica. May 23, 2016. https://www.propublica.org/article/machinebias-risk-assessments-in-criminal-sentencing.
35. Larson J, Mattu S, Kirchner L, Angwin J. «How We Analyzed the
COMPAS Recidivism Algorithm.» ProPublica. May 23, 2016.
https://www.propublica.org/article/how-we-analyzed-the-compasrecidivism-algorithm.
36. Pierson E, Simoiu C, Overgoor J, Corbett-Davies S, Jenson D,
Shoemaker A, et al. «A Large-Scale Analysis of Racial Disparities in Police
Stops across the United States.» Nat Hum Behav 4, no. 7 (July 2020):736–
45.
37. Dressel J, Farid H. «The Accuracy, Fairness, and Limits of
Predicting Recidivism.» Sci Adv 4, no. 1 (2018): eaao5580.
38. Steinberg L, Scott ES. «Less Guilty by Reason of Adolescence:
Developmental Immaturity, Diminished Responsibility, and the Juvenile
Death Penalty.» Am Psychol 58, no. 12 (December 2003):1009–18.
39. «Why Luck Is the Silent Partner of Success.» Knowledge at
Wharton.
October
20,
2017.
https://knowledge.wharton.upenn.edu/article/how-luck-is-the-silent-partnerof-success/.

40. Mlodinow L. The Drunkard’s Walk: How Randomness Rules Our
Lives. Reprint edition. New York: Vintage; 2009.
41. «20 Years Ago: Tom Brady Replaced an Injured Drew Bledsoe,
Changing the Patriots Franchise Forever.» CBS Boston. September 23,
2021.
https://www.cbsnews.com/boston/news/20-years-ago-tom-bradyreplaced-drew-bledsoe-changing-patriots-franchise-forever-mo-lewis-nflbill-belichick/.
42. Chmielewski DC. «Disney Expects $200-Million Loss on „John
Carter.“»
Los
Angeles
Times.
March
20,
2012.
https://www.latimes.com/entertainment/la-xpm-2012-mar-20-la-fi-ctdisney-write-down-20120320-story.html.
43. D’Alessandro A. «„Strange World“ to Lose $147M: Why
Theatrical Was Best Decision for Doomed Toon — Not Disney+ — as Bob
Iger Takes Over CEO from Bob Chapek.» Deadline. November 27, 2022.
https://deadline.com/2022/11/strange-world-bombs-box-office-disneyglass-onion-bob-iger-bob-chapek-1235182222/.
44. Whitbrook J. «How a Trigun Stan Made a 2019 Sci-Fi Novel a Hit
on Amazon.» Gizmodo. May 10, 2023. https://gizmodo.com/this-is-howyou-lose-the-time-war-trigun-twitter-amazon-1850424312.
45. Bol T, de Vaan M, van de Rijt A. "The Matthew Effect in Science
Funding."Proc Natl Acad Sci 115, no. 19 (May 2018):4887–90.
46. Goel S, Anderson A, Hofman J, Watts DJ. «The Structural Virality
of Online Diffusion.» Manag Sci 62, no. 1 (January 2016):180–96.
47. Guinaudeau B, Munger K, Votta F. «Fifteen Seconds of Fame:
TikTok and the Supply Side of Social Video.» Comput Commun Res 4, no.

2 (October 2022): 463–85.
48. Kleinman Z. «„Charlie Bit My Finger“ Video to Be Taken Off
YouTube after Selling for £500,000.» BBC. May 24, 2021.
https://www.bbc.com/news/newsbeat-57227290.
49. Martin T, Hofman JM, Sharma A, Anderson A, Watts DJ.
«Exploring Limits to Prediction in Complex Social Systems.» In:
Proceedings of the 25th International Conference on World Wide Web.
Republic and Canton of Geneva, CHE: International World Wide Web
Conferences
Steering
Committee;
2016.
p.
683–94.
https://dl.acm.org/doi/10.1145/2872427.2883001.
50. Zukin M. «Why TikTok Stars Will Survive No Matter What.»
Variety. August 4, 2020. https://variety.com/2020/digital/news/tiktok-starscharli-damelio-noah-schnapp-jalaiah-harmon-1234723975/.
51. Ronson J. «How One Stupid Tweet Blew Up Justine Sacco’s Life.»
The
New
York
Times.
February
12,
2015.
https://www.nytimes.com/2015/02/15/magazine/how-one-stupid-tweetruined-justine-saccos-life.html.
52. Robertson CE, Pröllochs N, Schwarzenegger K, Pärnamets P, Van
Bavel JJ, Feuerriegel S. «Negativity Drives Online News Consumption.»
Nat Hum Behav 7, no. 5 (May 2023):812–22.
53. Heltzel G, Laurin K. «Polarization in America: Two Possible
Futures.» Curr Opin Behav Sci 34 (August 2020):179–84.
54. Zachariah RA, Sharma S, Kumar V. «Systematic Review of
Passenger Demand Forecasting in Aviation Industry.» Multimed Tools Appl
1 (May 2023):1–37.

55. Turchin P. Ages of Discord: A Structural-Demographic Analysis of
American History. Chaplin, CT: Beresta Books; 2016.
56. Chancellor E. «The Bubble in Predicting the End of the World.»
Reuters. December 1, 2022. https://www.reuters.com/breakingviews/globalmarkets-breakingviews-2022–12−01/.
57. Tetlock PE. Expert Political Judgment: How Good Is It? How Can
We Know? New edition. Princeton, NJ: Princeton University Press; 2017.
58. Turchin P. «Fitting Dynamic Regression Models to Seshat Data.»
Cliodynamics
9,
no.
1
(June
2018).
https://escholarship.org/uc/item/99×6r11m.
59. «About CDC’s Flu Forecasting Efforts.» CDC. last reviewed
October 6, 2023. https://www.cdc.gov/flu/weekly/flusight/how-fluforecasting.htm.
60. «FluSight: Flu Forecasting for Influenza Prevention and Control.»
CDC.
Last
reviewed
October
10,
2023.
https://www.cdc.gov/flu/weekly/flusight/index.html.
61. Osterholm MT. «The Fog of Pandemic Planning.» CIDRAP.
University
of
Minnesota.
January
31,
2007.
https://www.cidrap.umn.edu/business-preparedness/fog-pandemic-planning.
62. Global Preparedness Monitoring Board. A World at Risk: Annual
Report 2019. Geneva: World Health Organization. September 2019.
https://www.gpmb.org/reports/annual-report-2019.

63. Gates B. «The Next Outbreak? We’re Not Ready.» Filmed March
2015
in
Vancouver,
BC.
TED
video,
8:24.
https://www.ted.com/talks/bill_gates_the_next_outbreak_we_re_not_ready?
language=dz.
64. Binny RN, Lustig A, Hendy SC, Maclaren OJ, Ridings KM,
Vattiato G, et al. «Real-Time Estimation of the Effective Reproduction
Number of SARS-CoV-2 in Aotearoa New Zealand.» PeerJ 10 (October
2022): e14119.
65. Glanz J, Hvistendahl M, Chang A. «How Deadly Was China’s
Covid Wave?» The New York Times. February 15, 2023.
https://www.nytimes.com/interactive/2023/02/15/world/asia/china-coviddeath-estimates.html.
Глава 4
1. Noy S, Zhang W. «Experimental Evidence on the Productivity
Effects of Generative Artificial Intelligence.» Science 381, no. 6654 (July
2023):187–92.
2. «Introducing Be My AI (Formerly Virtual Volunteer) for People
Who Are Blind or Have Low Vision, Powered by OpenAI’s GPT-4.» Be My
Eyes.
https://www.bemyeyes.com/blog/introducing-be-my-eyes-virtualvolunteer. Accessed February 23, 2024.
3. Roose K. «A Conversation with Bing’s Chatbot Left Me Deeply
Unsettled.»
The
New
York
Times.
February
16,
2023.
https://www.nytimes.com/2023/02/16/technology/bing-chatbot-microsoftchatgpt.html.
4. «Margaret Mitchell: Google Fires AI Ethics Founder.» BBC News.
February 20, 2021. https://www.bbc.com/news/technology-56135817.

5. Weiser B, Schweber N. «The ChatGPT Lawyer Explains Himself.»
The
New
York
Times.
June
8,
2023.
https://www.nytimes.com/2023/06/08/nyregion/lawyer-chatgptsanctions.html.
6. Solaiman I, Talat Z, Agnew W, Ahmad L, Baker D, Blodgett SL, et
al. «Evaluating the Social Impact of Generative AI Systems in Systems and
Society.»
arXiv.
Last
revised
June
12,
2023.
http://arxiv.org/abs/2306.05949.
7. Guingrich R, Graziano MSA. «Chatbots as Social Companions:
How People Perceive Consciousness, Human Likeness, and Social Health
Benefits in Machines.» arXiv. Last revised December 16, 2023.
http://arxiv.org/abs/2311.10599.
8. Xiang C. «„He Would Still Be Here“: Man Dies by Suicide after
Talking with AI Chatbot, Widow Says.» Vice. March 30, 2023.
https://www.vice.com/en/article.
9. Buell S. «An MIT Student Asked AI to Make Her Headshot More
„Professional.“ It Gave Her Lighter Skin and Blue Eyes.» Boston Globe.
July 19, 2023. https://www.bostonglobe.com/2023/07/19/business/an-mitstudent-asked-ai-make-her-headshot-more-professional-it-gave-her-lighterskin-blue-eyes/.
10. Melissa Heikkilä. «The Viral AI Avatar App Lensa Undressed Me
— without My Consent.» MIT Technology Review. December 12, 2022.
https://www.technologyreview.com/2022/12/12/1064751/the-viral-aiavatar-app-lensa-undressed-me-without-my-consent/.

11. Maiberg E. «Inside the AI Porn Marketplace Where Everything and
Everyone Is for Sale.» 404 Media. August 22, 2023.
https://www.404media.co/inside-the-ai-porn-marketplace-whereeverything-and-everyone-is-for-sale/.
12. Allyn B. «A Robot Was Scheduled to Argue in Court. Then Came
the
Jail
Threats.»
NPR.
January
25,
2023.
https://www.npr.org/2023/01/25/1151435033/a-robot-was-scheduled-toargue-in-court-then-came-the-jail-threats.
13. Mitchell M. Artificial Intelligence: A Guide for Thinking Humans.
Reprint edition. New York: Picador; 2020.
14. McCulloch WS, Pitts W. «A Logical Calculus of the Ideas
Immanent in Nervous Activity.» Bull Math Biophys 5, no. 4 (December
1943):115–33.
15. Olazaran M. «A Sociological Study of the Official History of the
Perceptrons Controversy.» Soc Stud Sci 26, no. 3 (1996):611–59.
16. Samuel AL. «Some Studies in Machine Learning Using the Game
of Checkers.» IBM J Res Dev 3, no. 3 (July 1959):210–29.
17. Minsky M, Papert SA. Perceptrons: An Introduction to
Computational Geometry, Expanded Edition. Cambridge, MA.: MIT Press;
1987.
18. Rumelhart DE, Hinton GE, Williams RJ. «Learning
Representations by Back-Propagating Errors.» Nature 323, no. 6088
(October 1986):533–36.

19. LeCun Y, Boser B, Denker JS, Henderson D, Howard RE, Hubbard
W, et al. «Backpropagation Applied to Handwritten Zip Code Recognition.»
Neural Comput 1, no. 4 (December 1989):541–51.
20. Pulver D. «The Mail Must Get Through.» New Volusian.
September
13,
1992.
https://news.google.com/newspapers?
nid=1901dat=19920912id=kIgfAAAAIBAJpg=1970,55313611.
21. Cortes C, Vapnik V. «Support-Vector Networks.» Mach Learn 20,
no. 3 (September 1995):273–97.
22. Deng J, Dong W, Socher R, Li LJ, Li K, Fei-Fei L. «Imagenet: A
Large-Scale Hierarchical Image Database.» In 2009 IEEE Conference on
Computer Vision and Pattern Recognition. Miami, FL: IEEE; 2009. p. 248–
55. https://ieeexplore.ieee.org/document/5206848.
23. Gershgorn D. «The Data That Transformed AI Research — and
Possibly the World.» Quartz. July 26, 2017. https://qz.com/1034972/thedata-that-changed-the-direction-of-ai-research-and-possibly-the-world.
24. Russakovsky O, Deng J, Su H, Krause J, Satheesh S, Ma S, et al.
«ImageNet Large Scale Visual Recognition Challenge.» Int J Comput Vis
115, no. 3 (December 2015):211–52.
25. Gershgorn D. «The Inside Story of How AI Got Good Enough to
Dominate
Silicon
Valley.»
Quartz.
June
18,
2018.
https://qz.com/1307091/the-inside-story-of-how-ai-got-good-enough-todominate-silicon-valley.
26. Krizhevsky A, Sutskever I, Hinton GE. «ImageNet Classification
with Deep Convolutional Neural Networks.» In: Advances in Neural
Information
Processing
Systems.
Curran
Associates;
2012.

https://papers.nips.cc/paper_files/paper/2012/hash/c399862d3b9d6b76c843
6e924a68c45b-Abstract.html.
27. Cireşan DC, Meier U, Masci J, Gambardella LM, Schmidhuber J.
«High-Performance Neural Networks for Visual Object Classification.»
arXiv. February 1, 2011. http://arxiv.org/abs/1102.0183.
28. Hinton G, Deng L, Yu D, Dahl GE, Mohamed Abdel-rahman,
Jaitly N, et al. «Deep Neural Networks for Acoustic Modeling in Speech
Recognition: The Shared Views of Four Research Groups.» IEEE Signal
Process Mag 29, no. 6 (November 2012): 82–97.
29. Sun C, Shrivastava A, Singh S, Gupta A. «Revisiting Unreasonable
Effectiveness of Data in Deep Learning Era.» In: 2017 IEEE International
Conference on Computer Vision (ICCV). Venice, IT: IEEE; 2017. p. 843–
52. https://ieeexplore.ieee.org/document/8237359.
30. «Open Repository of Web Crawl Data.» Common Crawl.
https://commoncrawl.org/.
31. Orhon A, Wadhwa A, Kim Y, Rossi F, Jagadeesh V. «Deploying
Transformers on the Apple Neural Engine.» Apple Machine Learning
Research. June 2022. https://machinelearning.apple.com/research/neuralengine-transformers.
32. Hara K, Adams A, Milland K, Savage S, Callison-Burch C,
Bigham JP. «A Data-Driven Analysis of Workers' Earnings on Amazon
Mechanical Turk.» In: Proceedings of the 2018 CHI Conference on Human
Factors in Computing Systems. New York: Association for Computing
Machinery; 2018. p. 1–14. https://doi.org/10.1145/3173574.3174023.

33. Birhane A, Prabhu VU. Large Image Datasets: A Pyrrhic Win for
Computer Vision? In: 2021 IEEE Winter Conference on Applications of
Computer Vision (WACV). Waikoloa, HI: IEEE; 2021. p. 1536–46.
https://ieeexplore.ieee.org/document/9423393.
34. Yang K, Qinami K, Fei-Fei L, Deng J, Russakovsky O. «Towards
Fairer Datasets: Filtering and Balancing the Distribution of the People
Subtree in the ImageNet Hierarchy.» In: Proceedings of the 2020
Conference on Fairness, Accountability, and Transparency. New York:
Association
for
Computing
Machinery;
2020.
p.
547–58.
https://doi.org/10.1145/3351095.3375709.
35. Yang K, Yau JH, Fei-Fei L, Deng J, Russakovsky O. «A Study of
Face Obfuscation in ImageNet.» In: Proceedings of the 39th International
Conference on Machine Learning. PMLR; 2022. p. 25313–30.
https://proceedings.mlr.press/v162/yang22q.html.
36. Grant N, Hill K. «Google’s Photo App Still Can’t Find Gorillas.
And Neither Can Apple’s.» The New York Times. May 22, 2023.
https://www.nytimes.com/2023/05/22/technology/ai-photo-labels-googleapple.html.
37. «Language Models and Linguistic Theories Beyond Words.» Nat
Mach Intell 5, no. 7 (July 2023):677–8.
38. Olah C, Mordvintsev A, Schubert L. «Feature Visualization.»
Distill 7, no. 2 (November 2017):10.23915/distill.00007.
39. «Stable Diffusion Launch Announcement.» Stability AI. August
10, 2022. https://stability.ai/news/stable-diffusion-announcement.

40. Davis W. «AI Companies Have All Kinds of Arguments against
Paying for Copyrighted Content.» The Verge. November 4, 2023.
https://www.theverge.com/2023/11/4/23946353/generative-ai-copyrighttraining-data-openai-microsoft-google-meta-stabilityai.
41. Nolan B. «Artists Say AI Image Generators Are Copying Their
Style to Make Thousands of New Images — and It’s Completely out of
Their
Control.»
Business
Insider.
October
7,
2022.
https://www.businessinsider.com/ai-image-generators-artists-copying-stylethousands-images-2022–10.
42. Vincent J. «Getty Images Is Suing the Creators of AI Art Tool
Stable Diffusion for Scraping Its Content.» The Verge. January 17, 2023.
https://www.theverge.com/2023/1/17/23558516/ai-art-copyright-stablediffusion-getty-images-lawsuit.
43. Lauryn Ipsum [@LaurynIpsum]. «I’m cropping these for privacy
reasons/because I’m not trying to call out any one individual. These are all
Lensa portraits where the mangled remains of an artist’s signature is still
visible. That’s the remains of the signature of one of the multiple artists it
stole from. A.» X (formerly Twitter). December 5, 2022.
https://twitter.com/LaurynIpsum/status/1599953586699767808.
44. Jiang HH, Brown L, Cheng J, Khan M, Gupta A, Workman D, et
al. «AI Art and Its Impact on Artists.» In: Proceedings of the 2023
AAAI/ACM Conference on AI, Ethics, and Society. New York: ACM;
2023. p. 363–74. https://dl.acm.org/doi/10.1145/3600211.3604681.
45. Edwards B. «Artists Stage Mass Protest against AI-Generated
Artwork on ArtStation.» Ars Technica. December 15, 2022.
https://arstechnica.com/information-technology/2022/12/artstation-artistsstage-mass-protest-against-ai-generated-artwork/.

46. Fassler E. «South Korea Is Giving Millions of Photos to Facial
Recognition
Researchers.»
Vice.
November
16,
2021.
https://www.vice.com/en/article/xgdxqd/south-korea-is-selling-millions-ofphotos-to-facial-recognition-researchers.
47. Ho-sung C. S. «Korean Government Provided 170M Facial Images
Obtained in Immigration Process to Private AI Developers.» Hankyoreh.
October
21,
2021.
https://english.hani.co.kr/arti/english_edition/e_national/1016107.html.
48. Inzamam Q, Qadri H. «Telangana Is Inching Closer to Becoming a
Total
Surveillance
State.»
The
Wire.
July
15,
2022.
https://thewire.in/tech/telangana-surveillance-police-cctv-facial-recognition.
49. Mozur P. «One Month, 500,000 Face Scans: How China Is Using
A. I. to Profile a Minority.» The New York Times. April 14, 2019.
https://www.nytimes.com/2019/04/14/technology/china-surveillanceartificial-intelligence-racial-profiling.html.
50. Hill K. «The Secretive Company That Might End Privacy as We
Know
It.» The
New York Times.
January
18,
2020.
https://www.nytimes.com/2020/01/18/technology/clearview-privacy-facialrecognition.html.
51. Hill K. Your Face Belongs to Us: A Secretive Startup’s Quest to
End Privacy as We Know It. New York: Random House; 2023.
52. Heikkilä M. «The Walls Are Closing In on Clearview AI.» MIT
Technology
Review.
May
24,
2022.
https://www.technologyreview.com/2022/05/24/1052653/clearview-ai-dataprivacy-uk/.

53. Mac R. «How a Facial Recognition Tool Found Its Way into
Hundreds of US Police Departments, Schools, and Taxpayer-Funded
Organizations.»
BuzzFeed
News.
Updated April
9,
2021.
https://www.buzzfeednews.com/article/ryanmac/clearview-ai-local-policefacial-recognition.
54. DeGeurin M. «Targeted Billboard Ads Are a Privacy Nightmare.»
Gizmodo. October 13, 2022. https://gizmodo.com/billboards-facialrecognition-privacy-targeted-ads-1849655599.
55. Big Brother Watch Team. «The Streets Are Watching: How
Billboards Are Spying on You.» Big Brother Watch. October 12, 2022.
56. Howard J, Ruder S. «Universal Language Model Fine-tuning for
Text Classification.» In: Proceedings of the 56th Annual Meeting of the
Association for Computational Linguistics (Volume 1: Long Papers). ed.
Gurevych I, Miyao Y. Melbourne, Australia: ACL; 2018. p. 328–39.
https://aclanthology.org/P18–1031.
57. Raffel C, Shazeer N, Roberts A, Lee K, Narang S, Matena M, et al.
«Exploring the Limits of Transfer Learning with a Unified Text-to-Text
Transformer.» J Mach Learn Res 21, no. 1 (January 2020):140:5485–
140:5551.
58. Wei J, Bosma M, Zhao VY, Guu K, Yu AW, Lester B, et al.
«Finetuned Language Models Are Zero-Shot Learners.» arXiv; last revised
February 8, 2022. http://arxiv.org/abs/2109.01652.
59. Ouyang L, Wu J, Jiang X, Almeida D, Wainwright C, Mishkin P, et
al. «Training Language Models to Follow Instructions with Human
Feedback.» Adv Neural Inf Process Syst 35 (December 2022):27730–44.

60. Acher M. «Debunking the Chessboard: Confronting GPTs against
Chess Engines to Estimate Elo Ratings and Assess Legal Move Abilities»
(blog).
September
30,
2023.
https://blog.mathieuacher.com/GPTsChessEloRatingLegalMoves/.
61. «What Is Heavier?» r/ChatGPT. Reddit. February 26, 2023.
www.reddit.com/r/ChatGPT/comments/11clqc5/what_is_heavier/.
62. Jawahar G, Sagot B, Seddah D. «What Does BERT Learn about
the Structure of Language?» In: Proceedings of the 57th Annual Meeting of
the Association for Computational Linguistics, ed. Korhonen A, Traum D,
Màrquez
L.
Florence,
Italy:
ACL;
2019.
p.
3651–57.
https://aclanthology.org/P19–1356.
63. Rogers A, Kovaleva O, Rumshisky A. «A Primer in BERTology:
What We Know about How BERT Works,» ed. Johnson M, Roark B,
Nenkova A. Trans Assoc Comput Linguist 8 (2020):842–66.
64. Li K, Hopkins AK, Bau D, Viégas F, Pfister H, Wattenberg M.
«Emergent World Representations: Exploring a Sequence Model Trained on
a Synthetic Task.» arXiv. Last revised February 27, 2023.
http://arxiv.org/abs/2210.13382.
65. Frankfurt HG. On Bullshit. Princeton, NJ: Princeton University
Press; 2005.
66. Verma P, Oremus W. «ChatGPT Invented a Sexual Harassment
Scandal and Named a Real Law Prof as the Accused.» The Washington
Post.
April
14,
2023.
https://www.washingtonpost.com/technology/2023/04/05/chatgpt-lies/.

67. Brown EN. «The A. I. Defamation Cases Are Here: ChatGPT Sued
for
Spreading
Misinformation.»
Reason.
June
7,
2023.
https://reason.com/2023/06/07/the-a-i-defamation-cases-are-here-chatgptsued-for-spreading-misinformation/.
68. Bonifacic I. «CNET Corrected Most of Its AI-Written Articles.»
Engadget. Updated January 25, 2023. https://www.engadget.com/cnetcorrected-41-of-its-77-ai-written-articles-201519489.html.
69. Christian J. «CNET Sister Site Restarts AI Articles, Immediately
Publishes Idiotic Error.» Futurism. Updated February 1, 2023.
https://futurism.com/cnet-bankrate-restarts-ai-articles.
70. Kao J. «More Than a Million Pro-Repeal Net Neutrality Comments
Were
Likely
Faked.»
HackerNoon.
November
22,
2017.
https://hackernoon.com/more-than-a-million-pro-repeal-net-neutralitycomments-were-likely-faked-e9f0e3ed36a6.
71. Weiss M. «Deepfake Bot Submissions to Federal Public Comment
Websites Cannot Be Distinguished from Human Submissions.» Technol Sci
(December 2017). https://techscience.org/a/2019121801/.
72. Stupp C. «Fraudsters Used AI to Mimic CEO’s Voice in Unusual
Cybercrime Case.» The Wall Street Journal. August 30, 2019.
https://www.wsj.com/articles/fraudsters-use-ai-to-mimic-ceos-voice-inunusual-cybercrime-case-11567157402.
73. Porter J. «Apple Books Quietly Launches AI-Narrated
Audiobooks.» The Verge. January 5, 2023. https://www.theverge.com/2023/
⅕/23540261/apple-text-to-speech-audiobooks-ebooks-artificialintelligence-narrator-madison-jackson.

74. «TikTok Voice Generator with Custom TTS Voices.» Resemble AI.
2021. https://www.resemble.ai/tiktok/.
75. Cox J. «AI-Generated Voice Firm Clamps down after 4chan Makes
Celebrity
Voices
for
Abuse.»
Vice.
January
30,
2023.
https://www.vice.com/en/article/dy7mww/ai-voice-firm-4chan-celebrityvoices-emma-watson-joe-rogan-elevenlabs.
76. Edwards L. «Deepfakes in the Courts.» Counsel. December 5,
2022. https://www.counselmagazine.co.uk/articles/deepfakes-in-the-courts.
77. Ajder H, Patrini G, Cavalli F. «Automating Image Abuse:
Deepfake Bots on Telegram.» Sensity. October 2020.
78. Vincent J. «UK Plans to Make the Sharing of Non-consensual
Deepfake Porn Illegal.» The Verge. November 25, 2022.
https://www.theverge.com/2022/11/25/23477548/uk-deepfake-porn-illegaloffence-online-safety-bill-proposal.
79. Abid A, Farooqi M, Zou J. «Persistent Anti-Muslim Bias in Large
Language Models.» In: Proceedings of the 2021 AAAI/ACM Conference
on AI, Ethics, and Society. New York: ACM; 2021. p. 298–306.
https://doi.org/10.1145/3461702.3462624.
80. Rowe N. «„It’s Destroyed Me Completely“: Kenyan Moderators
Decry Toll of Training of AI Models.» The Guardian (US edition). August
2, 2023. https://www.theguardian.com/technology/2023/aug/02/ai-chatbottraining-human-toll-content-moderator-meta-openai.
81. «OpenAI Software Engineer Salary — $800K-$925K+.»
Levels.fyi.
Last
updated
January
30,
2024.
https://www.levels.fyi/companies/openai/salaries/software-engineer.

82. Metz C, Mickle T. «OpenAI Completes Deal That Values the
Company at $80 Billion.» The New York Times. February 16, 2024.
https://www.nytimes.com/2024/02/16/technology/openai-artificialintelligence-deal-valuation.html.
83. Dzieza J. «AI Is a Lot of Work.» Intelligencer. June 20, 2023.
https://nymag.com/intelligencer/article/ai-artificial-intelligence-humanstechnology-business-factory.html.
84. Jones P. «Refugees Help Power Machine Learning Advances at
Microsoft, Facebook, and Amazon.» Rest of World. September 22, 2021.
https://restofworld.org/2021/refugees-machine-learning-big-tech/.
85. Perrigo B. «AI by the People, for the People.» Time. July 27, 2023.
https://time.com/6297403/the-workers-behind-ai-rarely-see-its-rewardsthis-indian-startup-wants-to-fix-that/.
86. Williams A, Miceli M, Gebru T. «The Exploited Labor behind
Artificial
Intelligence.»
Noema.
October
13,
2022.
https://www.noemamag.com/the-exploited-labor-behind-artificialintelligence.
87. Inbal S, GitHub staff. «Survey Reveals AI’s Impact on the
Developer
Experience»
(blog).
GitHub.
June
13,
2023.
https://github.blog/2023−06−13-survey-reveals-ais-impact-on-thedeveloper-experience/.
88. Narayanan A, Kapoor S, Lazar S. «Model Alignment Protects
against Accidental Harms, Not Intentional Ones.» AI Snake Oil. December
1, 2023. https://www.aisnakeoil.com/p/model-alignment-protects-against.

Глава 5
1. Boak J, O’Brien M. «Biden Wants to Move Fast on AI Safeguards
and Signs an Executive Order to Address His Concerns.» AP News.
Updated October 30, 2023. https://apnews.com/article/biden-ai-artificialintelligence-executive-order-cb8616 2000d894f238f28ac029005059.
2. «Pause Giant AI Experiments: An Open Letter.» Future of Life
Institute. March 22, 2023. https://futureoflife.org/open-letter/pause-giant-aiexperiments/.
3. «Statement on AI Risk.» Center for AI Safety. May 30, 2023.
https://www.safe.ai/statement-on-ai-risk.
4. Crevier D. AI: The Tumultuous History of the Search for Artificial
Intelligence. New York: Basic Books; 1993.
5. Marcus G. «Face It, Self-Driving Cars Still Haven’t Earned Their
Stripes.»
Marcus
on
AI.
August
19,
2023.
https://garymarcus.substack.com/p/face-it-self-driving-cars-still-havent.
6. Allyn-Feuer A, Sanders T. «Transformative AGI by 2043 is 1%
likely.» arXiv. June 5, 2023. http://arxiv.org/abs/2306.02519.
7. «How Generative Models Could Go Wrong.» The Economist. April
19,
2023.
https://www.economist.com/science-andtechnology/2023/04/19/how-generative-models-could-go-wrong.
8. Karger E, Rosenberg J, Jacobs Z, Hickman M, Hadshar R, Gamin
K, et al. «Forecasting Existential Risks Evidence from a Long-Run
Forecasting Tournament.» Forecasting Research Institute. July 10, 2023.

https://forecastingresearch.org/news/results-from-the-2022-existential-riskpersuasion-tournament.
9. Turing AM. «On Computable Numbers, with an Application to the
Entscheidungsproblem.» Proc Lond Math Soc s2–42, no. 1 (1937):230–65.
10. McCarthy J, Minsky ML, Rochester N, Shannon CE. «A Proposal
for the Dartmouth Summer Research Project on Artificial Intelligence.» AI
Mag 27, no. 4 (December 2006):12–12.
11. Liu X, Yu H, Zhang H, Xu Y, Lei X, Lai H, et al. «AgentBench:
Evaluating LLMs as Agents.» arXiv. Last revised October 25, 2023.
http://arxiv.org/abs/2308.03688.
12. LeCun Y [@ylecun]. «On the highway towards Human-Level AI,
Large Language Model is an off-ramp.» X (formerly Twitter). February 4,
2023. https://twitter.com/ylecun/status/1621805604900585472.
13. Weizenbaum J. «ELIZA — a Computer Program for the Study of
Natural Lan-guage Communication between Man and Machine.» Commun
ACM 9, no. 1 (January 1966):36–45.
14. Mitchell M. «Why AI Is Harder Than We Think.» arXiv. Last
revised April 28, 2021. http://arxiv.org/abs/2104.12871.
15. Clark J, Amodei D. «Faulty Reward Functions in the Wild.»
OpenAI. December 21, 2016. https://openai.com/research/faulty-rewardfunctions.
16. Christian B. The Alignment Problem: Machine Learning and
Human Values. New York: W. W. Norton; 2020.

17. Hernandez D, Brown TB. «Measuring the Algorithmic Efficiency
of Neural Networks.» arXiv. May 8, 2020. http://arxiv.org/abs/2005.04305.
18. «Introducing Falcon LLM.» Technology Innovation Institute."
2023. https://falconllm.tii.ae/. Accessed June 1, 2023.
19. Narayanan A, Kapoor S, Lazar S. «Model Alignment Protects
against Accidental Harms, Not Intentional Ones.» AI Snake Oil. December
1, 2023. https://www.aisnakeoil.com/p/model-alignment-protects-against.
20. Takanen A, Demott JD, Miller C. Fuzzing for Software Security.
Norwood, MA: Artech House Publishers; 2008.
21. Root E. «The Evolution of Security: The Story of Code Red»
(blog).
Kapersky
Daily,
August
4,
2022.
https://www.kaspersky.com/blog/history-lessons-code-red/45082/.
22. Stolberg SG, Mueller B, Zimmer C. «The Origins of the Covid
Pandemic: What We Know and Don’t Know.» The New York Times. March
17,
2023.
https://www.nytimes.com/article/covid-origin-lab-leakchina.html.
Глава 6
1. Transcript courtesy of Bloomberg Government. «Transcript of Mark
Zuckerberg’s Senate Hearing.» The Washington Post. April 10, 2018.
https://www.washingtonpost.com/news/theswitch/wp/2018/04/10/transcript-of-mark-zuckerbergs-senate-hearing/.
2. Shrivastava R. «Mastodon Isn’t a Replacement for Twitter — but It
Has Rewards of Its Own.» Forbes. November 4, 2022.

https://www.forbes.com/sites/rashishrivastava/2022/11/04/mastodon-isnt-areplacement-for-twitterbut-it-has-rewards-of-its-own/.
3. Masnick M. «Hey Elon: Let Me Help You Speed Run the Content
Moderation Learning Curve.» Techdirt. November 2, 2022.
https://www.techdirt.com/2022/11.
4. Gray ML, Suri S. Ghost Work: How to Stop Silicon Valley from
Building a New Global Underclass. New York: Houghton Mifflin Harcourt;
2019.
5. Roberts ST. Behind the Screen: Content Moderation in the Shadows
of Social Media; With a New Preface. New Haven, CT: Yale University
Press; 2021.
6. Williams A, Miceli M, Gebru T. «The Exploited Labor behind
Artificial
Intelligence.»
Noema.
October
13,
2022.
https://www.noemamag.com/the-exploited-labor-behind-artificialintelligence.
7. Bateman J, Thompson N, Smith V. «How Social Media Platforms'
Community Standards Address Influence Operations.» Carnegie
Endowment
for
International
Peace.
April
1,
2021.
https://carnegieendowment.org/2021/04/01/how-social-media-platformscommunity-standards-address-influence-operations-pub-84201.
8. Newton C. «The Secret Lives of Facebook Moderators in America.»
The
Verge.
February
25,
2019.
https://www.theverge.com/2019/2/25/18229714/cognizant-facebookcontent-moderator-interviews-trauma-working-conditions-arizona.

9. Hill K. «A Dad Took Photos of His Naked Toddler for the Doctor.
Google Flagged Him as a Criminal.» The New York Times. August 21,
2022.
https://www.nytimes.com/2022/08/21/technology/googlesurveillance-toddler-photo.html.
10. Montgomery B. «Twitter Suspends an Account for a Cartoon of
Captain America Punching a Nazi.» The Daily Beast. September 11, 2019.
https://www.thedailybeast.com/twitter-suspends-an-account-for-tweeting-acartoon-of-captain-america-punching-a-nazi.
11. Butler M. «Cornell Library YouTube Page Restored after
Termination Last Week over Nudity Content.» The Ithaca Voice. June 24,
2022. http://ithacavoice.org/2022/06/cornell-library-youtube-page-restoredafter-termination-last-week-over-nudity-content/.
12. Knight W. «Why a YouTube Chat about Chess Got Flagged for
Hate Speech.» Wired. March 1, 2021. https://www.wired.com/story/whyyoutube-chat-chess-flagged-hate-speech/.
13. Koebler J, Cox J. «The Impossible Job: Inside Facebook’s Struggle
to Moderate Two Billion People.» Vice. August 23, 2018.
https://www.vice.com/en/article/xwk9zd/how-facebook-contentmoderation-works.
14. The Real Facebook Oversight Board. «Content Moderators
Emergency Session.» YouTube video, 1:08:10. October 26, 2020.
https://www.youtube.com/watch?v=F1byT_2htfs.
15. Oremus W. «Facebook’s Contracted Moderators Say They’re Paid
to Follow Orders, Not Think.» OneZero. October 28, 2020.
https://onezero.medium.com/facebooks-contracted-moderators-say-they-repaid-to-follow-orders-not-think-40331991c6ee.

16. Jan T, Dwoskin E. «A White Man Called Her Kids the N-word.
Facebook Stopped Her from Sharing It.» The Washington Post. July 31,
2017.
https://www.washingtonpost.com/business/economy/for-facebookerasing-hate-speech-proves-a-dauntingchallenge/2017/07/31/922d9bc6−6e3b-11e7−9c15–
177740635e83_story.html.
17. Dwoskin E, Tiku N, Timberg C. «Facebook’s Race-Blind Practices
around Hate Speech Came at the Expense of Black Users, New Documents
Show.»
The
Washington
Post.
November
11,
2021.
https://www.washingtonpost.com/technology/2021/11/21/facebookalgorithm-biased-race/.
18. Horwitz J, Scheck J. «Facebook Increasingly Suppresses Political
Movements It Deems Dangerous.» The Wall Street Journal. October 22,
2021.
https://www.wsj.com/articles/facebook-suppresses-politicalmovements-patriot-party-11634937358.
19. Myanmar: The Social Atrocity: Meta and the Right to Remedy for
the Rohingya." Amnesty International. September 29, 2022.
https://www.amnesty.org/en/documents/asa16/5933/2022/en/.
20. Allen C. «Facebook’s Content Moderation Failures in Ethiopia»
(blog).
Council
on
Foreign
Relations.
April
19,
2022.
https://www.cfr.org/blog/facebooks-content-moderation-failures-ethiopia.
21. Zelalem Z, Guest P. «Why Facebook Keeps Failing in Ethiopia.»
Rest of World. November 13, 2021. https://restofworld.org/2021/whyfacebook-keeps-failing-in-ethiopia/.
22. Purnell N, Horwitz J. «Facebook Services Are Used to Spread
Religious Hatred in India, Internal Documents Show.» The Wall Street

Journal. October 23, 2021. https://www.wsj.com/articles/facebook-servicesare-used-to-spread-religious-hatred-in-india-internal-documents-show11635016354.
23. Facebook. Facebook Response: Sri Lanka Human Rights Impact
Assessment.
May
12,
2020.
https://about.fb.com/wpcontent/uploads/2021/03/FB-Response-Sri-Lanka-HRIA.pdf.
24. Scott M. «Facebook Did Little to Moderate Posts in the World’s
Most
Violent
Countries.»
POLITICO.
October
25,
2021.
https://www.politico.com/news/2021/10/25/facebook-moderate-postsviolent-countries-517050.
25. «Bridging the Gap: Local Voices in Content Moderation.»
ARTICLE 19. https://www.article19.org/bridging-the-gap-local-voices-incontent-moderation/. Accessed February 17, 2024.
26. Debre I, Akram F. «Facebook’s Language Gaps Weaken Screening
of
Hate,
Terrorism.»
AP
News.
October
25,
2021.
https://apnews.com/article/the-facebook-papers-language-moderationproblems-392cb2d065f81980713f37384d07e61f.
27. Lorenz-Spreen P, Oswald L, Lewandowsky S, Hertwig R. «A
Systematic Review of Worldwide Causal and Correlational Evidence on
Digital Media and Democracy.» Nat Hum Behav 7, no. 1 (January
2023):74–101.
28. Ortutay B. «In a 3rd Test, Facebook Still Fails to Block Hate
Speech.» AP News. July 28, 2022. https://apnews.com/article/technologyafrica-kenya-7aaee94 59ae58e1278b6075f9ed1392b.

29. Gebru T. «Moving beyond the Fairness Rhetoric in Machine
Learning. Invited Talk, ICLR 2021.» YouTube video, 1:10:48. September
28, 2021. https://www.youtube.com/watch?v=gf B8pOZkFLE.
30. Santa Clara Principles. «Santa Clara Principles on Transparency
and
Accountability
in
Content
Moderation.»
2021.
https://santaclaraprinciples.org/. Accessed February 18, 2024.
31. Tworek H. «History Explains Why Global Content Moderation
Cannot
Work.»
Brookings.
December
10,
2021.
https://www.brookings.edu/articles/history-explains-why-global-contentmoderation-cannot-work/.
32. «Understanding When Content Is Withheld Based on Country.»
Help Center. Twitter. https://help.twitter.com/en/rules-and-policies/postwithheld-by-country. Accessed September 28, 2023.
33. Sakunia S. «Twitter Blocked 122 Accounts in India at the
Government’s Request.» Rest of World. March 24, 2023.
https://restofworld.org/2023/twitter-blocked-access-punjab-amritpal-singhsandhu/.
34. Fisher M. «Inside Facebook’s Secret Rulebook for Global Political
Speech.»
The
New
York
Times.
December
27,
2018.
https://www.nytimes.com/2018/12/27/world/facebook-moderators.html.
35. Sumbaly R, Miller M, Shah H, Xie Y, Culatana SC, Khatkevich T,
et al. «Using AI to Detect COVID-19 Misinformation and Exploitative
Content»
(blog).
ML
Applications.
May
12,
2020.
https://ai.meta.com/blog/using-ai-to-detect-covid-19-misinformation-andexploitative-content/.

36. Richmond R. «Web Gang Operating in the Open.» The New York
Times. January 16, 2012.
37. Eady G, Paskhalis T, Zilinsky J, Bonneau R, Nagler J, Tucker JA.
«Exposure to the Russian Internet Research Agency Foreign Influence
Campaign on Twitter in the 2016 US Election and Its Relationship to
Attitudes and Voting Behavior.» Nat Commun 14, no. 1 (January 2023):62.
38. Gerrard Y. «Beyond the Hashtag: Circumventing Content
Moderation on Social Media.» New Media Soc 20, no. 12 (December
2018):4492–511.
39. Franklin JC, Ribeiro JD, Fox KR, Bentley KH, Kleiman EM,
Huang X, et al. «Risk Factors for Suicidal Thoughts and Behaviors: A
Meta-Analysis of 50 Years of Research.» Psychol Bull 143, no. 2 (February
2017):187–232.
40. Cummings J. «Prevent Suicide by Recognizing Early Warning
Signs.» Cummings Institute. 2016. https://cgi.edu/biodyne-modeltherapists-masters-suicide-assessment-prevention/.
41. Nyren E. «Pete Davidson Posts Unsettling Message, Deletes
Instagram.»
Variety.
December
15,
2018.
https://variety.com/2018/tv/news/pete-davidson-deletes-instagram1203090685/.
42. Bryant M. «What Are Social Media Companies Doing about
Suicidal Posts?» The Guardian (US edition). January 10, 2019.
https://www.theguardian.com/society/2019/jan/10/cupcakke-hospitalisedtwitter-social-media-suicidal-posts.

43. Card C. «How Facebook AI Helps Suicide Prevention.» Meta.
September 10, 2018. https://about.fb.com/news/2018/09/inside-feedsuicide-prevention-and-ai/.
44. Kaste M. «Facebook Increasingly Reliant on A. I. to Predict
Suicide
Risk.»
NPR.
November
17,
2018.
https://www.npr.org/2018/11/17/668408122/facebook-increasingly-relianton-a-i-to-predict-suicide-risk.
45. Fuller DA, Lamb HR, Biasotti M, Snook J. «Overlooked in the
Undercounted: The Role of Mental Illness in Fatal Law Enforcement
Encounters.»
Treatment
Advocacy
Center.
December
2015.
https://www.treatmentadvocacycenter.org/reports_publications/overlookedin-the-undercounted-the-role-of-mental-illness-in-fatal-law-enforcementencounters/.
46. Marks M. «Artificial Intelligence-Based Suicide Prediction.» Yale
J Law and Tech 21, no. 3 (2019):98–121.
47. Olofsson B, Jacobsson L. «A Plea for Respect: Involuntarily
Hospitalized Psychiatric Patients' Narratives about Being Subjected to
Coercion.» J Psychiatr Ment Health Nurs 8, no. 4 (August 2001):357–66.
48.
«Section
230.»
Electronic
Frontier
Foundation.
https://www.eff.org/issues/cda230. Accessed February 17, 2024.
49. «Viacom Sues Google, YouTube for $1 Billion.» NBC News.
March 13, 2007. https://www.nbcnews.com/id/wbna17592285.
50. Lee TB. «How YouTube Lets Content Companies „Claim“ NASA
Mars Videos.» Ars Technica. August 8, 2012. https://arstechnica.com/techpolicy/2012/08.

51. Brodeur MA. «Copyright Bots and Classical Musicians Are
Fighting Online. The Bots Are Winning.» The Washington Post. May 21,
2020.
https://www.washingtonpost.com/entertainment/music/copyrightbots-and-classical-musicians-are-fighting-online-the-bots-arewinning/2020/05/20/a11e349c-98ae-11ea-89fd-28fb313d 1886_story.html.
52. Glaze V. «MrBeast Calls Out YouTube after Being Hit with False
Copyright
Strike.»
Dexerto.
February
12,
2019.
https://www.dexerto.com/entertainment/mrbeast-calls-out-youtube-afterbeing-hit-false-copyright-strike-357775/.
53. WatchMojo.com. «Are Rights Holders Unlawfully Claiming
Billions in Ad-Sense Revenue?» YouTube video, 28:09. May 9, 2019.
https://www.youtube.com/watch?v=-w1f3olwqcg.
54. Wodinsky S. «YouTube’s Copyright Strikes Have Become a Tool
for
Extortion.»
The
Verge.
February
11,
2019.
https://www.theverge.com/2019/2/11/18220032/youtube-copystrikeblackmail-three-strikes-copyright-violation.
55. Cushing T. «Cops Are Still Playing Copyrighted Music to Thwart
Citizens Recording Their Actions.» Techdirt. April 18, 2022.
https://www.techdirt.com/2022/04/18/cops-are-still-playing-copyrightedmusic-to-thwart-citizens-recording-their-actions/.
56. Gillespie T. Custodians of the Internet: Platforms, Content
Moderation, and the Hidden Decisions That Shape Social Media. New
Haven, CT: Yale University Press; 2018.
57. Gillespie T. Custodians of the Internet: Platforms, Content
Moderation, and the Hidden Decisions That Shape Social Media. New

Haven, CT: Yale University Press; 2018.
58. Klonick K. «The Facebook Oversight Board: Creating an
Independent Institution to Adjudicate Online Free Expression.» Yale Law J
129,
no.
8
(June
2020):2418–99.
https://www.yalelawjournal.org/feature/the-facebook-oversight-board.
59. adam22 [@adam22]. «How to get your Instagram back if it gets
deleted.»
X
(formerly
Twitter).
May
18,
2022.
https://twitter.com/adam22/status/1527005 564802600960.
60. nadalizadeh. «Google has terminated our Developer Account, says
it is „associated“?» r/androiddev. Reddit post. March 30, 2022.
www.reddit.com/r/androiddev/comments/ts6jfg/google_has_terminated_our
_developer_account_says/.
61. «Why We Are Striking.» Etsy Strike. July 14, 2022 (capture date:
archived).
https://web.archive.org/web/20220714164329/https://etsystrike.org/joinus/why-we-are-striking/.
62. Facebook. Facebook’s Response to the Oversight Board’s First
Decisions.
February
2021.
https://about.fb.com/wpcontent/uploads/2021/02/OB_First-Decision_Detailed_.pdf.
63. Elliott V. «Big Tech Ditched Trust and Safety. Now Startups Are
Selling It Back as a Service.» Wired. November 6, 2023.
https://www.wired.com/story/trust-and-safety-startups-big-tech/.
64. Papada E, Altman D, Angiolillo F, Gastaldi L, Köhler T, Lundstedt
M, et al. «Defiance in the Face of Autocratization.» (V-Dem Institute

Working Paper — Democracy Report, University of Gothenburg,
Gothenburg, Sweden, 2023). https://papers.ssrn.com/abstract=4560857.
65. «The World’s Most, and Least, Democratic Countries in 2022.»
The Economist. February 1, 2023. https://www.economist.com/graphicdetail/2023/02/01/the-worlds-most-and-least-democratic-countries-in-2022.
66. Menn J, Shih G. «Under India’s Pressure, Facebook Let
Propaganda and Hate Speech Thrive.» The Washington Post. September 26,
2023. https://www.washingtonpost.com/world/2023/09/26/india-facebookpropaganda-hate-speech/.
67. McCordick J. «Twitter’s Elon Musk Defends Decision to Limit
Tweets in Turkey during Tight Presidential Election.» Vanity Fair. May 14,
2023.
https://www.vanityfair.com/news/2023/05/twitter-musk-censorsturkey-election-erdogan.
68. Keller D. «Six Things about Jawboning.» (blog). Knight First
Amendment Institute at Columbia University. October 10, 2023.
http://knightcolumbia.org/blog/six-things-about-jawboning.
69. Tollefson J. «Disinformation Researchers under Investigation:
What’s
Happening
and
Why.»
Nature.
July
5,
2023.
https://www.nature.com/articles/d41586−023–02195−3.
70. Narayanan A. «Understanding Social Media Recommendation
Algorithms.» Knight First Amendment Institute at Columbia University.
March 9, 2023. http://knightcolumbia.org/content/understanding-socialmedia-recommendation-algorithms.
71. Ovadya A, Thorburn L. «Bridging Systems: Open Problems for
Countering Destructive Divisiveness across Ranking, Recommenders, and

Governance.» Knight First Amendment Institute at Columbia University.
October 26, 2023. http://knightcolumbia.org/content/bridging-systems.
72. Malik A. «Twitter Begins Rolling Out Its Community Notes
Feature
Globally.»
TechCrunch.
December
12,
2022.
https://techcrunch.com/2022/12/12/twitter-begins-rolling-out-itscommunity-notes-feature-globally/.
73. Community Notes: A Collaborative Way to Add Helpful Context to
Posts and Keep People Better Informed." X (formerly Twitter).
https://communitynotes.twitter.com/guide/en/about/introduction. Accessed
February 17, 2024.
74. Milli S, Carroll M, Wang Y, Pandey S, Zhao S, Dragan AD.
«Engagement, User Satisfaction, and the Amplification of Divisive Content
on Social Media.» arXiv. Last revised December 22, 2023.
http://arxiv.org/abs/2305.16941.
75. Zuckerberg M. «A Blueprint for Content Governance and
Enforcement.»
Facebook.
Last
edited
May
5,
2021.
https://www.facebook.com/notes/751449002072082/.
76. Iyer R. «Content Moderation Is a Dead End.» Designing
Tomorrow. October 7, 2022. https://psychoftech.substack.com/p/contentmoderation-is-a-dead-end.
77. Stray J, Iyer R, Larrauri HP. «The Algorithmic Management of
Polarization and Violence on Social Media.» Knight First Amendment
Institute
at
Columbia
University.
August
22,
2023.
http://knightcolumbia.org/content/the-algorithmic-management-ofpolarization-and-violence-on-social-media.

78. Joshi AR. «Overrun by Influencers, Historic Sites Are Banning
TikTok Creators in Nepal.» Rest of World. July 18, 2022.
https://restofworld.org/2022/nepals-historic-sites-banning-tiktok-creators/.
79. Keller D. «The DSA’s Industrial Model for Content Moderation.»
Verfassungsblog. February 24, 2022. https://verfassungsblog.de/dsaindustrial-model/.
80. Douek E. «Content Moderation as Systems Thinking.» Harvard
Law Review. December 2022. https://harvardlawreview.org/print/vol136/content-moderation-as-systems-thinking/.
81. Matias JN. «The Civic Labor of Volunteer Moderators Online.»
Soc Media Soc 5, no. 2 (April 2019):2056305119836778.
82. Witynski M. «Unpaid Social Media Moderators Perform Labor
Worth at Least $3.4 Million a Year on Reddit Alone.» Northwestern Now.
May 31, 2022. https://news.northwestern.edu/stories/2022/05/unpaid-socialmedia-moderators/.
Глава 7
1. Rudd KE, Johnson SC, Agesa KM, Shackelford KA, Tsoi D,
Kievlan DR, et al. «Global, Regional, and National Sepsis Incidence and
Mortality, 1990–2017: Analysis for the Global Burden of Disease Study.»
Lancet 395, no. 10219 (January 2020): 200–11.
2. «Unbundling Epic: How the Electronic Health Record Market Is
Being Disrupted.» Research. CB Insights. August 4, 2021.
https://www.cbinsights.com/research/report/electronic-health-recordcompanies-unbundling/.

3. Williams N. «Health Tech Giant Epic Systems Is Focusing on
Machine Learning. Here’s Why.» Milwaukee Business Journal. August 5,
2019.
https://www.bizjournals.com/milwaukee/news/2019/08/05/healthtech-giant-epic-systems-is-focusing-on.html.
4. Cleveland Clinic. «Virtual Ideas for Tomorrow — Judy Faulkner,
CEO and Founder, EPIC.» YouTube video, 33:20. September 2, 2020.
https://www.youtube.com/watch?v=BXnw15pGv-U.
5. Wong A, Otles E, Donnelly JP, Krumm A, McCullough J, DeTroyerCooley O, et al. «External Validation of a Widely Implemented Proprietary
Sepsis Prediction Model in Hospitalized Patients.» JAMA Intern Med 181,
no. 8 (August 2021): 1065–70.
6. Gerhart J, Thayer J. «For Clinicians, by Clinicians: Our Take on
Predictive
Models.»
Epic.
June
28,
2021.
https://www.epic.com/epic/post/for-clinicians-by-clinicians-our-take-onpredictive-models.
7. Drees J. «Epic Pays Hospitals That Use Its EHR Algorithms, Report
Finds.»
Becker’s
Health
IT.
July
26,
2021.
https://www.beckershospitalreview.com/ehrs/epic-pays-hospitals-that-useits-ehr-algorithms-report-finds.html.
8. Ross C. «Epic’s AI Algorithms, Shielded from Scrutiny by a
Corporate Firewall, Are Delivering Inaccurate Information on Seriously Ill
Patients.» STAT. July 26, 2021. https://www.statnews.com/2021/07/26/epichospital-algorithms -sepsis-investigation/.
9. Murray SG, Wachter RM, Cucina RJ. «Discrimination by Artificial
Intelligence in a Commercial Electronic Health Record — a Case Study.»
Health
Aff
Forefr.
January
31,
2020.
https://www.healthaffairs.org/do/10.1377/forefront.20200128.626576/full/.

10. Solon O. «The Rise of „Pseudo-AI“: How Tech Firms Quietly Use
Humans to Do Bots' Work.» The Guardian (US edition). July 6, 2018.
https://www.theguardian.com/technology/2018/jul/06/artificial-intelligenceai-humans-bots-tech-companies.
11. Solon O. «The Rise of „Pseudo-AI“: How Tech Firms Quietly Use
Humans to Do Bots' Work.» The Guardian (US edition). July 6, 2018.
https://www.theguardian.com/technology/2018/jul/06/artificial-intelligenceai-humans-bots-tech-companies.
12. «How It Works.»
https://archive.is/jkKBI.

x.

ai.

May

18,

2021

(archived).

13. Huet E. «The Humans Hiding behind the Chatbots.» Bloomberg.
April 18, 2016. https://www.bloomberg.com/news/articles/2016−04−18/thehumans-hiding-behind-the-chatbots.
14. Johnson K. «Government Audit of AI with Ties to White
Supremacy
Finds
No AI.» VentureBeat. April
5,
2021.
https://venturebeat.com/business/government-audit-of-ai-with-ties-to-whitesupremacy-finds-no-ai/.
15. Ryan M. «In AI We Trust: Ethics, Artificial Intelligence, and
Reliability.» Sci Eng Ethics 26, no. 5 (October 2020):2749–67.
16. Rozenblit L, Keil F. «The Misunderstood Limits of Folk Science:
An Illusion of Explanatory Depth.» Cogn Sci 26, no. 5 (September
2002):521–62.

17. «Gartner Hype Cycle Research Methodology.» Gartner.
https://www.gartner.com/en/research/methodologies/gartner-hype-cycle.
Accessed February 23, 2024.
18. Mullany M. «8 Lessons from 20 Years of Hype Cycles.» LinkedIn.
December 7, 2016. https://www.linkedin.com/pulse/8-lessons-from-20years-hype-cycles-michael-mullany/.
19. Huang J, O’Neill C, Tabuchi H. «Bitcoin Uses More Electricity
Than Many Countries. How Is That Possible?» The New York Times.
September
3,
2021.
https://www.nytimes.com/interactive/2021/09/03/climate/bitcoin-carbonfootprint-electricity.html.
20. Spangler T. «Larry David, Tom Brady, Stephen Curry, Other
Celebs Sued over FTX Crypto Exchange Collapse.» Variety. November 16,
2022.
https://variety.com/2022/digital/news/ftx-lawsuit-larry-david-tombrady-stephen-curry-crypto-1235434627/.
21. Kaloudis G. «I’m Glad There Are No Crypto Super Bowl Ads:
Here’s
Why.»
CoinDesk.
February
12,
2023.
https://www.coindesk.com/consensus-magazine/2023/02/12/im-glad-thereare-no-crypto-super-bowl-ads-heres-why/.
22.
White
M.
«Web3
Is
Going
Just
Great.»
https://www.web3isgoinggreat.com/. Accessed February 22, 2024.
23. James Lighthill. Part I Artificial Intelligence: A General Survey.
July 1972. https://www.aiai.ed.ac.uk/events/lighthill1973/lighthill.pdf.
24. Mitchell M. «Why AI is Harder than We Think.» arXiv. Last
revised April 28, 2021. http://arxiv.org/abs/2104.12871.

25. Whittaker M. «The Steep Cost of Capture.» Interactions 28, no. 6
(November 2021):50–55.
26. Laufer B, Jain S, Cooper AF, Kleinberg J, Heidari H. «Four Years
of FAccT: A Reflexive, Mixed-Methods Analysis of Research
Contributions, Shortcomings, and Future Prospects.» In: 2022 ACM
Conference on Fairness, Accountability, and Transparency. Seoul Republic
of
Korea:
ACM;
2022.
p.
401–26.
https://dl.acm.org/doi/10.1145/3531146.3533107.
27. Ahmed N, Wahed M, Thompson NC. «The Growing Influence of
Industry in AI Research.» Science 379, no. 6635 (March 2023):884–86.
28. Myers BA. «A Brief History of Human-Computer Interaction
Technology.» Interactions 5, no. 2 (March 1998):44–54.
29. Lundh A, Lexchin J, Mintzes B, Schroll JB, Bero L. «Industry
Sponsorship and Research Outcome.» Cochrane Database Syst Rev 2, no. 2
(February 2017): MR000033.
30. Dickinson J. «Deadly Medicines and Organised Crime.» Can Fam
Physician 60, no. 4 (April 2014):367–68.
31. Sismondo S. Ghost-Managed Medicine. Manchester, UK:
Mattering Press; 2018. https://www.matteringpress.org/books/ghostmanaged-medicine.
32. Rahimi A, Recht B. «Reflections on Random Kitchen Sinks.» arg
min
blog.
December
5,
2017.
http://archives.argmin.net/2017/12/05/kitchen-sinks/.

33. Lipton ZC, Steinhardt J. «Troubling Trends in Machine Learning
Scholarship: Some ML Papers Suffer from Flaws That Could Mislead the
Public and Stymie Future Research.» Queue 17, no. 1 (February
2019):80:45–80:77.
34. Creative Destruction Lab. «Geoff Hinton: On Radiology.»
YouTube
video,
1:24.
November
24,
2016.
https://www.youtube.com/watch?v=2HMPRXstSvQ.
35. Henderson M. «Radiology Facing a Global Shortage.» RSNA
News. May 10, 2022. https://www.rsna.org/news/2022/may/GlobalRadiologist-Shortage.
36. Franta B. "Shell and Exxon’s Secret 1980s Climate Change
Warnings. The Guardian (US edition). September 19, 2018.
https://www.theguardian.com/environment/climate-consensus-97-percent/2018/sep/19/shell-and-exxons-secret-1980s-climate-change-warnings.
37. Hiltzik M. «A New Study Shows How Exxon Mobil Downplayed
Climate Change When It Knew the Problem Was Real.» Los Angeles
Times. August 22, 2017. https://www.latimes.com/business/hiltzik/la-fihiltzik-exxonmobil-20170822-story.html.
38. InfluenceMap. An Investor Enquiry: How Much Big Oil Spends on
Climate Lobbying. April 2016. https://influencemap.org/report/ClimateLobbying-by-the-Fossil-Fuel-Sector.
39. Winecoff AA, Watkins EA. «Artificial Concepts of Artificial
Intelligence: Institutional Compliance and Resistance in AI Startups.» In:
Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and

Society.
New
York:
ACM;
2022.
https://dl.acm.org/doi/10.1145/3514094.3534138.

p.

788–99.

40. Winecoff AA, Watkins EA. «Artificial Concepts of Artificial
Intelligence: Institutional Compliance and Resistance in AI Startups.» In:
Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and
Society.
New
York:
ACM;
2022.
p.
788–99.
https://dl.acm.org/doi/10.1145/3514094.3534138. Ellipses in original.
41. Grill G. «Constructing Certainty in Machine Learning: On the
Performativity of Testing and Its Hold on the Future.» OSF Preprints;
created September 7, 2022. https://osf.io/zekqv/.
42. Raji D, Denton E, Bender EM, Hanna A, Paullada A. «AI and the
Everything in the Whole Wide World Benchmark.» Proc Neural Inf Process
Syst Track Datasets Benchmarks 1 (December 2021). https://datasetsbenchmarksproceedings.neurips.cc/paper/2021/hash/084b6fbb10729ed4da8c3d3f5a3ae
7c9-Abstract-round2.html.
43. OpenAI. «GPT-4 Technical Report.» arXiv. Last revised December
19, 2023. http://arxiv.org/abs/2303.08774.
44. Bratman B. «Improving the Performance of the Performance Test:
The Key to Meaningful Bar Exam Reform.» UMKC Law Review 83 (April
2015):565. https://papers.ssrn.com/abstract=2520042.
45. Camerer CF, Dreber A, Forsell E, Ho TH, Huber J, Johannesson
M, et al. «Evaluating Replicability of Laboratory Experiments in
Economics.» Science 351, no. 6280 (March 2016):1433–6.

46. Camerer CF, Dreber A, Holzmeister F, Ho TH, Huber J,
Johannesson M, et al. «Evaluating the Replicability of Social Science
Experiments in Nature and Science Between 2010 and 2015.» Nat Hum
Behav 2, no. 9 (September 2018):637–44.
47. Muchlinski D, Siroky D, He J, Kocher M. «Comparing Random
Forest with Logistic Regression for Predicting Class-Imbalanced Civil War
Onset Data.» Polit Anal 24, no. 1 (2016):87–103.
48. Colaresi M, Mahmood Z. «Do the Robot: Lessons from Machine
Learning to Improve Conflict Forecasting.» J Peace Res 54, no. 2 (March
2017):193–214.
49. Kaufman AR, Kraft P, Sen M. «Improving Supreme Court
Forecasting Using Boosted Decision Trees.» Polit Anal 27, no. 3 (July
2019):381–7.
50. Kapoor S, Narayanan A. «Leakage and the Reproducibility Crisis
in Machine-Learning-Based Science.» Patterns 4, no. 9 (September
2023):100804.
51. Kapoor S, Nanayakkara P, Peng K, Pham H, Narayanan A. «The
Reproducibility Crisis in ML-based Science.» Workshop with slides,
Princeton
University,
Princeton,
NJ,
July
28,
2022.
https://sites.google.com/princeton.edu/rep-workshop.
52. Kapoor S, Narayanan A. «OpenAI’s Policies Hinder Reproducible
Research on Language Models.» AI Snake Oil. March 22, 2023.
https://www.aisnakeoil.com/p/openais-policies-hinder-reproducible.
53. Kapoor S, Cantrell E, Peng K, Pham TH, Bail CA, Gundersen OE,
et al. «REFORMS: Reporting Standards for Machine Learning Based

Science.»
arXiv.
Last
http://arxiv.org/abs/2308.07832.

revised

September

19,

2023.

54. Kapoor S, Narayanan A. «Eighteen Pitfalls to Beware of in AI
Journalism.»
AI
Snake
Oil.
September
30,
2022.
https://www.aisnakeoil.com/p/eighteen-pitfalls-to-beware-of-in.
55. Willyard C. «Can AI Fix Electronic Medical Records?» Scientific
American.
February
1,
2020.
https://www.scientificamerican.com/article/can-ai-fix-electronic-medicalrecords/.
56. Murphy K. «Epic’s Faulkner Has High Hopes for Forthcoming
Cosmos Technology.» TechTarget. September 3, 2020 (archived).
https://archive.is/3f72G.
57. Bender EM. «On NYT Magazine on AI: Resist the Urge to be
Impressed.»
Medium.
April
17,
2022.
https://medium.com/@emilymenonbender/on-nyt-magazine-on-ai-resistthe-urge-to-be-impressed-3d92fd9a0edd.
58. Smith CS. «A. I. Here, There, Everywhere.» The New York Times.
February 23, 2021. https://www.nytimes.com/2021/02/23/technology/aiinnovation-privacy-seniors-education.html.
59. York C. «Algorithm Claims to Predict Crime in US Cities Before It
Happens.»
Bloomberg.
June
30,
2022.
https://www.bloomberg.com/news/articles/2022−06−30/new-algorithmcan-predict-crime-in-us-cities-a-week-before-it-happens.
60. Mirror Now Digital. «Minority Report Soon? New AI Tech to
Predict Crimes Weeks ahead with 90% Accuracy.» Times Now. July 1,

2022. https://www.timesnownews.com/mirror-now/minority-report-soonnew-ai-tech-to-predict-crimes-weeks-ahead-with-90-accuracy-article92599864.
61. Hogg R. «Al Model Predicting Crime in US Cities Is Right Nine
Times
out
of
10.»
Business
Insider.
July
3,
2022.
https://www.businessinsider.com/ai-model-predicts-crime-us-nine-timesout-of-ten-2022–7.
62. Thubron R. «Newly Developed Algorithm Able to Predict Crime a
Week in Advance with 90% Accuracy.» Techspot. July 1, 2022.
https://www.techspot.com/community/topics/newly-developed-algorithmable-to-predict-crime-a-week-in-advance-with-90-accuracy.276016/.
63. Wood M. «Algorithm Predicts Crime a Week in Advance, but
Reveals Bias in Police Response.» UChicago. June 30, 2022.
https://biologicalsciences.uchicago.edu/news/algorithm-predicts-crimepolice-bias.
64. Sumner P, Vivian-Griffiths S, Boivin J, Williams A, Venetis CA,
Davies A, et al. "The Association between Exaggeration in Health Related
Science News and Academic Press Releases: Retrospective Observational
Study. BMJ 349 (December 10, 2014): g7015.
65. Woolston C. «Study Points to Press Releases as Sources of Hype.»
Nature 516, no. 7531 (December 2014):291–291.
66. Ardia D, Ringel E, Ekstrand VS, Fox A. «Addressing the Decline
of Local News, Rise of Platforms, and Spread of Mis- and Disinformation
Online.» The Center for Information, Technology, and Public Life (CITAP).
https://citap.unc.edu/news/local-news-platforms-mis-disinformation/.
Accessed December 22, 2020.

67. Kissinger H, Schmidt E, Huttenlocher DP, Schouten S. The Age of
AI: And Our Human Future. New York: Little Brown and Company; 2021.
68. Whittaker M, Suchman L. «The Myth of Artificial Intelligence.»
The
American
Prospect.
December
8,
2021.
https://prospect.org/api/content/7fc7f7c2–5781−11ec-987e-12f1225286c6/.
69. Vinsel L. «You’re Doing It Wrong: Notes on Criticism and
Technology Hype.» Medium. February 1, 2021. https://stsnews.medium.com/youre-doing-it-wrong-notes-on-criticism-andtechnology-hype-18b08b4307e5.
70. «Pause Giant AI Experiments: An Open Letter.» Future of Life
Institute. March 22, 2023. https://futureoflife.org/open-letter/pause-giant-aiexperiments/.
71. Kennedy B, Tyson A, Saks E. «Public Awareness of Artificial
Intelligence in Everyday Activities.» Pew Research Center. February 15,
2023. https://www.pewresearch.org/science/2023/02/15/public-awarenessof-artificial-intelligence-in-everyday-activities/.
72. Jakesch M, Hancock JT, Naaman M. «Human Heuristics for AIGenerated Language Are Flawed.» Proc Natl Acad Sci 120, no. 11 (March
2023): e2208839120.
73. Sellier AL, Scopelliti I, Morewedge CK. «Debiasing Training
Improves Decision Making in the Field.» Psychol Sci 30, no. 9 (September
2019):1371–9.
74. Morewedge CK, Yoon H, Scopelliti I, Symborski CW, Korris JH,
Kassam KS. «Debiasing Decisions: Improved Decision Making with a

Single Training Intervention.» Policy Insights Behav Brain Sci 2, no. 1
(October 2015):129–40.
Глава 8
1. Tarnoff B. Internet for the People: The Fight for Our Digital Future.
London: Verso; 2022.
2. Yin L, Sankin A. «Dollars to Megabits, You May Be Paying 400
Times as Much as Your Neighbor for Internet Service.» The Markup.
October 19, 2022. https://themarkup.org/still-loading/2022/10/19/dollars-tomegabits-you-may-be-paying-400-times-as-much-as-your-neighbor-forinternet-service.
3. «Community Network Map.» Community Networks. Muni numbers
updated September 2021. https://communitynets.org/content/communitynetwork-map.
4. Rajendra-Nicolucci C, Sugarman M, Zuckerman E. «The ThreeLegged Stool: A Manifesto for a Smaller, Denser Internet.» Initiative for
Digital
Public
Infrastructure.
March
29,
2023.
https://publicinfrastructure.org/2023/03/29/the-three-legged-stool/.
5. Broussard M. Artificial Unintelligence: How Computers
Misunderstand the World. First MIT Press paperback edition. Cambridge,
MA: The MIT Press; 2019.
6. «Newspapers Fact Sheet.» Pew Research Center. November 10,
2023. https://www.pewresearch.org/journalism/fact-sheet/newspapers/.
7. García E, Kraft MA, Schwartz HL. «Are We at a Crisis Point with
the Public Teacher Workforce? Education Scholars Share Their
Perspectives.»
Brookings.
August
26,
2022.

https://www.brookings.edu/articles/are-we-at-a-crisis-point-with-the-publicteacher-workforce-education-scholars-share-their-perspectives/.
8. Liang W, Yuksekgonul M, Mao Y, Wu E, Zou J. «GPT Detectors Are
Biased against Non-native English Writers.» Patterns 4, no. 7 (July 2023).
https://www.cell.com/patterns/abstract/S2666–3899(23)00130−7.
9. Jiminez K. «Professors Are Using ChatGPT Detector Tools to
Accuse Students of Cheating. But What If the Software Is Wrong?» USA
Today.
April
12,
2023.
https://www.usatoday.com/story/news/education/2023/04/12/how-aidetection-tool-spawned-false-cheating-case-uc-davis/11600777002/.
10. Verma P. «A Professor Accused His Class of Using ChatGPT,
Putting Diplomas in Jeopardy.» The Washington Post. May 19, 2023.
https://www.washingtonpost.com/technology/2023/05/18/texas-professorthreatened-fail-class-chatgpt-cheating/.
11. Gramlich J. «What the Data Says about Gun Deaths in the U. S.»
Pew Research Center. 2023. https://www.pewresearch.org/shortreads/2023/04/26/what-the-data-says-about-gun-deaths-in-the-u-s/.
12. Gee G. «AI Tries (and Fails) to Detect Weapons in Schools.» The
Intercept. May 7, 2023. https://theintercept.com/2023/05/07/ai-gunweapons-detection-schools-evolv/.
13. Bani A. «Philadelphia is Allocating Hundreds of Millions of
Dollars to Address Mounting Gun Violence.» The Plug. December 30,
2022.
https://tpinsights.com/philadelphia-is-allocating-hundreds-ofmillions-of-dollars-to-address-mounting-gun-violence/.

14. «ShotSpotter Frequently Asked Questions.» SoundThinking
(formerly
ShotSpotter).
January
2018.
https://www.soundthinking.com/faqs/shotspotter-faqs/.
15. Cushing T. «Chicago PD Oversight Says ShotSpotter Tech Is
Mostly Useless When It Comes to Fighting Gun Crime.» Techdirt. August
26, 2021. https://www.techdirt.com/2021/08/26/chicago-pd-oversight-saysshotspotter-tech-is-mostly-useless-when-it-comes-to-fighting-gun-crime/.
16. Dodge J, De Mar C, Hickey M. «Mayor Johnson Cancels
Controversial Chicago Gunshot Detection System.» CBS News. February
13, 2024. https://www.cbsnews.com/chicago/news/mayor-johnson-cancelscontroversial-chicago-gunshot-detection-system/.
17. Wootson Jr. CR. «Charlotte Ends Contract with ShotSpotter
Gunshot Detection System.» Charlotte Observer. February 10, 2016.
https://www.charlotteobserver.com/news/local/crime/article59685506.html.
18. Davila V. «S. A. Cuts Funding to $550K Gunshot Detection
Program That Resulted in 4 Arrests.» MySA. August 15, 2017.
https://www.mysanantonio.com/news/local/article/City-pulls-plug-onpricey-gunshot-detection-system-11817475.php.
19. Kalven J. «Chicago Awaits Video of Police Killing of 13-Year-Old
Boy.»
The
Intercept.
April
13,
2021.
https://theintercept.com/2021/04/13/chicago-police-killing-boy-adamtoledo-shotspotter/.
20. Burke G, Mendoza M, Linderman J, Tarm M. «How AI-Powered
Tech Landed Man in Jail with Scant Evidence.» AP News. March 5, 2022.
https://apnews.com/article/artificial-intelligence-algorithm-technologypolice-crime-7e3345485aa66 8c97606d4b54f9b6220.

21. Cheves H. «ShotSpotter Is a Failure. What’s Next?» MacArthur
Justice
Center.
May
5,
2022.
https://www.macarthurjustice.org/blog2/shotspotter-is-a-failure-whats-next/.
22. Sen A, Bennett DK. «The Black Box: Colleges Spend Thousands
on AI to Prevent Suicides and Shootings. Evidence That It Works Is Scant.»
Dallas
Morning
News.
December
1,
2022.
https://interactives.dallasnews.com/2022/the-black-box-social-sentinel/.
23. Irani L, Alexander K. «The Oversight Bloc.» Logic(s) Magazine.
December 25, 2021. https://logicmag.io/beacons/the-oversight-bloc/.
24. Reich R, Sahami M, Weinstein JM. System Error: Where Big Tech
Went Wrong and How We Can Reboot. New York: Harper; 2021.
25. Schwartz B. «Top Colleges Should Select Randomly from a Pool
of „Good Enough.“» Chronicle of Higher Education. February 25, 2005.
https://bschwartz.domains.swarthmore.edu/Chronicle%20of%20Higher%20
Education%202−25−05.pdf.
26. Gross K, Bergstrom CT. «Contest Models Highlight Inherent
Inefficiencies of Scientific Funding Competitions.» PLOS Biol 17, no. 1
(January 2019): e3000065.
27. Baicker K, Taubman SL, Allen HL, Bernstein M, Gruber JH,
Newhouse JP, et al. «The Oregon Experiment — Effects of Medicaid on
Clinical Outcomes.» N Engl J Med 368, no. 18 (May 2013):1713–22.

to

28. Henderson H. «Why Cash Payments Aren’t Always the Best Tool
Help Poor People.» The Conversation. March 17, 2021.

http://theconversation.com/why-cash-payments-arent-always-the-best-toolto-help-poor-people-156019.
29. Uzogara EE. «Democracy Intercepted.» Science 381, no. 6656
(July 2023): 386–7.
30. Meinhardt C, Lawrence CM, Gailmard LA, Zhang D, Bommasani
R, Kosoglu R, et al. «By the Numbers: Tracking the AI Executive Order.»
HAI. November 16, 2023. https://hai.stanford.edu/news/numbers-trackingai-executive-order.
31. Sheehan M. «China’s AI Regulations and How They Get Made.»
Carnegie Endowment for International Peace. July 10, 2023.
https://carnegieendowment.org/2023/07/10/china-s-ai-regulations-and-howthey-get-made-pub-90117.
32. «FTC Action Stops Business Opportunity Scheme That Promised
Its AI-Boosted Tools Would Power High Earnings through Online Stores.»
Press release. Federal Trade Commission. August 22, 2023.
https://www.ftc.gov/news-events/news/press-releases/2023/08/ftc-actionstops-business-opportunity-scheme-promised-its-ai-boosted-tools-wouldpower-high-earnings.
33. Lomas N. «FTC Settlement with Ever Orders Data and AIs Deleted
after Facial Recognition Pivot.» TechCrunch. January 12, 2021.
https://techcrunch.com/2021/01/12/ftc-settlement-with-ever-orders-dataand-ais-deleted-after-facial-recognition-pivot/.
34. Oremus W. «OpenAI CEO Tells Senate That He Fears AI’s
Potential to Manipulate Views.» The Washington Post. May 16, 2023.
https://www.washingtonpost.com/technology/2023/05/16/ai-congressionalhearing-chatgpt-sam-altman/.

35. Bickert M. «Charting a Way Forward on Online Content
Regulation.»
Meta.
February
17,
2020.
https://about.fb.com/news/2020/02/online-content-regulation/.
36. Constine J. «Facebook Asks for a Moat of Regulations It Already
Meets.»
TechCrunch.
February
17,
2020.
https://techcrunch.com/2020/02/17/regulate-facebook/.
37. Keck K. «Big Tobacco: A History of Its Decline.» CNN. June 19,
2009. https://edition.cnn.com/2009/POLITICS/06/19/tobacco.decline/.
38. Brownell KD, Warner KE. «The Perils of Ignoring History: Big
Tobacco Played Dirty and Millions Died. How Similar Is Big Food?»
Milbank Q 87, no. 1 (March 2009):259–94.
39. McKinnon JD, Day C. «Tech Companies Make Final Push to Head
Off Tougher Regulation.» The Wall Street Journal. December 19, 2022
https://www.wsj.com/articles/tech-companies-make-final-push-to-head-offtougher-regulation-11671401283.
40. Evans B. «AI and the Automation of Work.» Benedict Evans. July
2, 2023. https://www.ben-evans.com/benedictevans/2023/7/2/working-withai.
41. Aratani L. «US Eating Disorder Helpline Takes Down AI Chatbot
over Harmful Advice.» The Guardian (US edition). May 31, 2023.
https://www.theguardian.com/technology/2023/may/31/eating-disorderhotline-union-ai-chatbot-harm.
42. Verma P, Vynck GD. «ChatGPT Took Their Jobs. Now They Walk
Dogs and Fix Air Conditioners.» The Washington Post. June 5, 2023.

https://www.washingtonpost.com/technology/2023/06/02/ai-taking-jobs/.
43. Sorgi G, Sario FD. «Who Killed the EU’s Translators?»
POLITICO. May 12, 2023. https://www.politico.eu/article/translatorstranslation-european-union-eu-autmation-machine-learning-ai-artificialintelligence-translators-jobs/.
44. Bessen J. «How Computer Automation Affects Occupations:
Technology, Jobs, and Skills.» CEPR. September 22, 2016.
https://cepr.org/voxeu/columns/how-computer-automation-affectsoccupations-technology-jobs-and-skills.
45. Gray ML, Suri S. Ghost Work: How to Stop Silicon Valley from
Building a New Global Underclass. Boston: Houghton Mifflin Harcourt;
2019.
46. Wheeler G. «„Autocomplete on Steroids“: Ted Chiang Addresses
Phenomenon of AI at Granfalloon Festival.» Indiana Daily Student. June 9,
2023. https://www.idsnews.com/article/2023/06/buskirk-chumley-theaterevent-ted-chiang-talk-2023-granfalloon.
47. Hong S-ha. «Prediction as Extraction of Discretion.» Big Data Soc
10, no. 1 (January 2023):20539517231171053.
48. Maddaus G. «SAG-AFTRA Approves Deal to End Historic
Strike.» Variety. November 8, 2023. https://variety.com/2023/biz/news/sagaftra-tentative-deal-historic-strike-1235771894/.
49. Jarvey N, Press J. «Labor Pains and Gains: The Winners and
Losers of the Hollywood Strikes.» Vanity Fair. November 16, 2023.
https://www.vanityfair.com/hollywood/2023/10/writers-strike-winners-andlosers.

50. Allas T, Maksimainen J, Manyika J, Singh N. «An Experiment to
Inform Universal Basic Income.» McKinsey Company. September 15,
2020. https://www.mckinsey.com/industries/social-sector/our-insights/anexperiment-to-inform-universal-basic-income.
51. Dube A. «A Plan to Reform the Unemployment Insurance System
in
the
United
States.»
Brookings.
April
12,
2021.
https://www.brookings.edu/articles/a-plan-to-reform-the-unemploymentinsurance-system-in-the-united-states/.
52. Porter E. «Don’t Fight the Robots. Tax Them.» The New York
Times. February 23, 2019. https://www.nytimes.com/2019/02/23/sundayreview/tax-artificial-intelligence.html.
53. Acemoglu D, Johnson S. «Big Tech Is Bad. Big A. I. Will Be
Worse.»
The
New
York
Times.
June
9,
2023.
https://www.nytimes.com/2023/06/09/opinion/ai-big-tech-microsoftgoogle-duopoly.html.
54. Lohr S. «Economists Pin More Blame on Tech for Rising
Inequality.»
The
New
York
Times.
January
11,
2022.
https://www.nytimes.com/2022/01/11/technology/income-inequalitytechnology.html.
55. McQuillan D. Resisting AI: An Anti-fascist Approach to Artificial
Intelligence. Bristol, UK: Bristol University Press; 2022.
56. Boyd D, Hargittai E, Schultz J, Palfrey J. «Why Parents Help Their
Children Lie to Facebook about Age: Unintended Consequences of the
„Children’s Online Privacy Protection Act.“» First Monday. October 31,
2011. https://firstmonday.org/ojs/index.php/fm/article/view/3850.

57. Boyd D. «Protect Elders! Ban Television!!» Medium. April 10,
2023.
https://zephoria.medium.com/protect-elders-ban-television2b18ab49988b.
58. Thompson B. «Instagram, TikTok, and the Three Trends.»
Stratechery. August 16, 2022. https://stratechery.com/2022/instagramtiktok-and-the-three-trends/.
59. Twenge JM, Farley E. «Not All Screen Time Is Created Equal:
Associations with Mental Health Vary by Activity and Gender.» Soc
Psychiatry Psychiatr Epidemiol 56, no. 2 (February 2021):207–17.
60. Mollick ER, Mollick L. «Assigning AI: Seven Approaches for
Students,
with
Prompts.»
SSRN.
September
23,
2023.
https://papers.ssrn.com/abstract=4475995.
61. Watters A. «The 100 Worst Ed-Tech Debacles of the Decade.»
Hack
Education.
December
31,
2019.
http://hackeducation.com/2019/12/31/what-a-shitshow.
62. Keener G. «Chess Is Booming.» The New York Times. June 17,
2022.
https://www.nytimes.com/2022/06/17/crosswords/chess/chess-isbooming.html.
63. Ortiz K. Written Testimony of Karla Ortiz: US. Senate Judiciary
Subcommittee on Intellectual Property «AI and Copyright.» July 7, 2023.
https://www.judiciary.senate.gov/imo/media/doc/2023−07–12_pm__testimony_-_ortiz.pdf.

64. Singer N. «Chatbot Hype or Harm? Teens Push to Broaden A. I.
Literacy.»
The
New
York
Times.
December
13,
2023.
ttps://www.nytimes.com/2023/12/13/technology/ai-chatbots-schoolsstudents.html.

В книге упоминаются социальные сети Instagram и/или Facebook,
принадлежащие компании Meta Platforms, Inc., деятельность которой
по реализации соответствующих продуктов на территории Российской
Федерации запрещена.