ЦЕНА
БЕСПЛАТНОЙ
СОЦИАЛЬНЫЕ МЕДИА
Филиппо Менцер и Томас Хиллс
ИНФОРМАЦИИ
Необходимо понять, как алгоритмы
и манипуляционные технологии
используют наши когнитивные
искажения и предубеждения: только
так можно их победить
ООО
о о
ООО о \ °о°
О О О О О о
О О О О о
О О О О о
Социальные медиа
ОБ АВТОРАХ
Филиппо Менцер (Filippo Menczer)— почетный профессор информатики
и компьютерных наук, директор Обсерватории социальных медиа (OSoMe)
Индианского университета в Блумингтоне. Объект его изучения — инструмен-
ты противодействия манипуляциям в социальных сетях.
Томас Хиллс (Thomas Hills) — профессор психологии и дирек-
тор магистерской программы по науке о данных и поведении
в Уорикском университете в Великобритании. Его исследования
посвящены эволюции разума и теории информации.

редставьте себе Энди — обыкновенного человека, который боит-
ся заразиться новой коронавирусной инфекцией COVID-19. Он фи-
зически неспособен прочитать все статьи о вирусе и полагается
на советы близких и друзей. Когда кто-то в Facebook высказывает
мнение, что опасения по поводу пандемии преувеличены, Энди
сначала отвергает эту идею. Затем отель, в котором он служит, за-
крывается, его работа под угрозой. Энди начинает задаваться во-
просом, насколько в действительности серьезна вся эта ситуация,
связанная с вирусом, от которого никто из его знакомых не умер. Коллега публикует
статью о «ковидной панике», инспирированной крупнейшими фармацевтическими
компаниями, вступившими в сговор с коррумпированными политиками. Эта точка
зрения вполне согласуется с недоверием Энди к правительству.
Соответствующие поисковые запросы в ин-
тернете быстро приводят его к статьям, в ко-
торых утверждается, что COVID-19 не страш-
нее гриппа. Энди присоединяется к он-
лайн-группе людей, которые были уволены
или опасаются увольнения, и вскоре вслед
за ними начинает задаваться вопросами: «Ка-
кая пандемия? Где пандемия?». Когда он уз-
нает, что некоторые из его новых друзей пла-
нируют участвовать в митинге с требованием
положить конец правительственным ограни-
чениям и локдауну, он решает присоединить-
ся к ним. Почти никто из участников массо-
вого протеста, включая его самого, не носит
маски. Когда сестра спрашивает его о митин-
ге, Энди уже полностью разделяет убеждение,
которое прочно вошло в его сознание: корона-
вирус — это обман.
Приведенный пример иллюстрирует опас-
ности и «минные поля» нашего восприятия —
когнитивные искажения. Мы предпочитаем
информацию, полученную непосредствен-
но от тех, кому доверяем, от людей, принад-
лежащих к «нашей группе». Кроме того, мы
обращаем больше внимания на информа-
цию, связанную с рисками, и, соответственно,
охотнее ею делимся. Для Энди это информа-
ция о риске потери работы. Мы ищем и запо-
минаем то, что хорошо согласуется с уже име-
ющимися у нас убеждениями и информацией.
Все эти искажения — продукт нашего эволю-
ционного прошлого, десятки тысяч лет они
служили нам верой и правдой. Люди, которые
согласовывали с ними свое поведение (напри-
мер, держались подальше от заросших травой
болотистых мест, где, как кто-то сказал, во-
дятся гадюки), имели больше шансов выжить.
Вот только современные технологии пагуб-
но усиливают эти предубеждения. Поисковые
системы направляют Энди на сайты, поддер-
живающие и разжигающие его подозрения,
а социальные сети связывают с единомыш-
ленниками, подпитывая его страхи. Что еще
хуже, боты (автоматические программы в со-
циальных сетях, выдающие себя за реальных
людей) позволяют третьим, чаще всего злона-
меренным лицам воспользоваться чужими
данными.
ll/ustratio n by Cristina Spand (preceding pages)
118 В мире науки | [01/02] январь/февраль 2021
Социальные медиа
Эта проблема усугубляется возможностью
широчайшего распространения информации
при помощи интернета. Просмотр и создание
блогов, видеоконтента, твитов, любых других
единиц информации (так называемых мемов)
стали настолько дешевыми и простыми, что
рынок информации переполнен. Не имея воз-
можности обработать весь этот массив дан-
ных, мы позволяем своим предубеждениям
одерживать верх и решать, на что следует об-
ратить внимание, а на что нет. Наши вну-
тренние стереотипные ярлыки оказывают
сильное и часто вредное воздействие на спо-
собность воспринимать, осознавать и запо-
минать информацию.
В этой связи крайне важно разобраться
в наших когнитивных уязвимостях (их еще
называют когнитивными искажениями),
а также в том, как именно алгоритмы и вре-
доносные программы могут ими воспользо-
ваться и манипулировать нами. В Уорик-
ском университете в Великобритании и в Об-
серватории социальных медиа Индианского
университета в Блумингтоне [Observatory on
Social Media, сокращенно OSoMe, произно-
сится как англ, awesome— «потрясающий»)
две группы проводят совместные исследо-
вания в области когнитивных искажений
пользователей социальных сетей. При этом
они используют весь арсенал психологиче-
ских экспериментов, симуляций, интеллек-
туальный анализ данных (data mining), ис-
кусственный интеллект и прочие инстру-
менты. Результаты этих психологических
исследований, проведенных в Уорикском
университете, используются для создания
компьютерных моделей, разрабатываемых
в Индиане, и наоборот. Кроме того, груп-
пы работают над созданием аналитических
средств и алгоритмов машинного обучения
для борьбы с манипуляциями в социальных
сетях. Некоторые из этих инструментов уже
используются журналистами, общественны-
ми организациями и конкретными пользова-
телями с целью обнаружения ботов, выявле-
ния путей распространения ложной инфор-
мации и повышения общей информационной
грамотности.
Информационная перегрузка
Избыток информации вызвал острую конку-
ренцию и борьбу за наше внимание. По сло-
вам лауреата Нобелевской премии экономи-
ста и психолога Герберта Саймона, «не столь-
ко мы потребляем информацию, сколько
она сама поглощает наше внимание». А одно
Информационная перегрузка
Наши новостные ленты в социальных сетях часто перепол-
нены. Многие просматривают лишь несколько самых по-
пулярных материалов, выбирая, которым из них поделиться.
Исследователи из Обсерватории социальных медиа (OSoMe)
Индианского университета в Блумингтоне смоделировали это
«ограниченное внимание». Каждый узел в данной сети пред-
ставляет пользователя, связанного линиями с друзьями или
подписчиками. Пользователи обмениваются информацией,
либо создавая ее, либо делясь уже существующей. Ученые об-
наружили, что по мере увеличения количества мемов в сети
(правее по шкале) качество наиболее популярных из них па-
дает (круги становятся меньше). Подобная информационная
перегрузка может объяснить, почему фейковые новости мо-
гут стать вирусными.
SOURCE: “LIMITED INDIVIDUAL ATTENTION AND ONLINE VIRALITY OF LOW-QUALITY INFORM AT1ON,'
byxiaoyanqiuetal., in nature HUMAN BEHAVIOUR, VOL. 1, JUNE 2017
Меньше
Количество активных мемов
-> Больше
Низкая информационная нагрузка
и высокое качество постов
Различные цвета представляют различные мемы
Высокая информационная нагрузка
и низкое качество постов
аккаунт в соци-
альной сети
связи между
аккаунтами
опубликованно-
го мема	О Высокое ° Низкое
www.scl-ru.org
[01/02] январь/февраль 2021 | В мире науки 119
Социальные медиа
Загрязнение ботами
Боты, или автоматические учетные записи, которые выдают
себя за реальных пользователей, значительно снижают каче-
ство информации в социальных сетях. При создании одной
из своих компьютерных моделей исследователи OSoMe вклю-
чили в социальную сеть ботов (как пользователей, которые
генерируют мемы нулевого качества и делятся только инфор-
мацией друг друга). Результаты можно увидеть на рисунке.
В том случае, когда за ботами следит менее 1% пользовате-
лей, качество информации остается высоким (слева). Когда
процент проникновения ботов в сеть превышает 1, некаче-
ственная информация начинает активно распространяться
по сети (справа). В реальных социальных сетях всего несколь-
ко первых голосов ботов могут сделать фальшивую новость
вирусной.
Меньше •<------------------ Процент ботов, проникших в сеть
Больше
Незначительное проникновение ботов,
Высокий уровень «загрязнения» ботами,
высокое качество постов
в среднем низкое качество постов
из очевидных последствий так называемой
экономики внимания — потеря качественной
информации. Команда OSoMe продемонстри-
ровала этот результат с помощью набора про-
стых симуляций.
За основу было взято множество пользо-
вателей социальных сетей, таких как Энди,
взаимодействующих друг с другом наподо-
бие узлов в сети онлайн-знакомств. На каж-
дом временном шаге этой симуляции участ-
ник может либо создать новый мем, либо по-
делиться уже существующим из собственной
ленты новостей. Для того чтобы сымитиро-
вать ограниченное внимание, участникам
разрешено было просматривать только стро-
го определенное количество последних ново-
стей в своих лентах.
Оценивая результаты моделирования
на каждом временном шаге. Лилиан Вэн
(Lilian Weng) из OSoMe обнаружила, что
по мере того как внимание участников ста-
новилось все более ограниченным, распро-
странение мемов начинало походить на сте-
пенное распределение, имеющее место в ре-
альных соцсетях. То есть вероятность того,
что конкретный мем будет опубликован за-
данное число раз, приблизительно равнялась
обратной степени этого числа. Например,
вероятность трех публикаций заданного
мема примерно в девять раз ниже вероятно-
сти одной его публикации.
Эту модель можно интерпретировать как
«победитель получает все»: единицы мемов
распространялись максимально широко,
а остальные просто игнорировались. Объяс-
нить это содержанием или ценностью кон-
кретных мемов нельзя: в данной модели они
были лишены содержания и каких-либо от-
личительных особенностей. Виральность
контента (то есть в некотором роде его при-
влекательность) определялась исключитель-
но статистическими методами в рамках мо-
дели распространения информации по соци-
альной сети пользователей с ограниченным
вниманием.
Согласно другому исследованию, автор ко-
торого — Сяоянь Цю (Xiaoyan Qiu) из OSoMe,
даже когда отдельные пользователи отдавали
предпочтение условно наилучшим мемам, об-
щее качество самых популярных мемов улуч-
шалось незначительно. Действующая модель
показала, что даже в том случае, когда мы хо-
тим видеть исключительно высококачествен-
ную информацию и делиться ей, ограничен-
ность нашего внимания и неспособность
просматривать все сообщения в новостных
Graphic by Filippo Menczer
120 В мире науки | [01/02] январь/февраль 2021
Социальные медиа
лентах неизбежно приводят к тому, что мы де-
лимся мемами, которые частично или полно-
стью не соответствуют действительности.
Когнитивные искажения сильно усугубля-
ют эту ситуацию. В 30-е гг. прошлого столе-
тия известный британский психолог Фреде-
рик Бартлетт провел серию революционных
исследований в области процессов запомина-
ния. Он рассказывал испытуемым индейскую
легенду о юноше, который слышит боевые
кличи, внемлет их зову и вступает в сказоч-
ную битву, которая в конечном итоге приво-
дит к его настоящей смерти. Бартлетт просил
испытуемых (которые не были коренными
американцами) вспоминать и по возможно-
сти точно пересказывать эту довольно запу-
танную историю через определенные проме-
жутки времени, от нескольких минут до не-
скольких лет. В результате он обнаружил, что
со временем люди склонны все больше иска-
жать культурно незнакомые, непонятные или
чуждые им части рассказа, так что они либо
стираются из памяти, либо превращаются
во что-то более привычное. Сегодня мы зна-
ем, что наш разум делает это постоянно: он
корректирует наше восприятие новой инфор-
мации так, чтобы оно соответствовало тому,
что мы уже знаем. Одним из последствий так
называемой предвзятости подтверждения
становится то, что люди часто ищут, вспоми-
нают или воспринимают только ту информа-
цию, которая лучше всего подтверждает уже
имеющиеся у них убеждения.
Исправить это очень сложно. Эксперименты
неизменно показывают, что даже когда люди
сталкиваются со сбалансированной информа-
цией. содержащей различные подходы и точки
зрения на проблему, они, как правило, фокуси-
руют свое внимание на доказательствах того,
во что уже верят. Представьте, что вы предъ-
явите одну и ту же информацию людям с раз-
личными взглядами на какую-нибудь эмо-
ционально окрашенную проблему, например
изменение климата. Скорее всего, это приве-
дет лишь к тому, что каждый из них еще более
рьяно будет отстаивать свою точку зрения.
Что еще хуже, поисковые системы и соци-
альные сети предоставляют персональные
рекомендации, основанные на огромных
объемах имеющихся данных о прошлых дей-
ствиях пользователей. Эти алгоритмы отда-
ют предпочтение информации в наших лен-
тах, с которой мы, скорее всего, априори со-
гласны, независимо от того, насколько она
незначительна. Одновременно они огражда-
ют нас от данных, способных изменить наше
мнение. Это делает нас легкой мишенью для
социальной поляризации. Нир Гринберг (Nir
Grinberg) и его коллеги из Северо-Восточно-
го университета в Бостоне недавно показа-
ли, что консерваторы в США более воспри-
имчивы к дезинформации. Однако наш соб-
ственный анализ потребления низкопробной
информации в Twitter показывает, что при-
верженность конкретной политической про-
грамме не играет решающей роли в этом во-
просе. С другой стороны, судя по проведен-
ным экспериментам, наша политическая
предвзятость все же влияет на способность
обнаруживать онлайн-манипуляции, хотя
и несимметрично. Если пользователи-респу-
бликанцы с большей вероятностью принима-
ют «ботов-консерваторов» за людей, то поль-
зователи-демократы скорее примут консерва-
тивных пользователей за ботов.
Стадный инстинкт
Нью-Йорк, август 2019 г. Заслышав звуки, по-
хожие на выстрелы, толпа людей начинает
разбегаться в разные стороны. Другие следу-
ют за ними, некоторые кричат: «Стрелок!»...
Впоследствии выяснилось, что эти звуки из-
давала выхлопная труба мотоцикла. Возмож-
но, в такой ситуации и полезно сначала бе-
жать, а только потом задавать вопросы. В от-
сутствие четких указаний наш мозг начинает
ориентироваться на поведение толпы, подоб-
но поведению животных в стае.
И так повсеместно. Увлекательное исследо-
вание с участием 14 тыс. веб-волонтеров про-
вели Мэттью Салганик (Matthew Salganik), ра-
ботавший тогда в Колумбийском университе-
те, и его коллеги в 2006 г. Они обнаружили,
что когда люди могут видеть, какую музыку
скачивают другие, в конечном итоге они на-
чинают скачивать похожие песни. Более того,
ученые провели эксперимент, объединив ис-
пытуемых в различные социальные груп-
пы. Участники могли видеть предпочтения
других членов своего круга, но не имели ни-
какой информации о посторонних. Предпо-
чтения отдельных групп быстро разошлись.
С другой стороны, предпочтения «несоциаль-
ных» групп, где никто не знал о чужом выбо-
ре, оставались относительно стабильными.
Иными словами, социальные группы созда-
ют настолько сильное давление, ориентиро-
ванное на конформизм, что оно может перело-
мить индивидуальные предпочтения. А в бо-
лее крупных масштабах, усиливая исходные
внутренние различия, это давление может
в дальнейшем привести к крайней степени се-
грегации между различными группами.
Социальные сети следуют аналогичному
принципу. Популярность мема мы принима-
ем за его качество и в итоге лишь копируем
www.sci-ru.org
[01/02] январь/февраль 2021 | В мире науки 121
Социальные медиа
Уязвимость
для фейковых
новостей
Исследование пользователей
Twitter, оценивавших свои по-
литические взгляды, показало,
что и либералы, и консервато-
ры в конечном итоге делятся ин-
формацией с сайтов, которые не-
однократно публикуют новости
с низким уровнем достоверно-
сти (по данным независимых про-
верок). Однако консервативные
пользователи все же несколько
более восприимчивы к распро-
странению фейковых новостей.
На этом графике представлено
более 15 тыс. пользователей Twitter.
Размер каждой точки соответству-
ет количеству аккаунтов, которые
разделяют ту или иную политиче-
скую программу (по горизонталь-
ной оси) и подвержены риску
дезинформации (по вертикаль-
ной оси). Диапазон размеров 1—0
точек — от 1 до 429.
юо —
Высокий
чье-то поведение. Эксперименты в Twitter,
проведенные Бьярке Менстедом (Bjarke
Monsted) и его коллегами из Датского техни-
ческого университета и Университета Юж-
ной Калифорнии, показывают, что информа-
ция передается посредством так называемого
комплексного заражения. Постоянно стал-
киваясь с одной и той же идеей, поступаю-
щей из различных источников, мы с большей
вероятностью ее примем и поддержим даль-
нейшее распространение. Такое социаль-
ное искажение еще больше усиливается тем,
что психологи называют эффектом «простого
воздействия». Раздражители (например, кон-
кретные люди), воздействию которых мы под-
вергаемся многократно, нравятся нам боль-
ше, чем случайные и нерегулярные стимули-
рующие воздействия.
Такие когнитивные искажения приводят
к непреодолимому желанию обращать внима-
ние на вирусную информацию: если об этом
говорят все, это должно быть важно. Социаль-
ные сети, такие как Facebook, Twitter. YouTube
и Instagram, показывают нам не только ту ин-
формацию, которая соответствует нашим
взглядам. На самых видных местах они раз-
мещают популярный контент с указанием
на количество людей, которым что-то понра-
вилось или которые чем-то поделились. Мало
кто из нас отдает себе отчет в том, что эти
подсказки далеки от независимой оценки ка-
чества.
Фактически программисты, разрабатыва-
ющие алгоритмы ранжирования мемов для
социальных сетей, исходят из того, что «му-
дрость толпы» быстро выявит высококаче-
ственные элементы. Популярность ими по-
нимается как показатель качества. Анализ
огромного количества анонимных данных
о кликах, проведенный нашей группой, по-
казывает, что интернет-платформы — соци-
альные сети, поисковые системы, новостные
сайты и т.д. — все преимущественно обслу-
живают информацию, генерируемую лишь
небольшим количеством популярных источ-
ников.
Чтобы разобраться с этим феноменом, не-
обходимо было понять, какой вклад в итого-
вую рейтинговую оценку вносят показате-
ли качества и популярности. В нашей моде-
ли пользователи с ограниченным вниманием
(то есть те, кто может видеть только опреде-
ленное количество элементов в верхней ча-
сти своих новостных лент) с большей вероят-
ностью отметят мемы, которым данная плат-
форма присвоила высокий рейтинг. Каждый
мем в этом случае имеет два собственных по-
казателя: качества и популярности (опреде-
ляемой количеством кликов). Появляется воз-
можность отследить зависимость итогового
рейтинга от популярности, а не от качества.
И моделирование показывает, что описанная
выше «алгоритмическая предвзятость» обыч-
но снижает качество мемов даже в отсутствие
SOURCE: DIMITAR NIKO LOV AND FILIPPO MENCZER (data); Graphic by Jen Christiansen
122 В мире науки | [01/02] январь/февраль 2021
Социальные медиа
предвзятости пользователей. Иными слова-
ми, даже когда мы хотим поделиться лучшей
информацией, алгоритмы не дают нам этого
сделать и в конечном итоге вводят в заблуж-
дение.
Эхокамеры
Большинство из нас не хотят верить в то, что
они — часть стада. Однако склонность к под-
тверждению своей точки зрения заставля-
ет нас следовать за теми, кто похож на нас.
Этот процесс иногда называют гомофилией,
что можно определить как склонность едино-
мышленников к объединению. Социальные
сети усиливают гомофилию, позволяя пользо-
вателям изменять структуру своих социаль-
ных сетей посредством подписки, удаления
из друзей и т.д. В результате люди разделяют-
ся на крупные сообщества, стремящиеся к все
большему замыканию на самих себе и на цир-
кулирующих внутри потоках дезинформа-
ции. Эти сообщества часто называют эхока-
мерами.
Для того чтобы исследовать появление та-
ких эхокамер в интернете, OSoMe создала
систему EchoDemo. В этой модели каждый
участник обладает собственным политиче-
ским мнением, представленным числом, ле-
жащим в интервале от-1 (условно говоря,
либеральное) до 1 (консервативное). От это-
го показателя зависят посты пользовате-
лей. Кроме того, в рамках данной модели
они имеют возможность отписаться от дру-
гих участников общения, если их мнения
не совпадают. Начав со случайных конфигу-
раций сетей пользователей и их постов, мы
обнаружили, что сочетание социально-по-
литического мнения и возможности отказа
от подписки значительно ускоряет форми-
рование поляризованных и сегрегирован-
ных сообществ.
В самом деле, политические эхокамеры
в Twitter настолько активны, что с высокой
точностью можно предсказать политические
предпочтения отдельных пользователей: вы
придерживаетесь того же мнения, что и боль-
шинство ваших знакомых. Эта камерная
структура эффективно распространяет ин-
формацию внутри самой себя, изолируя дан-
ное сообщество от других. В 2014 г. наша ис-
следовательская группа стала объектом кам-
пании по дезинформации, согласно которой
мы якобы принимали участие в политиче-
ски мотивированных акциях по подавлению
свободы слова. Это ложное обвинение ви-
русным путем распространялось в основном
в консервативной эхокамере, тогда как опро-
вержения и реабилитирующие нас статьи
циркулировали в основном в либеральном
сообществе. К сожалению, такое разделение
фейковых новостей и их аргументированного
опровержения — норма.
Социальные сети также способны усили-
вать наш негатив. В недавнем лабораторном
исследовании Роберт Ягелло (Robert Jagiello),
также из Уорикского университета, обнару-
жил, что информация, распространяемая
в различных социальных системах (в част-
ности, в соцсетях), не только укрепляет наши
предубеждения, но и становится более устой-
чивой к корректировкам. Объектом его иссле-
дования была информация, передающаяся
от человека к человеку в так называемой со-
циальной цепи распространения. В ходе экс-
перимента первому человеку в цепи предлага-
лось прочитать серию статей о ядерной энер-
гетике или пищевых добавках. Статьи были
разработаны так, чтобы быть сбалансиро-
ванными и содержать как положительную
информацию (например, об уменьшении за-
грязнения или о продуктах длительного хра-
нения), так и отрицательную (например, о ри-
ске аварии в реакторе или возможном вреде
для здоровья). И далее участники социаль-
ной цепи распространения передавали друг
другу содержание этих статей своими слова-
ми. В результате можно было наблюдать об-
щее увеличение количества негативной ин-
формации по мере ее прохождения по цепоч-
ке, известное как социальное усиление риска.
Более того, работа Даниэль Наварро (Danielle
J. Navarro) и ее коллег из Университета Ново-
го Южного Уэльса в Австралии показала, что
информация в подобных социальных цепоч-
ках наиболее восприимчива к искажениям
со стороны людей с крайними предубежде-
ниями.
Наконец, социальное распространение так-
же делает негативную информацию более
«прилипчивой». Когда Ягелло после оконча-
ния эксперимента представил участникам
исходную сбалансированную информацию —
то есть те новостные статьи, которые прочи-
тал первый человек в цепочке, — она мало по-
влияла на уменьшение вышеописанного нега-
тива. Информация, прошедшая через цепочку
людей, становится более негативной и устой-
чивой к корректировке.
Входе исследования 2015г., проведенно-
го сотрудниками OSoMe Эмилио Феррарой
(Emilio Ferrara) и Зеяо Яном (Zeyao Yang),
были проанализированы эмпирические дан-
ные о так называемом эмоциональном за-
ражении в Twitter. Это исследование пока-
зало, что люди, чрезмерно склонные к не-
гативному контенту, после его просмотра
www.sci-ru.org
[01/02] январь/февраль 2021 | В мире науки 123
Социальные медиа
обычно публикуют негативную информа-
цию, и наоборот: склонность к позитивным
новостям аналогичным образом отражается
и на постах. Поскольку негативный контент
распространяется быстрее, чем позитивный,
эмоциями легко манипулировать, создавая
мемы, вызывающие отрицательные реак-
ции, такие как страх и беспокойство. Ферра-
ра, который сейчас работает в Университете
Южной Калифорнии, и его коллеги из Фон-
да Бруно Кесслера в Италии показали, что
во время референдума о независимости Ката-
лонии в 2017 г. социальные боты использова-
лись для распространения резко негативной
информации о жестокостях и подстрекатель-
стве к насилию, что обостряло социальный
конфликт.
Расцвет ботов
Качество информации в целом все больше
ухудшается из-за развития социальных бо-
тов, которые могут использовать все наши
когнитивные искажения. Создавать ботов
легко. Социальные сети предоставляют ин-
терфейсы прикладного программирования,
благодаря которым практически любой же-
лающий сможет создать тысячи ботов, на-
строить их и управлять ими. Однако следует
серьезно отнестись к тому, что продвижение
сообщения, даже с помощью всего лишь не-
скольких голосов ботов на начальном этапе,
может иметь огромное влияние на его после-
дующую популярность.
В OSoMe мы разработали алгоритмы ма-
шинного обучения для обнаружения соци-
альных ботов. Один из них, Bolometer, пред-
ставляет собой общедоступный инструмент,
способный извлечь из предъявленной ему
учетной записи Twitter 1,2 тыс. уникальных
характеристик, чтобы проанализировать
сам профиль, друзей юзера, структуру, пери-
оды активности, язык и другие особенности.
Программа сравнивает полученные показа-
тели с характеристиками десятков тысяч бо-
тов, идентифицированных ранее. На выходе
мы имеем оценку вероятного использования
автоматизации для данной учетной записи.
По нашим подсчетам, в 2017 г. до 15% актив-
ных учетных записей Twitter представляли
собой ботов. Кроме того, можно утверждать,
что они сыграли ключевую роль в распро-
странении дезинформации в период выборов
в США в 2016 г. В течение нескольких секунд
после публикации фальшивой новостной ста-
тьи (например, заметки, утверждавшей, что
команда Клинтон была причастна к оккульт-
ным ритуалам) десятки ботов автоматиче-
ски распространяли ее на своих страницах,
а реальные пользователи, обманутые очевид-
ной популярностью контента, также делились
этой статьей.
Боты способны также оказывать на нас вли-
яние, представляясь людьми из нашего круга
или группы. В большинстве случаев для того,
чтобы проникнуть в сообщество, боту необ-
ходимо всего лишь лайкнуть и репостить но-
вость какого-нибудь члена этой группы.
Сяодан Лу (Xiaodan Lou) из OSoMe раз-
работала социальную модель, где некото-
рые из участников— боты. Они проникают
в определенное сообщество и делятся обман-
чиво привлекательным некачественным кон-
тентом — кликбейтом. Один из параметров
данной модели описывает вероятность того,
что реальный участник сообщества после-
дует за ботами (для упрощения модели мож-
но определить ботов как участников обще-
ния, генерирующих мемы нулевого качества
и делящихся только информацией друг Дру-
га). Результаты моделирования показывают,
что боты могут эффективно подавлять каче-
ство информации всей так называемой эко-
системы, проникая лишь в небольшую ее
часть. Боты также могут ускорить формиро-
вание эхокамер, предлагая следовать заранее
определенным учетным записям, что приве-
дет к росту сегрегации и самоизоляции вну-
три сообщества.
Существуют примеры успешного манипули-
рования общественным мнением одновремен-
но с двух диаметрально противоположных по-
зиций. В качестве инструментов используют-
ся все те же фейковые новости и боты, а целью
выступают политическая поляризация или
монетизация при помощи рекламы. Недавно
мы обнаружили сеть неаутентичных учетных
записей в Twitter, которые координировались
одним и тем же лицом. Одни выдавали себя
за сторонников кампании Трампа «Сделаем
Америку снова великой», а другие представ-
ляли собой «сопротивление» политике Трам-
па. И те и другие рассчитывали на полити-
ческие пожертвования. Подобные операции
усиливают контент, основанный на предвзя-
тости подтверждения, и ускоряют формиро-
вание поляризованных эхокамер.
Политика сдерживания
онлайн-манипуляций
Чтобы защититься от всех этих манипуля-
ций, необходимо осознать собственные когни-
тивные искажения, а также те методы, кото-
рыми пользуются боты и алгоритмы. В OSoMe
был разработан ряд инструментов, позволя-
ющих лучше понять как наши слабые места,
так и уязвимости социальных сетей. Один
124 В мире науки | [01/02] январь/февраль 2021
Социальные медиа
из таких инструментов — мобильное прило-
жение Fakey, которое может помочь научить-
ся распознавать дезинформацию. По сути это
игра, которая имитирует новостную ленту со-
циальной сети, показывая актуальные ста-
тьи из источников с разным уровнем доверия.
Пользователи должны принять решение и вы-
брать, чем можно поделиться в своей ленте,
а какая информация нуждается в проверке.
Анализ данных от Fakey подтверждает пре-
обладание стадного онлайн-чувства: пользо-
ватели с большей вероятностью будут делить-
ся статьями с низким уровнем доверия, если
считают, что ими поделилось большое коли-
чество людей.
Другая общедоступная программа под на-
званием Ноаху показывает, как любой мем
распространяется в Twitter. В этой визуали-
зации узлы представляют собой учетные за-
писи Twitter, а ссылки показывают, как ре-
твиты, цитаты, упоминания и ответы рас-
пространяют мем от одной учетной записи
к другой. Каждый узел имеет определенный
цвет, соответствующий его оценке, получен-
ный при помощи алгоритма Botometer, упо-
мянутого выше, что позволяет пользовате-
лям наглядно увидеть, как боты усиливают
дезинформацию. Эти инструменты исполь-
зовались в журналистских расследовани-
ях с целью раскрыть источники кампаний
по дезинформации, аналогичные той, кото-
рая распространяет слухи о так называемом
заговоре «Пиццагейт» в США. Они также по-
могли выявить попытки подавления изби-
рателей при помощи ботов во время проме-
жуточных выборов в США в 2018 г. Одна-
ко раскрывать манипуляции становится все
труднее. Алгоритмы машинного обучения
с каждым днем все лучше имитируют пове-
дение человека.
Помимо распространения фейковых ново-
стей, кампании дезинформации могут также
отвлечь внимание от других, более серьез-
ных проблем. Для борьбы с подобными ма-
нипуляциями мы недавно разработали еще
один инструмент — программу под названи-
ем BotSlayer. По запросу она может извлекать
хештеги, ссылки, учетные записи и другую
информацию из твитов в соответствии с те-
мами, которые интересуют пользователя.
Для каждой такой темы BotSlayer отслежива-
ет не только сами твиты, но и публикующие
их учетные записи, а также условные баллы,
указывающие на автоматизм ботов, в том
случае если твит опубликовал или поделился
им неаутентичный пользователь. В резуль-
тате можно выявить темы, намеренно уси-
ленные ботами или просто согласованными
учетными записями. Цель состоит в том.
чтобы позволить журналистам, обществен-
ным организациям и политическим канди-
датам выявлять и отслеживать недостовер-
ные «кампании влияния» в режиме реально-
го времени.
Эти инструменты могут оказаться полез-
ными, но их недостаточно. Чтобы ограничить
распространение фейковых новостей, необхо-
димы институциональные изменения. Повы-
шение уровня образования в области когни-
тивных искажений отчасти может помочь,
хотя едва ли можно в должной мере охватить
эту тему. Некоторые правительства и сами
социальные сети также пытаются пресекать
онлайн-манипуляции и фальшивые новости.
Но в конечном счете кто решает, где фальшив-
ка, а где нет? Можно снабдить информацию
предупреждающим ярлыком, как это ста-
ли делать Facebook и Twitter, но можно ли до-
верять людям, которые раздают эти ярлы-
ки? Слишком велик риск того, что такие меры
могут вольно или невольно подавить свободу
слова, которая имеет огромное значение для
развитых демократий. Доминирование гло-
бальных социальных сетей, тесно связанных
с правительствами, еще больше усложняет
ситуацию.
Одна из лучших идей на сегодня — услож-
нить создание некачественной информа-
ции и обмен ею. Можно создать искусствен-
ные препятствия, заставляя людей платить
за обмен информацией или ее получение,
а в качестве оплаты требовать от пользова-
телей потратить их личное время и проде-
лать умственную работу, например решив
головоломку, или же сделать символический
взнос за подписку или использование инфор-
мации. Любые автоматические публикации
следует рассматривать как рекламу. Неко-
торые платформы уже используют подобные
барьеры в виде так называемых CAPTCHA
или телефонного подтверждения для досту-
па к аккаунтам. Twitter наложил ограниче-
ния на автоматические публикации. Нельзя
останавливаться в попытках стимулировать
обмен и продвижение лишь той информации,
которая представляет ценность для пользо-
вателей.
Бесплатное общение вовсе не бесплатно.
Уменьшая стоимость информации, мы сни-
зили ее ценность, а в итоге заменили поддел-
кой. Чтобы восстановить работоспособность
информационной экосистемы и защитить нас
от заблуждений, необходимо осознать уязви-
мость нашего перегруженного разума. 
Перевод: Д.С. Хованский
WWW.SCi-rLl.org
[01/02] январь/февраль 2021 | В мире науки 125