Узнайте совместимость по знаку зодиака
Анализ: краудсорсинговый эксперимент Twitter по проверке фактов выявил проблемы
Анализ
Анализ Пойнтера показал, что менее половины пользователей Birdwatch включают источники, а многие заметки для проверки фактов содержат предвзятую риторику.

Версия алгоритма Birdwatch от Twitter от 14 февраля дополнила некоторые заметки вводящей в заблуждение информацией.
5 февраля Twitter пометил сообщение скандального ютубера Тима Пула в котором говорится, что президентские выборы в США в 2020 году были сфальсифицированы. Платформа отметила, что претензия была оспорена, и отключила взаимодействие «из-за риска насилия».
Но на Бердвотч , платформа социальных сетей эксперимент по краудсорсинговой проверке фактов Согласно анализу данных Twitter, проведенному 14 февраля, пользователи в подавляющем большинстве заявили, что твит не вводит в заблуждение. И большинство пользователей Birdwatch указали в инструменте, что они нашли эти примечания, подтверждающие опровергнутые заявления, полезными и информативными.
«Согласно официальному (так в оригинале) источнику TIME, существовала хорошо организованная группа секретных участников теневой организации, похожей на клику, которая работала вместе, чтобы повлиять на выборы в пользу Джо Байдена», — говорится в одной заметке. Пока пользователь включает ссылку на статья в журнале Time в котором действительно используются такие слова, как «клика» и «заговор», контекст статьи — что влиятельные группы работали за кулисами, чтобы защитить честность выборов — теряется.
То Алгоритм наблюдения за птицами , который нацелен на отображение полезных заметок, присвоил этой «проверке фактов» оценку полезности 0,68 — самый высокий показатель среди заметок в твите, сразу за пределами первых 10% заметок, которые алгоритм считает «оцененными как полезные» на 14 февраля. Полезные заметки составили около 7% из 2695 в этом анализе, и менее двух третей из них содержат ссылку на источник, которая не является другим твитом.
17 февраля, Твиттер изменил свой алгоритм и заметки в твите Pool больше не оцениваются как полезные, хотя они по-прежнему перечислены под постом . До этого изменения существовал более низкий порог, который можно было считать полезным — всего 0,5 по сравнению с новым пороговым значением 0,84 — и примечаниям требовалось всего три рейтинга, чтобы они считались полезными, расставленными по порядку и отмеченными синим цветом.
Теперь заметка должна набрать пять рейтингов, чтобы протолкнуть этот твит в новая вкладка «рейтинг полезности» в Birdwatch . И из этих почти 2700 заметок в базе данных платформы 126 соответствовали новому порогу — это менее 5%. Три четверти новых «рейтинговых полезных» заметок содержали источник за пределами Twitter.
Это своевременная иллюстрация одной из проблем, стоящих перед моделью Birdwatch: может ли алгоритм, подпитываемый, казалось бы, случайной группой людей, когда-либо точно «оценивать» истину?
Birdwatch, находящийся в пилотной фазе с немногим более 1000 пользователей, позволяет участникам помечать твиты как вводящие в заблуждение и добавлять примечание со ссылкой на источник и/или объяснением контекста того, почему оно может вводить в заблуждение. Затем пользователи Birdwatch могут ранжировать эти заметки на основе полезности (после этого алгоритм вступает в силу).
В конце концов, все пользователи Twitter якобы смогут видеть эти заметки прямо под твитами, но пока они ограничены определенный раздел сайта . Пользователи Birdwatch также в конечном итоге создадут показатель репутации, который будет использоваться в алгоритме полезности.
«Наша цель с пилотным проектом Birdwatch — создать систему, в которой каждый может внести свой вклад, и которая, естественно, повышает уровень информации, которую люди считают полезной», — сказал в электронном письме вице-президент Twitter по продукту Кит Коулман. «Мы считаем, что открытость в отношении того, кто может внести свой вклад, важна, и что благодаря вкладу от разнообразной группы можно поднять самые полезные заметки».
Но взгляд на систему в ее нынешнем виде показывает проблемы, которые специалисты по проверке фактов подняли о Birdwatch: отсутствие опыта проверки фактов среди пользователей, сложность создания алгоритма, который каким-то образом выведет на поверхность полезные заметки самых авторитетных пользователей и вопросы о пристрастных мотивах пользователей.
«Меня не удивляют эти результаты, учитывая поляризованный характер платформ социальных сетей и нерешительность основных пользователей в предоставлении отзывов на такие запросы, предлагаемые платформами, в то время как мотивированные пользователи с обеих сторон рассматривают платформы как поле битвы для продвижения своих нарративов. другие», — сказал Бейбарс Орсек, директор Международной сети проверки фактов.
В большинстве заметок самых активных пользователей Birdwatch твиты с критикой правых отмечены как «вводящие в заблуждение», а критические по отношению к левым — как «не вводящие в заблуждение». (Например, пользователь отметил твит, в котором говорится: « Команда Байдена мягко относится к Китаю » от сенатора Теда Круза и твита Пула как «не вводящий в заблуждение»; пока статья в Newsweek об ультраправых экстремистах и саге GameStop и твит связывающие президента Дональда Трампа с беспорядками в Капитолии, были помечены как «вводящие в заблуждение» и «вредные».) И менее одной пятой из 82 заметок пользователя включают источник, некоторые из которых являются другими твитами. (Этот пользователь Birdwatch не ответил на запрос об интервью.)
Коулман сказал, что Birdwatch можно стимулировать к рассмотрению заметок, поступающих от «разнообразных участников». Кроме того, рейтинговая система является основным двигателем платформы.
«Мы считаем, что это будет вознаграждать и стимулировать вклад, который многие люди считают ценным, и устранять риск того, что одна конкретная группа или идеология захватит Birdwatch», — сказал Коулман. «Это то, над чем мы будем активно работать на протяжении всего пилотного проекта».
И действительно, заметки, которые алгоритм оценил как наиболее полезные после изменений от 17 февраля, демонстрируют более надежные источники и менее пристрастную риторику, чем итерация, сделанная всего днем ранее. Но изменение алгоритма для пилотной программы с 1000 пользователей и менее 2700 заметок — это одно, а изменение алгоритма после того, как Birdwatch станет доступен для всех пользователей, — это другое, и кто знает, сохранится ли эффективность алгоритма, когда пользователи начнут заливать в платформу, возможно, повторяя поведение некоторых из самых плодовитых участников пилотных проектов.
«В настоящее время у нас нет конкретных сроков масштабирования, поскольку мы работаем над тем, чтобы узнать как можно больше и повторять, пока пилотный проект небольшой», — сказал Коулман. «Мы планируем расширяться по мере того, как сможем делать это безопасно и когда это поможет улучшить обучение».
Тем не менее, как и в случае с заметками под твитом Pool, есть примеры партизан или вводящая в заблуждение информация по-прежнему видны как обычные заметки.
Четыре из пяти самых активных пользователей, на долю которых приходится более 10% всех заметок, имеют ту же активность, что и самый продуктивный пользователь. Один из них утверждает, что смерть Джеффри Эпштейна никогда не считалась самоубийством. Тем не менее, второй по популярности орнитолог цитирует источник в каждой заметке, включая ссылки на Всемирную организацию здравоохранения и FactCheck.org .
Ни один из 10 лучших пользователей, согласно их биографическим данным в Твиттере, не является профессиональным фактчекером или журналистом.
«Проверка фактов на самом деле тяжелая работа, потому что она требует умственных усилий», — сказала главный редактор PolitiFact Энджи Холан в электронном письме. «Вы действительно должны сконцентрироваться и преодолеть умственную инерцию, чтобы определить утверждения, а затем провести мозговой штурм, чтобы опровергнуть или проверить их. Затем вы должны выполнить поиск, а затем записать результаты. Прямо скажем, это не день на пляже. И если у проверяющего есть партийная мотивация, это еще больше затрудняет тщательную и беспристрастную работу».
Несмотря на свои проблемы, Birdwatch отмечает дезинформацию, которую традиционные специалисты по проверке фактов могут пропустить или не проверять из-за потенциального вреда, что может помочь заполнить некоторые пробелы в цифровой дезинформации. В течение сага об остановке игры , дезинформация об акциях этой компании быстро распространилась по платформам.
Сноупс а также Политифакт не оценивал претензии относительно GameStop, в то время как Ведущие истории с рейтингом один пост Reddit. Но на Birdwatch заметка с самым высоким рейтингом — с оценкой полезности 1,00 — отметила вводящий в заблуждение твит о Reddit, где велся разговор об акциях. Было около 50 заметок о Reddit, GameStop и инвестиционном приложении Robinhood, в которых в начале этого месяца произошел большой объем торгов.
И пользователи Birdwatch правильно пометили учетную запись, утверждающую, что она принадлежит сенатору от Вирджинии Аманде Чейз, как поддельную, после того как она твитнул , «… У нас в Вирджинии проблема с наркотиками, и легализация марихуаны приведет только к большему количеству передозировок марихуаной и смертей…»
По словам Орсека, краудсорсинг может облегчить жизнь профессиональным фактчекерам, выявляя дезинформацию.
Коулман сказал, что Twitter стремится поддерживать прозрачность — что сделало возможным этот анализ — и учитывать мнение экспертов о будущем платформы.
«От работы со встроенным членом команды из Центр RISC Чикагского университета , до проведения сеансов обратной связи с журналистами и исследователями, мы работаем над тем, чтобы задействовать огромный объем опыта и знаний, которые существуют за пределами Twitter», — сказал он.
Холан и Орсек рекомендуют поощрять и обучать пользователей Birdwatch, а также нанимать профессиональных специалистов по проверке фактов для проверки высокопоставленных заметок.
«Но я довольно скептически отношусь к технологическим компаниям, которые считают, что их пользователи будут модерировать контент бесплатно для них», — сказал Холан. «Большинство пользователей не считают своей работой помогать платформам вести собственный бизнес».