Вот насколько автоматическая проверка фактов близка к реальности

Новый информационный бюллетень от Института Рейтер подводит итоги автоматизированной проверки фактов по всему миру — и будущее выглядит радужным.

Выпущено сегодня , отчет основан на интервью со специалистами по проверке фактов и учеными-компьютерщиками, а также на обзоре существующих технологий, чтобы подробно рассказать, как автоматизированная проверка фактов может изменить практику в ближайшем будущем.

«В прошлом году среди журналистов, политиков и технологических компаний росло внимание к проблеме поиска эффективных широкомасштабных ответов на дезинформацию в Интернете», — пишет в отчете старший научный сотрудник Лукас Грейвс. «Однако определение истинности публичных заявлений и отделение законных взглядов от дезинформации — трудная и часто противоречивая работа… проблемы, которые переносятся на (автоматизированную проверку фактов)».

Среди этих проблем Грейвс отмечает, что полностью автоматизированная проверка фактов даже близко не способна выносить суждения, которые журналисты применяют изо дня в день. Кроме того, поддержка со стороны фондов, университетов и платформ необходима для разработки более совершенных возможностей и крупномасштабных систем.

Но потенциал автоматизации велик — и это уже происходит в некоторых редакциях.

Краткий документ предлагает классификацию последних разработок в области автоматизированных технологий проверки фактов и исследований:

Инициативы и исследования (автоматическая проверка фактов) обычно сосредоточены на одной или нескольких из трех частично совпадающих целей: выявление ложных или сомнительных утверждений, циркулирующих в Интернете и других средствах массовой информации; для авторитетной проверки заявлений или историй, вызывающих сомнения, или для облегчения их проверки журналистами и представителями общественности; и мгновенно вносить исправления в различные средства массовой информации для аудитории, подвергшейся дезинформации. Комплексные системы нацелены на решение всех трех задач: идентификацию, проверку и исправление.

Британская благотворительная организация Full Fact, занимающаяся проверкой фактов, разработала инструмент, который автоматически сканирует СМИ и стенограммы заседаний парламента на предмет утверждений и сопоставляет их с существующими проверками фактов. Лаборатория Duke Reporters’ Lab и Chequeado создали похожие инструменты, которые сканируют стенограммы СМИ на наличие проверяемых утверждений, а затем уведомляют фактчекеров о возможных проверках фактов. (Раскрытие информации: The Reporters’ Lab помогает оплатить Всемирный саммит по проверке фактов).

Первые две организации представлены в третьем видео «Проверить» Международной сети проверки фактов:

Эта методология — автоматический поиск утверждений в расшифровках, а затем сопоставление их с библиотеками существующих проверок фактов, таких как Поделитесь фактами — является наиболее эффективным и продуктом успешных исследований, по словам Грейвса. Но технология все еще не совершенна.

Однако до сих пор эти системы могут идентифицировать только простые декларативные утверждения, отсутствующие подразумеваемые утверждения или утверждения, встроенные в сложные предложения, которые люди легко узнают. Это особая проблема с разговорными источниками, такими как дискуссионные программы, в которых люди часто используют местоимения и возвращаются к более ранним пунктам.

Это также может привести к неправильной интерпретации перефразирования и тонких изменений в формулировках, времени и контексте. Кроме того, проверка остается за рамками существующих сегодня автоматизированных инструментов проверки фактов и по-прежнему зависит от людей, которые просеивают потенциальные проверки фактов, поэтому, согласно отчету, ожидания должны быть скромными.

В дальнейшем постоянной задачей автоматизации является поиск способов сопоставления заявлений с официальными источниками информации, что, по сути, и делается вручную фактчекерами. Грейвс написал, что исследователи искусственного интеллекта могут изучить, как автоматизированные системы проверки фактов могут определить, какие источники данных подходят для того или иного утверждения.

Но это порождает другие проблемы. Данные не всегда доступны, и даже если они есть, сложно правильно определить, что означают данные для правдивости утверждения, как показывает одно известное исследование:

… способ проверить утверждение о том, что «Лесото — самая маленькая страна в Африке» без логической интерпретации, состоит в поиске похожего языка в большом текстовом источнике или во всей сети. В экспериментах с использованием Википедии в качестве надежного источника и набора данных из 125 000 утверждений, например, группа под руководством одного из студентов [Андреаса Влахоса] может правильно предсказать, подтверждается или опровергается утверждение с одним предикатом (или недостаточно доказательства) примерно в 25% случаев (Thorne et al. 2018).

Во многих отношениях такое научное понимание оказалось необходимым для помощи практикам в разработке автоматизированных платформ.

«(Автоматизированная проверка фактов) была областью необычайно тесного сотрудничества между исследователями и практиками», — написал Грейвс. «Дальнейший прогресс будет зависеть в основном от двух факторов: постоянной финансовой поддержки как фундаментальных исследований, так и реальных экспериментов, а также прогресса правительства и групп гражданского общества в установлении стандартов открытых данных».