Что случилось
Бразильское агентство Seneda & Abrucio и датская студия шрифтов Playtype разработали ShieldFont — бесплатный шрифт, который должен мешать ИИ-ботам копировать материалы с сайтов для последующего использования в обучающих наборах данных. Для посетителя страница выглядит как обычно: в браузере он видит исходный текст. Однако программа, которая пытается извлечь содержание из кода страницы, получает измененную версию.
ShieldFont работает с помощью функции подмены глифов в формате OpenType. Обычно она позволяет автоматически заменять отдельные символы или их сочетания — например, превращать несколько букв в лигатуру. Создатели ShieldFont применили тот же механизм к целым словам: в коде они представлены одним набором знаков, но на экране отображаются как другие, визуально правильные слова.
Подмена происходит не случайно. Разработчики составили словарь и разделили слова примерно на 250 групп по грамматическим и смысловым признакам. Существительные заменяются существительными, глаголы прошедшего времени — другими глаголами в той же форме, а слова во множественном числе — словами во множественном числе. Учитываются и более узкие признаки, например принадлежность к абстрактным понятиям. В среднем шрифт меняет около четверти слов в тексте.
Благодаря этому полученная ботом версия не выглядит как полностью случайный набор слов. Она сохраняет структуру предложений и может проходить автоматические фильтры, с помощью которых разработчики ИИ отсеивают некачественные или бессвязные данные. При этом содержание искажается: утверждения становятся неточными, а связи между фактами нарушаются.
Авторы проверили ShieldFont с помощью фильтра FineWeb-Edu, который применялся при создании открытого набора образовательных текстов для обучения ИИ. После подмены слов проверку продолжал проходить примерно каждый десятый фрагмент из тех, которые система ранее считала качественными. По данным разработчиков, 55,8% протестированных защищенных отрывков уже не соответствовали фактам из исходного текста. Замысел в том, чтобы такие материалы выглядели достаточно связными для автоматического отбора, но при этом были бесполезны или вредны для обучения модели.
У технологии есть существенные ограничения. ShieldFont защищает текст только от систем, которые анализируют код страницы. Бот может сделать скриншот и распознать текст на изображении — тогда он получит оригинальные слова, которые видит человек. Кроме того, программы экранного доступа для незрячих пользователей тоже обычно считывают текст из кода и поэтому могут озвучивать измененную версию. Создатели добавили бета-функцию, позволяющую передавать таким программам исходный текст, но пока она находится на стадии тестирования.
Контекст и предпосылки
Качество языковой модели зависит не только от объема обучающих данных, но и от их достоверности. Интернет содержит научные статьи наряду с рекламой, устаревшими сведениями, спамом и дезинформацией. Автоматические фильтры могут удалить бессвязный текст, но не всегда распознают убедительно написанную ложь. Исследование FineWeb показало, что очистка, удаление повторов и тщательный отбор материалов заметно улучшают результаты моделей.
Даже небольшое количество ошибочных данных может повлиять на ответы системы. В эксперименте с медицинскими моделями добавление специально подготовленной дезинформации повысило вероятность опасных ошибок, хотя стандартные тесты почти не заметили ухудшения. Отдельный риск — обучение новых моделей на массово созданных ИИ-текстах: ошибки могут накапливаться, а разнообразие исходных человеческих данных — сокращаться.
Смысл ShieldFont — повысить цену бесконтрольного сбора публикаций. Он не способен полностью остановить копирование, но заставляет разработчиков дата-сетов лучше проверять источники, договариваться с авторами или использовать лицензированные версии текстов.
Вероятные последствия
- ShieldFont может заинтересовать СМИ, блогеров и владельцев сайтов, которые не хотят бесплатно отдавать материалы для обучения ИИ. Массовое использование подобных инструментов усложнит автоматический сбор данных и повысит его стоимость. Однако полностью остановить копирование шрифт не сможет, поскольку его нынешнюю защиту можно обойти распознаванием текста с изображения.
- Если измененные страницы попадут в обучающие наборы, они могут добавить в них грамматически правильные, но фактически неверные утверждения. Поэтому тем, кто собирает данные, придется выявлять подобные шрифты, сравнивать код с изображением страницы или исключать сомнительные источники. Это сделает подготовку качественных дата-сетов более сложной и дорогой.