Читайте РБК без баннеров

Подписка отключает баннерную рекламу на сайтах РБК и обеспечивает его корректную работу

Всего 99₽ в месяц для 3-х устройств

Продлевается автоматически каждый месяц, но вы всегда сможете отписаться

Как модерация с помощью роботов делает онлайн-покупки безопасными

Фото:Matan Segev / Pexels
Фото: Matan Segev / Pexels
Шеринговые платформы так же, как соцсети и другие сайты, на которых пользователи размещают огромное количество постов и объявлений, часто заполняются контентом, который нужно фильтровать — то есть модерировать

Количество создаваемого и потребляемого людьми контента во всем мире увеличивается с каждым днем. Миллионы пользователей ежедневно публикуют на крупных порталах миллиарды постов. Абсолютно все должны пройти проверку. Как устроена модерация на отечественных порталах и какую роль в ней играет искусственный интеллект, рассказали в компании «Авито» — крупнейшем российском сайте объявлений.

Объявления на шеринговых платформах модерируют, чтобы блокировать:

  • Дубликаты объявлений. Продавцы размещают их по ошибке, не дождавшись ответа о пройденной модерации первого объявления, или в надежде, что большее количество одинаковых объявлений увидит большее количество людей. Также блокируются объявления с фотографиями, украденными с чужого объявления.
  • Запрещенные законодательством и международными организациями товары и услуги, которые люди пытаются продавать в Сети. К примеру, оружие, наркотики, запрещенные видео и услуги, ущемляющие права и свободу людей.
  • Запрещенные политикой шеринговой платформы объявления. К примеру, «Авито» блокирует все объявления о продаже редких животных и товаров из их меха.
  • Недостоверную информацию об услуге или товаре, которую можно проверить с помощью технологий и ручной модерации.
  • Неточную или размещенную в неверной категории информацию. В этом случае платформа предлагает пользователю изменить текст или фото в объявлении.
  • Пользователей, которые специально нарушают правила пользования платформой.

Три типа проверки

В день на модерацию в «Авито» попадают 3 млн объявлений, и все они без исключения подвергаются модерации. Систематические и повторяющиеся нарушения и ошибки в объявлениях (неправильно выбранная категория товара, ошибки в написании телефонного номера, недостаточное количество фотографий, неверно указанная цена или VIN-код автомобиля) можно алгоритмизировать и отдать в работу искусственному интеллекту.

Искусственный интеллект — это обобщающий термин для систем, в основе которых лежит машинное обучение. На шеринговых платформах система обучается на огромном количестве действий, совершаемых на ней пользователями.

В 95% случаев он способен решить, опубликовать объявление или отправить его на доработку. Такие решения алгоритмы принимают за считанные секунды. Оставшиеся 5% сложных кейсов отправляются на дополнительную модерацию и валидируются силами специально обученных сотрудников.

Ручная модерация не обходится без нюансов. Простые нарушения в форме объявлений обрабатываются со скоростью 300-400 единиц в час. Вторая линия модераторов разбирает все то, что требует более детального рассмотрения. Их производительность — 150-250 объявлений в час.

Чтобы убедиться в достоверности размещаемых предложений, компания отправляет к авторам объявлений тайных покупателей. Они проверяют качество квартир и загородных домов («Авито Недвижимость»), автомобилей («Авито Авто»). Такая регулярная практика позволяет «Авито» оперативно реагировать на возможные недобросовестные действия продавцов.

Что делают роботы в «Авито»

Сотни алгоритмов анализируют все объявления на наличие возможных нарушений. Мониторится все: и заголовок, и текст, и фотографии, и цена, и другие параметры. Например, чтобы понять, правильно ли продавец определил категорию, в которой размещено объявление, недостаточно проанализировать только текст самой публикации. Робот смотрит на соответствие всех параметров и либо пропускает объявление, либо отправляет его на доработку автору.

В «Авито» анализируют не только само объявление, но и контекст, в котором оно было опубликовано. Это происходит в двух направлениях: анализируется вся история объявлений на учетной записи (история объявлений пользователя) и все связанные учетные записи (другие учетные записи того же пользователя). Эта работа позволяет понять, какие нарушения были у человека раньше, не пытается ли он разместить одно и то же объявление несколько раз или не является ли данный аккаунт новым аккаунтом уже заблокированного пользователя.

Чтобы найти несколько учетных записей одного и того же пользователя, весь контент разбивается на кластеры, а сама система обучается на десятках миллионов событий и признаков (технических, поведенческих и других). Чтобы определить, являются ли объявления дубликатами, система анализирует текст, фотографии и многие другие параметры. Алгоритмы в «Авито» понимают суть постов, поэтому, к примеру, не получится обмануть систему заменой слов в тексте на синонимы.

Для анализа изображений традиционно используются нейронные сети. Они определяют, что за товар изображен на картинке или фотографии, не запрещен ли он. Нейросети необходимы и для формирования векторных представлений (другими словами, для извлечения признаков) из текстового описания и объявлений в целом. Именно они помогают находить похожие сущности — например, украденные из другого объявления фотографии, даже если их отредактировали.

Как ИИ применяют в модерации в других компаниях

Вопросом модерации активно занимаются в Facebook. Лидер в разработке технологии искусственного интеллекта, корпорация внедряет ее, чтобы выявлять спам, фейковые страницы, порнографию, экстремистские материалы, ролики со сценами жестокости. Но пока что алгоритмы не способны точно распознавать призывы к осуществлению экстремистской деятельности — этим занимаются модераторы. На фоне того, что во всем мире участились призывы контролировать Facebook, YouTube и Twitter из-за распространения фейковых новостей, в компании Instagram решили внедрить технологию ИИ для фильтрации травли и издевательств. Этим занимается программа DeepText. Изначально она искала только спам, потом научилась обнаруживать оскорбительные комментарии, а затем инструмент начали обучать анализу не только комментариев, но и постов.

Как заслужить доверие пользователей

Отзывы требуют очень тщательной проверки, потому что влияют на степень доверия потенциального покупателя продавцу. Поэтому в интернете появилось такое явление как «социальная коммерция». Ее принцип заключается в простом действии — формировании доверия к продукту, услуге и ее продавцу на основе отзыва человека, который что-то купил. Согласно исследованию Nielsen, более 60% россиян склоняются к приобретению товара после прочтения о нем отзывов в интернете.

Возможность оставить отзыв имеют право только настоящие покупатели или пользователи, которые оценивают продавца в его профиле. Поэтому «Авито» проверяет и сам отзыв, и контекст — то есть все признаки, позволяющие определить, насколько конкретный пользователь мог или не мог оставить такой отзыв. У пользователя всегда есть выбор: покупать товар или услугу у продавца с репутацией (отзывами на сайте) или нет.

Достоверность информации проверяется и другими способами. Например, онлайн-инструмент «Автотека» позволяет проследить историю владения автомобиля: количество владельцев, регионы, историю технического обслуживания, реальный пробег, сведения об авариях, повреждениях, арестах и залогах. А для тех, кто собирается купить квартиру или арендовать ее на долгий срок, на «Авито Недвижимость» есть услуга проверки юридических рисков жилья — специалисты предоставляют информацию о квартире на основе данных из Единого государственного реестра недвижимости. Это помогает понять, находится ли объект в ипотеке, наложен ли на него арест, сколько было собственников, кто прописан, нет ли наследников, которые могли бы претендовать на жилье, и не фигурировала ли квартира в мошеннических схемах.

Также «Авито» по ряду признаков оценивает надежность того или иного продавца и присваивает статус «Проверенного партнера».