Как модерация с помощью роботов делает онлайн-покупки безопасными
Количество создаваемого и потребляемого людьми контента во всем мире увеличивается с каждым днем. Миллионы пользователей ежедневно публикуют на крупных порталах миллиарды постов. Абсолютно все должны пройти проверку. Как устроена модерация на отечественных порталах и какую роль в ней играет искусственный интеллект, рассказали в компании «Авито» — крупнейшем российском сайте объявлений.
Объявления на шеринговых платформах модерируют, чтобы блокировать:
- Дубликаты объявлений. Продавцы размещают их по ошибке, не дождавшись ответа о пройденной модерации первого объявления, или в надежде, что большее количество одинаковых объявлений увидит большее количество людей. Также блокируются объявления с фотографиями, украденными с чужого объявления.
- Запрещенные законодательством и международными организациями товары и услуги, которые люди пытаются продавать в Сети. К примеру, оружие, наркотики, запрещенные видео и услуги, ущемляющие права и свободу людей.
- Запрещенные политикой шеринговой платформы объявления. К примеру, «Авито» блокирует все объявления о продаже редких животных и товаров из их меха.
- Недостоверную информацию об услуге или товаре, которую можно проверить с помощью технологий и ручной модерации.
- Неточную или размещенную в неверной категории информацию. В этом случае платформа предлагает пользователю изменить текст или фото в объявлении.
- Пользователей, которые специально нарушают правила пользования платформой.
Три типа проверки
В день на модерацию в «Авито» попадают 3 млн объявлений, и все они без исключения подвергаются модерации. Систематические и повторяющиеся нарушения и ошибки в объявлениях (неправильно выбранная категория товара, ошибки в написании телефонного номера, недостаточное количество фотографий, неверно указанная цена или VIN-код автомобиля) можно алгоритмизировать и отдать в работу искусственному интеллекту.
Искусственный интеллект — это обобщающий термин для систем, в основе которых лежит машинное обучение. На шеринговых платформах система обучается на огромном количестве действий, совершаемых на ней пользователями.
В 95% случаев он способен решить, опубликовать объявление или отправить его на доработку. Такие решения алгоритмы принимают за считанные секунды. Оставшиеся 5% сложных кейсов отправляются на дополнительную модерацию и валидируются силами специально обученных сотрудников.
Ручная модерация не обходится без нюансов. Простые нарушения в форме объявлений обрабатываются со скоростью 300-400 единиц в час. Вторая линия модераторов разбирает все то, что требует более детального рассмотрения. Их производительность — 150-250 объявлений в час.
Чтобы убедиться в достоверности размещаемых предложений, компания отправляет к авторам объявлений тайных покупателей. Они проверяют качество квартир и загородных домов («Авито Недвижимость»), автомобилей («Авито Авто»). Такая регулярная практика позволяет «Авито» оперативно реагировать на возможные недобросовестные действия продавцов.
Что делают роботы в «Авито»
Сотни алгоритмов анализируют все объявления на наличие возможных нарушений. Мониторится все: и заголовок, и текст, и фотографии, и цена, и другие параметры. Например, чтобы понять, правильно ли продавец определил категорию, в которой размещено объявление, недостаточно проанализировать только текст самой публикации. Робот смотрит на соответствие всех параметров и либо пропускает объявление, либо отправляет его на доработку автору.
В «Авито» анализируют не только само объявление, но и контекст, в котором оно было опубликовано. Это происходит в двух направлениях: анализируется вся история объявлений на учетной записи (история объявлений пользователя) и все связанные учетные записи (другие учетные записи того же пользователя). Эта работа позволяет понять, какие нарушения были у человека раньше, не пытается ли он разместить одно и то же объявление несколько раз или не является ли данный аккаунт новым аккаунтом уже заблокированного пользователя.
Чтобы найти несколько учетных записей одного и того же пользователя, весь контент разбивается на кластеры, а сама система обучается на десятках миллионов событий и признаков (технических, поведенческих и других). Чтобы определить, являются ли объявления дубликатами, система анализирует текст, фотографии и многие другие параметры. Алгоритмы в «Авито» понимают суть постов, поэтому, к примеру, не получится обмануть систему заменой слов в тексте на синонимы.
Для анализа изображений традиционно используются нейронные сети. Они определяют, что за товар изображен на картинке или фотографии, не запрещен ли он. Нейросети необходимы и для формирования векторных представлений (другими словами, для извлечения признаков) из текстового описания и объявлений в целом. Именно они помогают находить похожие сущности — например, украденные из другого объявления фотографии, даже если их отредактировали.
Как ИИ применяют в модерации в других компаниях
Вопросом модерации активно занимаются в Facebook. Лидер в разработке технологии искусственного интеллекта, корпорация внедряет ее, чтобы выявлять спам, фейковые страницы, порнографию, экстремистские материалы, ролики со сценами жестокости. Но пока что алгоритмы не способны точно распознавать призывы к осуществлению экстремистской деятельности — этим занимаются модераторы. На фоне того, что во всем мире участились призывы контролировать Facebook, YouTube и Twitter из-за распространения фейковых новостей, в компании Instagram решили внедрить технологию ИИ для фильтрации травли и издевательств. Этим занимается программа DeepText. Изначально она искала только спам, потом научилась обнаруживать оскорбительные комментарии, а затем инструмент начали обучать анализу не только комментариев, но и постов.
Как заслужить доверие пользователей
Отзывы требуют очень тщательной проверки, потому что влияют на степень доверия потенциального покупателя продавцу. Поэтому в интернете появилось такое явление как «социальная коммерция». Ее принцип заключается в простом действии — формировании доверия к продукту, услуге и ее продавцу на основе отзыва человека, который что-то купил. Согласно исследованию Nielsen, более 60% россиян склоняются к приобретению товара после прочтения о нем отзывов в интернете.
Возможность оставить отзыв имеют право только настоящие покупатели или пользователи, которые оценивают продавца в его профиле. Поэтому «Авито» проверяет и сам отзыв, и контекст — то есть все признаки, позволяющие определить, насколько конкретный пользователь мог или не мог оставить такой отзыв. У пользователя всегда есть выбор: покупать товар или услугу у продавца с репутацией (отзывами на сайте) или нет.
Достоверность информации проверяется и другими способами. Например, онлайн-инструмент «Автотека» позволяет проследить историю владения автомобиля: количество владельцев, регионы, историю технического обслуживания, реальный пробег, сведения об авариях, повреждениях, арестах и залогах. А для тех, кто собирается купить квартиру или арендовать ее на долгий срок, на «Авито Недвижимость» есть услуга проверки юридических рисков жилья — специалисты предоставляют информацию о квартире на основе данных из Единого государственного реестра недвижимости. Это помогает понять, находится ли объект в ипотеке, наложен ли на него арест, сколько было собственников, кто прописан, нет ли наследников, которые могли бы претендовать на жилье, и не фигурировала ли квартира в мошеннических схемах.
Также «Авито» по ряду признаков оценивает надежность того или иного продавца и присваивает статус «Проверенного партнера».