Играем с ChatGPT в «Угадай город»: как нейросеть анализирует изображения

Читать в полной версии

Еще во время релиза GPT-4 было заявлено, что это мультимодальная модель — то есть может работать как с текстовыми данными, так и с изображениями. Постепенно OpenAI «раскатывает» новые функции на обладателей подписки ChatGPT Plus. Недавно в сервисе появилась возможность генерировать изображения по текстовому запросу благодаря Dalle-3, а кроме того — анализировать изображения. GPT-4 под силу даже объяснить, почему тот или иной мем смешной, или по силуэту здания угадать, где оно.

Мы решили поиграть с ChatGPT в упрощенную версию GeoGuesser: отправляли ему фото, а ИИ пытался определить, в каком городе оно снято. В результате отгадал 13 из 16. А чтобы вам было интереснее, правильные ответы мы спрятали: чтобы их открыть, нажимайте на значок «👉».

— Давай играть в игру: я тебе фото, а ты предполагаешь, где оно было сделано. Заодно рассказывай, почему ты решил, что это тот или иной город.

— Конечно, звучит весело! Пришли фото, и я попробую угадать, где оно было сделано.

— Держи. Как думаешь, где это снято?

— Это выглядит как Москва. Причины моего предположения:

• современные высотные здания в сочетании с типичными московскими пятиэтажками,
• плотная городская застройка и большое количество освещения,
• ориентиры и архитектурный стиль, который я встречал в изображениях Москвы.

— А откуда это фото?

— Это выглядит как Астана, столица Казахстана. Вот почему я так думаю:

• модернистская архитектура и уникальные здания, которые соответствуют тем, что я видел в изображениях Нур-Султана,
• пространственное распределение и дизайн города,
• серое небо и относительно прохладная погода также могут быть типичными для этого региона в определенное время года.

— Держи еще.

— На основе архитектуры зданий, строительных материалов, горного рельефа и общего стиля города, я могу предположить, что это Ереван, столица Армении. Прекрасный вид! 😉

— Хорошо, скажи, где снят этот закат?

— Оу, это потрясающе! Закат выглядит просто волшебно с этими ярко-оранжевыми и розовыми облаками. Насчет города... Кажется, это европейский город, но без конкретных ориентиров сложно точно определить. Надеюсь, ты провел хороший вечер с таким видом! 🌇

— И все же предположи. Скажем, топ-5 догадок.

— Хорошо! Вот мои догадки на основе архитектуры и того, что я вижу:

• Санкт-Петербург, Россия.
• Варшава, Польша.
• Будапешт, Венгрия.
• Прага, Чехия.
• Рига, Латвия.

Надеюсь, угадал хоть с одним из городов!

— А где стоит эта скульптура?

— Это изображение далматинца, который держит такси на своей морде. Я могу утверждать, что это «Spot», скульптура в переднем дворе Hassenfeld Children's Hospital в Нью-Йорке. Очень креативный и веселый способ оживить городское пространство!

— Сможешь определить, где такие шоссе?

— На основе архитектуры мостов и окружающей инфраструктуры это может быть где-то в Азии. Хотя конкретный город или страну трудно определить, возможно, это Тайвань или Корея.

— Но город все-таки назови.

— Окей, окей! Предположим, что это могут быть:

• Тайбэй, Тайвань.
• Сеул, Южная Корея.
• Осака, Япония.
• Шанхай, Китай.
• Гонконг.

— А это что за место?

— Это, по всей видимости, Порту, Португалия. На переднем плане можно увидеть традиционные португальские лодки rabelos, которые раньше использовались для перевозки портвейна. Такой вид на реку Дору с ее историческим центром и мостом Луиша I стал одной из визитных карточек города. Великолепный кадр!

— А этот город угадаешь?

— Судя по архитектуре и стилю зданий, это напоминает Барселону, Испания. На переднем плане видна современная архитектурная структура, которая похожа на здание Disseny Hub Barcelona в районе Глорийс. Если я прав, то это место находится неподалеку от Торре Агбар и площади Глорийс. Но, конечно, я могу ошибаться.

— Попробуй угадать, где этот дом.

— Сложно сказать точно, глядя только на эту фотографию. Однако, учитывая стиль зданий, лампы уличного освещения и общий городской пейзаж, это может быть какой-то район на северо-востоке США, возможно, в Нью-Йорке или Бостоне. Но это только догадка.

— Ладно, вот это должно быть довольно просто.

— Ну что ж, засада! Похоже на красивый прибрежный район. Скалистые берега, закат... Может быть, это какой-то район в Средиземноморье или Калифорнии. Но опять же, таких мест много по всему миру. Если бы я мог почувствовать ветерок или запах моря, возможно, угадал бы точнее!

— Напоминаю правила игры: предположи город. Тебе за неправильный ответ ничего не будет.

— Хорошо! Похоже на закат на побережье Португалии. Моя догадка: Лагос.

— Попробуешь определить город по фото из самолета?

— Хм, судя по архитектуре и планировке, это похоже на какой-то город в Персидском заливе. Мой вариант — это Дубай или Абу-Даби. Но, если честно, точно определить очень сложно.

— Теперь попробуй отгадать, где снято это.

— Эта фотография напоминает мне о каналах и архитектуре Европы. Я бы предположил, что это Берлин, учитывая мост и водные пути, а также видимые здания.

— Усложняем задачу. Попробуй угадать город по силуэту.

— Учитывая форму и дизайн высотного здания на фотографии, мне кажется, что это может быть Европейский центральный банк во Франкфурте, Германия.

— Ну уж это точно должно быть легко!

— По всем признакам на фотографии — архитектуре, уличным знакам и автомобильным номерам — это выглядит как улица во Франции, вероятно, в Париже.

— А это здание где расположено?

— Это здание с современной архитектурой и футуристическим дизайном расположено на берегу реки. Похоже на Kursaal Congress Centre в Сан-Себастьяне, Испания.

— И последнее.

— Похоже, это снимок из Риги, Латвия. На переднем плане, кажется, Пороховая башня — одна из старых крепостных башен в Риге.