Играем с ChatGPT в «Угадай город»: как нейросеть анализирует изображения

В ChatGPT появилась возможность загружать фото и анализировать их
Фото: Midjourney
Фото: Midjourney
Недавно у пользователей ChatGPT появилась возможность загружать туда изображения. GPT-4 распознает на них текст и любые объекты. Мы попросили нейросеть угадать города по фото. Кажется, у нее получается лучше, чем у людей

Еще во время релиза GPT-4 было заявлено, что это мультимодальная модель — то есть может работать как с текстовыми данными, так и с изображениями. Постепенно OpenAI «раскатывает» новые функции на обладателей подписки ChatGPT Plus. Недавно в сервисе появилась возможность генерировать изображения по текстовому запросу благодаря Dalle-3, а кроме того — анализировать изображения. GPT-4 под силу даже объяснить, почему тот или иной мем смешной, или по силуэту здания угадать, где оно.

Фото:Dalle-3
Экономика инноваций Как рисует Dalle-3 — новый алгоритм OpenAI, создающий картинки из текста

Мы решили поиграть с ChatGPT в упрощенную версию GeoGuesser: отправляли ему фото, а ИИ пытался определить, в каком городе оно снято. В результате отгадал 13 из 16. А чтобы вам было интереснее, правильные ответы мы спрятали: чтобы их открыть, нажимайте на значок «👉».

GeoGuessr (буквально «ГеоОтгадчик») — браузерная игра, которая ставит перед пользователем задачу определить географическое местоположение на основе изображений из Google Street View. Разработанная шведским программистом Антоном Валленом в 2013 году, игра собирала до 300 тыс. посетителей в день уже в первую неделю после релиза.

— Давай играть в игру: я тебе фото, а ты предполагаешь, где оно было сделано. Заодно рассказывай, почему ты решил, что это тот или иной город.

— Конечно, звучит весело! Пришли фото, и я попробую угадать, где оно было сделано.

— Держи. Как думаешь, где это снято?

Фото: Иван Звягин
Фото: Иван Звягин

— Это выглядит как Москва. Причины моего предположения:

  • современные высотные здания в сочетании с типичными московскими пятиэтажками,
  • плотная городская застройка и большое количество освещения,
  • ориентиры и архитектурный стиль, который я встречал в изображениях Москвы.
Точно, это Москва!

— А откуда это фото?

Фото: Иван Звягин
Фото: Иван Звягин

— Это выглядит как Астана, столица Казахстана. Вот почему я так думаю:

  • модернистская архитектура и уникальные здания, которые соответствуют тем, что я видел в изображениях Нур-Султана,
  • пространственное распределение и дизайн города,
  • серое небо и относительно прохладная погода также могут быть типичными для этого региона в определенное время года.
Это действительно Астана.

— Держи еще.

Фото: Иван Звягин
Фото: Иван Звягин

— На основе архитектуры зданий, строительных материалов, горного рельефа и общего стиля города, я могу предположить, что это Ереван, столица Армении. Прекрасный вид! 😉

Это действительно Ереван. Тут ни с чем не спутать!

— Хорошо, скажи, где снят этот закат?

Фото: Иван Звягин
Фото: Иван Звягин

— Оу, это потрясающе! Закат выглядит просто волшебно с этими ярко-оранжевыми и розовыми облаками. Насчет города... Кажется, это европейский город, но без конкретных ориентиров сложно точно определить. Надеюсь, ты провел хороший вечер с таким видом! 🌇

— И все же предположи. Скажем, топ-5 догадок.

— Хорошо! Вот мои догадки на основе архитектуры и того, что я вижу:

  • Санкт-Петербург, Россия.
  • Варшава, Польша.
  • Будапешт, Венгрия.
  • Прага, Чехия.
  • Рига, Латвия.

Надеюсь, угадал хоть с одним из городов!

Верно, этот закат снимали с крыши офиса РБК в Санкт-Петербурге!

— А где стоит эта скульптура?

Фото: Иван Звягин
Фото: Иван Звягин

— Это изображение далматинца, который держит такси на своей морде. Я могу утверждать, что это «Spot», скульптура в переднем дворе Hassenfeld Children's Hospital в Нью-Йорке. Очень креативный и веселый способ оживить городское пространство!

Yes, it is! Этот далматинец держит такси в Нью-Йорке.

— Сможешь определить, где такие шоссе?

Фото: Иван Звягин
Фото: Иван Звягин

— На основе архитектуры мостов и окружающей инфраструктуры это может быть где-то в Азии. Хотя конкретный город или страну трудно определить, возможно, это Тайвань или Корея.

— Но город все-таки назови.

— Окей, окей! Предположим, что это могут быть:

  • Тайбэй, Тайвань.
  • Сеул, Южная Корея.
  • Осака, Япония.
  • Шанхай, Китай.
  • Гонконг.
Да, ChatGPT прав, это эстакада на подъезде к Тайбэю.

— А это что за место?

Фото: Иван Звягин
Фото: Иван Звягин

— Это, по всей видимости, Порту, Португалия. На переднем плане можно увидеть традиционные португальские лодки rabelos, которые раньше использовались для перевозки портвейна. Такой вид на реку Дору с ее историческим центром и мостом Луиша I стал одной из визитных карточек города. Великолепный кадр!

Это было несложно, и это действительно Порту.

— А этот город угадаешь?

Фото: Иван Звягин
Фото: Иван Звягин

— Судя по архитектуре и стилю зданий, это напоминает Барселону, Испания. На переднем плане видна современная архитектурная структура, которая похожа на здание Disseny Hub Barcelona в районе Глорийс. Если я прав, то это место находится неподалеку от Торре Агбар и площади Глорийс. Но, конечно, я могу ошибаться.

А это где-то на окраине Барселоны.

— Попробуй угадать, где этот дом.

Здесь, надо признаться, мы решили усложнить задачу ИИ, модифицировав фото. Дом по центру мы не трогали, но снимок изначально был портретным, поэтому решили добавить по краям еще элементов — тоже с помощью нейросети, но встроенной уже в Adobe Photoshop. 
Здесь, надо признаться, мы решили усложнить задачу ИИ, модифицировав фото. Дом по центру мы не трогали, но снимок изначально был портретным, поэтому решили добавить по краям еще элементов — тоже с помощью нейросети, но встроенной уже в Adobe Photoshop.  (Фото: Иван Звягин)

— Сложно сказать точно, глядя только на эту фотографию. Однако, учитывая стиль зданий, лампы уличного освещения и общий городской пейзаж, это может быть какой-то район на северо-востоке США, возможно, в Нью-Йорке или Бостоне. Но это только догадка.

Непростая загадка! Такой дом стоит в Стамбуле неподалеку от Цистерны Базилики.

— Ладно, вот это должно быть довольно просто.

Фото: Иван Звягин
Фото: Иван Звягин

— Ну что ж, засада! Похоже на красивый прибрежный район. Скалистые берега, закат... Может быть, это какой-то район в Средиземноморье или Калифорнии. Но опять же, таких мест много по всему миру. Если бы я мог почувствовать ветерок или запах моря, возможно, угадал бы точнее!

— Напоминаю правила игры: предположи город. Тебе за неправильный ответ ничего не будет.

— Хорошо! Похоже на закат на побережье Португалии. Моя догадка: Лагос.

Ну, почти. Этот утес находится в Назаре — зимой там волны высотой 30 метров!

— Попробуешь определить город по фото из самолета?

Фото: Иван Звягин
Фото: Иван Звягин

— Хм, судя по архитектуре и планировке, это похоже на какой-то город в Персидском заливе. Мой вариант — это Дубай или Абу-Даби. Но, если честно, точно определить очень сложно.

Действительно, Дубай.

— Теперь попробуй отгадать, где снято это.

Фото: Иван Звягин
Фото: Иван Звягин

— Эта фотография напоминает мне о каналах и архитектуре Европы. Я бы предположил, что это Берлин, учитывая мост и водные пути, а также видимые здания.

Так и есть, это Берлин.

— Усложняем задачу. Попробуй угадать город по силуэту.

Фото: Иван Звягин
Фото: Иван Звягин

— Учитывая форму и дизайн высотного здания на фотографии, мне кажется, что это может быть Европейский центральный банк во Франкфурте, Германия.

А это Франкфурт-на-Майне.

— Ну уж это точно должно быть легко!

Фото: Иван Звягин
Фото: Иван Звягин

— По всем признакам на фотографии — архитектуре, уличным знакам и автомобильным номерам — это выглядит как улица во Франции, вероятно, в Париже.

Эта фотография была снята в Париже.

— А это здание где расположено?

Фото: Иван Звягин
Фото: Иван Звягин

— Это здание с современной архитектурой и футуристическим дизайном расположено на берегу реки. Похоже на Kursaal Congress Centre в Сан-Себастьяне, Испания.

Это дом Юстиции в Тбилиси.

— И последнее.

Фото: Иван Звягин
Фото: Иван Звягин

— Похоже, это снимок из Риги, Латвия. На переднем плане, кажется, Пороховая башня — одна из старых крепостных башен в Риге.

Хотя котов на крышах не видно, это действительно Рига.

Онлайн-курс обучения профессии «Графический дизайнер»
 

Обновлено 29.12.2023
Главная Лента Подписаться Поделиться
Закрыть