Масштабы новой разработки, потребовавшей несколько месяцев напряженной работы, сравнимы с популярным чат-ботом OpenAI ChatGPT. Однако окончательная оценка мощности DBRX стала возможна только после серии финальных тестов. И, по данным представителей Databricks, результаты превзошли их ожидания.
DBRX показала лучшие результаты в ряде тестов, включая решение логических задач, генерацию программного кода и выполнение задач по общим знаниям и чтению с пониманием. Али Годси, глава Databricks, остался в восторге от достигнутых результатов, которые превзошли показатели популярных открытых моделей ИИ, таких как Llama 2 от Meta (признана в России экстремистской и запрещена) и Mixtral от Mistral AI. Более того, в некоторых аспектах DBRX оказалась близка к GPT-4 — закрытой модели OpenAI, считающейся одной из вершин в этой области.
«Подождите, мы превзошли и Илона? — спросил Джонатан Франкл, главный архитектор нейронных сетей в Databricks. — Я буду считать успехом, если мы получим от него злобный твит».
Databricks планирует выпустить DBRX под открытой лицензией, давая возможность другим разработчикам и исследователям использовать ее наработки. Это решение вносит вклад в движение за открытость в сфере генеративного искусственного интеллекта, в то время как крупные компании, включая OpenAI и Google, держат свои разработки в секрете.
Новая модель представляет собой нейронную сеть типа «трансформер», принцип работы которой придумали в Google в 2017 году, тем самым совершив революцию в области машинного обучения для обработки естественного языка. Команда Databricks, используя последние инновации в этой области, стремится снизить стоимость и улучшить эффективность обучения моделей ИИ.
Модель DBRX содержит примерно 136 млрд параметров и использует архитектуру «смесь экспертов» (mixture of experts), позволяющую активировать лишь определенные части модели в зависимости от содержания запроса, что делает ее более эффективной и быстрой в отклике на запросы, а также менее энергозатратной.