Nvidia выпустила ИИ-модель для автономного вождения

На конференции NeurIPS AI в Сан-Диего, штат Калифорния, Nvidia анонсировала Alpamayo-R1 — открытую языковую модель визуального мышления. Она предназначена для автопилотирования. Подобные нейросети способны обрабатывать текст и изображения, позволяя транспортным средствам «видеть» окружение и принимать решения на основе полученной информации. Новый инструмент основан на базе «рассуждающей» Cosmos-Reason. Nvidia выпустила семейство моделей Cosmos в январе, а в августе представила дополнительные решения. «Предыдущие версии моделей автономного вождения испытывали трудности в сложных ситуациях — на перекрестках с большим количеством переходов, перед предстоящим закрытием полосы движения или у автомобиля, припаркованном в два ряда на велосипедной дорожке. Рассуждения дают автономным транспортным средствам здравый смысл, позволяющий водить на уровне человека», — отметили в фирме. Технологии вроде Alpamayo-R1 имеют решающее значение для компаний, которые стремятся достичь четвертого уровня автономного вождения, говорится в блоге Nvidia. Модель учитывает все возможные траектории, сценарии и затем использует контекстные данные для выбора оптимального маршрута. Компания надеется, что новый инструмент придаст автономным средствам «здравый смысл», который позволит эффективнее принимать сложные решения в ходе вождения. Модель загружена на GitHub и Hugging Face. Вместе с ней компания добавила пошаговые руководства, ресурсы для инференса и посттренировочные рабочие процессы. Весь инструментарий называется Cosmos Cookbook. Материалы призваны помочь разработчикам лучше использовать и обучать нейросети под индивидуальные задачи. Решения на базе Cosmos Nvidia сообщила о «практически безграничных возможностях» приложений на основе Cosmos. Среди последних примеров компания назвала: LidarGen — первая в мире модель для генерации лидарных данных при симуляции автономных транспортных средств; Cosmos Policy — фреймворк для преобразования больших предварительно обученных видеомоделей в надежные политики роботов — набор правил, которые определяют их поведение; ProtoMotions3 — решение для обучения ботов с применением реалистичных сценариев. Nvidia продвигает физический искусственный интеллект как новое направление для своих ИИ-процессоров. CEO компании Дженсен Хуанг неоднократно подчеркивал, что эта сфера станет следующей волной развития ИИ. Чипмейкер делает ставку на сектор робототехники. В августе он выпустил новый модуль Jetson AGX Thor за $3499. Фирма называет процессор «мозгом робота». В октябре Хуанг заявил, что искусственный интеллект достиг «спирали успеха». По его словам, значительные улучшения нейросетей приводят к увеличению инвестиций в технологию, что еще сильнее «прокачивает» направление. Напомним, за третий квартал выручка Nvidia составила $57 млрд, что на 62% больше, чем за аналогичный период прошлого года.