Наука

Визуальные модели и понимание перспективы: новый вызов для искусственного интеллекта

от

Разработанный комплексный набор данных CrossPoint-378K, полученный посредством автоматизированного процесса, позволяет исследовать задачи понимания пространственных отношений в одном представлении ($S.U.$), точного определения объектов в одном представлении ($S.G.$) и логического вывода о видимости объектов из разных точек зрения ($C.V.$).

Исследователи предлагают новую задачу и набор данных для оценки способности моделей, объединяющих зрение и язык, понимать взаимосвязь между различными точками зрения на один и тот же объект.

Искусственный интеллект, который мыслит и действует: новая архитектура для обучения роботов

от

Агент BiTAgent обеспечивает двунаправленную связь между большой многомодальной языковой моделью и моделью мира, используя модулярное слияние, ориентированное на задачу, для семантически управляемой симуляции, при этом вознаграждения и действия, полученные из смоделированных траекторий, обратно распространяются через совместную функцию потерь для уточнения языковой модели.

Исследователи представили BiTAgent — систему, объединяющую возможности больших языковых моделей и моделей мира для создания более адаптивных и разумных агентов.

Городские прогулки с интеллектом: новые возможности планирования маршрутов

от

Система WalkRAG обрабатывает запросы пользователей, такие как прокладка маршрута от собора Парижской Богоматери до Эйфелевой башни, направляя их в модуль QUAG, который, в свою очередь, передает задачу в компонент пространственного планирования для построения маршрута и оценки его проходимости, после чего, используя языковую модель, ответ возвращается пользователю, обеспечивая возможность дальнейшего диалога и получения более подробной информации, например, о Марсовом поле, при этом запросы направляются в модуль информационного поиска для извлечения релевантных данных, которые также интерпретируются языковой моделью перед представлением пользователю.

Исследователи разработали систему, использующую искусственный интеллект для создания персонализированных и удобных пешеходных маршрутов по городу, учитывающих контекст и особенности местности.

Разделяй и властвуй: Новый подход к многоканальному зрению

от

Сеть DisentangleFormer обрабатывает входные признаки посредством слоя внедрения, после чего разделяет их на параллельные пути обработки - канальный ($C, HW$) и пространственный ($HW, C$) трансформаторы, выходные данные которых объединяются с помощью Squeezed Token Enhancer (STE) и многомасштабной прямой нейронной сети (MS-FFN), при этом оба трансформатора используют стандартные слои кодировщика с многоголовочным самовниманием, подробная структура модулей представлена в дополнительном материале.

Исследователи представили архитектуру DisentangleFormer, позволяющую более эффективно обрабатывать многоканальные изображения, такие как гиперспектральные данные, за счет разделения пространственной и канальной информации.