Забывая лишнее: адаптивное снижение вычислительной нагрузки в моделях внимания

Новая архитектура CRAM позволяет моделям последовательно обрабатывать данные, эффективно отсеивая избыточную информацию и существенно снижая потребность в вычислительных ресурсах.

Восстановление фазы в дифракционных изображениях: новый взгляд с помощью Vision Transformer

Модель Fourier ViT, предназначенная для восстановления фазы дифракции, обрабатывает входные данные размером 64x64, извлекая признаки с помощью неглубокой свёрточной сети и разделяя изображение на патчи размером 16x16 для формирования последовательности токенов, которые затем обрабатываются многослойным Vision Transformer с многомасштабным Фурье-вниманием и глобальной свёрткой на основе FFT, что позволяет реконструировать комплексное кристаллическое поле и получить карты амплитуды и фазы в реальном пространстве, согласующиеся с измеренной дифракционной картиной.

Исследователи предлагают инновационный подход к восстановлению фазы в когерентной дифракционной визуализации, используя архитектуру Vision Transformer для анализа сложных многодоменных кристаллов.

Звуковой отпечаток поверхности: Быстрая оценка акустических свойств

На основе параллельных нейронных полей разработан подход к определению поверхностного импеданса, в котором разреженные измерения давления вблизи поверхности материала служат входными данными для характеризации граничных условий, а комплексное давление, предсказанное независимыми синусоидальными нейронными сетями для каждой частоты, минимизирует общую функцию потерь, включающую соответствие поля, остаток уравнения Гельмгольца, однородность импеданса и гладкость коэффициента отражения, что позволяет неявно вывести импеданс как отношение поверхностного импеданса к произведению плотности и скорости звука в среде.

Новый подход, основанный на нейронных сетях и компактном массиве микрофонов, позволяет оперативно и точно определять акустический импеданс материалов непосредственно в реальных условиях.

Оптимизация по нескольким примерам: как использовать знания из прошлого

Оптимизация проектирования с использованием малого количества примеров демонстрирует способность модели [latex]P_{\theta}[/latex] предсказывать качество проекта [latex]f(x)[/latex] на основе ограниченного контекста наблюдений, включая вспомогательную информацию [latex]h(x)[/latex], что позволяет итеративно выбирать перспективные варианты [latex]x_{t+1}[/latex] и, в конечном итоге, находить оптимальный проект [latex]x^{\*}[/latex] с максимальной наградой, опираясь на опыт, накопленный при решении разнообразных задач проектирования.

Новый подход к оптимизации сложных задач позволяет значительно ускорить процесс разработки, используя информацию из смежных областей и эффективно обучаясь на небольшом количестве данных.