Забывая лишнее: адаптивное снижение вычислительной нагрузки в моделях внимания

Новая архитектура CRAM позволяет моделям последовательно обрабатывать данные, эффективно отсеивая избыточную информацию и существенно снижая потребность в вычислительных ресурсах.

Восстановление фазы в дифракционных изображениях: новый взгляд с помощью Vision Transformer

Модель Fourier ViT, предназначенная для восстановления фазы дифракции, обрабатывает входные данные размером 64x64, извлекая признаки с помощью неглубокой свёрточной сети и разделяя изображение на патчи размером 16x16 для формирования последовательности токенов, которые затем обрабатываются многослойным Vision Transformer с многомасштабным Фурье-вниманием и глобальной свёрткой на основе FFT, что позволяет реконструировать комплексное кристаллическое поле и получить карты амплитуды и фазы в реальном пространстве, согласующиеся с измеренной дифракционной картиной.

Исследователи предлагают инновационный подход к восстановлению фазы в когерентной дифракционной визуализации, используя архитектуру Vision Transformer для анализа сложных многодоменных кристаллов.