Восстановление 3D и спектрального изображения растений с помощью нейронных сетей

Автор: Денис Аветисян

Новый подход позволяет создавать трехмерные модели и анализировать спектральные характеристики объектов, используя статические гиперспектральные изображения и нейронные поля излучения.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Для высокопроизводительного анализа фенотипа растений разработана стационарная система визуализации, использующая гиперспектральную NeRF для реконструкции трехмерных облаков точек, при которой растение, помещенное на вращающийся стол перед тефлоновым фоном, сканируется неподвижной камерой в процессе полного оборота, что позволяет отказаться от сложных движущихся установок и эффективно создавать трехмерные модели с использованием спектральных данных в выделенных областях.

Представлена система HS-3D-NeRF для высокопроизводительной 3D-реконструкции и спектрального анализа сельскохозяйственных культур с использованием стационарной камеры.

Совмещение высокоточного трехмерного моделирования и гиперспектрального анализа остается сложной задачей, требующей ресурсоемких и зачастую неавтоматизируемых аппаратных решений. В данной работе, посвященной разработке метода ‘HS-3D-NeRF: 3D Surface and Hyperspectral Reconstruction From Stationary Hyperspectral Images Using Multi-Channel NeRFs’, предложен новый подход, позволяющий осуществлять одновременную реконструкцию трехмерной поверхности и спектральных характеристик объектов с использованием стационарной камеры и многоканальных нейронных радиальных полей (NeRF). Разработанный метод HSI-SC-NeRF обеспечивает высокоточную и масштабируемую реконструкцию, открывая возможности для автоматизированного анализа сельскохозяйственной продукции и фенотипирования растений. Способствует ли это создание нового поколения интеллектуальных систем контроля качества и повышения эффективности сельскохозяйственного производства?

За гранью RGB: Необходимость детального фенотипирования растений

Традиционные методы оценки сельскохозяйственных культур, основанные преимущественно на визуальном осмотре или анализе ограниченного спектра данных, зачастую не позволяют получить точную и всестороннюю характеристику признаков растений. Такой подход, хотя и широко распространен, ограничивает возможности селекционеров в выявлении и отборе особей с наиболее ценными свойствами, такими как урожайность, устойчивость к неблагоприятным факторам или питательная ценность. Ограниченность информации, получаемой при визуальной оценке, связана с субъективностью восприятия и сложностью количественной оценки многих признаков. Анализ ограниченного спектра, в свою очередь, может упускать важные детали, необходимые для полного понимания физиологического состояния растения и его потенциала. В результате, традиционные методы фенотипирования затрудняют прогресс в селекции и повышении продуктивности сельскохозяйственных культур.

Точное и высокопроизводительное фенотипирование играет ключевую роль в современной селекции сельскохозяйственных культур. Способность быстро и достоверно оценивать признаки растений, такие как урожайность, устойчивость к стрессам и содержание питательных веществ, позволяет селекционерам значительно ускорить процесс выведения новых сортов. Традиционные методы, основанные на визуальной оценке, часто оказываются недостаточно точными и трудоемкими для работы с большими популяциями растений. В связи с этим, разработка и внедрение автоматизированных систем фенотипирования, способных измерять множество признаков одновременно, является необходимым условием для повышения продуктивности сельского хозяйства и обеспечения продовольственной безопасности в условиях меняющегося климата. В конечном итоге, именно точное понимание генотипических и фенотипических взаимосвязей позволяет целенаправленно улучшать характеристики растений и создавать культуры, отвечающие современным требованиям.

Существующие методы фенотипирования растений часто сталкиваются с трудностями при одновременном получении информации об их трехмерной структуре и детальных спектральных характеристиках без нанесения вреда самому растению. Традиционные подходы, такие как визуальная оценка или анализ ограниченного числа спектральных диапазонов, не позволяют комплексно оценить морфологические и биохимические особенности, необходимые для точного определения признаков, влияющих на урожайность или устойчивость к стрессам. Это связано с тем, что неразрушающие методы, как правило, ограничиваются измерением только одного типа данных — либо формы и размеров растения, либо отражения света в определенных диапазонах. Отсутствие интеграции этих двух типов информации существенно снижает точность и полноту фенотипического анализа, затрудняя селекцию наиболее перспективных генотипов для улучшения сельскохозяйственных культур.

Необходимость интеграции различных потоков данных для всестороннего изучения признаков растений становится все более очевидной. Современные исследования показывают, что объединение трехмерного моделирования структуры растений с детальным спектральным анализом позволяет получить гораздо более полное представление об их физиологическом состоянии и потенциале. Такой подход, в отличие от традиционных методов, дает возможность выявлять тонкие изменения, связанные с адаптацией к стрессовым факторам, эффективностью фотосинтеза и содержанием питательных веществ. Это, в свою очередь, открывает новые возможности для селекции культур, обладающих повышенной урожайностью, устойчивостью к заболеваниям и улучшенными потребительскими качествами. Внедрение подобных комплексных систем фенотипирования позволит существенно ускорить процесс выведения новых сортов и содействовать развитию устойчивого сельского хозяйства.

Конвейер HSI-SC-NeRF позволяет получать высококачественные трехмерные гиперспектральные облака точек, объединяя сбор многоканальных гиперспектральных изображений, калибровку и оценку положения с использованием COLMAP, и последующее обучение модели NeRF для реконструкции сцены и уточнения полученных данных.

HSI-SC-NeRF: Система для трехмерной спектральной реконструкции

HSI-SC-NeRF представляет собой систему реконструкции на основе NeRF (Neural Radiance Fields) для получения трехмерных спектральных данных, разработанную специально для детального анализа растений. В основе системы лежит неподвижная камера и гиперспектральное изображение, что позволяет захватывать как пространственную, так и спектральную информацию объекта исследования с высокой детализацией. Данный подход позволяет создавать точные трехмерные модели растений, содержащие информацию о спектральных характеристиках каждой точки, что открывает возможности для неразрушающего анализа физиологического состояния, выявления заболеваний и мониторинга роста.

Система использует неподвижную камеру и гиперспектральную визуализацию для получения детальной информации о спектральных и пространственных характеристиках объектов. Гиперспектральная визуализация позволяет захватывать данные в большом количестве узких спектральных диапазонов, формируя трехмерный куб данных (x, y, λ), где x и y — пространственные координаты, а λ — длина волны. Это обеспечивает возможность анализа отражательных свойств объекта в различных диапазонах спектра, что критически важно для задач, требующих детального анализа состава и структуры, например, в ботанике и сельском хозяйстве. Неподвижная конфигурация камеры упрощает процесс калибровки и повышает точность реконструкции трехмерной модели.

Точная оценка позы камеры достигается посредством использования маркеров ArUco и программного обеспечения COLMAP. Маркеры ArUco, размещенные в сцене, служат точными опорными точками для определения положения и ориентации камеры. COLMAP, являясь инструментом Structure-from-Motion (SfM) и Multi-View Stereo (MVS), обрабатывает изображения с маркерами ArUco для реконструкции трехмерной сцены и одновременной оценки позы камеры для каждого кадра. В процессе используется алгоритм оптимизации, который минимизирует ошибку перепроецирования маркеров ArUco, обеспечивая высокую точность и надежность оценки позы, что критически важно для последующей реконструкции гиперспектральных данных.

Для обеспечения стабильности и минимизации артефактов в данных гиперспектральной съемки используется камера с изображением, заключенная в тефлоновую камеру. Тефлон, обладая высокой отражающей способностью и рассеивающими свойствами, обеспечивает равномерное и диффузное освещение объекта съемки. Это позволяет снизить влияние направленного света и бликов, что критически важно для точного измерения спектральных характеристик. Конструкция камеры исключает попадание внешнего света, обеспечивая контролируемые условия освещения и повышая надежность получаемых данных.

Двухэтапный процесс обучения HSI-SC-NeRF сначала предварительно обучает модель на полнокадровых HSI-данных, а затем дообучает ее с использованием масок переднего плана и отключенным оптимизатором камеры при заданных весах потерь <span class="katex-eq" data-katex-display="false">\lambda_{\mathrm{ang}}, \lambda_{\mathrm{hsi}}</span>, как показано на схеме. — Двухэтапный процесс обучения HSI-SC-NeRF сначала предварительно обучает модель на полнокадровых HSI-данных, а затем дообучает ее с использованием масок переднего плана и отключенным оптимизатором камеры при заданных весах потерь $\lambda_{\mathrm{ang}}, \lambda_{\mathrm{hsi}}$ , как показано на схеме.

Оптимизация реконструкции с помощью продвинутых протоколов обучения

Для повышения качества реконструкции используется двухэтапный протокол обучения. На первом этапе происходит инициализация геометрии сцены, оптимизация фокусируется исключительно на получении точной трехмерной структуры без учета радиационных характеристик. На втором этапе, после стабилизации геометрии, происходит уточнение радиационных свойств, что позволяет добиться высокой точности цветопередачи и текстур. Разделение этих процессов позволяет избежать взаимовлияния и оптимизировать каждый аспект реконструкции отдельно, что приводит к более детальным и реалистичным результатам по сравнению с одновременной оптимизацией геометрии и радиации.

Для оптимизации реконструкции NeRF по всем гиперспектральным каналам используется специализированная функция потерь (Spectral Loss Function). Данная функция позволяет минимизировать расхождение между спектральными характеристиками реконструируемой сцены и исходными данными, обеспечивая высокую спектральную точность. Функция потерь рассчитывается для каждого гиперспектрального канала, что позволяет сохранить детальную информацию о спектральном составе объектов в реконструированной 3D-модели. Это критически важно для задач, требующих точной цветопередачи и анализа спектральных свойств, таких как дистанционное зондирование и точное земледелие.

Для количественной оценки точности реконструкции спектральных сцен используются два основных показателя: среднеквадратичная ошибка спектра (Spectral RMSE) и отображение спектральных углов (Spectral Angle Mapper, SAM). Spectral RMSE измеряет среднюю разницу между реконструированными и эталонными спектральными значениями, предоставляя абсолютную меру погрешности. SAM, в свою очередь, вычисляет косинус угла между спектрами, оценивая сходство их формы, независимо от абсолютной величины. Использование обоих показателей позволяет комплексно оценить качество реконструкции, учитывая как точность воспроизведения спектральных значений, так и сохранение их формы и характеристик.

Метод позволяет создавать детализированные трехмерные облака точек, представляющие поверхность растений, посредством реконструкции облака точек. Достигнута практически идеальная геометрическая реконструкция, подтвержденная значением F-меры, равным 97.31%. Это указывает на высокую точность представления геометрии растений в виде дискретного набора точек в пространстве, что является ключевым для последующего анализа и визуализации.

Пространственная валидация реконструкции початка кукурузы показала высокую точность, подтвержденную F-score в 97.31% при оптимальном пороге <span class="katex-eq" data-katex-display="false"> \epsilon = 0.002 </span> м и среднеквадратичной ошибке (RMS) в 0.001 м, при сравнении референсных данных, полученных с вращающейся RGB-камеры (iPhone 13 Pro, 2532\times 1170), и предсказанных данных, сгенерированных из гиперспектральных изображений, полученных стационарной камерой SPECIM (512\times 512) внутри тефлоновой камеры визуализации. — Пространственная валидация реконструкции початка кукурузы показала высокую точность, подтвержденную F-score в 97.31% при оптимальном пороге $\epsilon = 0.002$ м и среднеквадратичной ошибке (RMS) в 0.001 м, при сравнении референсных данных, полученных с вращающейся RGB-камеры (iPhone 13 Pro, 2532\times 1170), и предсказанных данных, сгенерированных из гиперспектральных изображений, полученных стационарной камерой SPECIM (512\times 512) внутри тефлоновой камеры визуализации.

Влияние на инновации в сельском хозяйстве

Технология HSI-SC-NeRF открывает новые возможности для селекции растений, позволяя оценивать ключевые признаки, такие как площадь листьев, биомасса и спектральная отражаемость, не повреждая само растение. Вместо традиционных, разрушительных методов измерения, система создает детальные трехмерные модели на основе спектральных данных, что позволяет проводить анализ в течение всего жизненного цикла растения и многократно повторять измерения на одном и том же образце. Это особенно важно для селекционных программ, где необходимо точно отслеживать изменения признаков в ответ на различные факторы окружающей среды или генетические модификации, обеспечивая более быстрый и эффективный отбор перспективных сортов с улучшенными характеристиками.

Разработанная система позволяет создавать детализированные трехмерные модели растений, открывая возможности для виртуального скрининга и фенотипирования. Это существенно снижает потребность в трудоемких и затратных физических измерениях, традиционно используемых в селекционных программах. Создавая цифровые двойники растений, исследователи могут оценивать такие характеристики, как площадь листьев или объем биомассы, непосредственно в виртуальной среде. Такой подход не только ускоряет процесс оценки, но и позволяет проводить анализ большего количества образцов, повышая эффективность отбора наиболее перспективных генотипов для дальнейшего культивирования и улучшения урожайности.

Комбинирование трехмерной структурной информации и спектральных данных открывает новые возможности для понимания реакций растений на неблагоприятные факторы окружающей среды. Исследования показывают, что эта интеграция позволяет не просто фиксировать внешние изменения в структуре растения, такие как уменьшение площади листьев или замедление роста, но и выявлять внутренние физиологические процессы, предшествующие этим изменениям. Спектральные характеристики, отражающие химический состав тканей, в сочетании с точными трехмерными моделями, позволяют оценить уровень стресса, эффективность фотосинтеза и даже выявить ранние признаки заболеваний, которые невидимы невооруженным глазом. Такой комплексный подход дает возможность более точно прогнозировать устойчивость растений к засухе, жаре, болезням и другим стрессам, что критически важно для разработки новых, адаптивных сортов сельскохозяйственных культур.

Технология HSI-SC-NeRF открывает новые возможности для ускоренного выведения сельскохозяйственных культур, устойчивых к изменяющимся климатическим условиям и обогащенных питательными веществами. Благодаря возможности неразрушающего анализа ключевых признаков растений, таких как площадь листьев и биомасса, селекционеры получают инструменты для более эффективного отбора перспективных генотипов. Виртуальное моделирование и фенотипирование, ставшие возможными благодаря этой технологии, значительно сокращают время и затраты на традиционные методы, позволяя быстрее создавать сорта, адаптированные к засухе, жаре или недостатку питательных веществ. Это особенно важно в контексте глобального продовольственного кризиса и необходимости повышения урожайности сельскохозяйственных культур для обеспечения растущего населения планеты.

Необходимость гиперспектральной визуализации (HSI) в 3D обусловлена зависимостью видимости повреждений яблока от угла обзора, что требует 3D-реконструкции для полной оценки его поверхности.

Исследование, представленное в данной работе, демонстрирует потенциал Neural Radiance Fields (NeRF) для высокопроизводительной трехмерной реконструкции и спектрального анализа объектов, в частности, в агрофенотипировании. Этот подход, использующий стационарную камеру, позволяет создавать детальные модели с информацией о спектральных характеристиках. Как однажды заметил Дэвид Марр: «Представление — это не просто описание того, что мы видим, но и объяснение того, как мы это видим». Эта фраза отражает суть работы, поскольку NeRF фактически создает представление о сцене, позволяя извлекать информацию, скрытую в данных гиперспектральных изображений. Создание такого представления требует выявления структурных зависимостей в данных, что и достигается применением данного метода.

Что Дальше?

Представленный подход, воссоздающий трёхмерные модели и спектральные характеристики объектов из статических гиперспектральных изображений, безусловно, открывает новые возможности для фенотипирования растений и анализа продукции сельского хозяйства. Однако, стоит признать, что истинное понимание системы требует преодоления существующих ограничений. Зависимость от стационарной камеры, хотя и упрощает процесс сбора данных, сужает область применимости. Возникает вопрос: насколько хорошо данная модель масштабируется до динамических сцен, где объект исследования подвергается перемещениям или деформациям?

Ошибки модели, неизбежные при любой реконструкции, представляют собой не столько провал, сколько ценные подсказки. Анализ этих ошибок может пролить свет на не учтенные факторы, такие как неоднородность освещения или сложность отражающих свойств поверхности. Более того, интеграция с другими модальностями данных — например, тепловидением или данными LiDAR — представляется перспективным направлением для создания более полной и достоверной картины объекта исследования.

В конечном счете, успех данного направления исследований будет зависеть не только от совершенствования алгоритмов, но и от способности выйти за рамки простой реконструкции геометрии и спектра. Понимание взаимосвязи между трёхмерной структурой, спектральными характеристиками и функциональными свойствами объекта — вот та задача, которая, возможно, и определит будущее гиперспектрального анализа.

Оригинал статьи: https://arxiv.org/pdf/2602.16950.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-02-21 19:27