Виртуальная галерея: новый взгляд на исследование искусства

Автор: Денис Аветисян

В статье представлена Artographer — интерактивная система, позволяющая пользователям исследовать коллекции произведений искусства в пространстве, основанном на их сходстве.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Интерактивная платформа «Artographer», представляющая собой масштабируемую двухмерную карту, содержащую около 16 000 исторических произведений искусства, позволяет исследовать и сопоставлять их визуальные и семантические особенности на основе кластеризации, полученной с использованием различных моделей встраивания, что было продемонстрировано в исследовании творческого поведения 20 участников, включая искусствоведов, при поиске и отборе произведений искусства в этом цифровом пространстве.

Исследование посвящено разработке и оценке интерфейса для визуального анализа и кураторства художественных данных с использованием методов кластеризации и пространственной визуализации.

Несмотря на важность установления связей между произведениями искусства для понимания и восприятия, существующие ИИ-интерфейсы зачастую затрудняют исследование этих взаимосвязей. В данной работе, посвященной разработке системы ‘Artographer: a Curatorial Interface for Art Space Exploration’, представлен новый подход к визуализации данных об искусстве — интерактивная двухмерная карта, основанная на кластеризации эмбеддингов более чем 15 тысяч исторических произведений. Анализ поведения пользователей, включая искусствоведов, показал, что подобный пространственный интерфейс формирует разнообразные стратегии исследования и способствует развитию таких ценностей, как наглядность, свобода выбора и возможность случайных открытий. Способствует ли эта новая форма представления данных об искусстве более ответственному и ориентированному на пользователя подходу к ИИ-кураторству?

Искусство Открытий: Преодолевая Ограничения Традиционного Поиска

Традиционные методы поиска в обширных цифровых коллекциях искусства, такие как поиск по ключевым словам, часто оказываются неэффективными в раскрытии неожиданных связей и создании условий для случайных открытий. Вместо того, чтобы позволить зрителю погрузиться в мир искусства и обнаружить работы, которые могли бы показаться нерелевантными при первоначальном запросе, эти системы склонны ограничивать поиск рамками заданных терминов. Это препятствует исследованию тонких нюансов, скрытых смыслов и неожиданных параллелей между произведениями, лишая пользователя возможности по-настоящему открыть для себя новое и расширить свой художественный кругозор. По сути, поиск по ключевым словам, хотя и полезен для конкретных запросов, не способствует тому, чтобы искусство само «говорило» со зрителем, предлагая неожиданные и вдохновляющие открытия.

Исследования показывают, что чрезмерное количество вариантов при просмотре больших коллекций цифрового искусства создает значительную когнитивную нагрузку на пользователя. Эта перегрузка информацией затрудняет процесс принятия решений и снижает способность к полноценному восприятию и оценке представленных работ. Вместо того, чтобы наслаждаться поиском, человек сталкивается с усталостью и разочарованием, что приводит к поверхностному просмотру и упущению действительно значимых произведений. В результате, потенциальная возможность открытия нового и вдохновляющего искусства оказывается заблокированной, а взаимодействие с коллекцией становится скорее утомительным, чем увлекательным.

Существующие системы поиска по цифровым коллекциям искусства часто оказываются неспособными найти оптимальный баланс между целенаправленным исследованием и широким обзором. Это приводит к двум противоположным проблемам: либо пользователь получает слишком узкий спектр результатов, соответствующих лишь конкретному запросу, упуская из виду потенциально интересные работы, либо он сталкивается с бесконечным потоком изображений, что вызывает когнитивную перегрузку и ощущение хаотичного блуждания без конкретной цели. Такая дилемма существенно ограничивает возможности для открытия новых произведений искусства и снижает общую эффективность взаимодействия с цифровыми коллекциями, препятствуя спонтанному вдохновению и глубокому изучению творчества.

Пользователи, использующие плавное перемещение по изображениям, взаимодействовали с большим их количеством, в отличие от тех, кто использовал быстрый переход, что указывает на более постепенное исследование контента.

Artographer: Пространство для Исследования Искусства

Интерфейс Artographer представляет собой новую систему визуализации произведений искусства в двумерном пространстве. В основе работы лежит использование многомерных «пространств вложений» (Embedding Spaces), которые формируют векторное представление каждого произведения на основе его визуальных и семантических характеристик. Этот процесс позволяет сопоставить каждое произведение искусства с точкой в двухмерном пространстве, где близость точек отражает степень сходства между произведениями по визуальным признакам, стилю, тематике и другим семантическим атрибутам. В результате формируется карта, на которой произведения, имеющие общие характеристики, располагаются ближе друг к другу, обеспечивая интуитивно понятную визуализацию взаимосвязей между ними.

Пространственное представление произведений искусства в Artographer позволяет выявлять скрытые связи между ними, недоступные при традиционном представлении. Расположение работ в двумерном пространстве, основанное на анализе визуальных и семантических признаков, демонстрирует близость или удаленность между произведениями, отражая их общие темы, стили или исторические влияния. Такое представление поддерживает как целенаправленное исследование конкретных направлений или авторов, позволяя пользователю углубляться в интересующие области, так и широкое ознакомление с коллекцией, способствуя обнаружению неожиданных взаимосвязей и расширяя понимание художественного контекста.

Система Artographer использует генерацию изображений на основе искусственного интеллекта для создания визуальных подсказок на интерактивной карте произведений искусства. Эти подсказки, генерируемые алгоритмами, отображают визуальные паттерны и связи между работами, упрощая навигацию и позволяя пользователям быстро идентифицировать тематически или стилистически близкие произведения. Алгоритмы ИИ анализируют визуальные характеристики и семантическое содержание работ, а затем создают компактные визуальные представления, интегрированные непосредственно в карту, что обеспечивает интуитивно понятное и эффективное исследование коллекции.

Интерфейс Artographer предоставляет возможность интерактивного изучения исторических произведений искусства на основе пространственной карты, в отличие от традиционного поискового интерфейса Baseline, использующего текстовый и визуальный поиск по базе данных из 15 968 работ.

Создание Пространства Вложений: Архитектура Системы

Для создания векторных представлений произведений искусства используется комбинация различных нейронных сетей. Визуальные характеристики извлекаются с помощью сверточных нейронных сетей, в частности, архитектуры ResNet-50. Текстовые метаданные, такие как название и описание, обрабатываются языковыми моделями MiniLM. Для объединения визуальной и текстовой информации используется мультимодальная модель CLIP, что позволяет учитывать как визуальное содержание, так и контекст произведения. Результатом является многомерный вектор, представляющий каждое произведение искусства в цифровом пространстве.

Высокоразмерные векторные представления произведений искусства подвергаются процедуре понижения размерности с использованием алгоритмов, таких как UMAP (Uniform Manifold Approximation and Projection). UMAP позволяет спроецировать данные из исходного пространства высокой размерности в двумерное пространство, сохраняя при этом топологическую структуру данных. Это необходимо для визуализации данных на двумерной карте, где близость точек отражает сходство между соответствующими произведениями искусства, основываясь на их признаках. В результате получается карта, где произведения искусства, близкие по своим характеристикам, располагаются рядом друг с другом, что облегчает навигацию и поиск.

Позиционирование произведений искусства на карте происходит на основе анализа их концептуального и визуального сходства. Алгоритмы сопоставления признаков, извлеченных из визуальных данных и текстовых метаданных, определяют близость между произведениями. Близкие по содержанию и визуальным характеристикам работы располагаются ближе друг к другу на карте, что позволяет пользователям интуитивно исследовать коллекцию и обнаруживать взаимосвязанные произведения. Такое пространственное представление облегчает поиск произведений, соответствующих конкретным эстетическим предпочтениям или тематическим запросам, предоставляя удобный интерфейс для навигации по обширным художественным данным.

Каждое произведение искусства представлено многомерным 3456d-вектором признаков, объединяющим визуальные эмбеддинги, полученные с помощью ResNet50, текстовые эмбеддинги из MiniLM и комбинированные изображение-текст эмбеддинги из CLIP.

Динамика Открытий: Паттерны Исследования Пользователей

Интерфейс Artographer спроектирован таким образом, чтобы поддерживать различные стратегии исследования. Пользователи могут прибегать к “расходящему” исследованию, охватывая широкий спектр произведений искусства для первоначального ознакомления, или же к “сходящему” исследованию, углубляясь в конкретные темы и художников. Наблюдения показали, что поведение пользователей характеризуется разнообразными паттернами: быстрые переходы между работами (“перескакивание”), свободное блуждание по коллекции (“странствие”), длительное сосредоточение на отдельных произведениях (“фиксация”) и повторное обращение к ранее просмотренным работам (“повторное посещение”). Такое разнообразие подходов позволяет каждому пользователю адаптировать процесс исследования под собственные предпочтения и цели, стимулируя более полное и увлекательное взаимодействие с коллекцией.

Интерфейс Artographer намеренно спроектирован для стимулирования серендипити — неожиданных и приятных открытий. Вместо прямолинейного поиска, система предлагает пользователю связи между произведениями искусства, которые могли бы остаться незамеченными при традиционном подходе. Такой подход основан на идее, что подлинное открытие часто происходит не в результате целенаправленных усилий, а благодаря случайным встречам и непредсказуемым соединениям. Предоставляя доступ к неожиданным произведениям и сопоставляя их с уже просмотренными, Artographer создает атмосферу игривого исследования, побуждая пользователя к более глубокому и расширенному взаимодействию с коллекцией, даже если это не приводит к увеличению числа отобранных работ.

Исследование показало значительное увеличение взаимодействия пользователей с произведениями искусства при использовании системы Artographer. В среднем, пользователи просмотрели 80 работ, что существенно превышает показатель базовой системы, где этот показатель составил всего 21 взаимодействие ($p < 0.001$). Такой разрыв демонстрирует, что Artographer эффективно стимулирует более глубокое погружение в коллекцию, побуждая пользователей к исследованию большего числа произведений. Этот результат указывает на то, что интерфейс способствует более активному поиску и знакомству с искусством, а не просто выбору небольшого количества наиболее привлекательных работ.

Исследование показало, что, несмотря на значительно более активное взаимодействие пользователей с системой Artographer — в среднем 80 просмотренных произведений искусства против 21 в базовой системе (p < 0.001) — количество фактически сохраненных работ осталось сопоставимым, варьируясь от 8 до 13 единиц в обеих группах. Этот результат свидетельствует о том, что Artographer не стимулирует простое увеличение количества отобранных произведений, а способствует более глубокому и вдумчивому взаимодействию с коллекцией, позволяя пользователям исследовать большее количество работ, не обязательно приводя к увеличению числа избранных. Таким образом, система способствует не количественному, а качественному расширению опыта знакомства с искусством.

Траектория поиска P7 демонстрирует стратегию первоначального широкого обзора с последующим углубленным изучением перспективных областей, что типично для использования Artographer для целевого сбора изображений.

За Пределами Визуализации: К Интеллектуальным Кураторским Системам

Концепция пространственной карты, разработанная Artographer, органично переносится в дизайн «Кураторских Интерфейсов», позволяя создавать интеллектуальные системы фильтрации и представления произведений искусства. Вместо традиционного поиска по ключевым словам, эти интерфейсы анализируют предпочтения пользователя и паттерны его исследования коллекции. Основываясь на этих данных, система способна динамически формировать персональные маршруты по экспозиции, предлагая произведения, которые могут заинтересовать посетителя, даже если он изначально не искал ничего конкретного. Такой подход не просто облегчает поиск, но и создает более увлекательный и познавательный опыт взаимодействия с искусством, стимулируя неожиданные открытия и расширяя кругозор.

В отличие от традиционного поиска по ключевым словам, который часто выдает обширные, но не всегда релевантные результаты, предлагаемый подход создает более захватывающую и полезную среду для взаимодействия с искусством. Вместо простого сопоставления запроса с текстовыми описаниями, система анализирует пространственное расположение произведений, их взаимосвязи и паттерны поведения пользователя. Это позволяет выявлять скрытые связи и предлагать неожиданные открытия, стимулируя более глубокое и осмысленное исследование коллекции. Такой метод способствует не просто поиску конкретных работ, а формированию индивидуального пути исследования, делая процесс изучения искусства более интуитивным, увлекательным и приносящим настоящее удовлетворение.

Предстоящие исследования направлены на создание персонализированных траекторий исследования произведений искусства и адаптивных интерфейсов, реагирующих на поведение пользователя. Данный подход предполагает, что система не просто предоставляет результаты поиска, а активно формирует индивидуальный путь, учитывая предпочтения и манеру взаимодействия с контентом. Ожидается, что подобная адаптивность значительно повысит вероятность неожиданных, но ценных открытий — так называемого “серендипного” опыта, когда пользователь находит что-то интересное, не стремясь к этому изначально. В результате, взаимодействие с коллекцией станет более интуитивным и увлекательным, а система — не просто инструментом поиска, а интеллектуальным компаньоном в мире искусства.

Сравнительный анализ трех типов кураторских интерфейсов показывает, как они реализуют принципы видимости, свободы выбора, неожиданности и сопротивления при представлении произведений искусства пользователям.

Исследование, представленное в данной работе, стремится к упрощению взаимодействия с обширными коллекциями произведений искусства. Разработанный интерфейс Artographer, использующий пространственную визуализацию и кластеризацию по сходству, представляет собой попытку преодолеть избыточность традиционных методов кураторства. Как однажды заметила Ада Лавлейс: «То, что можно выразить словами, можно выразить и механически». Этот принцип находит отражение в Artographer, где алгоритмы помогают структурировать и представить информацию, освобождая пользователя от рутинной работы и давая возможность сосредоточиться на содержательном исследовании и творческом осмыслении произведений искусства. Интерфейс не заменяет куратора, а предоставляет ему инструмент для более ясного и эффективного представления данных.

Что дальше?

Представленная работа, несомненно, открывает путь к более интуитивному взаимодействию с обширными коллекциями произведений искусства. Однако, следует признать, что визуальное представление сходства, каким бы элегантным оно ни было, не является заменой глубокому контекстуальному пониманию. Вопрос о том, действительно ли пространственная организация способствует более осмысленному кураторству, а не просто предоставляет иллюзию контроля, остаётся открытым. Необходимо тщательно изучить, как пользователи интерпретируют эти кластеры и как это влияет на их выбор, избегая соблазна приписать интерфейсу более глубокие когнитивные эффекты, чем он действительно оказывает.

Будущие исследования должны сосредоточиться на преодолении ограничений, связанных с субъективностью определения «сходства». Автоматизированные алгоритмы, определяющие близость произведений искусства, неизбежно отражают определённые предубеждения, заложенные в их конструкцию. Важно исследовать способы интеграции пользовательских предпочтений и экспертных оценок в процесс кластеризации, чтобы создать более гибкую и адаптивную систему. Также, представляется перспективным изучение возможностей расширения интерфейса за пределы визуального представления, например, через добавление слоёв метаданных или инструментов для совместной кураторской работы.

В конечном счёте, ценность Artographer, как и любой подобной системы, будет определяться не её технической сложностью, а способностью упростить доступ к искусству и расширить возможности для его интерпретации. Стремление к совершенству в этой области должно быть направлено не на создание всеобъемлющей базы знаний, а на предоставление пользователю инструментов для самостоятельного исследования и открытия.

Оригинал статьи: https://arxiv.org/pdf/2512.02288.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-03 12:07