Когда алгоритм не согласен с вами: как наладить сотрудничество с ИИ

Автор: Денис Аветисян

Исследование посвящено вопросам эффективного взаимодействия человека и искусственного интеллекта, даже если их предпочтения различаются.

Сравнительный анализ ожидаемой полезности человека после взаимодействия с алгоритмом, не соответствующим его целям, и с согласованным алгоритмом показывает, что параметр β определяет степень расхождения или сближения субъективных оценок, предсказывая потенциальное усиление или ослабление когнитивного диссонанса.

В статье представлены теоретические и вычислительные инструменты для максимизации общественной пользы и обеспечения выгоды для всех пользователей в системах, где алгоритмы выступают в роли кураторов.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

В контексте всё более широкого внедрения алгоритмов в качестве помощников человека, часто возникает парадокс: несовершенное знание предпочтений пользователя и потенциальное расхождение между этими предпочтениями и целями алгоритма. Данная работа, ‘Human-AI Collaboration with Misaligned Preferences’, исследует, как эффективно строить системы, где алгоритм выступает в роли куратора, отбирающего варианты для финального выбора человеком. Удивительно, но показано, что алгоритм с расходящимися предпочтениями может приносить пользователю больше выгоды, чем идеально согласованный. Какие свойства алгоритмов необходимо учитывать для максимизации благосостояния пользователей и обеспечения справедливости в условиях несовершенной информации?

Симбиоз Человека и Алгоритма: Вызовы и Неизбежности

Многие современные системы требуют взаимодействия между человеком и алгоритмами, особенно в задачах поиска наиболее подходящих элементов. Точная оценка предпочтений пользователя критически важна для обеспечения релевантности результатов. Традиционные подходы часто упрощают реальность, рассматривая человека как безошибочного оракула, игнорируя присущую ему «зашумленность». Это может существенно снизить производительность системы, поскольку пользователи склонны к ошибкам и непоследовательности. Ключевая задача – разработка систем, эффективно использующих человеческие данные, несмотря на неточности, особенно при расхождении целей пользователя и системы. Каждое развертывание – лишь приближение к неизбежному сбою.

В условиях сотрудничества человека и алгоритма, даже при детерминированном алгоритме и наличии шума в действиях человека, алгоритм, сужая выбор до оптимального варианта, гарантирует его выбор человеком.

Разработка систем, способных эффективно использовать человеческие данные, несмотря на неточности и расхождения в предпочтениях, особенно важна, когда цели пользователя не совпадают с целями системы.

Вероятностное Моделирование Человеческих Предпочтений

Предлагается моделирование человеческих предпочтений не как фиксированного ранжирования, а как вероятностного распределения. Такой подход учитывает изменчивость и неполноту человеческого суждения. «Случайная модель полезности» и ее реализация, «Модель Плукетта-Люсье», предоставляют основу для представления этих распределений, отражая вероятностную природу оценок. В качестве альтернативы, «Модель Мэллоуза» определяет ранжирования на основе количества инверсий относительно центрального идеального ранжирования, что полезно для анализа относительных оценок.

Различия в ожидаемой полезности человека при использовании различных моделей выбора демонстрируют существенные различия в эффективности этих моделей.

Предложенные модели учитывают, что люди не всегда точно раскрывают свои истинные предпочтения, даже при последовательном внутреннем ранжировании. Это важно для разработки систем рекомендаций и других приложений, основанных на анализе пользовательских данных.

Оптимизация Благосостояния и Прирост Полезности

Эффективность моделей напрямую зависит от целевой функции. Основное внимание уделяется максимизации «утилитарного социального благосостояния», представляющего собой совокупную полезность всех участников. Введено понятие «прироста» (Uplift) как ключевой метрики, отражающей улучшение полезности человека благодаря взаимодействию с системой. Оптимизация по приросту может привести к снижению социального благосостояния до 3.5% по сравнению с безусловной оптимизацией. Свойства модели Мэллоуза, такие как «инвариантность к меткам» и «монотонность инверсии», критически важны для стабильности и интерпретируемости системы.

Сравнение показателей благосостояния и прироста, достигнутых алгоритмами, максимизирующими благосостояние, прирост и учитывающими точность действий человека, показывает, что эффективность алгоритмов зависит от уровня точности действий человека.

Доказана NP-трудность задачи максимизации благосостояния при определенных ограничениях. Вычисления завершаются за ≤ 175 секунд для до 20 элементов. Оптимизируя по приросту, система выходит за рамки предсказания предпочтений, активно улучшая процесс принятия решений.

Алгоритм как Куратор: Коллективный Интеллект и Пределы Оптимизации

Концепция «Человек-Алгоритм Система» улучшается, если рассматривать алгоритм не как самостоятельного принимающего решения субъекта, а как «Алгоритм-Куратор», фильтрующего варианты для предоставления человеку наиболее релевантного выбора. Такой подход оптимизирует взаимодействие и использует сильные стороны как человека, так и алгоритма. Данная структура, опираясь на «Теорию Социального Выбора», способствует более эффективному сотрудничеству. Исследования демонстрируют, что явное моделирование человеческой неидеальности и оптимизация коллективной полезности позволяют выйти за рамки упрощенных метрик производительности.

Анализ работы человека при использовании алгоритмов A1 и A2, а также в одиночку, демонстрирует, что помощь алгоритмов улучшает производительность человека.

Предложенный подход открывает путь для создания более надежных и ориентированных на человека систем искусственного интеллекта. Подобно тому, как каждое архитектурное решение обещает свободу, пока не потребует жертв, истинная сила заключается не в замене человека, а в мудром симбиозе с алгоритмом.

Исследование взаимодействия человека и алгоритма, представленное в работе, указывает на парадоксальную природу систем, стремящихся к оптимизации. Алгоритм, действующий как куратор, может принести пользу, даже если его предпочтения расходятся с человеческими. Это напоминает о том, что стабильность – лишь иллюзия, а любая система, стремящаяся к идеальному состоянию, неминуемо содержит в себе зерно будущей трансформации. Бертранд Рассел однажды заметил: “Всякая большая система является не просто суммой своих частей, но и чем-то большим, чем все они вместе взятые.” Данное высказывание отражает суть исследования: системы не просто решают задачи, они эволюционируют, формируя неожиданные конфигурации, и понимание этой динамики является ключом к созданию действительно полезных и устойчивых взаимодействий человека и алгоритма, особенно в контексте максимизации благосостояния и обеспечения выгоды для всех участников.

Что дальше?

Представленная работа лишь осторожно касается краешка неизбежной сложности. Системы, где алгоритм выступает куратором, – это не просто инструменты для максимизации некоего «благосостояния». Это, скорее, попытка взрастить симбиоз, где расхождение предпочтений алгоритма и человека становится не ошибкой, а условием эволюции. Каждая попытка «выровнять» предпочтения – это пророчество о будущем застое, о потере способности адаптироваться к непредсказуемым изменениям.

Неизбежно встанет вопрос о метриках. «Благосостояние» – величина текучая, ускользающая. Попытки формализовать её лишь накладывают отпечаток предвзятости, создавая иллюзию контроля над процессами, которые по своей природе хаотичны. Следующий шаг – не в усовершенствовании моделей, а в принятии их неполноты. Не в поиске оптимальных решений, а в изучении траекторий, по которым система, взрослея, отклоняется от заданных целей.

Особое внимание следует уделить динамике расхождений. Каждый акт кураторства – это сеяние семян, чьи всходы могут привести к неожиданным последствиям. Необходимо понимать, как эти расхождения накапливаются, как они влияют на долгосрочную устойчивость системы, и как они формируют новые, непредвиденные формы сотрудничества. Ведь, в конечном счете, сама система – это не архитектура, а экосистема, и её будущее определяется не нашими планами, а её собственной эволюцией.

Оригинал статьи: https://arxiv.org/pdf/2511.02746.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-11-05 13:05