Генеральный директор Anthropic говорит, что «мы не понимаем, как работают наши собственные творения ИИ» — и да, всем нам следует быть «обеспокоенными» этим.

от

Как исследователь безопасности ИИ я обращаю внимание на поразительную статистику моего коллеги Романа Ямпольского: вероятность того, что развитие искусственного интеллекта приведет к вымиранию человечества, составляет примерно 1 из 10 миллионов. Чтобы избежать этой возможной катастрофы, он предлагает рассмотреть пересмотр цели и продвижения развития ИИ.

Стоит отметить, что по мере развития технологий искусственного интеллекта в компании Anthropic их генеральный директор Дарио Амодей открыто признал отсутствие полного понимания этой самой технологии.

📊 Хочешь понимать, куда дует ветер на рынке? ТопМоб — мощная аналитика, без воды и хайпа. Не прозевай разворот!

Включай мозг — подписывайся

В эссе, недавно опубликованном на сайте руководителя, Амодеи указал:

Часто шокирует тех, кто не занимается разработкой ИИ, когда они узнают, что мы не понимаем внутренние механизмы созданных нами искусственных интеллектов. И им действительно стоит беспокоиться, поскольку отсутствие такого понимания является практически беспрецедентным в истории технологий.

Он описывает потенциальные серьёзные риски, связанные с этой ситуацией, которые могут привести к нежелательным последствиям. Чтобы предотвратить такие неблагоприятные ситуации, Амодеи советует исследовательским центрам ИИ отдавать предпочтение прозрачности в своей работе, поскольку ИИ может со временем развиться сверх контроля человека, если не будет своевременно обращено внимание.

Крайне важно, чтобы эти системы стали неотъемлемой частью нашей экономики, технологии и национальной безопасности, так как они обладают высокой степенью автономии. Почти неприемлемо для людей не полностью понимать их внутреннее устройство.

Как энтузиаст технологий, я должен признать, что генеральный директор Anthropic отметил необходимость значительных усилий для достижения уровня прозрачности, необходимого для эффективного управления и контроля продолжающегося прогресса в области искусственного интеллекта.

Текущее исследование указывает на то, что сокращение времени, затрачиваемого на оценку безопасности искусственного интеллекта, может ускорить прогресс OpenAI в инновациях AI и потенциально создавать риски. В докладе также подчеркивалось использование подобных тактик компанией для сохранения лидерства над конкурентами на рынке.

В предыдущих случаях создатели ChatGPT сталкивались с вопросами о безопасности продукта. Многие из первоначальных членов команды ушли, указывая на проблемы в области безопасности. Некоторые высказывали мнение, что акцент на развитии привлекательных технологий вроде общего искусственного интеллекта затмил важность сильной культуры и процедур обеспечения безопасности.

Похоже, что каждая крупная технологическая компания стремится получить свою долю растущего рынка генеративного ИИ, включая Microsoft, которая объявила впечатляющие инвестиции в размере 80 миллиардов долларов на инновации и вложения в области искусственного интеллекта. Этот энтузиазм к технологии очевиден, но при этом инвесторы проявляют осторожность из-за высоких финансовых требований и неопределенности относительно возможной прибыльности.

Уже несколько месяцев все больше обсуждают вопросы приватности и безопасности в связи с этим инструментом, который распространяется и широко используется. Тем не менее, возможно еще важнее рассмотреть потенциальное длительное влияние, которое он может оказать на наше общее человеческое существование.

Ведущие технические деятели, такие как соучредитель Microsoft Билл Гейтс, предвидят, что ИИ заменит множество задач человека. Что особенно привлекает мое внимание (или поражает больше всего), так это потенциальная опасность этой технологии для нашего вида.

Смотрите также

2025-05-05 13:41