Обновления Cloudflare для ‘robots.txt’ — что это значит для будущего веб?

У каждого веб-сайта есть файл с именем robots.txt. Это простой текстовый файл, который дает инструкции поисковым системам и веб-краулерам, сообщая им, к каким частям сайта они могут получить доступ, а какие части закрыты для доступа — представьте себе это как виртуальный знак ‘не входить’. Эта система эффективно работала, когда интернет только начинал развиваться.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Долгое время поисковые системы, такие как Google и Bing, работали хорошо, и владельцы веб-сайтов были в целом удовлетворены. Однако искусственный интеллект сейчас нарушает эту систему. AI боты не просто посещают и организуют веб-сайты, как традиционные поисковые системы; они фактически копируют контент для улучшения чат-ботов или создания прямых ответов на вопросы.

Многие компании, занимающиеся разработкой ИИ, либо игнорируют правила веб-сайтов, контролирующие доступ (robots.txt), либо пытаются скрыть своих ботов, чтобы обойти эти правила. Cloudflare, которая помогает защитить примерно 20% всех веб-сайтов, имеет широкое представление о том, как работают эти ИИ-боты. Благодаря этому они запустили новую Политику сигналов контента. Эта политика позволяет владельцам веб-сайтов четко указывать, разрешено ли разработчикам ИИ использовать их контент для обучения моделей ИИ.

Что на самом деле делает политика сигналов контента Cloudflare

Согласно Digiday, эта новая политика выходит за рамки стандартного файла robots.txt. В то время как robots.txt просто сообщает ботам, к каким страницам они *могут* получить доступ, эта новая система позволяет издателям также контролировать *как* этот контент используется после того, как он был получен.

Есть три новых «сигнала» на выбор:

search – позволяет контенту использоваться для построения поискового индекса и отображения ссылок или фрагментов в результатах.
ai-input – охватывает использование контента напрямую в ответах ИИ, например, когда чат-бот извлекает информацию со страницы для генерации ответа.
ai-train – определяет, может ли контент использоваться для обучения или тонкой настройки моделей ИИ.

Эти сигналы представляют собой базовые варианты включения/выключения. Например, веб-сайт может разрешить поисковым системам отображать его контент, но запретить программам искусственного интеллекта использовать его для обучения.

Cloudflare уже внедрила это для более чем 3,8 миллиона веб-сайтов. По умолчанию, функциональность поиска включена, использование данных сайта для обучения ИИ заблокировано, и способ обработки ИИ-ввода установлен в нейтральную позицию до тех пор, пока владелец веб-сайта не сделает выбор.

Почему обеспечение соблюдения правил всё ещё важно — и роль Google

Хотя это обновление полезно, некоторые вредоносные боты все еще могут его обойти. Поэтому владельцам веб-сайтов следует добавить дополнительные меры безопасности, такие как межсетевые экраны веб-приложений, для проверки и контроля интернет-трафика, поступающего и отправляемого с их сайтов.

Эффективное управление ботами имеет решающее значение. Оно включает в себя использование искусственного интеллекта для выявления и остановки вредоносной автоматизированной активности, обеспечивая, чтобы законные пользователи не пострадали.

Даже если некоторые AI-программы не следуют этим рекомендациям, политика всё равно помогает издателям юридически. Cloudflare рассматривает сигналы контента как способ защиты прав издателей, что может быть ценным, если им когда-либо потребуется предпринять юридические действия против AI-компаний.

Если компании, занимающиеся искусственным интеллектом, решат уважать запросы веб-сайтов об ограничении сбора данных, это может стать новой нормой для работы интернета. В противном случае, мы, вероятно, увидим, как все больше веб-сайтов блокируют инструменты ИИ и прибегают к юридическим вариантам — что, вероятно, оценят многие создатели контента, обеспокоенные использованием ИИ.

Основной проблемой для издателей является то, как работают веб-краулеры Google. Google объединяет краулер, используемый для обычных результатов поиска, с тем, который используется для его AI Overviews. Это означает, что если издатель не хочет, чтобы их контент использовался в функциях искусственного интеллекта, они также рискуют быть исключенными из стандартных результатов поиска Google.

Это ставит издателей в сложное положение. Они вынуждены выбирать между тем, чтобы позволить Google использовать их контент для обучения своего ИИ, или потенциально потерять важный веб-трафик. Особенно уязвимы небольшие издания, поскольку они сильно зависят от поиска Google для связи с читателями.

Будущее AI-скрейпинга и монетизации

Ободряет, что Cloudflare работает над защитой веб-сайтов от всплеска AI-ботов, собирающих данные по всему интернету. Даже такие инструменты, как ChatGPT, похоже, учатся на любой общедоступной информации. Например, его новый видеогенератор, Sora 2, может убедительно воспроизводить сцены из видеоигры *Cyberpunk 2077*, и маловероятно, что создатели игры санкционировали использование своего контента.

То же самое относится и к видео с персонажами, такими как Mario и Pikachu. Nintendo, вероятно, не упустит из виду такое использование, но, основываясь на их прошлых действиях, они, скорее всего, сосредоточатся на небольших фан-проектах, а не на крупных AI-компаниях.

Cloudflare экспериментирует с новой системой, где владельцы веб-сайтов могут взимать плату с AI ботов каждый раз, когда они посещают их сайт. Если бот не предоставит информацию об оплате, он получит сообщение об ошибке и будет заблокирован от доступа к сайту.

Будьте в курсе последних новостей от Windows Central, подписавшись на нас в Google News! Вы получите все наши новости, аналитические статьи и обзоры прямо в своей ленте.

Смотрите также

2025-10-03 14:41