오픈AI·구글·MS, 'AI 학습 거부' 공통 신호 대응 밝혀…robots.txt 한 줄로 회사별 규칙 대체

오픈AI와 구글, 마이크로소프트(MS)가 30일(현지시간) 웹사이트 운영자가 robots.txt에 적은 'AI 학습 거부' 신호를 여러 AI 회사에 한꺼번에 전달하는 공통 방식에 대응하겠다고 각각 밝혔다.

ITmedia 뉴스에 따르면 이 방식은 앤트로픽의 표준화 담당자 케빈 켈리가 같은 날 국제인터넷표준화기구(IETF)에 낸 인터넷 초안(Internet-Draft)에서 나왔다. robots.txt의 `User-Agent` 줄에 정책 토큰 `__usage_ai-training`을 쓰고, 그 아래 `Disallow`는 학습 거부, `Allow`는 허용 의사를 뜻한다. 예컨대 `Disallow: /`와 `Allow: /press-kit/`를 함께 적으면 press-kit 아래를 뺀 모든 경로를 학습에 쓰지 말라는 표시다. 크롤링 자체를 막는 규칙과는 별개이고, 토큰을 적지 않으면 의사를 밝히지 않은 것으로 본다. 초안은 개인 명의로 제출돼 아직 IETF의 정식 표준 지위는 없다.

시기는 회사마다 다르다. 오픈AI는 몇 달 안에 구현하겠다고 했고, 구글은 2027년을 목표로 한다. 구글은 공통 신호로 학습을 거부했는데 자사 설정 '구글 익스텐디드(Google-Extended)'를 따로 적지 않았다면 그것도 거부로 처리한다. MS는 2027년 2월 1일부터 크롤링할 때 새 설정을 읽고, 메타 태그와 HTTP 헤더로 페이지 단위 지정도 받아 robots.txt보다 우선한다. 앤트로픽은 이미 구현을 시작했지만 전체 서비스로 넓히려면 시간이 걸린다고 켈리가 메일링 리스트에 밝혔다.

지금 당장 효과가 있는 것은 GPTBot, Google-Extended, ClaudeBot처럼 회사별로 적는 기존 규칙이다. ITmedia 뉴스의 X 글은 '좋아요' 2,070여 개를 받았고, 일본 이용자들 사이에서는 "이미 학습을 끝낸 뒤라 후발 주자만 막는 셈", "소급해서 지우지 않으면 의미가 없다"는 반응이 나왔다. 퍼블리셔 소송이 이어지는 가운데 클라우드플레어는 7월 AI 크롤러를 검색·에이전트·학습 용도별로 관리하는 기능을 전 고객에게 열었다.