AI 학습은 막으면서 AI의 추천은 받고 싶다: 웹사이트는 전면 개방과 전면 차단 중 하나만 택할 필요가 없다
인재에 대한 불안은 흔히 “사람이 무엇을 배워야 하는가”에 초점을 맞춘다. 나는 오히려 다른 쪽을 보고 싶다. 분명 뛰어난 실력을 갖춘 전문가인데도, 정작 그의 웹사이트에는 AI가 그 실력을 이해할 입구조차 마련되어 있지 않을 수 있다.
내 주장은 양쪽 모두의 마음에 들지 않을지도 모른다. AI의 추천을 받고 싶다고 해서 모든 AI가 마음대로 이용하도록 허락할 필요는 없다. 모델 학습을 거부한다고 해서 검색의 입구까지 함께 닫아 버릴 필요도 없다.
이 두 가지를 하나의 패키지로 묶어서 편해지는 쪽은 플랫폼이지, 반드시 사업자는 아니다.
입구의 안내문이지, 보안 시스템이 아니다
웹사이트 루트 디렉터리에 있는 robots.txt는 크롤러별로 어떤 경로의 수집을 허용하거나 금지하는지 알릴 수 있다. 하지만 이는 크롤러가 따르도록 마련한 규칙이지, 비밀번호 잠금장치도 아니고 완전한 이용 허락 계약도 아니다. 규칙을 무시하는 방문자를 만났다고 해서 안내문에 갑자기 손이 돋아나 사람을 막아 주지는 않는다. 민감한 데이터는 여전히 로그인, 접근 권한, 서버 보안으로 보호해야 한다.
혼동하기 쉬운 또 다른 지점이 있다. 검색을 위한 색인 구축과 모델 학습 데이터 수집은 서로 다른 용도다. 예를 들어 OpenAI의 공식 문서는 검색 크롤러인 OAI-SearchBot과 학습 크롤러인 GPTBot을 구분해 설명한다. 사이트 운영자는 용도에 따라 규칙을 설정할 수 있다. 실제로 적용할 때는 여전히 각 회사의 문서를 확인해야 하며, 한 회사의 명칭을 모든 플랫폼에 그대로 적용해서는 안 된다.공식 크롤러 안내
이렇게 보면 “AI를 막으면 사라진다”는 주장은 겁을 줄 근거가 조금 줄어든다.
읽히더라도, 찾아오는 사람은 없을 수 있다
타이난의 한 구두 수선점을 떠올려 보자. 장인은 가죽 밑창 교체, 특수 신발 소재 처리, 예약 방법을 명확하게 적어 놓았다. 누군가 AI에게 “근처에서 오래된 가죽 구두를 수선할 수 있는 곳이 어디야?”라고 묻는다. 이 내용을 가져와 이해할 수 있다면, 추천의 근거가 될 수 있다.
하지만 “수집 허용”은 입구일 뿐, 추천을 보장하지는 않는다. 페이지를 읽을 수 있는지, 정보가 명확한지, 서비스 지역이 분명한지 모두 이후의 판단에 영향을 미친다. Allow 한 줄이 장인에게 신뢰성을 만들어 주지는 않는다.
마케팅 담당자가 정말 난처해지는 지점은 그다음이다. AI가 서비스, 주소, 주의 사항을 바로 다 설명해 버리면 사용자는 더 이상 웹사이트에 들어오지 않을 수 있다.
장인은 괜찮은 거래라고 생각할 수 있다. “전화만 오면 됐지.” 하지만 교육용 글로 광고 수익을 얻는 전문 필자는 자신의 콘텐츠가 남의 무료 안내 직원이 되었다고 느낄 수 있다. 둘 다 노출이 필요하지만, 감당할 수 있는 교환 조건은 완전히 다르다.
누가 교환 조건을 협의할 능력이 있는가?
나는 robots.txt를 용도를 알리는 안내문으로 보는 편이다. 소규모 사업자에게 가장 부족한 것은 대개 너그러움이 아니라 교환 조건을 구분할 능력이기 때문이다.
영업시간과 서비스 범위는 검색되기를 바랄 수 있다. 반면 유료 교재와 고객 사례의 세부 내용에는 별도의 접근 방식이 필요할 수 있다. 기술 설정이 표현하는 것은 수집에 관한 선호이며, 저작권과 개인정보에 대한 책임까지 몇 줄의 글에 모두 맡길 수는 없다.
여기서 규제를 둘러싼 긴장은 매우 현실적이다. 플랫폼이 노출과 데이터 이용을 너무 단단히 묶어 놓으면, 사업자의 “자발적 개방”은 그저 추천 목록에서 사라질까 봐 두려워한 결과일 수 있다. 반대로 전면 차단에도 대가는 따른다. 작은 가게는 체인 브랜드와 나란히 비교될 기회마저 줄어들 수 있다.
구두 수선 장인이 관리자 화면을 열어 보니 웹사이트 방문자 수는 늘지 않았지만, 전화는 두 통 더 왔다. 그가 알고 싶은 것은 “AI가 내 사이트를 읽었나”가 아니다. 손님이 “AI가 여기를 추천했어요”라고 말할 때, 대체 자신의 어떤 솜씨를 보았느냐는 것이다.
