What the Crawlers Actually Got

Two different pages

검색엔진과 AI 는 사람처럼 페이지를 열지 않는다. 브라우저는 주소를 받아 코드를 실행하고 화면을 그린다. 크롤러는 대개 파일 하나를 받아 가고 거기서 끝낸다. 같은 주소인데 둘이 다른 것을 본다. 사람에게 멀쩡한 페이지가 기계에게는 비어 있을 수 있다.

일곱 달 동안 이게 네 번 어긋났다.

An empty page

2월에 처음 걸렸다. 사이트가 화면을 코드로 그리는 방식이라, 크롤러가 받아 가는 파일에는 글이 한 줄도 없었다. 빈 껍데기였다. 빌드할 때 미리 화면을 그려서 파일로 저장하게 했다.

The label that never shipped

페이지마다 기계용 설명표를 붙여 둔다. 이게 무슨 글이고 누가 만들었고 무엇을 다루는지. 5월에 검사 도구가 그 표에 빠진 항목이 있다고 알려줬다.

열어 보니 항목 하나가 문제가 아니었다. 표 자체가 저장된 파일에 한 장도 안 들어가 있었다. 미리 그려서 저장하는 과정에서 통째로 버려지고 있었다.

이게 왜 늦게 잡혔냐면, 브라우저로 열면 표가 멀쩡히 붙어 있기 때문이다. 코드를 실행하는 쪽에서는 보인다. 저장된 파일에만 없다. GPTBot 이나 ClaudeBot 이 받아 가는 게 바로 그 파일이다.

The map nobody updated

llms.txt 라는 파일이 있다. 이 사이트에 무엇이 있는지 AI 에게 알려주는 목록이다. 페이지가 23개인데 8개만 적혀 있었다.

파일 맨 위 주석에는 페이지를 추가하면 알아서 따라온다고 적혀 있었다. 시뮬레이터만 그랬다. 나머지는 아무도 연결해 두지 않았다. 인용될 만한 게 제일 많은 블로그가 통째로 빠져 있었다.

목록과 실제 페이지를 대조해서 빠진 게 있으면 빌드를 세우게 했다. 붙이자마자 내가 못 본 다섯 개가 더 나왔다.

A file that changed by itself

어제 하나 더 나왔다. 아무것도 안 고쳤는데 저장되는 파일이 매번 달라졌다.

그림에 점 300개를 무작위로 찍는 자리가 있었다. 미리 그릴 때 한 번 찍고, 브라우저에서 또 다르게 찍는다. 둘이 어긋나니 화면에 오류가 나고, 파일도 빌드할 때마다 내용이 바뀐다. 파일이 바뀌면 이미 퍼져 있던 사본이 전부 무효가 된다.

무작위에 기준값을 하나 박았다. 같은 조건이면 항상 같은 그림이 나온다.

사람이 보는 화면이 멀쩡한 것과 기계가 받는 파일이 멀쩡한 것은 다른 일이다.

Why I keep checking

네 건 다 조용했다. 화면은 멀쩡했고 빌드는 통과했고 배포는 성공했다. 아무도 알려주지 않는다. 찾아봐야 나온다.

랜딩에 페이지가 하나 늘 때마다 이 중 하나가 다시 어긋난다. 그래서 점검을 내 기억이 아니라 빌드에 붙여 두는 쪽으로 옮기고 있다.