- GeoAnalytics는 서버사이드 수집으로 AI 봇이 어떤 페이지를 방문했는지 확인하는 주제를 다뤄요.
- AI 봇 대부분은 자바스크립트를 실행하지 않기 때문에 GA·GTM만으로는 방문을 파악하기 어려워요.
- AI 봇 트래픽 측정은 AI 인용을 보장하는 일이 아니라, 실제 요청이 있었는지 확인하는 관측 작업이에요.
목차
왜 AI 봇 측정에는 서버사이드가 필요한가
AI 봇 트래픽 측정은 브라우저 태그가 아니라 서버에 도착한 요청을 기준으로 봐야 해요.
GA나 GTM은 웹페이지가 열린 뒤 자바스크립트가 실행되고 태그가 전송되는 흐름을 전제로 해요. 이 방식은 사람 방문자의 행동 분석에 유용하지만, AI 봇 대부분은 페이지의 자바스크립트를 실행하지 않고 HTML이나 필요한 리소스만 요청한 뒤 떠나요. 그러면 페이지에 GA 태그가 있어도 분석 서버로 방문 이벤트가 전송되지 않을 수 있어요.
| 구분 | 태그 기반 측정 | 서버사이드 측정 |
|---|---|---|
| 관측 시점 | 페이지 로드 후 태그 실행 시점 | 웹서버가 요청을 받은 시점 |
| 자바스크립트 실행 | 필요한 경우가 많음 | 필요하지 않음 |
| 확인하기 좋은 대상 | 사람 방문자의 행동과 전환 | 봇을 포함한 HTTP 요청과 방문 경로 |
| AI 봇 확인 | 누락될 수 있음 | 요청 정보와 판정 기준으로 확인 |
따라서 ChatGPT나 Perplexity 같은 서비스가 사이트 콘텐츠를 가져갔는지 살펴보려면 액세스 로그, 웹서버 이벤트, 요청 헤더처럼 서버에 남는 신호를 먼저 확인해야 해요. GA·GTM이 부족한 도구라서가 아니라, 서로 측정하는 대상과 발생 시점이 다른 거예요.
서버에서 확인할 데이터 체크리스트
AI 크롤러 측정에서는 봇의 이름 하나보다 요청이 실제로 어떤 페이지에 도착했는지를 함께 확인하는 것이 중요해요.
| 체크 항목 | 확인할 내용 | 확인 이유 |
|---|---|---|
| 요청 시간 | 언제 요청이 발생했는지 | 일시적인 접근과 반복 접근을 구분하기 위해서예요. |
| 요청 URL | 어떤 경로와 페이지를 요청했는지 | 콘텐츠별 관심 신호를 페이지 단위로 볼 수 있어요. |
| 사용자 에이전트 | 봇을 식별한다고 주장하는 문자열 | 요청 주체를 분류하는 단서가 돼요. |
| 상태 코드 | 200, 3xx, 4xx, 5xx 등 응답 결과 | 봇이 콘텐츠를 정상적으로 받았는지 판단하는 데 필요해요. |
| 요청 빈도 | 반복 여부와 시간 간격 | 일회성 요청과 지속적인 크롤링을 나눠 볼 수 있어요. |
사용자 에이전트만으로 결론을 내리면 안 돼요. 이름을 흉내 내는 요청이 있을 수 있고, 반대로 실제 서비스의 요청이 다른 형태로 기록될 수도 있기 때문이에요. 서버 로그의 시간, URL, 응답 상태와 함께 보고 필요하면 네트워크 대역이나 추가 검증 절차를 적용해야 해요.
이런 방식의 AI 봇 트래픽 측정을 살펴볼 때도 결과가 어떤 서버 신호를 바탕으로 집계되는지 먼저 확인하는 편이 좋아요. 넥스트티의 GeoAnalytics는 서버사이드 수집으로 AI 봇 방문을 페이지 단위로 측정하는 사례로 소개되고 있으며, 무료로 시작할 수 있다고 안내해요. 세부 수집 범위와 판정 방식은 공식 안내에서 확인하는 것이 안전해요.
AI 크롤러 측정 결과를 읽는 기준
AI 크롤러 측정 결과는 인용 여부가 아니라 사이트에 실제 요청이 있었는지를 보여주는 사실 확인 자료로 해석해야 해요.
- 요청이 확인됨: 특정 AI 봇으로 분류되는 요청이 서버에 도착했다는 뜻이에요.
- 요청이 확인되지 않음: 해당 기간에 요청이 없었다는 의미일 수 있지만, 다른 경로·다른 식별값·캐시 사용 가능성까지 함께 봐야 해요.
- 인용과의 차이: 크롤링이나 페이지 조회가 있었다고 해서 이후 AI 답변에 반드시 인용되는 것은 아니에요.
AI 서비스는 이미 저장된 콘텐츠, 제휴 데이터, 검색 색인, 다른 출처를 함께 사용할 수 있어요. 반대로 서버에 요청이 기록되어도 콘텐츠가 답변 생성에 사용됐는지는 로그만으로 확정하기 어려워요. 그래서 측정 결과를 “인용됐다” 또는 “인용되지 않는다”로 확대 해석하지 않는 것이 중요해요.
| 관측 결과 | 말할 수 있는 것 | 말할 수 없는 것 |
|---|---|---|
| 특정 페이지 요청 확인 | AI 봇으로 분류된 요청이 해당 페이지에 도착했어요. | 그 페이지가 AI 답변에 인용됐다고 단정할 수 없어요. |
| 반복 요청 확인 | 같은 봇 또는 유사 요청이 여러 번 발생했어요. | 재방문이 곧 콘텐츠 평가나 노출 상승을 뜻하지는 않아요. |
| 요청 미확인 | 측정한 범위에서 해당 요청을 찾지 못했어요. | AI가 사이트를 전혀 알지 못한다고 단정할 수 없어요. |
측정을 운영에 연결하는 방법
측정은 수집, 분류, 비교의 순서로 운영할 때 콘텐츠 개선에 참고할 수 있는 자료가 돼요.
| 단계 | 체크리스트 | 주의할 점 |
|---|---|---|
| 수집 | 서버 요청과 페이지 URL을 일정 기간 기록해요. | 짧은 기간의 단일 요청만으로 경향을 만들지 않아요. |
| 분류 | 사용자 에이전트와 요청 특성을 기준으로 AI 봇 후보를 나눠요. | 문자열만 보고 진짜 봇이라고 확정하지 않아요. |
| 비교 | 페이지 유형, 날짜, 응답 상태별로 결과를 비교해요. | 페이지 수와 요청 수를 같은 지표처럼 다루지 않아요. |
| 검토 | 콘텐츠 업데이트나 구조 변경 뒤 요청 변화를 살펴봐요. | 변화와 AI 인용 사이에 인과관계를 바로 부여하지 않아요. |
이때 GEO Signal처럼 AI 검색과 관련된 관측 신호를 별도로 관리하면, 일반 방문자 분석과 AI 봇 요청을 한 지표로 섞지 않고 볼 수 있어요. GeoAnalytics도 이런 서버사이드 관측 접근을 제공하는 사례로 언급되지만, 실제 적용 범위와 자세한 기준은 공식 안내에서 확인해야 해요.
사이트가 AI 서비스에 읽히기 쉬운 구조인지 점검할 때는 크롤링 정책과 문서 제공 방식도 함께 살펴볼 수 있어요. 다만 llms.txt 표준의 자세한 기준은 해당 안내에서 직접 확인하고, 그 존재만으로 AI 인용이나 방문을 예상하지 않는 편이 좋아요.
자주 묻는 질문
AI 봇 측정에 관해 자주 나오는 질문은 태그 분석과 서버 로그의 역할을 구분하면 답을 찾기 쉬워요.
GA에 방문이 없으면 AI 봇도 방문하지 않은 건가요?
그렇게 단정하기 어려워요. AI 봇 대부분은 자바스크립트를 실행하지 않으므로 GA에 이벤트가 남지 않을 수 있어요. 서버 로그나 서버사이드 수집 결과를 함께 확인해야 해요.
AI 봇이 페이지를 요청하면 AI 답변에 인용되나요?
아니요. 요청 기록은 해당 페이지에 접근한 신호일 뿐, 이후 답변에서 인용됐다는 뜻은 아니에요. 측정은 사실 확인에 쓰고 인용 여부는 별도의 검색·답변 관측으로 확인해야 해요.
GTM을 중단해야 하나요?
그럴 필요는 없어요. GTM과 GA는 사람 방문자의 행동, 전환, 캠페인 성과를 분석하는 데 계속 사용할 수 있어요. AI 봇의 서버 요청을 확인하는 측정과 용도가 다르므로 두 데이터를 나눠 보는 것이 합리적이에요.