AI 가 사이트를 읽으려면 세 가지가 맞아야 합니다. 크롤러가 막혀 있지 않아야 하고, 자바스크립트 없이도 본문이 나와야 하고, 문단이 잘라 인용할 만한 길이여야 합니다. 셋 중 하나만 어긋나도 아무리 좋은 글을 써도 AI 에게는 없는 글이 됩니다.
국내 B2B 소프트웨어 회사 서른네 곳의 사이트를 한 번씩 진단해 보니 예순 점을 넘긴 곳이 일곱 곳이었고, 절반인 열일곱 곳은 마흔 점 아래였습니다. AI 크롤러 접근 점수가 0점인 곳도 있었습니다. 어려운 기술이 필요한 문제는 아니었습니다. 확인한 사람이 없었을 뿐입니다.
다만 이것만으로는 부족합니다. AI 가 인용하는 문서의 대부분은 자사 사이트가 아니라 남의 문서입니다. 기술 세팅은 «읽히게» 만드는 일이고, 실제로 «불리게» 만드는 일은 그다음입니다. 여기까지만 하고 끝내면 점수는 오르는데 답변에는 안 나오는 상태가 됩니다.
robots.txt 에 AI 크롤러를 이름으로 하나씩 허용합니다. 검색용 봇과 학습용 봇을 나눠 고르시게 합니다. 막아 둔 줄이 있으면 찾아 냅니다. 진단한 34곳 중에도 AI 크롤러 접근이 0점인 곳이 있었습니다.
AI 크롤러는 대개 자바스크립트를 실행하지 않습니다. 화면에 글이 보여도 크롤러에게는 빈 페이지일 수 있습니다. 진단에서 따로 봅니다.
회사·제품·가격·FAQ를 기계가 읽는 형식(JSON-LD)으로 직접 씁니다. 플러그인으로 찍어내지 않습니다 — 업종마다 필요한 형식이 다릅니다.
검색에 올라가지 않은 페이지는 AI가 읽지도 못합니다. 구글·Bing·네이버에 등록하고 색인 상태를 확인합니다.