01DEFINITION
한 줄로 말하면
Bingbot 은 Bing 검색의 색인을 만드는 크롤러이고, Copilot 이 그 색인을 씁니다. 그래서 이 이름 하나를 robots.txt 에서 막으면 검색 노출과 AI 답변을 한꺼번에 잃습니다. 다른 AI 크롤러를 막을 때와 손해의 크기가 다르고, 막아 둔 것을 모르고 지내기도 쉽습니다. 국내에서는 네이버와 구글만 신경 쓰다가 이 줄이 오래 남아 있는 경우가 있습니다.
02RISK
없으면 무슨 일이 생기나
국내 사이트에서 Bingbot 을 막아 두는 일이 드물지 않습니다. 트래픽은 거의 안 오는데 크롤 요청은 계속 들어오니 서버 부담만 된다고 판단한 것입니다. 그 판단은 검색만 놓고 보면 이해할 만했습니다. 지금은 전제가 달라졌습니다 — 같은 색인이 AI 답변의 재료로 쓰이기 때문입니다.
손해가 눈에 안 띕니다. Bing 검색 유입은 원래 적었으므로 줄어도 표가 안 나고, AI 답변에 우리가 안 나오는 것은 애초에 측정할 수단이 없습니다. 그래서 이 설정은 한 번 넣으면 몇 년씩 남아 있습니다. 저희가 이 항목을 따로 둔 이유가 그것입니다.
반대로 열어 두는 비용은 작습니다. 크롤 빈도가 부담이면 차단이 아니라 속도 조절로 해결할 수 있고, 특정 경로만 막을 수도 있습니다. 전체 차단은 가장 큰 대가를 치르는 가장 거친 방법입니다.
03CHECK IT YOURSELF
직접 확인하는 방법
아래는 저희를 거치지 않고 지금 해 보실 수 있는 방법입니다. 결과를 저희에게 보내실 필요도 없습니다.
-
01
robots.txt 에서 Bingbot 규칙을 본다
이 항목이 보는 것이 그것입니다. 이름을 지목한 그룹과 전체 그룹을 둘 다 봅니다.
$ curl -s https://example.com/robots.txt User-agent: Bingbot Disallow: /
나머지 확인 방법 2단계는 셀프수리 가이드에 있습니다.
04HOW TO FIX
고치는 방법
서버 환경에 따라 적을 자리가 다릅니다. 아래는 가장 흔한 구성 기준이고, 적용 전에 현재 설정을 백업하십시오.
가장 단순한 조치입니다. 막아 둔 이유가 지금도 유효한지 먼저 확인하십시오.
가이드 안내 보기 · 먼저 무료로 진단받기
이미 열람권을 구매하셨다면 안내 메일의 가이드 링크로 바로 열립니다 — 링크를 잃으셨다면 문의 주시면 다시 보내 드립니다.
05FAQ
자주 묻는 질문
Bing 은 국내에서 안 쓰는데 열어 둘 이유가 있나요
- 검색 유입만 보면 근거가 약합니다. 다만 같은 색인이 Copilot 답변에 쓰이고, 그 답변은 국내에서도 사용됩니다. 열어 두는 비용이 크롤 요청 몇 건이라면 대가가 비대칭입니다.
Googlebot 만 허용하면 안 되나요
- 가능하지만 그러면 Bing 계열 답변에서 우리가 사라집니다. 어떤 로봇을 허용할지는 정책 결정이고, 저희는 그 결정이 무엇을 잃는지를 알려 드리는 것까지 합니다.
AI 학습 로봇과는 다른 건가요
- 다릅니다. Bingbot 은 검색과 답변에 쓰이는 색인 로봇이고, 학습용 로봇은 따로 있습니다. 저희는 그 둘을 다른 항목으로 나누어 판정합니다 — 막는 판단의 성격이 서로 다르기 때문입니다.
RELATED
같이 보시면 좋은 항목
GET STARTED
내 사이트는
이 항목을 통과할까요
주소만 넣으시면 이 항목을 포함해 51가지를 판정해 점수와 실패 개수를 보여 드립니다. 로그인도, 소유 확인도 필요 없습니다 — 전부 밖에서 관찰만 하는 항목이기 때문입니다.