01DEFINITION
한 줄로 말하면
noindex 는 "이 페이지를 검색 결과에 넣지 말라"는 지시입니다. 개발 서버에 걸어 둔 것을 그대로 배포하거나, 설치형 CMS 의 "검색엔진 노출 차단" 체크를 끄지 않은 채 오픈하면 사이트 전체가 색인에서 빠집니다. 화면에는 아무 이상이 없어서 "검색이 안 된다"는 말만 몇 달 반복되다 뒤늦게 발견되는 것이 이 항목의 특징입니다.
02RISK
없으면 무슨 일이 생기나
개발 중에는 미완성 페이지가 검색에 걸리면 곤란하니 색인 차단을 켜 둡니다. 오픈할 때 그것을 끄는 일이 인수인계 목록에 없으면 그대로 남습니다. 사이트는 정상적으로 열리고 광고를 돌리면 방문자도 들어옵니다. 다만 검색으로는 아무도 못 옵니다.
설치형 CMS 에는 검색엔진 노출을 막는 체크박스가 설정 화면 어딘가에 있습니다. 개발자가 켜 두고 넘긴 뒤 아무도 그 화면을 다시 열지 않으면 같은 결과가 됩니다. 이 경우 원인이 파일이 아니라 데이터베이스 설정값이라 소스를 뒤져도 나오지 않습니다.
발견이 늦는다는 것이 이 항목의 진짜 비용입니다. 검색 유입이 원래 적은 신규 사이트에서는 그것이 정상인지 이상인지 구별되지 않습니다. 반년쯤 지나 왜 검색이 안 되냐는 말이 나오고, 그때까지 쌓였어야 할 색인과 평가가 통째로 없습니다.
03CHECK IT YOURSELF
직접 확인하는 방법
아래는 저희를 거치지 않고 지금 해 보실 수 있는 방법입니다. 결과를 저희에게 보내실 필요도 없습니다.
-
01
HTML 안의 메타 태그를 본다
가장 흔한 자리입니다. content 에 noindex 가 들어 있으면 그 페이지는 검색 결과에 나오지 않습니다.
$ curl -s https://example.com/ | grep -i 'name="robots"' <meta name="robots" content="noindex, nofollow">
-
02
응답 헤더도 함께 본다
메타 태그가 아니라 헤더로 걸려 있으면 HTML 을 아무리 봐도 안 보입니다. 개발 서버 설정을 헤더로 넣는 방식이 흔해서, 이쪽이 남아 있는 경우가 실제로 있습니다.
$ curl -sI https://example.com/ | grep -i x-robots-tag x-robots-tag: noindex
-
03
검색엔진에 실제로 몇 개가 올라가 있는지 본다
검색창에 site: 연산자로 도메인을 넣으면 색인된 페이지 수가 대략 나옵니다. 페이지가 수백 개인데 결과가 한둘이면 이 항목을 의심하십시오.
site:example.com
-
04
CMS 설정 화면을 확인한다
파일에는 없는데 태그가 나온다면 관리 화면의 설정값입니다. 워드프레스는 읽기 설정, 그 밖의 CMS 도 대개 사이트 기본 설정 어딘가에 검색엔진 노출 항목이 있습니다.
04HOW TO FIX
고치는 방법
서버 환경에 따라 적을 자리가 다릅니다. 아래는 가장 흔한 구성 기준이고, 적용 전에 현재 설정을 백업하십시오.
색인을 원하는 페이지에는 아예 적지 않는 것이 가장 깔끔합니다. 굳이 적는다면 허용 값을 명시합니다.
<meta name="robots" content="index, follow, max-image-preview:large">
서버 설정에 남아 있는 줄을 찾아 지웁니다. 개발 서버와 운영 서버가 같은 설정 파일을 공유하는 구조라면 환경에 따라 갈리게 만드십시오.
$ grep -rn "X-Robots-Tag" /etc/httpd /etc/nginx .htaccess 2>/dev/null
색인 차단 태그는 배포될 위험이 있지만 접근 제한은 배포되지 않습니다. 개발 서버를 인증이나 IP 제한으로 막으면 크롤러도 들어오지 못하고, 오픈할 때 지울 것도 없습니다.
장바구니, 검색 결과 페이지, 로그인 후 화면처럼 색인될 이유가 없는 페이지는 그대로 두어도 됩니다. 다만 전역 설정으로 걸지 말고 해당 템플릿에만 걸어야 합니다.
<Location "/mypage/">
Header always set X-Robots-Tag "noindex"
</Location> 태그를 지웠다고 즉시 돌아오지 않습니다. 서치 콘솔의 URL 검사에서 주요 페이지를 하나씩 색인 요청하면 처리가 빨라집니다. 사이트맵을 다시 제출하는 것도 함께 하십시오.
05FAQ
자주 묻는 질문
noindex 를 지우면 얼마나 걸려 다시 검색에 나오나요
- 크롤러가 그 페이지를 다시 읽어야 하므로 며칠에서 몇 주가 걸립니다. 사이트 규모와 기존 크롤링 빈도에 따라 다릅니다. 서치 콘솔에서 색인을 요청하면 주요 페이지는 하루 이틀 안에 처리되는 경우가 많습니다.
noindex 와 robots.txt 차단은 무엇이 다른가요
- robots.txt 는 읽지 말라는 것이고 noindex 는 읽되 결과에 넣지 말라는 것입니다. 결과에서 확실히 빼려면 noindex 를 써야 하는데, 그러려면 크롤러가 페이지를 읽을 수 있어야 합니다. 두 개를 동시에 걸면 서로를 무력화합니다.
nofollow 도 같이 지워야 하나요
- nofollow 는 이 페이지의 링크를 따라가지 말라는 뜻입니다. 공개 사이트에서 이것을 전역으로 걸어 두면 내부 링크를 통한 페이지 발견이 막힙니다. 색인 차단을 지울 때 같이 확인하십시오.
일부 페이지만 검색에 안 나옵니다
- 전역 설정이 아니라 특정 템플릿이나 경로에 걸린 경우입니다. 안 나오는 페이지 하나를 골라 메타 태그와 응답 헤더를 확인하고, 같은 템플릿을 쓰는 페이지들이 함께 빠져 있는지 보십시오. robots.txt 의 특정 경로 차단일 수도 있습니다.
RELATED
같이 보시면 좋은 항목
GET STARTED
내 사이트는
이 항목을 통과할까요
주소만 넣으시면 이 항목을 포함해 25가지를 판정해 점수와 실패 개수를 보여 드립니다. 로그인도, 소유 확인도 필요 없습니다 — 전부 밖에서 관찰만 하는 항목이기 때문입니다.