# AI 봇을 내 병원 홈페이지가 막고 있다? (구글봇 편)

Google 검색 센터 공식 문서 「Google 크롤러 및 가져오기 도구 개요」(Overview of Google crawlers and fetchers) 해설 · 메디스펙 데이터랩
원문: https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers?hl=ko · 영문판: https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers
해설 방식: 원문 발췌 · 이용 조건: CC BY 4.0 · 원문 업데이트: 2026-06-17 · 최종 확인: 2026-09-08 · 판: sha256:0b59aaef9b5ed9ef
해설: 메디스펙 데이터랩 (https://medi-spec.com/datalab/rules/google/google-crawlers)

문서가 요구하는 조건은 구글 크롤러가 사이트에 정상적으로 접속해 콘텐츠를 읽고 캐싱할 수 있는 상태입니다. 그런데 메디스펙이 전국 병원 홈페이지 8,808곳을 열어 본 조사(2026년 9월 7일)에서 36.8%는 아예 열리지 않았고, 열린 곳 중에서도 3.3%는 검색 봇으로 접속했을 때 차단 응답을 돌려줬습니다 메디스펙 데이터랩이 2026년 9월 7일 분석한 값입니다..

## 정의
구글 검색에 병원이 나오는 조건이란 구글봇이라는 크롤러가 병원 홈페이지에 정상적으로 접속해 서버 오류나 차단 응답 없이 페이지 내용을 읽어 들이고, 그 내용을 HTTP 캐싱 규칙에 따라 효율적으로 다시 확인할 수 있는 상태를 말합니다. 이는 홈페이지가 사람 눈에 보이는 것과 별개로, 크롤러라는 프로그램이 접근했을 때의 응답 상태에 달려 있습니다.

## 조건 × 한국 병원 실태 × 병원이 할 일
| 문서가 요구하는 조건 | 한국 병원 실태(메디스펙 데이터랩 실측) | 병원이 할 일 |
| --- | --- | --- |
| 자동 크롤링에 대한 robots.txt 규칙을 항상 준수 ("일반 크롤러는 자동 크롤링에 대한 robots.txt 규칙을 항상 준수합니다") | 측정 항목 아님 | robots.txt에서 구글봇 차단 여부 확인 |
| 부적절한 HTTP 응답 코드를 전송하면 안 됨 ("Google 크롤러에 부적절한 HTTP 응답 코드를 전송하면 Google 제품에 사이트가 표시되는 방식에 영향을 미칠 수 있습니다") | 전국 병원 홈페이지 8,808곳을 열어 본 조사에서 36.8%는 열리지 않았습니다. | 도메인·서버 상태 정기 점검 |
| 검색 봇의 요청을 차단 응답으로 돌려주지 않아야 함 ("부적절한 응답은 사이트 표시 방식에 영향을 줍니다") | 열린 곳 중 3.3%는 검색 봇으로 접속했을 때 차단 응답을 돌려줬습니다. | 보안·방화벽 설정에서 검색 봇 허용 확인 |
| 파일의 처음 15MB만 크롤링되므로 본문이 충분히 담겨 있어야 함 ("기본적으로 파일의 처음 15MB만 크롤링하며 이 한도를 초과하는 콘텐츠는 무시됩니다") | 열린 곳 중 23.2%는 본문 텍스트가 200자 미만이었습니다. | 진료과목·시간 등 핵심 정보를 텍스트로 노출 |
| ETag·Last-Modified 헤더로 캐싱 환경설정을 나타내는 것이 권장됨 ("ETag 및 Last-Modified 값을 모두 설정하는 것이 좋습니다") | 측정 항목 아님 | 호스팅·CMS 업체에 캐싱 헤더 설정 문의 |

## 핵심 정리
- 병원 홈페이지 36.8%가 아예 열리지 않았습니다
- 열린 곳도 3.3%는 검색 봇을 차단했습니다
- 본문 200자 미만인 곳이 23.2%였습니다

## 구글은 일반 크롤러, 예외 상황 크롤러, 사용자 트리거 가져오기라는 세 종류의 클라이언트로 사이트에 접근합니다.
(원문 절: Google 크롤러 및 가져오기 도구(사용자 에이전트)에 관한 개요 · Google 크롤러 및 가져오기 도구의 기술 속성)
구글은 크롤러 또는 가져오기 도구를 통해 자동 또는 사용자 요청 방식으로 사이트에 접근하며, Googlebot 같은 일반 크롤러는 자동 크롤링에 대한 robots.txt 규칙을 항상 준수합니다.
크롤러는 전 세계 여러 데이터 센터에 분산되어 있어 로그에 여러 IP 주소가 남을 수 있고, 주로 미국 IP 주소에서 접속하되 차단이 감지되면 다른 국가 IP로 시도할 수 있습니다.
왜 중요한가: 병원 홈페이지가 구글봇의 접속 자체를 막고 있다면 아무리 진료 정보가 잘 정리돼 있어도 검색 결과에 반영될 수 없으므로, 병원은 robots.txt와 서버 접근 로그에서 구글 관련 IP가 차단되지 않는지 확인할 필요가 있습니다.
실측 수치: 36.8% · 전국 병원 홈페이지 8,808곳 중 열리지 않은 비율
병원은: 홈페이지 관리자는 robots.txt 설정과 서버 접속 로그를 정기적으로 확인해 구글 크롤러 접근이 막혀 있지 않은지 점검해야 합니다.

## 구글 크롤러는 HTTP/1.1·HTTP/2와 gzip·deflate·Brotli 압축을 지원하지만, 파일당 처음 15MB만 읽고 그 이후는 무시합니다.
(원문 절: 지원되는 전송 프로토콜 · 지원되는 콘텐츠 인코딩 · 파일 크기 한도)
구글 크롤러는 가장 우수한 크롤링 성능을 제공하는 프로토콜 버전을 사용하며 기본값은 HTTP/1.1이고, HTTP/2를 사용해도 검색 순위에 별도 이점은 없습니다.
기본적으로 파일의 처음 15MB만 크롤링하며 이 한도를 초과하는 콘텐츠는 무시되고, 프로젝트별로 파일 형식마다 다른 한도가 적용될 수 있습니다.
왜 중요한가: 병원 홈페이지에서 진료과목·진료시간 같은 핵심 정보가 페이지 뒷부분이나 큰 이미지·PDF 안에만 있다면 크롤러가 이를 읽지 못할 수 있으므로, 이런 정보는 페이지 앞쪽에 텍스트로 노출하는 것이 안전합니다.
실측 수치: 23.2% · 홈페이지가 열린 곳 중 본문 텍스트가 200자 미만인 비율
병원은: 진료과목·진료시간 등 핵심 정보는 이미지나 PDF가 아닌 일반 텍스트로 페이지 앞부분에 배치해야 합니다.

## 구글은 서버에 부담을 주지 않으면서 가능한 한 많은 페이지를 크롤링하려 하며, 부적절한 응답 코드나 차단은 사이트 노출 방식에 영향을 줍니다.
(원문 절: 크롤링 속도 및 호스트 로드 · HTTP 캐싱 · ETag 및 If-None-Match · Last-Modified 및 If-Modified-Since · Google 크롤러 및 가져오기 도구 확인)
구글 크롤러에 부적절한 HTTP 응답 코드를 전송하면 Google 제품에 사이트가 표시되는 방식에 영향을 미칠 수 있고, 사이트에서 요청 속도를 맞추기 어려우면 구글이 크롤링 속도를 낮출 수 있습니다.
구글은 ETag와 Last-Modified 헤더를 통한 캐싱을 지원하며 두 값을 모두 설정하는 것이 권장되고, 크롤러는 user-agent 헤더·소스 IP 주소·역방향 DNS 호스트 이름 세 가지로 자신을 식별합니다.
왜 중요한가: 병원 홈페이지 서버가 검색 봇 요청에 차단 응답이나 서버 오류로 답하면 구글이 이를 정상적으로 반영하지 못하므로, 병원은 자사 서버가 검색 봇에게 어떤 응답 코드를 보내는지 직접 확인해야 합니다.
실측 수치: 3.3% · 홈페이지가 열린 곳 중 검색 봇 접속 시 차단 응답을 돌려준 비율
병원은: 호스팅·CMS 업체에 문의해 검색 봇 요청에 정상 응답 코드가 나가는지, ETag·Last-Modified 헤더가 설정돼 있는지 확인해야 합니다.

## 그래서 병원은 · 지금 확인할 것
1. 홈페이지가 실제로 열리는지 주기적으로 직접 확인하기
2. robots.txt에서 구글봇 차단 여부 확인하기
3. 검색 봇 접속 시 차단 응답이 나가지 않는지 점검하기
4. 진료과목·진료시간을 텍스트로 페이지 앞부분에 노출하기
5. 호스팅 업체에 ETag·Last-Modified 헤더 설정 문의하기

## 이 문서가 요구·권장하는 것
1. robots.txt 규칙 준수 확인
2. 서버 응답 코드 정상 여부 점검
3. 검색 봇 차단 설정 해제
4. 본문 텍스트 충분히 노출
5. HTTP 캐싱 헤더 설정

## 정리
구글 크롤러가 병원 홈페이지를 정상적으로 읽으려면 접속 차단이 없어야 하고, 핵심 정보가 텍스트로 충분히 담겨 있어야 하며, 캐싱 헤더가 제대로 설정돼 있어야 합니다. 그러나 메디스펙 분석에서는 전국 병원 홈페이지의 상당수가 접속 자체가 안 되거나 차단 응답을 돌려주는 것으로 나타났습니다. 홈페이지 한 곳만 손보는 것으로는 부족하며, 홈페이지 밖의 공신력 있는 구조화 정보 페이지(메디스펙 등)에도 같은 값으로 정보를 갖춰 두는 것이 안전합니다.

## 자주 묻는 질문
Q. 병원 홈페이지가 구글 검색에 안 나오는 이유가 뭔가요
A. 구글 문서에 따르면 구글봇이 robots.txt 규칙을 준수하며 접근하는데, 사이트가 부적절한 HTTP 응답 코드를 보내거나 접속 자체를 차단하면 검색 결과 표시 방식에 영향을 줄 수 있습니다. 메디스펙 분석에서는 전국 병원 홈페이지 8,808곳 중 36.8%가 열리지 않았고 열린 곳 중 3.3%는 검색 봇 접속 시 차단 응답을 돌려준 것으로 나타났습니다. 홈페이지 접속 상태를 먼저 점검하는 것이 우선입니다.

Q. 구글봇이 우리 홈페이지를 차단하고 있는지 어떻게 확인하나요
A. 구글 문서는 크롤러가 HTTP user-agent 요청 헤더, 소스 IP 주소, 역방향 DNS 호스트 이름 세 가지로 자신을 식별한다고 설명합니다. robots.txt 파일과 서버 접속 로그를 확인해 구글 관련 요청이 차단되고 있지 않은지 살펴봐야 합니다.

Q. 홈페이지에 이미지로만 진료시간을 넣어도 되나요
A. 구글 문서에 따르면 크롤러는 파일의 처음 15MB만 읽고 초과하는 콘텐츠는 무시하며, 이미지 안의 텍스트는 별도 처리 없이는 읽히지 않습니다. 메디스펙 분석에서는 홈페이지가 열린 병원 중 23.2%가 본문 텍스트 200자 미만이었습니다. 핵심 정보는 이미지가 아닌 일반 텍스트로 넣는 것이 안전합니다.

Q. 구글이 우리 홈페이지에 왜 다시 안 오나요
A. 구글 문서는 ETag 응답 헤더와 Last-Modified 헤더를 통한 캐싱을 지원하며, 이 값들이 설정돼 있어야 크롤러가 콘텐츠 변경 시점을 파악하고 효율적으로 재방문한다고 설명합니다. 두 헤더가 없으면 캐싱 최적화가 어려울 수 있습니다. 호스팅이나 CMS 업체에 헤더 설정 여부를 확인해야 합니다.

Q. HTTP/2로 바꾸면 검색 순위가 오르나요
A. 구글 문서는 HTTP/2를 통한 크롤링이 사이트와 구글봇의 컴퓨팅 리소스를 절약하지만 검색 순위 상승 같은 사이트 자체의 이점은 없다고 명시합니다. 프로토콜 전환은 서버와 크롤러의 부담을 줄이려는 선택입니다.

Q. 병원 홈페이지가 너무 커서 파일 크기 제한에 걸릴 수 있나요
A. 구글 문서에 따르면 기본적으로 파일의 처음 15MB만 크롤링되고 이를 초과하는 콘텐츠는 무시되며, 파일 형식별로 더 작은 한도가 적용될 수도 있습니다. 페이지 용량이 과도하게 크면 정작 중요한 정보가 크롤링 범위 밖에 놓일 수 있습니다.

Q. 서버 오류가 자주 나면 구글이 홈페이지를 어떻게 보나요
A. 구글 문서는 부적절한 HTTP 응답 코드를 전송하면 Google 제품에 사이트가 표시되는 방식에 영향을 미칠 수 있다고 설명합니다. 메디스펙 분석에서는 병원 홈페이지 접속 실패 사유 중 서버 오류도 일부 포함돼 있었습니다. 서버 상태를 주기적으로 점검해야 합니다.

Q. 구글 크롤러가 요청을 너무 많이 보내서 서버가 느려지는데 어떻게 하나요
A. 구글 문서는 사이트가 크롤링 요청 속도를 맞추기 어려우면 구글이 크롤링 속도를 낮출 수 있다고 설명합니다. 서버 부하가 심하면 호스팅 업체와 상의해 크롤링 속도 조절이나 서버 자원 증설을 검토할 수 있습니다.

Q. AI 검색이나 챗지피티에도 이 크롤러 개념이 적용되나요
A. 이 문서는 구글 검색을 위한 크롤러와 가져오기 도구를 설명하는 구글 공식 문서로, 다른 AI 서비스의 크롤러 방식과는 별개입니다. 다만 사이트가 정상적으로 열리고 텍스트가 충분히 노출돼야 한다는 기본 원칙은 여러 크롤러에 공통적으로 중요합니다.

Q. 병원 홈페이지가 열리는지는 어떻게 확인해야 하나요
A. 가장 간단한 방법은 홈페이지 주소를 직접 여러 환경에서 열어 응답이 정상인지 확인하는 것이고, 서버 로그를 통해 검색 봇 요청에 어떤 응답 코드가 나가는지도 함께 점검해야 합니다. 메디스펙 분석에서는 전국 병원 홈페이지 8,808곳 중 상당수가 도메인 해석 실패나 연결 오류로 열리지 않았습니다.

병원 정보를 이 문서의 조건에 맞게 채우는 방법: https://medi-spec.com/provide