개발자 유틸
robots.txt 생성기
검색엔진 크롤러 규칙을 위한 robots.txt 파일 내용을 생성합니다.
robots.txt 생성
크롤러 허용, 차단, sitemap, crawl-delay 규칙을 만듭니다.
robots.txt는 권고 규칙입니다. 검색엔진마다 크롤러 규칙 처리 방식이 다를 수 있습니다.
User-agent: * Allow: /
robots.txt 생성기란?
robots.txt 파일에 넣을 크롤러 지시문을 생성합니다.
robots.txt 생성기란?
robots.txt 생성기는 user-agent 규칙, Allow/Disallow 경로, 선택적 crawl-delay, sitemap 선언을 위한 텍스트를 만듭니다.
사용 방법
- 전체 허용, 전체 차단, 사용자 지정 규칙 중 하나를 선택합니다.
- 사용자 지정 규칙이면 user-agent와 경로를 입력합니다.
- 필요하면 sitemap URL을 추가합니다.
- robots.txt 내용을 복사하거나 다운로드합니다.
주의사항
robots.txt는 비공개 콘텐츠를 보호하지 않습니다. 실제 접근 제어는 인증이나 서버 규칙으로 처리하세요.
FAQ
Allow: /이면 전체 사이트가 색인되나요?
크롤링 허용 신호일 뿐이며 실제 색인은 검색엔진 판단에 따릅니다.
여러 경로를 넣을 수 있나요?
네. 경로를 한 줄에 하나씩 입력하세요.
생성한 파일이 자동으로 설치되나요?
아니요. 생성된 내용을 복사하거나 다운로드해서 직접 배포해야 합니다.
관련 도구
4 도구