크롤러 지정
* 또는 Googlebot처럼 규칙을 적용할 크롤러를 입력합니다.
FREE ROBOTS.TXT GENERATOR
무료 robots.txt 생성기
검색 로봇이 사이트에서 어디를 크롤링할지 정하는 표준 파일을 브라우저에서 만드세요.
입력한 규칙과 주소는 서버로 전송되거나 저장되지 않습니다.
- 1크롤러 규칙 입력
- 2내용 확인
- 3파일 적용
1 · 크롤러 규칙 입력
크롤러 규칙 만들기
크롤러별로 허용하거나 차단할 경로를 정하세요.
2 · 내용 확인
robots.txt 미리보기
왼쪽 규칙을 입력하면 파일 내용이 여기에 표시됩니다.
완성한 파일은 사이트의 최상위 주소인 /robots.txt에 UTF-8 일반 텍스트로 올리세요.
무료 ROBOTS.TXT 작성 가이드
세 단계로 크롤링 규칙을 준비하세요
회원가입이나 설치 없이 무료로 만들 수 있습니다.경로 설정
허용과 차단 경로를 추가하고 생성 결과를 확인합니다.
루트에 배치
다운로드한 파일을 사이트의 /robots.txt 주소에 공개합니다.
검색 로봇 제어
적용 전에 알아둘 핵심
크롤링 제어와 검색 제외, 보안은 서로 다른 기능입니다.
그룹별 규칙
각 User-agent 그룹에 Allow와 Disallow를 분리해 작성합니다.
구체적인 경로 우선
검색 로봇은 일반적으로 더 구체적으로 일치하는 규칙을 따릅니다.
민감 정보 보호 금지
robots.txt는 공개 파일이므로 비밀 경로나 개인정보를 숨기는 용도로 쓰지 않습니다.
FREE ROBOTS.TXT GENERATOR FAQ
robots.txt 생성기 자주 묻는 질문
무료 사용, 설치 위치와 역할을 확인하세요.1무료로 사용할 수 있나요?
네. 회원가입과 사용 횟수 제한 없이 무료로 운영되며 입력과 결과는 브라우저 안에서만 처리됩니다.
2robots.txt 파일은 어디에 올리나요?
https://example.com/robots.txt처럼 사이트 호스트의 최상위 경로에 올립니다.
3Disallow를 쓰면 검색결과에서 사라지나요?
아니요. 크롤링을 제한할 뿐 검색 제외나 개인정보 보호를 보장하지 않습니다.
4사이트맵 주소도 넣을 수 있나요?
네. 완전한 http 또는 https 사이트맵 URL을 여러 개 추가할 수 있습니다.