GENERATOR ROBOTS.TXT GRATIS

Generator robots.txt gratis

Buat file standar untuk mengarahkan crawler mesin pencari langsung di browser.

Aturan dan URL tidak diunggah atau disimpan.

  1. 1Masukkan aturan
  2. 2Periksa file
  3. 3Terbitkan file

1 · Masukkan aturan

Buat aturan crawling

Tentukan path yang diizinkan dan diblokir untuk setiap grup.

Dibuat di perangkat Anda
Grup 1
Aturan path
URL sitemap

Tambahkan URL lengkap agar mudah ditemukan crawler.

2 · Periksa file

Pratinjau robots.txt

Masukkan aturan untuk melihat file di sini.

Terbitkan file teks UTF-8 di /robots.txt.

PANDUAN ROBOTS.TXT GRATIS

Siapkan aturan dalam tiga langkah

Buat gratis tanpa akun atau instalasi.
1

Pilih crawler

Masukkan * atau nama seperti Googlebot.

2

Atur path

Tambahkan Allow dan Disallow lalu periksa hasil.

3

Terbitkan di root

Letakkan file pada URL /robots.txt situs.

KONTROL CRAWLING

Hal penting sebelum menerbitkan

Crawling, indeks, dan keamanan adalah fungsi berbeda.

Aturan per grup

Tempatkan aturan di bawah User-agent yang tepat.

Path paling spesifik

Biasanya kecocokan path paling spesifik yang diterapkan.

Jangan sembunyikan rahasia

robots.txt bersifat publik dan tidak melindungi data privat.

GENERATOR ROBOTS.TXT GRATIS FAQ

Pertanyaan generator robots.txt

Penggunaan gratis, lokasi, dan fungsi.
1Apakah generator ini gratis?

Ya. Gratis tanpa akun atau batas, dan semuanya tetap di browser.

2Di mana robots.txt diterbitkan?

Di root host, misalnya https://example.com/robots.txt.

3Apakah Disallow menghapus halaman dari pencarian?

Tidak. Ini membatasi crawling tetapi tidak menjamin penghapusan atau privasi.

4Bisakah saya menambah sitemap?

Ya. Beberapa URL http atau https lengkap dapat ditambahkan.