Robots.txt

Robots.txt adalah file teks di root domain (https://contoh.com/robots.txt) yang memberi tahu crawler path mana yang boleh dan tidak boleh dirayapi. File ini bersifat publik dan tidak melindungi data — halaman yang hanya disembunyikan lewat robots.txt tetap bisa diakses siapa saja yang tahu URL-nya.

Sintaks dasar

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://contoh.com/sitemap.xml

• User-agent menentukan crawler yang dituju; * berarti semua.
• Disallow memblokir path; Allow membuat pengecualian.
• Sitemap menunjukkan lokasi sitemap.
• Urutan aturan bisa memengaruhi hasil; crawler umumnya memakai aturan paling spesifik.

Yang biasanya diblokir

Yang perlu diperhatikan

• Robots.txt bukan keamanan. Untuk membatasi akses, gunakan autentikasi, permission, atau firewall.
• Jangan blokir CSS/JS. Crawler butuh aset itu untuk memahami halaman.
• Hati-hati Disallow: /. Satu baris salah bisa mengeluarkan seluruh situs dari indeks.
• Cek setelah deploy. Buka /robots.txt di browser dan pastikan tidak ada aturan lama dari staging.
• Gunakan noindex untuk halaman tertentu. Robots.txt mencegah crawl; noindex mencegah indeks. Keduanya punya fungsi berbeda.

Setelah mengubah file, uji dengan Google Search Console → Robots.txt Tester atau alat sejenis, lalu pastikan halaman penting masih bisa dirayapi.

Jika tujuan Anda mencegah halaman muncul di hasil pencarian, gunakan noindex; jika tujuan Anda membatasi akses, gunakan autentikasi. Robots.txt hanya mengatur crawl, bukan kontrol akses, dan crawler yang tidak patuh tetap bisa mengabaikannya. Uji setelah deploy dan jangan jadikan file ini pengganti password.

FAQ