Robots.txt Generator
Generate file robots.txt untuk mengontrol akses crawler/bot ke website Anda. Templates siap pakai untuk WordPress, WooCommerce, dan custom rules. Optimasi SEO dengan sitemap integration.
Template Siap Pakai
* = semua bot, Googlebot = hanya Google, dll.
Tidak ada path yang diblock. Klik Tambah untuk block path tertentu.
Override Disallow rules untuk path tertentu (opsional).
Opsional: Tambahkan URL sitemap untuk membantu bot menemukan halaman Anda.
Jeda waktu (dalam detik) antara request bot. Kosongkan jika tidak perlu.
Preview robots.txt
User-agent: *
Cara Menggunakan
- 1. Pilih template atau kustomisasi manual
- 2. Click "Copy" atau "Download"
- 3. Upload file
robots.txtke root directory website Anda - 4. Akses di
yoursite.com/robots.txtuntuk verifikasi
Apa itu Robots.txt?
Robots.txt adalah file teks sederhana yang ditempatkan di root directory website Anda untuk memberikan instruksi kepada web crawler (bot) tentang halaman mana yang boleh dan tidak boleh diakses.
File ini merupakan bagian penting dari SEO technical optimization dan website security.
Mengapa Robots.txt Penting?
- Kontrol Crawling: Mengontrol bot mana yang boleh mengakses website dan halaman mana yang boleh di-crawl
- Optimasi Crawl Budget: Mencegah bot membuang waktu pada halaman yang tidak penting (admin, cart, dll)
- Proteksi Konten: Melindungi konten sensitif atau duplicate content dari indexing
- Performa Server: Mengurangi beban server dengan membatasi crawling pada area tertentu
- SEO Best Practice: Membantu search engine memahami struktur website Anda dengan lebih baik
Struktur Robots.txt
User-agent
Menentukan bot/crawler mana yang akan mengikuti rules. Gunakan * untuk semua bot, atau tentukan spesifik seperti Googlebot, Bingbot, dll.
Disallow
Menentukan path/URL yang tidak boleh di-crawl. Contoh: Disallow: /admin/ akan memblock folder admin.
Allow
Override Disallow rule untuk path tertentu. Berguna jika Anda block folder tapi ingin allow file spesifik di dalamnya.
Sitemap
URL sitemap XML Anda. Membantu search engine menemukan semua halaman penting di website. Contoh: Sitemap: https://yoursite.com/sitemap.xml
Crawl-delay
Jeda waktu (detik) antara request crawler. Berguna untuk server dengan resource terbatas. Tidak semua bot support directive ini.
Contoh Robots.txt untuk WordPress
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ Allow: /wp-admin/admin-ajax.php Sitemap: https://yoursite.com/sitemap.xml
Konfigurasi ini memblock akses ke folder WordPress core, tapi allow AJAX endpoint yang dibutuhkan untuk functionality.
Best Practices
✅ DO: Block Duplicate Content
Block URL parameters yang create duplicate content seperti ?sort=, ?page=, filter pages, dll.
✅ DO: Protect Admin Areas
Selalu block /admin/, /wp-admin/, login pages, dan area sensitif lainnya.
✅ DO: Include Sitemap
Selalu tambahkan Sitemap URL untuk memudahkan search engine menemukan konten Anda.
❌ DON'T: Block Important Pages
Jangan block halaman yang ingin Anda muncul di search results. Robots.txt bukan untuk privacy!
❌ DON'T: Block CSS/JS
Google butuh akses ke CSS/JS untuk render page dengan benar. Jangan block /css/ atau /js/.
Testing Robots.txt
- Upload file
robots.txtke root directory (public_html atau www) - Akses
https://yoursite.com/robots.txtuntuk memastikan file accessible - Gunakan Google Search Console Robots.txt Tester untuk validasi
- Test dengan berbagai URL untuk memastikan rules bekerja dengan benar
Common User-Agents
| User-Agent | Description |
|---|---|
* | Semua web crawlers (wildcard) |
Googlebot | Google Search crawler |
Bingbot | Bing Search crawler |
Googlebot-Image | Google Image Search |
AhrefsBot | Ahrefs SEO tool crawler |
SemrushBot | SEMrush SEO tool crawler |
GPTBot | OpenAI ChatGPT web crawler |
FAQ
Apakah robots.txt bisa mencegah scraping?
Tidak sepenuhnya. Robots.txt adalah "gentlemen's agreement" - bot yang well-behaved akan mengikutinya, tapi bot jahat bisa mengabaikan. Untuk proteksi lebih, gunakan rate limiting, CAPTCHA, atau firewall.
Apakah robots.txt mempengaruhi ranking SEO?
Tidak secara langsung. Robots.txt tidak ranking factor, tapi bisa membantu SEO dengan optimasi crawl budget dan mencegah indexing duplicate content.
Dimana saya harus upload robots.txt?
File harus di root directory website, accessible di yoursite.com/robots.txt. Biasanya di folder public_html, www, atau htdocs.
Berapa lama perubahan robots.txt berlaku?
Search engine biasanya cache robots.txt selama 24 jam. Perubahan mungkin butuh beberapa hari untuk fully take effect saat bot re-crawl website Anda.
Kesimpulan
Robots.txt adalah tool penting untuk SEO technical optimization dan website security. Dengan generator ini, Anda bisa dengan mudah membuat robots.txt yang optimal untuk WordPress, WooCommerce, atau website custom lainnya. Gunakan template yang sudah tersedia atau customisasi sesuai kebutuhan spesifik Anda.