---
title: Robots.txt
description: File teks di root yang memberi tahu crawler halaman mana yang boleh dan tidak boleh dirayapi — bukan alat keamanan.
canonical: https://penasihathosting.com/wikihosting/robots-txt
type: wiki
locale: id
updated: 2026-10-29
author: Willya Randika
---

# Robots.txt

## Overview

- **Summary:** File teks di root yang memberi tahu crawler halaman mana yang boleh dan tidak boleh dirayapi — bukan alat keamanan.
- **Author:** Willya Randika ([profile](/penulis/willya-randika))

## Article

**Robots.txt** adalah file teks di root domain (`https://contoh.com/robots.txt`) yang memberi tahu crawler path mana yang boleh dan tidak boleh dirayapi. File ini bersifat publik dan tidak melindungi data — halaman yang hanya disembunyikan lewat robots.txt tetap bisa diakses siapa saja yang tahu URL-nya.

## Sintaks dasar

```text
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://contoh.com/sitemap.xml
```

- `User-agent` menentukan crawler yang dituju; `*` berarti semua.
- `Disallow` memblokir path; `Allow` membuat pengecualian.
- `Sitemap` menunjukkan lokasi sitemap.
- Urutan aturan bisa memengaruhi hasil; crawler umumnya memakai aturan paling spesifik.

## Yang biasanya diblokir

| Path | Alasan |
| --- | --- |
| `/wp-admin/` | Halaman admin, kecuali `admin-ajax.php` |
| `/cart/`, `/checkout/` | Halaman transaksi yang tidak perlu diindeks |
| `/search?` | Hasil pencarian internal |
| `/api/` | Endpoint data, bukan halaman |
| File backup atau `.env` | Bukan untuk publik, tetapi blokir di server |

## Yang perlu diperhatikan

- **Robots.txt bukan keamanan.** Untuk membatasi akses, gunakan autentikasi, permission, atau firewall.
- **Jangan blokir CSS/JS.** Crawler butuh aset itu untuk memahami halaman.
- **Hati-hati `Disallow: /`.** Satu baris salah bisa mengeluarkan seluruh situs dari indeks.
- **Cek setelah deploy.** Buka `/robots.txt` di browser dan pastikan tidak ada aturan lama dari staging.
- **Gunakan `noindex` untuk halaman tertentu.** Robots.txt mencegah crawl; `noindex` mencegah indeks. Keduanya punya fungsi berbeda.

Setelah mengubah file, uji dengan **Google Search Console → Robots.txt Tester** atau alat sejenis, lalu pastikan halaman penting masih bisa dirayapi.

Jika tujuan Anda mencegah halaman muncul di hasil pencarian, gunakan `noindex`; jika tujuan Anda membatasi akses, gunakan autentikasi. Robots.txt hanya mengatur crawl, bukan kontrol akses, dan crawler yang tidak patuh tetap bisa mengabaikannya. Uji setelah deploy dan jangan jadikan file ini pengganti password.

## FAQ

<Accordion>
  <AccordionItem title="Apakah robots.txt bisa menyembunyikan halaman dari publik?">
    Tidak. File ini hanya instruksi untuk crawler yang patuh. Halaman tetap dapat diakses langsung.
  </AccordionItem>
  <AccordionItem title="Apakah semua crawler mematuhi robots.txt?">
    Crawler besar umumnya patuh, tetapi bot spam dan scraper tidak. Jangan mengandalkannya sebagai kontrol keamanan.
  </AccordionItem>
  <AccordionItem title="Bagaimana cara memblokir satu halaman dari Google?">
    Gunakan meta `noindex` atau header `X-Robots-Tag: noindex` pada halaman tersebut, bukan hanya `Disallow`.
  </AccordionItem>
</Accordion>