Robots.txt Adalah: Pengertian, Fungsi, dan Cara Membuatnya

Robots.txt adalah bagian penting yang tidak boleh dilupakan ketika mengoptimasi website, sebab robots.txt akan menjadi “pintu masuk” bagi mesin pencari untuk mengakses semua konten yang ada di website milikmu.

Jika kamu membuat robots.txt secara asal-asalan, kemungkinan konten yang ada di website-mu tidak terindeks sehingga tidak bisa ditemukan oleh pengguna internet. Itulah mengapa kamu harus memahami cara membuat robots.txt, pengertian, dan juga fungsinya.

Table of Contents

Pengertian Robots.txt

Dalam konteks SEO, robots.txt disebut juga sebagai file yang berisi instruksi tertentu untuk mesin pencari. Biar lebih mudah memahami pengertian robots.txt, anggap saja file ini sebagai penunjuk jalan supaya mesin pencari tidak tersesat di website-mu.

Mengapa begitu? Karena pada dasarnya, mesin pencari menganggap semua isi dalam website penting dan perlu ditampilkan ke hasil pencarian. Namun pada prakteknya, ada beberapa isi yang tidak perlu ditampilkan.

Nah, kamu bisa mengontrol proses penelusuran isi website (crawl) oleh mesin pencari menggunakan file robots.txt. Caranya dengan memberikan sekumpulan instruksi yang dimengerti oleh mesin pencari dalam file tersebut.

Fungsi Robots.txt

Ada beberapa fungsi robots.txt yang berperan penting dalam optimasi website. Khususnya berkaitan dengan proses crawling website oleh mesin pencari. Adapun fungsi tersebut terdiri dari:

Mengendalikan Proses Crawl

Fungsi pertama dari file robots.txt adalah menunjukkan jalan ke mana robot mesin pencari harus melakukan penelusuran di website milikmu. Dengan kata lain, kamu mengontrol bagian yang boleh dan tidak boleh di-indeks.

Sebab robot mesin pencari tidak punya kemampuan untuk membedakan bagian-bagian yang perlu di-indeks. Secara default, robot ini sudah ditugaskan menelusuri semua isi website dan memasukkannya ke dalam data indeks.

Misalnya, kamu bisa memerintahkan agar robot mesin pencari tidak meng-crawl bagian direktori atau halaman yang ada di server website. Ini berarti, bagian direktori atau halaman tersebut tidak akan di-indeks supaya tidak muncul di hasil pencarian.

Melindungi Informasi Pribadi

Karena kamu dapat mengontrol proses crawling website oleh mesin pencari, berarti kamu bisa melindungi informasi pribadi yang tidak boleh diketahui oleh pengguna internet. Seperti melarang pengindeksan halaman direktori “private”, misalnya.

Mencegah Duplikasi Pengindeksan

Fungsi selanjutnya dari file robots.txt adalah mencegah terjadi duplikasi pengindeksan agar tidak ada konten ganda di hasil pencarian. Caranya dengan memberikan instruksi kepada robot mesin pencari untuk mengabaikan alamat URL yang merujuk ke konten yang sama.

Mengurangi Beban Server

Mesin pencari seperti Google, DuckDuckGo, Bing, atau Yandex mempunyai robot penelusuran masing-masing. Semua robot ini mempunyai tugas sama, yaitu menelusuri konten website yang ada di internet.

Kamu bisa memanfaatkan file robots.txt untuk membatasi jumlah robot mesin pencari yang “masuk” ke website-mu. Tujuannya agar server website tidak menerima terlalu banyak beban sehingga kinerjanya tetap optimal.

Optimalisasi Penelusuran Mesin Pencari

Jika kamu mau dan mampu, kamu bisa membantu memilihkan prioritas halaman yang akan di-crawl oleh mesin pencari sehingga prosesnya jadi lebih optimal. Nantinya robot mesin pencari tidak perlu menghabiskan banyak waktu untuk menelusuri semua halaman di website-mu.

Cara Membuat Robots.txt

Setelah mengetahui pengertian dan fungsi robots.txt, selanjutnya kamu harus belajar cara membuatnya. Jika dilihat dari formatnya, file yang satu ini memiliki format “.txt” yang ke dalam kategori dokumen. Namun proses pembuatannya berbeda dengan dokumen “.txt” biasa.

Pasalnya ada beberapa aturan yang harus dipahami terlebih dulu. Aturan-aturan ini nantinya akan menjadi instruksi yang harus diikuti oleh robot mesin pencari. Berikut adalah beberapa aturan tersebut:

User Agent: Ini adalah aturan yang menunjukkan bot mana saja yang boleh “masuk” ke website milikmu. Misalnya Googlebot milik Google atau Yandexbot milik Yandex.

Allow: Seperti namanya, aturan ini digunakan untuk memberikan izin kepada user agent untuk melakukan crawl di website-mu.

Disallow: Aturan ini berfungsi untuk menghalangi user agent melakukan crawl di website-mu.

Sitemap: Aturan yang menunjukkan lokasi dari sitemap yang ada di website kamu.

Langkah-langkah Membuat Robots.txt

Keempat aturan yang disebutkan tadi bisa kamu masukkan ke dalam file robots.txt. Supaya tidak keliru dalam penggunaannya, berikut cara membuat robots.txt yang bisa kamu ikuti:

Pertama buat file “.txt” kosong dengan software teks editor seperti Notepad di komputer. Kemudian beri nama “robots.txt”.
Setelah itu, tentukan apa saja aturan yang akan digunakan. Contohnya, kalau kamu ingin robot Google untuk menelusuri semua isi website-mu, maka gunakan aturan berikut ini:
User-agent: GoogleAllow : /Disallow: /
Simpan file tersebut, lalu buka direktori “root” yang ada pada website milikmu menggunakan File Transfer Protocol (FTP). Umumnya direktori ini terdapat di direktori utama yang menjadi tempat menyimpan semua file website.
Unggah file robots.txt yang sudah kamu buat tadi. Selesai, deh! Terakhir, cek apakah file-nya sudah terunggah dengan menggunakan url domainkamu.com/robots.txt melalui browser.

Bagi kamu yang menggunakan platform Blogger untuk membuat website, file robots.txt tidak perlu diunggah ke direktori “root”. Melainkan cukup tempelkan isi atau aturan dalam file robots.txt-nya ke bagian “Robots.txt kustom” yang ada di menu “Settings”.

Cara Mengedit Robots.txt

File robots.txt yang sudah diunggah ke website bisa kamu edit kapan saja sesuai kebutuhan. Berikut cara mengedit robots.txt di platform Blogger dan WordPress yang bisa kamu ikuti:

Cara Mengedit Robots.txt di Blogger.com

Pertama login dulu ke akun Blogger yang kamu miliki
Setelah berhasil login, klik pada menu “Settings” atau “Setelan”
Selanjutnya cari bagian “Crawlers and indexing” atau “Crawler dan pengindeksan”.
Klik di bagian “robots.txt kustom”
Terakhir edit aturan robots.txt yang ada pada bagian tersebut sesuai dengan kebutuhan.

Cara Mengedit Robots.txt di WordPress

Buka file manager yang ada di control panel website-mu.
Klik pada direktori tempat kamu menginstall WordPress-nya.
Setelah itu, cari file “robots.txt”
Untuk mengeditnya, klik kanan pada file “robots.txt” lalu pilih opsi “edit”
Silakan edit aturan yang ada di robots.txt sesuai kebutuhan.

Selain melalui file manager yang ada di control panel, kamu juga bisa menggunakan plugin bernama “robots.txt editor” untuk mengedit file robots.txt di platform WordPress. Cara ini lebih lebih mudah karena kamu tidak perlu mencari file robots.txt melalui file manager.

Cukup install plugin-nya, kalau sudah terpasang buka menu “Pengaturan”. Selanjutnya pilih opsi “Bacaan” dan cari tulisan “robots.txt” di bagian ini. Terakhir, edit isi file robots.txt sesuai kebutuhan.

Cara Upload File Robots.txt Menggunakan File Manager Cpanel

Kalau kamu penasaran bagaimana cara upload file robots.txt menggunakan file manager cpanel, silakan lakukan langkah-langkah berikut ini:

Siapkan file robots.txt yang akan diunggah
Buka cpanel hosting website-mu melalui url situskamu.com/cpanel, lalu login menggunakan username dan password.
Setelah berada di cpanel, buka menu “File Manager”
Kemudian cari folder bernama “public_html”
Buka folder tersebut dan klik opsi “Upload” yang ada di atas layar
Cari file robots.txt yang sudah disiapkan sebelumnya kemudian klik “Upload”
Selesai!

Penutup

Nah itulah dia penjelasan mengenai pengertian, fungsi, cara membuat, hingga cara mengunggah file robots.txt ke dalam website-mu. Dari penjelasan di atas, dapat disimpulkan bahwa robots.txt adalah bagian penting yang tidak dapat dipisahkan dari sebuah website.

Tanpa robots.txt, website milikmu tidak akan bisa masuk ke dalam data pengindeksan mesin pencari sehingga tidak dapat ditemukan oleh pengguna internet.

Referensi: