Cara Setting Robots.txt untuk Performa SEO pada Website

Robots.txt adalah file teks di direktori root situs web yang memberi tahu bot mesin pencari halaman mana yang boleh dan tidak boleh di-crawl. Di WordPress, file ini bisa diatur lewat plugin SEO seperti Yoast SEO atau All in One SEO, atau diedit secara manual.

Apakah situs web Anda mengalami penurunan kinerja? Salah satu penyebab yang sering terabaikan adalah kondisi bot mesin pencari yang melakukan crawl semua halaman tanpa seleksi.

Masalah ini bisa terjadi karena file robots.txt di situs Anda tidak diatur dengan baik. Terutama pada situs berukuran besar, hal ini dapat menambah beban server dan membuat bot menghabiskan waktu pada halaman yang tidak penting.

Pada artikel ini, kita akan membahas apa itu robots.txt dan bagaimana cara memanfaatkannya untuk mengoptimalkan situs web Anda. Mari kita pelajari lebih lanjut!

Apa itu Robots.txt?

Sumber: Geeksforgeeks

Robots.txt adalah dokumen yang digunakan untuk memberikan instruksi kepada bot mesin pencari tentang halaman mana yang boleh atau tidak boleh mereka crawl di sebuah situs web.

Jika Anda tidak mengizinkan bot mengakses halaman yang seharusnya diindeks, konten utama yang penting untuk SEO mungkin tidak akan muncul di hasil pencarian.

Sebaliknya, jika bot diizinkan mengakses semua halaman tanpa batasan, crawl budget bisa habis terpakai pada halaman yang tidak relevan. Sehingga, pengaturan ini penting untuk mendukung performa situs.

Namun, perlu diingat bahwa ketika sebuah halaman tidak di-crawl, bukan berarti pengunjung tidak bisa mengaksesnya. Jika mereka mengetahui URL-nya, halaman tersebut tetap dapat diakses.

Oleh karena itu, tujuan utama pengaturan instruksi bukanlah untuk menjaga keamanan atau aksesibilitas halaman, melainkan untuk mengatur lalu lintas crawler agar mesin pencari fokus menjelajahi halaman yang penting di situs Anda.

Cara Kerja Robots.txt

Cara kerja robots.txt cukup sederhana: sebelum menjelajahi sebuah situs, bot mesin pencari akan membuka file /robots.txt terlebih dahulu, membaca aturan yang berlaku untuk user agent miliknya, lalu hanya melakukan crawl pada URL yang tidak diblokir.

Perlu diingat, robots.txt bersifat panduan, bukan pengaman. Bot yang tidak patuh bisa saja mengabaikannya. Selain itu, URL yang diblokir dengan Disallow tetap bisa muncul di hasil pencarian jika ada situs lain yang menautkannya. Untuk mencegah halaman terindeks, gunakan meta tag noindex dan jangan blokir halaman tersebut di robots.txt agar bot tetap bisa membaca tag-nya.

Fungsi Robots.txt

Dengan pengaturan instruksi yang baik, Anda bisa mendapatkan banyak manfaat, di antaranya:

• Mencegah crawling pada konten yang terduplikat.
• Mengurangi beban server dengan membatasi akses bot ke halaman yang tidak perlu.
• Mengatur akses halaman atau direktori untuk keperluan pengujian atau konfigurasi.
• Membatasi tampilan gambar atau video di hasil pencarian umum.

Namun, di luar manfaat tersebut, fungsi utama robots.txt adalah dampaknya terhadap optimasi di mesin pencari. Dengan teknik ini, diharapkan proses deteksi dan indeksasi oleh Googlebot terhadap konten yang dioptimasi berjalan lebih efektif.

Hasilnya, kunjungan ke situs web Anda dapat meningkat, yang pada akhirnya dapat dikonversi menjadi pembeli produk atau jasa yang Anda tawarkan.

Istilah pada Robots.txt

Sebelum kita membahas lebih lanjut tentang cara mengakses dan mengatur file ini, mari kita pahami terlebih dahulu beberapa istilah teknis yang berkaitan:

• User Agent: Nama bot (crawler) yang dituju oleh sebuah aturan, misalnya Googlebot. Tanda bintang (*) berarti aturan berlaku untuk semua bot.
• Sitemap: File yang berisi daftar semua halaman, gambar, video, atau file lainnya yang ada di situs web, yang membantu bot memahami struktur situs.
• Allow: Instruksi untuk memberikan izin kepada bot agar dapat mengakses halaman tertentu.
• Disallow: Instruksi untuk melarang bot mengakses halaman atau direktori tertentu.
• Robots.txt Allow All: memberikan akses penuh kepada bot untuk mengakses seluruh bagian situs.
• Robots.txt Disallow All: mencegah semua bot untuk mengakses seluruh bagian situs web

Cara Mengakses Robots.txt

Pada umumnya, robots.txt diletakkan di direktori root dari sebuah situs web. Di situlah mesin pencari pertama kali mencarinya saat melakukan crawling untuk membaca instruksi yang diberikan.

Untuk memeriksa atau mengakses file pengaturan instruksi dari sebuah situs web, Anda cukup menambahkan “/robots.txt” di belakang nama domain website.

Sebagai contoh, untuk situs web dengan domain example.com, Anda dapat mengakses file pengaturan instruksi melalui URL: example.com/robots.txt.

Berikut adalah contoh pengaturan instruksi pada website YouTube:

Sumber: SEMRush

Gambar tersebut menunjukkan file pengaturan instruksi dari YouTube yang mengatur area situs web yang dapat dan tidak dapat diakses oleh bot mesin pencari.

File ini menunjukkan aturan yang membatasi akses ke berbagai direktori dan fitur, seperti comment, login, signup, dan verify_age yang mengindikasikan area dengan data dinamis atau sensitif.

Selain itu, file ini mencantumkan dua URL peta situs (sitemap) yang memberikan panduan kepada bot tentang struktur situs yang dapat diindeks.

Cara Setting Robots.txt

Menambahkan pengaturan instruksi ke situs web dapat dilakukan dengan dua cara utama: mengedit file secara manual atau menggunakan plugin.

1) Secara Manual

Jika situs web Anda dibangun tanpa menggunakan platform manajemen atau membutuhkan kontrol penuh untuk menulis aturan yang lebih spesifik dan kompleks, cara manual bisa menjadi pilihan yang tepat.
Berikut langkah-langkahnya:

• Membuat file pengaturan instruksi: Buat file dengan nama robots.txt menggunakan editor teks seperti Notepad.
• Menulis instruksi Allow dan Disallow: Tulis aturan untuk menentukan halaman mana yang boleh (Allow) atau tidak boleh (Disallow) diakses oleh bot.
• Mengunggah file ke direktori root situs web: Upload file robots.txt ke direktori root situs web Anda menggunakan File Transfer Protocol (FTP) atau metode serupa.
• Memeriksa aksesibilitas file: Pastikan file dapat diakses dengan benar melalui URL. Setelah itu, cek laporan robots.txt di menu Settings pada Google Search Console untuk melihat apakah Google berhasil membaca file tersebut beserta peringatan atau error-nya.

2) Menggunakan Plugin

Sumber: Yoast SEO

Jika Anda menggunakan Content Management System (CMS) seperti WordPress, jangan khawatir! Banyak fitur tersedia yang memudahkan pembuatan file robots.txt, seperti plugin All in One SEO atau Yoast SEO.

Cara ini lebih mudah dan praktis, terutama bagi pengguna non-teknis. Berikut langkah-langkahnya:

• Menginstal plugin SEO: Instal plugin seperti All in One SEO atau Yoast SEO melalui panel admin WordPress.
• Mengedit file robots.txt: Setelah plugin terpasang, Anda dapat mengedit file robots.txt langsung dari panel admin WordPress tanpa perlu mengakses direktori server. Di Yoast SEO, buka menu Yoast SEO > Tools > File editor. Di All in One SEO, buka All in One SEO > Tools > Robots.txt Editor, lalu aktifkan opsi Enable Custom Robots.txt.
• Menyimpan dan memeriksa hasilnya: Simpan perubahan, lalu buka domainanda.com/robots.txt untuk memastikan aturan baru sudah tampil.

Perlu diketahui, WordPress secara bawaan sudah membuat robots.txt virtual. Jadi, Anda hanya perlu mengeditnya bila memang membutuhkan aturan khusus.

Contoh Robots.txt untuk WordPress

Berikut contoh isi robots.txt yang umum dipakai situs WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.contoh.com/sitemap_index.xml

Artinya, semua bot (User-agent: *) dilarang menjelajahi folder admin WordPress, kecuali file admin-ajax.php yang dibutuhkan sebagian fitur situs. Baris terakhir memberi tahu bot lokasi sitemap. Sesuaikan alamat sitemap dengan yang dibuat plugin SEO Anda.

Perbedaan Robots.txt dan Meta Tag

Keduanya digunakan untuk memberikan instruksi kepada search engine crawlers tentang cara mengakses atau memproses konten di sebuah situs web. Namun, ada perbedaan penting di antara keduanya:

• Meta Tag Robots: Instruksi ini berlaku spesifik hanya untuk halaman tempat tag tersebut berada. Meta tag robots ditempatkan di bagian <head> HTML pada halaman individu.
• Robots.txt: File ini digunakan untuk mengontrol akses crawler pada tingkat situs secara keseluruhan.

Robots.txt lebih berfokus pada mengatur akses crawler ke bagian tertentu dari situs web, sedangkan meta tag robots mengontrol pengindeksan dan perilaku crawl pada halaman individu. Dengan demikian, meskipun keduanya bertujuan mengatur perilaku crawler, robots.txt bekerja pada level situs, sedangkan meta tag robots berfungsi pada level halaman.

Kesimpulan

Pengaturan robots.txt yang baik merupakan langkah penting untuk mengoptimalkan cara mesin pencari mengakses dan mengindeks situs web Anda.

Dengan memahami cara kerja pengaturan instruksi, Anda dapat mengontrol akses bot mesin pencari ke halaman tertentu, menghemat crawl budget, dan mengarahkan perhatian mesin pencari ke konten yang relevan.

Baik melalui pengaturan manual maupun menggunakan plugin di CMS seperti WordPress, robots.txt memberi Anda fleksibilitas dalam mengelola situs.

Selain pengaturan robots.txt, ada banyak aspek teknis lain dari sebuah situs web yang membutuhkan optimasi, seperti struktur URL, pengelolaan sitemap XML, dan schema markup.

Jika Anda merasa kesulitan untuk mengoptimalkan situs web Anda agar lebih mudah ditemukan di mesin pencari, jangan khawatir! Percayakan pada layanan SEO dari Sitespirit.

Dengan keahlian teknis dan strategi SEO yang teruji, kami siap membantu meningkatkan performa dan visibilitas situs Anda. Hubungi kami sekarang untuk memulai perjalanan menuju situs web yang lebih teroptimasi!