Robots.txt jadi salah satu istilah yang penting diketahui oleh para pengelola situs web. Pasalnya, istilah ini juga cukup mempengaruhi performa situs web yang dikelola selain SEO (Search Engine Optimization). Lantas, apa yang dimaksud dengan istilah ini?
Pengertian Robots.txt
Memiliki ejaan robot.txt, dasarnya Robots.txt adalah nama file yang dibuat untuk menyimpan instruksi perayapan. Jelasnya, isi file tersebut dapat membantu mesin penelusur atau crawler untuk memahami mana halaman yang harus diindeks dan sebaliknya.
Meski begitu, file ini tidak menutup akses ke suatu laman di situs web secara permanen. Jadi artinya, jika pengguna internet mengetahui URL halaman yang tidak diizinkan untuk diindeks, mereka tetap bisa mengaksesnya.
Fungsi Robots.txt
Secara sederhana, robots.txt bisa disebut sebagai file untuk mengatur boleh atau tidaknya suatu laman tampil di index. File ini bisa dipakai untuk menyembunyikan beberapa halaman yang tidak penting agar tidak ditampilkan ke results page.
Alhasil, ketika seseorang mengetikkan domain Anda di kolom kueri, laman-laman yang tidak diizinkan untuk di-indexing tidak akan tampil. Dengan begitu, orang-orang hanya akan menemukan laman yang berkualitas menurut Anda.
Selain fungsi tersebut, Robots.txt juga bisa memastikan tidak ada konten ganda yang muncul di laman pencarian. Hal ini berguna untuk menghindari adanya risiko Google menganggap situs web Anda sebagai spam.
Fungsi lainnya, file ini juga berfungsi untuk mencegah gambar atau video dalam situs muncul di pencarian.
Cara Membuat Robots.txt
Jika Anda ingin membuat sebuah file dengan format robots.txt, terdapat hal-hal penting yang harus diketahui dulu. Dalam hal ini, pertama-tama ketahui dulu istilah yang sering ada di file ini. Di antaranya adalah sebagai berikut:
● User Agent
Adalah skrip yang menunjukkan bot apa saja yang diizinkan merayapi situs web. Misalnya, crawler milik Google, bot dari laman analisis SEO seperti SEMRush, dan sebagainya. Contoh skrip user agent ialah user-agent: Googlebot.
● Allow
Merupakan instruksi yang berperan untuk mengizinkan bot mengakses suatu halaman di situs web Anda. Contoh instruksinya adalah user-agent: Google bot (baris baru) allow: /blog/.
● Disallow
Yakni instruksi yang tak mengizinkan bot untuk mengindeks halaman situs web. Dalam filenya, instruksi tersebut bertuliskan user-agent: nama bot (baris baru) disallow: /laman yang tidak diizinkan/, misalnya /wp-admin/.
● Sitemap
Adalah file berupa peta informasi tentang laman-laman di situs web Anda yang boleh dirayapi. Ini memungkinkan situs web Anda mendapatkan perayapan lebih cepat. Mengenai sitemap yang umumnya berupa file XML, contohnya seperti https://www.duckduckgo.com/sitemap.xml.
● Crawl delay
Adalah petunjuk yang meminta bot untuk menunda perayapan. Petunjuk ini memang tidak dimengerti semua bot, tetapi Yandex dan Bing bisa membacanya. Arahan ini biasa tertulis seperti berikut, user-agent: nama bot (baris baru) crawl-delay: 10.
Langkah-Langkah dalam Pembuatan Robots.txt
Bagi Anda yang ingin membuat file direksi dalam hal pengindeksan konten di situs web, simak ulasan berikut. Selain mengikuti langkah-langkah di bawah ini, disarankan untuk menerapkan beberapa tipsnya juga yang akan dibahas setelahnya:
1. Buat File dengan Nama Robot.txt
Langkah yang pertama, pastikan untuk membuat file dengan nama robot.txt. Anda bisa menggunakan teks editor seperti biasanya, contohnya adalah Notepad.
Namun, pastikan untuk tidak menggunakan pengolah kata guna memastikan tidak ada karakter acak yang ditambahkan secara otomatis. Sebab, karakter tersebut bisa mengubah format ekstensi sehingga merusak file.
Anda juga bisa mencoba mengecek file robot.txt di peramban.
2. Tambahkan Petunjuk
Langkah yang kedua, buat perintah sebagaimana kebutuhan Anda. Mulai dengan menuliskan nama-nama bot yang ingin Anda atur perayapannya hingga perizinan pada data-data yang perlu dirayapi ataupun sebaliknya.
3. Unggah File Robot.txt
Jika sudah menyimpan direksi atau petunjuk sebagaimana sudah disebutkan, Anda bisa menyimpan file tersebut. Adapun media penyimpanan yang sebaiknya digunakan adalah direktori root di website.
Jika sudah yakin tersimpan, selanjutnya hanya perlu mengunggah file ke folder situs web. Anda bisa menggunakan FTP atau “File Transfer Protokol” untuk melakukan hal ini. Setelah itu, periksa file dengan mengetikkan format nama “domain/robot.txt“ di kueri peramban.
4. Uji Robots.txt
Langkah terakhir pembuatan file robot.txt ini adalah pengujian. Anda bisa menggunakan tool verifikasi seperti Google Search Console ataupun alat lainnya.
Jika memilih tool dari Google tadi, Anda bisa login di awal ke akun situs tersebut. Selanjutnya, tentukan situs yang ingin diuji file txt-nya. Berikutnya, klik tombol “Uji Coba”, lalu perhatikan apakah file robot.txt berjalan lancar atau sebaliknya.
Jika tidak ada masalah, Anda bisa melakukan langkah kedua dan seterusnya jika ingin mengubah maupun menambah petunjuk.
Tips dalam Membuat File Robots.txt
Ada beberapa tips khusus untuk membuat file ini. Jika Anda merasa bingung, perhatikan cara pembuatan file robot.txt seperti pada ulasan di bawah ini:
1. Awali Nama File Robots.txt dengan Huruf Kecil
Dalam membuat nama file Robots.txt, hindari menuliskannya dengan huruf “R” kapital. Hal tersebut bisa menjadi penyebab file-nya error. Jelasnya, pastikan penulisan file tersebut diawali huruf kecil. Jadi, penulisan yang tepat adalah “robot.txt” bukan “Robot.txt”.
2. Gunakan Baris Baru untuk Setiap Direksi
Saat membuat petunjuk untuk bot, pastikan untuk tidak menggabung beberapa instruksi dalam satu baris:
Contohnya:
- User-agent: nama bot Disallow: /admin/ Disallow: /directory/.
Penulisan yang benar untuk instruksi ini adalah sebagai berikut:
- User-agent: namabot
- Disallow: /admin/
- Disallow: /directory/
3. Tulis Nama Bot Satu Kali dalam Beberapa Instruksi
Saat Anda membuat beberapa petunjuk untuk satu bot yang sama, dianjurkan menuliskan user agent-nya sekali saja. Meskipun pada dasarnya tidak ada masalah jika ditulis dua kali sekalipun, hal tersebut bisa dikatakan kurang efektif.
Jadi, contoh penulisan yang benar adalah:
- User-agent: Googlebot
- Disallow: /example-page
- Disallow: /example-page-2
Bukan:
- User-agent: Googlebot
- Disallow: /example-page
- User-agent: Googlebot
- Disallow: /example-page-2
4. Gunakan Karakter Pengganti untuk Memperjelas Perintah
Untuk memperjelas perintah yang Anda buat, pastikan menulis petunjuk dengan singkat. Jadi, jika ingin menutup izin akses pada beberapa konten dengan sub sama, sebaiknya tulis dengan cara berikut:
- User-agent: nama bot
- Disallow: /shoes/*?
Contoh kurang tepat:
- User-agent: nama bot
- Disallow: /shoes/vans?
- Disallow: /shoes/nike?
- Disallow: /shoes/adidas?
Meski hanya satu yang ditulis, semua URL di bawah sub subfolder /shoes/ dengan tanda tanya tidak akan diindeks bot.
5. Gunakan Tanda $ untuk Menunjukkan Akhir URL
Untuk memblokir akses bot agar tidak merayapi file gambar dengan format .jpg, Anda bisa pakai tanda $ sebagai petunjuk akhir URL. Contoh penulisan yang efektif adalah sebagai berikut:
User-agent: *
Disallow: /*.jpg$
Walaupun begitu, menggunakan skrip berikut juga tidak masalah jika jumlah fotonya sedikit. Contoh:
- User-agent: *
- Disallow: /photo-a.jpg
- Disallow: /photo-b.jpg
- Disallow: /photo-c.jpg
Hanya saja, contoh yang pertama lebih disarankan. Kendati begitu, perlu diketahui bahwa skrip pertama tidak berlaku untuk gambar dengan URL berakhir angka, seperti dog.jpg?p=32414. Jadi, Anda perlu membuat skrip model kedua sebab akhiran URL-nya pasti berbeda-beda.
Harus diketahui juga, tanda ini sebaiknya jangan gunakan tanda ini sembarangan. Sebab, hal tersebut bisa menjadi penyebab adanya masalah di situs web.
Perbedaan Robots.txt dan SEO
Sebelumnya disebutkan jika robot.txt tidak termasuk SEO. Mengapa demikian?
Terdapat beberapa alasan yang mendasari hal tersebut. Di antaranya, SEO berguna untuk membantu meningkatkan visibilitas situs web di mesin pencarian. SEO menjadi tanda-tanda yang membuat mesin penelusur bisa dengan mudah mengindeks halaman konten.
Sementara itu, robot.txt berusaha mengurangi visibilitas suatu halaman dengan mencegah crawler mengindeks halaman tersebut.
Selain dari segi fungsi, keduanya juga berbeda dalam hal bentuk. SEO dapat berupa banyak hal sebab terdiri dari berbagai kategori juga, seperti SEO teknis, SEO on-page, SEO off-page, dan sebagainya. Sementara itu, robot.txt hanya berupa file dengan isi berupa skrip perintah di dalamnya.
Sudah Paham seputar Robots.txt?
Sampai di akhir ulasan ini, bagaimana? Sudah cukup paham informasi seputar robot.txt?
Jika belum, Anda bisa membaca kembali ulasan di atas. Inti dari robot.txt adalah file yang dibuat di direktori root untuk mencegah tampilnya suatu halaman di results page.
Apabila Anda masih kesulitan memahaminya, kemudian membutuhkan orang yang ahli dalam membuatnya, jangan ragu hubungi www.jasaahliseo.com. Di laman tersebut, Anda bisa menemukan Jasa SEO Bulanan yang bisa membantu membuat file Robots.txt ataupun optimasi SEO.
Ada banyak alasan mengapa perlu penyedia jasa terpercaya untuk masalah ini. Dalam membangun website, tentu dibutuhkan skill yang mumpuni untuk membuat web tersebut jaya.
Sejalan dengan itu, ada beberapa teknik yang juga harus diperhatikan. Dengan menghubungi jasa terbaik seperti di www.jasaahliseo.com, Anda akan mendapatkan banyak keuntungan. Sehingga optimasi website berjalan dengan benar.
