Di Google Search Console (GSC), Anda mungkin menemukan istilah crawled – currently not indexed, yang artinya halaman dirayapi tetapi tidak diindeks. Jika dimaknai secara sederhana, status tersebut mungkin dapat dipahami secara cepat. Namun, terkadang tak sedikit pengelola website pemula merasa khawatir berlebihan bahkan panik karena hal tersebut.
Jika Anda mengalami situasi seperti di atas, pastikan tidak melewatkan informasi berikut untuk menjawab kekhawatiran yang dirasakan. Mulai dari pengertian lebih lanjut mengenai “dirayapi – saat ini tidak diindeks” hingga cara mengatasinya telah kami rangkum di bawah. Yuk, pelajari lebih banyak mengenai istilah dalam pengindeksan ini!
Apa Artinya Crawled – Currently not Indexed?
Crawled – currently not indexed adalah salah satu istilah yang tak jarang ditemukan di tab “Penyusunan indeks” menu “Halaman” platform GSC. Ini merupakan salah satu alasan kenapa Google tidak melakukan indexing terhadap sejumlah konten website Anda.
Sebagai informasi, indexing sendiri adalah langkah setelah crawling yang bertujuan untuk mengangkat suatu halaman konten ke permukaan SERP. Tanpa pengindeksan, seberapa besar usaha Anda untuk mengembangkan website akan sia-sia karena konten tidak mendapatkan visibilitas sama sekali. Jelasnya, konten tidak bisa ditemukan di halaman hasil penelusuran Google.
Perlu diketahui, pengindeksan sendiri umumnya bisa dilakukan Google tak lama setelah proses crawled. Namun, rentang waktu pastinya bervariasi tergantung pada sejumlah faktor. Sejumlah situs dapat diindeks Google setelah beberapa jam update konten, sementara yang lainnya mungkin perlu waktu berbulan-bulan.
Penyebab Crawled – Currently not Indexed pada URL
Sebagai informasi, Google pada dasarnya tidak menyebutkan secara langsung apa penyebab suatu halaman tidak terindeks meskipun sudah di-crawl. Namun, banyak pakar SEO telah melakukan analisis dan perbaikan sehingga bisa menyimpulkan sedikit banyak alasan masalah tadi. Berikut diantara masalah paling sering ditemui yang bisa menyebabkan crawled – currently not indexed:
1. Konten Tidak Sah
Konten yang dianggap tidak sah atau meragukan seringkali jadi faktor utama penyebab halaman situs Anda gagal diindeks. Terlebih setelah Google menerapkan panduan EAT (Expertise, Authoritativeness, dan Trustworthiness) yang kemudian menjadi EEAT dengan tambahan kualifikasi “Experience”.
Sejalan dengan konsep tersebut, istilah “dirayapi – saat ini tidak diindeks” biasanya muncul di halaman yang tidak mengandung informasi bermanfaat. Begitu juga dengan konten yang tidak jelas siapa pembuatnya ataupun dari mana sumbernya.
2. SEO Teknikal Bermasalah
Alasan selanjutnya adalah terdapat masalah terkait SEO teknikal website Anda. Untuk diketahui, masalah umum yang biasanya jadi penyebab crawled tapi not indexed adalah struktur yang berantakan. Alhasil, Google tidak bisa membaca dan menerima dengan baik informasi yang terdapat di suatu situs.
Selain itu, hal ini juga bisa terjadi karena adanya setting robot.txt yang memblokir halaman tersebut. Entah karena tidak disengaja, entah Anda lupa pernah melakukannya. Tak jarang juga, masalah ini terjadi karena pengalihan halaman yang belum sukses.
3. Kredibilitas Situs Diragukan
Penyebab lain di-crawl saat ini belum diindeks ialah kredibilitas situs yang masih diragukan Google. Kasus ini biasanya terjadi pada blog-blog yang baru dibuat, minim jumlah konten, ataupun belum memberikan informasi jelas tentang manfaat keberadaannya.
Di samping itu, suatu situs juga tidak jarang dianggap kurang meyakinkan karena membagikan konten yang tak sesuai pedoman. Baik itu informasi yang mengandung ujaran kebencian, sara, termasuk kategori hoaks, upaya penipuan, maupun tipe konten lain yang bersifat menyesatkan.
4. Server Website Down
Pemilik situs biasanya tak mudah menyadari bahwa alasan halaman tidak terindeks tetapi sudah dirayapi adalah server yang down. Hal ini lantaran kasus gagal indexing bisa segera diatasi beberapa waktu kemudian. Terlebih jika Anda sudah tau cara mengatasi crawled – currently not indexed.
Bagi Anda yang baru mempelajari perayapan dan pengindeksan, sebaiknya tidak lantas panik ketika mendapati masalah konten belum diindeks. Sebab jika bukan ketiga poin di atas, penyebabnya bisa jadi hanya karena server website sedang bermasalah.
5. Pembaruan Algoritma
Bersamaan dengan pembaruan algoritma, bukan tidak mungkin prioritas pengindeksan juga berubah. Oleh karena itu, situs-situs yang sebelumnya cepat masuk halaman hasil penelusuran juga mungkin mengalami masalah ini.
Terlebih lagi, kini telah hadir fitur AI Generatif atau Search Generative Experience (SGE) yang menjadikan persaingan di Google makin kompetitif. Fitur tersebut memiliki metode pengindeksan tersendiri sehingga hasil yang ditampilkannya juga kerap tidak sesuai dengan urutan konten di SERP.
6. Website Melanggar Pedoman
Sejumlah halaman website yang tidak diindeks juga bisa terjadi karena website Anda melanggar pedoman Google. Contohnya, situs terdeteksi menggunakan metode SEO black hat, membagikan informasi yang bisa menyesatkan audiens, dan sebagainya.
Selain pelanggaran pada pedoman yang sudah ditetapkan sejak lama, kasus ini dapat terjadi ketika Google menerapkan aturan baru. Misalnya, pada pembaruan mengenai kualifikasi konten berkualitas.
7. Persaingan Keyword Terlalu Ketat
Indexing pada halaman konten Anda juga bisa gagal disebabkan terlalu ketatnya persaingan kata kunci yang digunakan. Seperti diketahui, makin tinggi tingkat kompetisi keyword maka besar kemungkinan sebagian konten tidak bisa dimunculkan di halaman hasil penelusuran.
Dalam hal ini, artikel Anda yang tidak bisa diindeks Google boleh jadi kalah saing oleh konten milik kompetitor. Adapun penyebab kalah saingnya bisa dikarenakan kualitas, kredibilitas, ataupun prioritas pengindeksan lainnya.
Cara Mengatasi Crawled – Currently not Indexed
Jika halaman pengindeksan di akun GSC Anda menampilkan istilah “dirayapi – saat ini tidak diindeks”, pastikan untuk segera menyelesaikan masalahnya. Pasalnya, makin lama dibiarkan boleh jadi berimbas pada konten-konten lain sehingga menimbulkan banyak halaman yang tidak terindeks.
Adapun cara yang bisa dilakukan untuk mengatasi problem halaman tidak terindeks tapi sudah di-crawl adalah sebagai berikut:
1. Ikuti Setiap Panduan yang Sudah Ditetapkan Google untuk Meningkatkan Kredibilitas Situs
Pertama-tama, pastikan halaman website Anda sudah memenuhi pedoman Google secara keseluruhan. Mulai dari SEO on-page, off-page, hingga technical SEO.
Hindari mencoba apalagi sampai menerapkan metode yang bisa merusak ekosistem mesin penelusuran. Termasuk menghadirkan konten mirip-mirip hanya untuk meningkatkan jumlah halaman di situs web Anda.
2. Pastikan Konten Berkualitas dan Memenuhi Kualifikasi EEAT
Untuk memperbaiki status halaman sehingga bisa muncul di SERP, coba revisi sesuai dengan kebutuhan. Informasi mengenai konten mana saja yang perlu diperbaiki dapat Anda lihat di halaman pengindeksan.
Tepatnya setelah klik “crawled – currently not indexed” di area penyebab halaman tidak terindeks. Pastikan konten tidak hanya valuable, tetapi juga jelas sumbernya dan bisa dipertanggungjawabkan.
3. Publikasi Konten Fresh dan Bermanfaat secara Berkala
Selain merevisi konten yang ada, pastikan untuk aktif mempublikasikan informasi terbaru. Guna menambah peluang indexing lebih cepat, pastikan konten yang dihadirkan sesuai dengan niche situs.
Di samping itu, Anda juga bisa menghadirkan info unik yang cukup tinggi volume pencariannya tetapi tidak banyak kompetitor yang menghadirkannya. Selain itu, pastikan konten menghadirkan informasi yang tidak hanya berbobot tetapi juga maksimal.
4. Hindari Duplikat Halaman
Suatu halaman mungkin mengalami kesulitan pengindeksan karena adanya duplikasi. Entah karena ketidaksengajaan mengunggah konten sama atau hanya mirip, penggantian URL padahal yang sebelumnya sudah terindeks, entah hal lainnya.
Jika alasan ini yang menjadi penyebabnya, Anda perlu membatalkan publikasi konten baru terlebih dulu. Selanjutnya, bersiap untuk membuat pengalihan URL lama ke URL baru dan publikasikan kembali konten tersebut.
5. Perbaiki Struktur Konten dan Internal Linking
Struktur konten yang tidak rapi sering kali membuat bot pengindeks halaman kesulitan membaca isi konten keseluruhan. Oleh karenanya, pastikan tiap halaman di website Anda dibuat dengan format terstruktur.
Dalam poin ini, pastikan tidak hanya memperbaiki hierarki judul dan subjudul. Anda juga bisa menghadirkan breadcrumb, internal link, list of content, dan sebagainya.
6. Gunakan Robot.txt Default
Barangkali Anda pernah membuat setting pemblokiran suatu halaman sehingga catatan crawled – currently not indexed muncul di laporan GSC. Untuk mengatasinya, Anda bisa memeriksa pengaturan izin pengindeksan halaman tersebut terlebih dulu.
Namun, jika tidak ada tag no-index di pengaturan yang terdapat di halaman konten, coba periksa pengaturan robot.txt. Kemudian, kembalikan pengaturannya ke default jika halaman yang dimaksud ditemukan dengan tag no-index.
7. Hapus Plugin Sitemap yang Tidak Diperlukan
Beberapa kasus halaman tidak diindeks terjadi karena adanya sitemap ganda dalam satu website. Meskipun sebagian ahli SEO tidak mempermasalahkan adanya sitemap lebih dari satu, asalkan isinya berbeda, sebaiknya hal tersebut dihindari.
Guna memastikan sitemap tetap satu, gunakan plugin terbaik yang bisa menampung banyak URL konten, seperti Yoast, Rank Math, dan Jetpack. Hindari menggunakan lebih dari satu plugin guna meminimalkan risiko gagal indexing.
8. Inspeksi URL
Jika halaman yang belum diindeks terhitung sedikit, salah satu langkah paling mudah dilakukan adalah melakukan inspeksi URL. Cara ini bisa dimulai dengan mencatat halaman mana saja yang tidak diindeks.
Selanjutnya, kirimkan permintaan inspeksi URL di menu “URL Inspection” pada link halaman-halaman tercatat. Terakhir, klik “REQUEST INDEXING” dan tunggu ± 24 jam untuk melihat apakah halaman tersebut sudah berhasil terindeks atau belum.
9. Validasi Perbaikan
Jika merasa situs sudah cukup kredibel, tetapi tiba-tiba beberapa konten tidak diindeks, Anda sebaiknya menggunakan alat analisis terlebih dulu. Periksa apakah faktor penyebabnya ada di bagian konten atau masalah teknis.
Untuk memeriksa kualitas konten, misalnya, Anda bisa menggunakan Google Analytics, Ahrefs, BuzzSumo, SEMRush, dan sebagainya. Apabila sudah ditemukan masalahnya, segera perbaiki dan atasi dengan klik “Validasi Perbaikan” di halaman “all known pages”.
Pentingnya Mengetahui Arti Status Crawled – Currently not Indexed!
Mengetahui arti status crawled – currently not indexed penting untuk mengevaluasi kemajuan situs secara menyeluruh. Seperti telah disinggung di atas, status ini menunjukkan bahwa halaman Anda sudah dirayapi Google, tetapi belum diindeks.
Secara gamblang, bisa dikatakan bahwa hal tersebut bisa menjadi indikasi adanya kendala pada halaman, entah dari segi kualitas situs atau relevansi konten. Jika dibiarkan, hal ini dapat memperlambat perkembangan situs dan menghambat peningkatan visibilitas organik.
Dalam proses membangun situs yang sehat sendiri, setiap halaman idealnya mampu tampil di hasil pencarian. Dengan demikian, status ini perlu ditangani sebagai langkah mengatasi hambatan kemajuan situs sekaligus bagian dari strategi optimasi berkelanjutan.
Kesulitan memperbaiki status halaman crawled – currently not indexed? Jangan ragu menghubungi ahli di bidang optimasi website, seperti Jasa Ahli SEO.
Selain dapat memperbaiki halaman yang gagal terindeks, tim SEO kami juga mampu mengurangi risiko serupa di masa mendatang. Ini lantaran kami menerapkan teknik SEO yang sesuai dengan panduan yang ditetapkan dan selalu update algoritma Google terbaru.
