Crawling adalah proses perayapan yang dilakukan oleh crawler agar situs web bisa diindeks mesin pencari.
Maka dari itu, selain memperhatikan kaidah SEO (Search Engine Optimization), Anda juga harus tahu proses crawling ini.
Mungkin Anda bertanya-tanya, apa itu crawling? Bagaimana cara kerjanya? Apa saja fungsi dan contohnya? Dan apa perbedaannya dengan web scrapping?
Untuk mendapatkan jawaban dari semua pertanyaan tersebut, Anda bisa menyimak penjelasannya di artikel ini.
Apa itu Crawling?
Secara bahasa, crawling artinya ‘merayap’. Bila diartikan secara teknis, crawling adalah proses penelusuran website atau situs dengan tools yang bernama crawler.
Tujuan crawling adalah untuk untuk mengidentifikasi suatu laman website agar mesin pencari dapat mengelompokkannya ke kategori tertentu dengan mudah.
Apabila masih bingung dengan istilah ini, bayangkan saja Anda masuk ke dalam sebuah minimarket atau swalayan.
Tentunya, barang-barang di dalam swalayan tersebut telah dikelompokkan sesuai dengan tipe atau jenisnya, sehingga pengunjung dapat menemukan barang yang mereka cari dengan mudah.
Sebelum mengelompokkan suatu barang, pastinya pekerja di toko tersebut telah memilah-milah jenis atau tipe barang-barang yang Anda.
Nah, hal tersebut juga berlaku dalam konsep crawling. Akan tetapi, proses perayapan pada sebuah situs menggunakan robot atau tools yang disebut dengan crawler atau perayap.
Fungsi Crawling
Setelah mengetahui pengertiannya, kini saatnya Anda mengetahui fungsi crawling, yaitu:
1. Mengumpulkan Informasi
Crawling memungkinkan mesin pencari untuk mengumpulkan data dari halaman-halaman web di seluruh internet.
Ini termasuk teks, gambar, tautan, dan elemen-elemen lainnya yang ditemukan di situs web.
2. Memperbarui Data:
Fungsi selanjutnya dari crawling adalah membantu mesin pencari untuk memperbarui informasi yang telah dikumpulkan sebelumnya.
Dengan terus menjelajahi web secara teratur, mesin pencari dapat memastikan bahwa data yang disajikan kepada pengguna tetap relevan dan up-to-date.
3. Menemukan Tautan Baru
Adanya perayapan ini memungkinkan mesin pencari menemukan tautan baru yang muncul di internet.
Hal ini membantu dalam memperluas indeks mesin pencari dan memungkinkan pengguna menemukan konten baru.
4. Mengidentifikasi Perubahan pada Halaman Web
Jika ada perubahan pada halaman web yang telah diindeks sebelumnya, crawling membantu mesin pencari mengidentifikasi perubahan tersebut.
Ini dapat mencakup perubahan konten, struktur situs, atau tautan.
5. Mengoptimalkan Proses Pencarian
Fungsi yang terakhir adalah membantu mesin pencari mengoptimalkan proses pencarian dengan memprioritaskan halaman-halaman web yang dianggap lebih penting atau relevan.
Jenis-Jenis Crawler
Dalam praktiknya, ada banyak crawler yang digunakan untuk melakukan perayapan. Adapun di antaranya, yaitu:
- News crawling. Jenis satu ini melakukan perayapan untuk mengidentifikasi konten-konten berita
- Social Media Crawling. Sesuai namanya, jenis ini melakukan perayapan untuk media sosial. Namun, tidak semua media sosial mengizinkan crawler untuk merayapinya
- E-mail Crawling. Perayapan ini dilakukan untuk mengidentifikasi alamat e-mail pengguna. Namun, aktivitas ini harus ada izin agar tidak melanggar privasi
- Image Crawling. Kegiatan perayapan ini diterapkan pada gambar untuk menemukan gambar yang relevan dengan pengguna
- Video Crawling. Mirip dengan sebelumnya, aktivitas perayapan ini dilakukan untuk mengindeks video
Cara Kerja Crawler
Sebelumnya, telah dijelaskan bahwa, proses crawling dilakukan oleh sebuah tools bernama crawler website. Pertanyaannya, bagaimana cara kerja crawler ini?
Pertama-tama, crawler mesin pencari akan melacak dan menelusuri website baru melalui sitemap yang ada dalam situs tersebut.
Dengan demikian, crawler dapat mengidentifikasi dan menelusuri situs baru dengan lebih mudah, cepat, dan efisien.
Sesuai dengan namanya, crawler akan melakukan perayapan terhadap situs baru. Setelah itu, ia akan melakukan pengumpulan informasi terkait situs tersebut.
Kemudian, ia akan mengindeks dan menyimpan data situs web ke dalam database mesin pencari sesuai dengan kategorinya.
Setelah melakukan pengindeksan, mesin pencari akan memunculkan situs web tersebut ke Search Engine Result Pages (SERP).
Namun, perlu dicatat bahwa crawler mungkin saja tidak menemukan situs baru Anda dalam waktu singkat.
Saat hal ini terjadi, Anda bisa meminta crawler untuk merayapi situs web dengan cara memasukkan URL (Uniform Resource Locator) website ke Google Search Console.
Perlu diingat, crawler hanya akan melakukan penelusuran kepada situs web yang bersifat publik, bukan private.
Crawler tidak akan pernah melakukan kunjungan pada situs yang tidak dapat ia akses. Hal tersebut terjadi karena crawler melakukan perayapan sesuai dengan perintah robots.txt.
Robots.txt adalah file milik situs tertentu yang memuat informasi terkait laman yang boleh dan yang tidak boleh diakses.
Contoh Crawler
Diketahui, untuk menjalankan proses perayapan, setiap mesin pencari menggunakan crawler yang berbeda-beda.
Berikut ini adalah jenis crawler dari berbagai macam mesin pencari:
- GoogleBot. Robot crawler ini Google. GoogleBot bekerja dengan cara mengumpulkan data dan mengindeksnya di mesin pencari Google
- Slurp Bot. Crawler milik Yahoo. Robot ini dapat digunakan untuk mengideks laman situs tertentu
- BingBot. Sesuai dengan namanya, crawler ini milik mesin pencari Bing yang bisa mengindeks halaman-halaman di mesin pencari Bing
- DuckDuck Bot. Bot ini merupakan web spider milik DuckDuck Go. Web spider ini mampu memberikan hasil yang sesuai tanpa melacak riwayat user
- AlexaBot. Crawler ini milik Amazon. Crawler ini digunakan untuk mengidentifikasi konten pada situs tertentu
- Baiduspider. Crawler ini milik mesin pencari Baidu, asal China. Robot ini sama seperti crawler yang lainnya, yaitu menelusuri dan mengindeks situs
- Yandex Bot. Robot crawler milik mesin pencari asal Rusia yang bernama Yandex
Perbedaan Crawling dan Web Scraping
Mungkin Anda penasaran terkait perbedaan antara crawling dengan web scraping. Pada bagian ini, kami akan menjelaskan perbedaan antara kedua istilah tersebut. Berikut penjelasannya.
1. Definisi
Crawling adalah proses penelusuran situs sebelum melakukan pengindeksan ke database mesin pencari, sedangkan web scraping adalah proses ekstraksi data situs ke format file yang baru, seperti csv.
2. Fokus dan Cakupan
Proses perayapan memiliki fokus dan cakupan yang lebih besar karena melingkupi seluruh laman pada suatu situs.
Di sisi lain, aktivitas web scraping hanya berfokus pada sekumpulan dari data spesifik situs tertentu.
3. Tujuan
Tujuan proses crawling adalah untuk menelusuri dan mengidentifikasi URL sebuah situs di mesin pencari.
Sementara itu, web scraping memiliki tujuan untuk menghasilkan data situs agar bisa dilakukan analisis lebih lanjut.
4. Output
Pada proses perayaan, output yang dapat Anda peroleh adalah daftar URL situs. Sementara itu, web scraping akan memberikan output berupa data, seperti nama produk, daftar harga, dan lain sebagainya.
Demikianlah artikel terkait crawling. Pada intinya, crawling adalah proses perayapan situs web menggunakan crawler suatu mesin pencari.
Proses ini bertujuan untuk mengidentifikasi suatu situs sebelum melakukan indeks di mesin pencari.
Jadi, agar situs web bisa diindeks dan ditampilkan di SERP, Anda harus memperhatikan proses crawling ini.
