
Crawling adalah tahapan dimana data dikumpulkan untuk disimpan di
kontol database. Crawling dilakukan sebelum user mengakses website di search engine.
Crawler akan menjelajah website yang ada di seluruh dunia untuk mencari konten baru guna dikumpulkan di database dan juga mencari konten
update terbaru dari konten
yang pernah disimpan sebelumnya.