Dilimizde örümcek olarak bilinen Crawler, arama motorlarının web siteleriyle ilgili gerekli bilgileri toplayan bir yazılımdır. Crawler Nedir ve Çalışma Prensibi nedir sorusuna en kısa yanıt ise; bu yazılım sayesinde kullanıcı herhangi bir kelime ile arama yaptığında web sitelerine erişim sağlayarak hepsini kontrol eder, şeklinde olacaktır. Yapılan bütün analizlerin sonucunda arama sonuçlarında belirli bir sıralama yapar.

Crawler Çalışma Prensibi

Crawler ile web sitesi ziyaret edilerek buradaki bütün bilgiler örümceğin veritabanına kaydedilir. Sitedeki her bir kelime analiz edilir ve elde edilen verilerin kalitesi doğrultusunda URL bu program içerisinde belirli bir güce sahip olur. Web sitesi içerikleri arama motorlarının talepleri doğrultusunda ne kadar donanımlı ve kapsamlı olursa, o kadar güçlü bir URL ile ödüllendirilir.