Googlebot – Google axtarış sisteminin əsasını təşkil edən bir veb tarama proqramıdır (bot). Onun əsas vəzifəsi internetdəki veb səhifələri ziyarət etmək, həmin səhifələrin məzmununu toplamaq və Google-un axtarış indeksinə əlavə etməkdir. Bu prosesə “tarama” (crawling) deyilir. Googlebot internet dünyasında hərəkət edir, yeni saytları və səhifələri aşkar edir, onları skan edir və əldə etdiyi məlumatları Google-un indeksinə daxil edir.

İstifadəçilər Google-da hər hansı bir sorğu daxil etdikdə, Google həmin sorğuya ən uyğun nəticələri göstərmək üçün indeksdə saxlanan səhifələri nəzərdən keçirir. Bu nəticələri tapmaq və yeniləmək üçün isə Googlebot davamlı olaraq interneti tarayır və saytları yeniləyir.

Googlebot necə işləyir?

1. Səhifələrin tapılması (Discovering Pages): Googlebot ilk olaraq internetdəki səhifələri tapmaq üçün veb səhifələrdəki keçidlərdən (linklərdən) istifadə edir. Hər bir veb səhifədə olan linklər vasitəsilə Googlebot başqa səhifələrə daxil ola bilər. Məsələn, bir saytda yerləşdirilmiş başqa bir səhifəyə keçid varsa, Googlebot həmin keçidi izləyərək o səhifəni də aşkar edir.
2. Tarama (Crawling): Tapılan səhifələrdəki məzmun Googlebot tərəfindən taranır. Bu məzmun mətnlər, şəkillər, videolar, skriptlər və digər resurslardan ibarət ola bilər. Googlebot bu məlumatları toplamaq üçün HTTP sorğuları (requests) göndərir və səhifənin məzmununu geri alır.
3. İndeksləmə (Indexing): Toplanan məzmun Google-un axtarış indeksinə əlavə edilir. İndeks, internetdəki milyardlarla səhifənin saxlandığı böyük bir verilənlər bazasıdır. Bu indeksə əlavə edilən hər səhifə, Google axtarış nəticələrində göstərilmək üçün hazır vəziyyətdə saxlanılır. İndeksləmə zamanı Googlebot səhifənin məzmununu qiymətləndirir, onun strukturu və məzmun keyfiyyəti barədə qərar verir. Daha sonra bu səhifə Google-un istifadəçilərə təqdim etdiyi axtarış nəticələrində görünə bilər.
4. Yeniləmə (Refreshing Content): Googlebot yalnız yeni səhifələri tapmaqla kifayətlənmir. O, mövcud səhifələri də periodik olaraq ziyarət edir və dəyişiklikləri aşkar etdikdə, həmin səhifələri yenidən skan edir. Beləliklə, səhifələrdə hər hansı yeniləmə və ya dəyişiklik olduqda, bu dəyişikliklər Google axtarışında da öz əksini tapır.

Googlebot-un digər adları və terminlər

Googlebot, internetdəki digər botlarla yanaşı “bot” və ya “hörümçək” (spider) kimi adlanır. Bu terminlər, botların internetdəki veb səhifələri bir-birinə bağlı keçidlər vasitəsilə “hörümçək toru” kimi tarama prinsiplərinə işarə edir. Həmçinin, Googlebot üçün “Google spider” və ya “Google robot” terminləri də istifadə edilir.

Googlebot-un növləri

Googlebot iki əsas tipdə istifadə olunur: Googlebot masa üstü (desktop) və Googlebot mobil (mobile). Bu iki bot fərqli cihazlar üçün optimallaşdırılmış səhifələri skan edir.

• Googlebot Masaüstü: Bu bot kompüterlər üçün optimallaşdırılmış veb səhifələri tarayır. Kompüterlərdə istifadə olunan səhifələr daha geniş miqyaslı ola bilər və böyük məzmun blokları ehtiva edir. Googlebot masaüstü, bu səhifələri skan edərək kompüter istifadəçilərinə uyğun olan nəticələri təqdim edir.
• Googlebot Mobil: Mobil cihazlar üçün optimallaşdırılmış səhifələri skan edir. Mobil versiyalar daha yığcam və sürətli olmalıdır, ona görə də Googlebot mobil bu cihazlara uyğun səhifələri tapır və onları indeksə əlavə edir.

Googlebot-un məqsədi

Googlebot-un əsas məqsədi Google-un axtarış indeksini daim yeniləmək və aktual saxlamaqdır. Hər gün internetə yeni veb səhifələr əlavə edilir və mövcud səhifələr yenilənir. Googlebot bu dəyişiklikləri izləyir və indeksinə yeni məlumatları əlavə edir. Bu proses, Google-un istifadəçilərə axtarış zamanı ən uyğun və yenilənmiş məlumatları göstərməsinə kömək edir.

Məsələn, siz müəyyən bir mövzuda Google-da axtarış etdiyinizdə, Googlebot tərəfindən skan edilmiş səhifələrdən ən uyğunları indeksdən götürülərək sizə təqdim olunur. Bu indeks Google axtarış nəticələrini formalaşdırır və istifadəçilərə göstərilir.

Googlebot-un üstünlükləri:

1. Aktual məlumatlar: Googlebot interneti davamlı olaraq skan edir və dəyişiklikləri aşkar edərək Google indeksinə yeniləmələr əlavə edir. Bu, Google axtarış sisteminin hər zaman aktual məlumatlar təqdim etməsini təmin edir.
2. Sürətli skan və indeksləmə: Googlebot yeni yaradılmış və ya dəyişdirilmiş veb səhifələri tez bir zamanda aşkar edir və onları Google axtarış nəticələrində göstərilməsi üçün indeksə əlavə edir.
3. Dəqiq və uyğun nəticələr: Googlebot veb səhifələri skan edərkən səhifələrin keyfiyyətini, məzmununu və istifadəçi təcrübəsini qiymətləndirir. Bu proses nəticəsində daha yüksək keyfiyyətli səhifələr axtarış nəticələrində yuxarı sırada görünür.

Googlebot Sitemap-lardan necə istifadə edir?

Sitemap – veb saytın bütün səhifələrinin siyahısını göstərən bir fayldır. Veb sayt sahibləri sayt xəritəsi (sitemap) yaradaraq Googlebot-a saytlarının strukturunu daha yaxşı başa düşməsinə kömək edir. Googlebot, bu fayl vasitəsilə saytın səhifələrini asanlıqla tapır və onları skan edir. Siz Google Search Console vasitəsilə sayt xəritənizi Googlebot-a təqdim edərək, saytınızın səhifələrinin daha tez indekslənməsini təmin edə bilərsiniz.

Googlebot-un işləmə mexanizmi:

• HTTP Sorğuları: Googlebot bir səhifəni skan etmək istədikdə, serverə HTTP sorğusu göndərir. Əgər server bu sorğuya 200 “OK” cavabını versə, bu, səhifənin uğurla yükləndiyi anlamına gəlir və Googlebot həmin səhifəni skan edərək onun məzmununu Google-un axtarış indeksinə əlavə edir.
• Keçidlərin izlənməsi: Googlebot səhifədəki keçidləri (href və ya src ilə göstərilən) izləyərək həmin keçidlər vasitəsilə digər səhifələri tapır. Hər dəfə yeni bir keçid aşkarlandıqda, Googlebot həmin səhifəyə daxil olur və oradakı məzmunu skan edir.

Googlebot necə işləyir?

Googlebot, veb səhifələri skan edərək (tarayaraq) və indeksləyərək Google-un axtarış nəticələrində yer almaq üçün məlumatları toplayır. O, əvvəlcədən qeydiyyatdan keçmiş səhifələri bir-bir izləyir, həmin səhifələrdə olan digər keçidləri də izləyərək yeni səhifələri tapır və onları da aşkar edərək indeksə əlavə edir.

Googlebot tərəfindən tapılan hər bir veb səhifənin məzmunu, yəni mətn, şəkillər, videolar və digər mənbələr həmin bot vasitəsilə yüklənir və yaddaşa (cache) alınır. Yaddaşa əlavə olunan bu məlumatlar sonradan Googlebot-un müxtəlif versiyaları, məsələn, masaüstü, mobil cihazlar, xəbər və ya şəkillər üçün nəzərdə tutulmuş versiyalar tərəfindən istifadə olunur. Hər dəfə səhifə skan edildikdə, onun aktual olub-olmaması yoxlanılır və müvafiq olaraq Google indeksinə daxil edilir.

Googlebot-un səhifədəki keçidləri izləməsi üçün həmin keçidlər düzgün formatda – yəni href və ya src kimi HTML elementləri ilə göstərilməlidir. Bu keçidlərin skan edilməsi lazım gəldikdə, Googlebot həmin keçidə uyğun HTTP sorğusu göndərir. Serverdən səhifənin hazırkı vəziyyəti ilə bağlı cavab kodu alınır və bu cavaba əsasən səhifənin yenilənməsi və resurslarının yenidən skan edilməsi həyata keçirilir.

Əgər server Googlebot-un sorğusuna 200 “OK” cavab kodu göndərirsə, bu o deməkdir ki, səhifə uğurla yüklənib. Bu zaman səhifənin bütün məzmunu Googlebot tərəfindən skan edilir və onun indeksə əlavə olunması üçün lazımi məlumatlar toplanır. Googlebot-un göndərdiyi HTTP sorğusunda istifadəçi-agent “Googlebot” olaraq göstərilir və bu sorğu serverin log fayllarında (giriş jurnalında) qeyd olunur.

Bu prosesin hər addımı Googlebot-un internetdəki səhifələri aşkar edib yeniləməsinə, nəticədə Google axtarış nəticələrinin hər zaman dəqiq və aktual olmasına kömək edir.

Googlebot Sitemap -dan fəal şəkildə istifadə edir

Googlebot, veb səhifələri tapmaq və indeksləmək prosesində Sitemap-lardan (sayt xəritələrindən) fəal şəkildə istifadə edir. Sitemap, bir veb saytın bütün URL-lərini bir fayl şəklində təşkil edir və bu fayl, saytın strukturunu Googlebot-a asanlıqla təqdim edir. Googlebot Sitemap-dan istifadə edərək veb səhifələri daha sürətli və dəqiq bir şəkildə aşkar edir, bu da saytın Google axtarış sistemində daha tez görünməsinə kömək edir.

Siz sayt xəritənizi Google Search Console vasitəsilə Google-a təqdim edə bilərsiniz. Bu üsul, Googlebot-un saytınızdakı bütün URL-ləri tapmasını və onları indeksləməsini sürətləndirir. Sitemap Googlebot-a saytınızdakı əsas səhifələr haqqında məlumat verir, beləliklə səhifələrin kəşfi və yenilənməsi daha asan olur.

Yeniləmələrin idarə edilməsi

Əgər saytınızdakı səhifələrdə dəyişiklik və ya yeniliklər edilibsə, bu məlumatı da Sitemap vasitəsilə Googlebot-a ötürə bilərsiniz. Sayt xəritəsində hər URL üçün son yenilənmə tarixi göstərilir. Googlebot bu məlumatı istifadə edərək, həmin səhifənin yeniləndiyini və ya redaktə edildiyini anlayır və yenidən həmin səhifəni skan edir.

Məsələn, sayt xəritənizdəki bir URL son redaktə tarixində yenilənibsə, bu məlumat Googlebot-a göndərilir və bot həmin URL-i təkrar skan edərək, yeniləməni Google axtarış indeksinə əlavə edir. Beləliklə, saytınızdakı yeniliklər daha sürətli şəkildə Google axtarış nəticələrində görünə bilir.