Robot | Uğur Eskici

Konum: Anasayfa » robot

4Şub/102

Google’ın Kaç Botu Var?

Matt Cuts'ın yer aldığı bir videoda google'ın kaç tane bota sahip olduğu konusunda açıklama yapıyor. Siteleri paralel metodla taradığını söyleyen Matt Cuts, sayfaları parça halinde taradığını söylüyor. Çokda önemli olmadığını ama 25 ile 1000 arası botun olduğunu ve bundan da tam emin olmadığını açıklayan Matt Cutsın videosunu sizlerle paylaşıyorum :

Etiketler: matt cuts, robot, seo Devamını oku

5Nis/091

Robots.txt Nedir? Nasıl Kullanılır?

Google web tarama botlarından sitenizde yer alan klasörlerinizi korumak istiyorsanız robots.txt dosyasını kullanmalısınız. Örneğin bir klasör (örnek olarak seo klasörü olsun) ve içerisinde yer alan tüm dosyalarınızı google botlarından bloklamak için yazmanız gereken kod :

User-agent: Googlebot
Disallow: /seo

Dosya tiplerini bloklamak için : ( Bu kod ile .gif dosyalarını indekslemesin diyoruz google botlarına)

User-agent: Googlebot
Disallow: /*.gif$

Dinamik web sayfalarını bloklamak için :

User-agent: Googlebot
Disallow: /*?

Ayrıca indexlenmesini istemediğiniz tekil sayfalar varsa metatag bölümüne aşağıdaki kodu ekleyerek botların o sayfayı indekslemesini önleyebilirsiniz :

Önemli Not : robots.txt dosyanızı sadece root klasörünüze atmalısınız. Alt klasörlere koymamalısınız! Tekil dosyalar için yukarıdaki metatagı kullanmanız faydalı olacaktır. Eğer robots.txt kullanmazsanız google botları varsayılan olarak sitenize ulaşabildiği (linklenmiş) tüm sayfa ve klasörleri indeksleyecektir.