Google'ın web arama botu Googlebot, web sitenizi tararken birçok kıstası baz alarak bu işlemleri gerçekleştirir. Bu faktörlerden birisi de robots.txt dosyasıdır. Yani bu dosyanın içerisine indekslenmesini istemediğiniz dosya uzantılarını veya mevcut sitemap dosyanızın bağlantısını ekleyebilirsiniz. Dolayısı ile doğru bir şekilde yapılandırılmamış bir robots.txt dosyası, web sitenizin sağlıklı olarak indekslenmemesini beraberinde getirebilir. Yani robots.txt'in tam olarak nasıl çalıştığını bilmemiz önem arz etmektedir.

• AYRICA: Robots.txt Nedir? Nasıl Oluşturulur?

Peki Blogger'da bu dosya nasıl yapılandırılmalıdır? Bildiğiniz gibi Blogger'da da bu dosya mevcut ve varsayılan olarak birtakım tanımlamalara sahip. Dolayısı ile şunu belirtmek isterim ki, eğer engellemeyi düşündüğünüz bir dosya veya bir klasör mevcut değil ise, bu dosyayı hiç değiştirmeyin. Yani ilgili dosyanın aşağıdaki gibi, varsayılan özellikleri ile kalmasına izin verin.

Blogger Robots.txt Dosyası Örneği

Belirtildiği gibi, ilgili dosyanın farklı veya yanlış yapılandırılması, olası hataları beraberinde getirebilir. Ve Blogger'daki varsayılan hâli en doğru yapılandırma tanımlamalarına sahiptir. Yani ilgili dosyanın içeriğinin varsayılan olarak kalmasına dikkat ediniz. Ayrıca düzenli olarak Google Search Console kullanarak olası robots.txt hataları veya problemlerini de kontrol etmeniz faydalı olacaktır.