robots.txt Google'ın okuduğundan büyük (500 KiB)
robots_txt_too_largeKısa cevap
/robots.txt dosyanız 500 KiB'tan büyük. Google en çok 500 kibibaytlık dosyayı okur ve sonrasını yok sayar; o noktadan sonra yazılan hiçbir kural uygulanmaz. Dosyayı sınırın epey altına inecek kadar kısaltın.
Neden önemli
Çok büyük robots.txt dosyaları neredeyse her zaman otomatik üretilir: bir eklenti ya da betik adresleri veya parametreleri tek tek listeler. Google 500 KiB'ta okumayı bıraktığı için sınırın ötesinde kalan kurallar sessizce çalışmaz — genellikle sona eklenen en yeni kurallar.
Glimana bunu nasıl tespit eder
Glimana her taramanın başında site kökünden /robots.txt'i indirir ve boyutunu kaydeder. 200 dönen dosya 500 KiB'tan (512.000 bayt) büyükse kural tetiklenir. Kanıt boyutu gösterir.
Nasıl düzeltilir
- Glimana'da etkilenen sayfaları bulun. Sorunlar › robots.txt Google'ın okuduğundan büyük (500 KiB) bölümünü açın. Etkilenen her sayfa bir satırdır; Glimana'nın o sayfa için kaydettiği kanıtı (ölçülen değer, soruna yol açan öğe ya da hedef adres) görmek için satırı açın. Aynı liste Görevler altındaki görev kartında da yer alır; sayfanın Sayfalar altındaki kendi ayrıntı görünümü ise tüm sinyallerini gösterir.
-
Düzeltmeyi platformunuzda uygulayın.
Tek tek adres listelerini kalıp kurallarıyla değiştirin (
*ve$desteklenir), aynı kuralları birkaç kullanıcı aracısı için tekrarlayan grupları birleştirin ve artık olmayan bölümler için yazılmış kuralları silin. Dizinden çıkarmak istediğiniz sayfalar için robots.txt yerinenoindexkullanın.Kuralları hangi eklentinin yazdığına bakın (SEO, güvenlik ve önbellek eklentilerinin hepsi robots.txt'e ekleme yapabilir). Engellenen her adresi listeleyen seçenekleri kapatın ve yerine bölüm başına tek bir kalıp yazın.
Shopify kısa bir varsayılan dosya üretir; boyut sorunu özelleştirilmiş
robots.txt.liquid'den gelir. Her ürün ya da koleksiyon için bir kural basan döngüleri kaldırıp kalıp kuralları kullanın.robots.txt'i bir adres listesinden değil, küçük bir kalıp kümesinden üretin. Derlemenize bir boyut denetimi ekleyin; dosya bir daha birkaç kilobaytı aşamasın.
-
Yayımlayın ve önbellekleri temizleyin. Kaydedip yayımlayın, ardından tarayıcının yeni sürümü göreceğinden emin olun: WordPress — önbellek eklentinizde sayfa önbelleğini temizleyin ve CDN'i boşaltın; Shopify — tema ve içerik değişiklikleri kaydedildiği anda yayına girer, ancak mağazanın önünde bir CDN varsa onu boşaltın; özel kod — dağıtımı yapın ve uç (edge) önbelleği boşaltın. Canlı HTML'in değiştiğini gizli bir pencerede ya da
curl -s https://your-domain/page | grep -i '<title\|canonical\|robots'ile kontrol edin; Glimana, web tarayıcınızın önbelleğindekini değil, sunucunun gönderdiğini okur. - Glimana'da doğrulayın. Görevi Görevler altında açıp Yaptım düğmesine tıklayın. Bir sonraki tarama robots.txt'i yeniden ölçer; dosya 500 KiB'ın altına indiğinde görev kapanır.
Düzeltme nasıl doğrulanır
Bir sonraki tarama robots.txt'i yeniden indirir; dosya 500 KiB'ın altındaysa sorun kapanır.