robots.txt alınamıyor (sunucu hatası)
robots_txt_unavailableKısa cevap
Glimana sitenizi tararken /robots.txt 5xx hatası, 429 döndürdü ya da yanıt vermedi; denetim sırasında yeniden istediğimizde de alınamadı. Google erişilemeyen robots.txt'i “tarama” diye yorumlar: bütün sitenin taranmasını durdurur, bir süre sonra da önbellekteki eski kopyaya döner. Dosyanın 200 (kuralınız yoksa 404) döndürmesini sağlayın.
Neden önemli
Google başka bir şeyi taramadan önce robots.txt'i okur. Dosya sunucu hatası verirse Google ilk 12 saat bütün siteyi engelli sayar, sonra 30 güne kadar son aldığı kopyayı kullanır ve yeniden dener. Bu sürede yeni ve güncellenen sayfalar taranmaz. 404 güvenlidir (“kural yok” demektir); 5xx, 429 ya da zaman aşımı değildir.
Glimana bunu nasıl tespit eder
Glimana her taramanın başında site kökünden /robots.txt'i ister ve durum kodunu kaydeder. Sonuç 5xx, 429 ya da bağlantı hatasıysa denetim dosyayı bir kez daha ister; sorun yalnız ikinci istek de başarısız olursa açılır, böylece anlık bir aksaklık kritik uyarı üretmez. robots.txt alınamadığı sürece Glimana “tıklama alan sayfa robots.txt ile engelli” bulgusunu da bildirmez, çünkü o hüküm sizin kurallarınızdan değil geçici engelden gelirdi.
Nasıl düzeltilir
- Glimana'da etkilenen sayfaları bulun. Sorunlar › robots.txt alınamıyor (sunucu hatası) bölümünü açın. Etkilenen her sayfa bir satırdır; Glimana'nın o sayfa için kaydettiği kanıtı (ölçülen değer, soruna yol açan öğe ya da hedef adres) görmek için satırı açın. Aynı liste Görevler altındaki görev kartında da yer alır; sayfanın Sayfalar altındaki kendi ayrıntı görünümü ise tüm sinyallerini gösterir.
-
Düzeltmeyi platformunuzda uygulayın.
https://alan-adiniz/robots.txtadresini tarayıcıda vecurl -Iile açın. Düz metin olarak200(kural istemiyorsanız404) dönmelidir. 5xx genellikle dosyanın uygulama tarafından üretildiğini ve uygulamanın hata verdiğini gösterir; botlara 403 ya da 429 dönmesi genellikle bir güvenlik duvarı ya da hız sınırı kuralından gelir.robots.txt'i bir SEO eklentisi üretiyorsa (Yoast, Rank Math, All in One SEO) o eklentideki bir PHP hatası dosyayı bozar. PHP hata kütüğüne bakın; hızlı çözüm olarak site köküne statik bir
robots.txtyükleyin, web sunucusu onu WordPress çalışmadan önce sunar. Güvenlik eklentilerinin (Wordfence, iThemes) ve barındırmanın bot korumasının/robots.txt'i hız sınırına takmadığından emin olun.Shopify robots.txt'i
robots.txt.liquidşablonundan üretir. Bu şablonu özelleştirdiyseniz bir Liquid hatası dosyayı bozabilir: Online Mağaza → Temalar → Kodu düzenle altında varsayılan şablona dönün ve kurallarınızı dikkatle yeniden ekleyin. Shopify'ın kendi dosyasında sunucu hatası nadir ve geçicidir; sürerse Shopify destekle görüşün.robots.txt'i uygulamadan değil web sunucusundan statik dosya olarak sunun (nginx
location = /robots.txt, Apache); böylece bir uygulama hatası onu düşüremez./robots.txt'i WAF doğrulamalarından ve hız sınırlarından muaf tutun (Cloudflare, Imunify, LiteSpeed). Kuralınız yoksa5xxdeğil404döndürün. -
Yayımlayın ve önbellekleri temizleyin. Kaydedip yayımlayın, ardından tarayıcının yeni sürümü göreceğinden emin olun: WordPress — önbellek eklentinizde sayfa önbelleğini temizleyin ve CDN'i boşaltın; Shopify — tema ve içerik değişiklikleri kaydedildiği anda yayına girer, ancak mağazanın önünde bir CDN varsa onu boşaltın; özel kod — dağıtımı yapın ve uç (edge) önbelleği boşaltın. Canlı HTML'in değiştiğini gizli bir pencerede ya da
curl -s https://your-domain/page | grep -i '<title\|canonical\|robots'ile kontrol edin; Glimana, web tarayıcınızın önbelleğindekini değil, sunucunun gönderdiğini okur. - Glimana'da doğrulayın. Görevi Görevler altında açıp Yaptım düğmesine tıklayın. Bir sonraki tarama robots.txt'i yeniden ister; dosya 200 ya da 404 döndüğünde görev kapanır. Search Console'un robots.txt raporu (Ayarlar › robots.txt) Google'ın dosyayı en son ne zaman başarıyla aldığını gösterir.
Düzeltme nasıl doğrulanır
Bir sonraki tarama robots.txt'i yeniden ister; dosya 200 ya da 404 döndüğünde sorun kapanır.