Sunucu otomatik ziyaretçileri engelliyor ya da doğrulama sayfası gösteriyor
ai_unknown_bots_blockedKısa cevap
Sunucunuz otomatik isteklere (YZ botları dahil) bir engel ya da doğrulama sayfasıyla yanıt veriyor. Glimana bunu nötr, tarayıcı dışı bir user agent ile gördü; yani kural bota özel değil, genel bir kuraldır. Gerçek YZ tarayıcıları doğrulama sayfalarını geçemez, bu yüzden büyük olasılıkla onlar da sayfalarınızı okuyamıyor. Barındırma firmanızın ya da CDN'inizin bot korumasını kontrol edin (Cloudflare Bot Fight Mode, LiteSpeed reCAPTCHA, Imunify360) ve doğrulanmış arama ve YZ botlarına izin verin. Bu, sunucumuzdan ölçülen bir göstergedir; sunucu günlüklerinizle doğrulayın.
Neden önemli
Bu sorun, sitenizin YZ asistanlarının cevaplarında kaynak olarak kullanılıp kullanılamayacağını etkiler. Genel bot koruması kazıyıcılara (scraper) göre ayarlanır, ancak sağlayıcının doğrulanmış listesinde olmayan meşru tarayıcılar da aynı muameleyi görür. Googlebot ve Bingbot genellikle muaftır, çünkü her WAF onları tanır; yeni YZ arama botları ise çoğu zaman tanınmaz.
Glimana bunu nasıl tespit eder
Glimana örnek bir sayfa grubunu genel, tarayıcı dışı bir user agent ile çeker ve web tarayıcısı benzeri bir çekim başarılı olurken yanıt 403 ya da bir doğrulama sayfası olduğunda tetiklenir. Bulgu bir göstergedir. Belirli bot user agent'larını test eden Sunucu ya da WAF YZ botlarını engelliyor sorunuyla karşılaştırın.
Nasıl düzeltilir
- Etkilenen sayfaları Glimana'da bulun. Paneldeki YZ erişimi sayfasını açın. engellendi olarak işaretlenen bot satırları kararı gösterir (robots.txt = kesin, canlı istek = gösterge); Örnekleri göster, test edilen URL'leri ve her birinin döndürdüğü durum kodunu listeler.
-
Düzeltmeyi platformunuzda uygulayın.
Cloudflare kullanıcıları: Bot Fight Mode'u kapatın (özelleştirilemez) ve "doğrulanmış botlara" izin verilmiş Super Bot Fight Mode ya da Bot Management kullanın. LiteSpeed barındırmalar: doğrulanmış botlar için reCAPTCHA doğrulamasının kapatılmasını isteyin. Imunify360: bot user agent'larını ya da IP aralıklarını beyaz listeye ekleyin.
Doğrudan Shopify tarafından sunulan mağazalar için geçerli değildir; mağazanın önüne koyduğunuz bir proxy ya da güvenlik duvarı varsa onu kontrol edin.
"Bilinmeyen bot" puanlarıyla,
cf.client.botile ya da boşAccept-Languagebaşlıklarıyla eşleşen WAF kurallarını gözden geçirin ve doğrulanmış arama ve YZ kategorileri için istisna ekleyin. -
Yayımlayın ve önbellekleri temizleyin. Sunucu ya da CDN değişikliğini uygulayın (Nginx/Apache'yi yeniden yükleyin, Cloudflare kuralını kaydedin), önbelleği boşaltın, ardından canlı yanıtı
curl -sI https://your-domain/pageile kontrol edin — orada gördüğünüz durum satırı ve başlıklar, Glimana'nın ve Googlebot'un aldığının tam olarak aynısıdır. - Glimana'da doğrulayın. YZ erişimi sayfasında Yeniden test düğmesine tıklayın ya da haftalık testi (Pazar 03:00) bekleyin. Görev, otomatik istekler normal sayfayı aldığında kapanır.
Düzeltme nasıl doğrulanır
Haftalık olarak ya da Yeniden test ile yeniden test edilir; görev, otomatik istekler normal sayfayı aldığında kapanır.