Sunucu ya da WAF yapay zekâ botlarını engelliyor (403 ya da doğrulama sayfası)
ai_bot_waf_blockedKısa cevap
Glimana sayfalarınızı bir YZ botunun user-agent dizesiyle çektiğinde sunucu, robots.txt bota izin verdiği hâlde içerik yerine 403 Forbidden ya da bir bot doğrulama sayfasıyla yanıt verdi. Bu, bot korumasına işaret eder (Cloudflare "Block AI Scrapers and Crawlers", bir WAF kuralı, LiteSpeed ya da Imunify bot filtreleri). Bot korumanızı kontrol edin ve doğrulanmış arama ve kullanıcı botlarına izin verin; isterseniz yalnızca eğitim botlarını engelleyin. Bu bir göstergedir: test isteğimiz sağlayıcının IP aralığından gelmez, bu yüzden bazı güvenlik duvarları gerçek bot geçebildiği hâlde onu engeller. Sunucu günlüklerinizle ya da Cloudflare analizleriyle doğrulayın.
Neden önemli
Bu sorun, sitenizin YZ asistanlarının cevaplarında kaynak olarak kullanılıp kullanılamayacağını etkiler. robots.txt tavsiye niteliğindedir; güvenlik duvarı engeli ise kesindir. Gerçek bot engellenirse sayfa hiç okunmaz ve hiçbir cevap motoru onu kaynak gösteremez. Özellikle Cloudflare'in tek tıklık YZ engeli, kategori bazında yapılandırmadığınız sürece eğitim botlarıyla birlikte arama botlarını da yakalar.
Glimana bunu nasıl tespit eder
Glimana ana sayfayı ve örnek bir sayfa grubunu her botun user agent'ıyla ister ve yanıtı normal bir çekimle karşılaştırır. Kural, bir arama ya da kullanıcı botu 403 ya da doğrulama sayfasına benzeyen bir sayfa (ana içeriği olmayan bir ara sayfa) aldığında tetiklenir. Bulgu gösterge olarak işaretlenir, çünkü istek YZ şirketinin doğrulanmış IP aralığından değil Glimana'nın sunucusundan gelir; Cloudflare'in "doğrulanmış bot" mantığı gerçek botu geçirirken bizim taklidimizi engelleyebilir. 429 bir engel değil hız sınırlamasıdır ve hiçbir zaman raporlanmaz.
Nasıl düzeltilir
- Etkilenen sayfaları Glimana'da bulun. Paneldeki YZ erişimi sayfasını açın. engellendi olarak işaretlenen bot satırları kararı gösterir (robots.txt = kesin, canlı istek = gösterge); Örnekleri göster, test edilen URL'leri ve her birinin döndürdüğü durum kodunu listeler.
-
Düzeltmeyi platformunuzda uygulayın.
- Doğrulayın. Cloudflare'de: Security › Analytics bölümünde user agent'a göre filtreleyin (ör.
OAI-SearchBot) ve uygulanan işleme bakın (block, challenge, allow). Diğer ortamlarda erişim günlüğünde user agent'ı ve durum kodunu grep ile arayın. - Kategoriye göre izin verin. Cloudflare'de YZ botları denetimini yalnızca eğitim botlarını engelleyecek şekilde ayarlayın ya da
cf.verified_bot_category in {"Search Engine Crawler" "AI Search" "AI Assistant"}kullanan bir WAF atlama (skip) kuralı yazıp engeli"AI Crawler"için bırakın. - Diğer WAF'lar. LiteSpeed/Imunify360/ModSecurity: barındırma firmanızdan arama ve kullanıcı botlarını user agent'a göre beyaz listeye almasını ya da bu botlar için bot koruma seviyesini düşürmesini isteyin.
- YZ erişimi sayfasından Yeniden test yapın.
Wordfence › Firewall › Blocking, user agent engellerini listeler; Wordfence Rate Limiting de botlara doğrulama sayfası gösterebilir. SiteGround ve WP Engine gibi barındırma firmalarının panellerinde "block AI crawlers" anahtarları vardır; bunları kapatın ya da yalnızca eğitim botlarına ayarlayın.
Shopify'ın kendi bot koruması doğrulanmış YZ arama botlarını engellemez. 403 genellikle mağazanın önüne koyduğunuz bir Cloudflare bölgesinden (zone) ya da üçüncü taraf bir güvenlik duvarı uygulamasından gelir.
botya da belirli user agent'larla eşleşen Nginx/Apache deny kurallarını, fail2ban jail'lerini ve CDN'in bot yönetimini kontrol edin. Genel user agent kuralları yerine sağlayıcıların yayımladığı IP aralıklarıyla beyaz liste oluşturmayı tercih edin (OpenAI, Anthropic ve Perplexity bunları yayımlar). - Doğrulayın. Cloudflare'de: Security › Analytics bölümünde user agent'a göre filtreleyin (ör.
-
Yayımlayın ve önbellekleri temizleyin. Sunucu ya da CDN değişikliğini uygulayın (Nginx/Apache'yi yeniden yükleyin, Cloudflare kuralını kaydedin), önbelleği boşaltın, ardından canlı yanıtı
curl -sI https://your-domain/pageile kontrol edin — orada gördüğünüz durum satırı ve başlıklar, Glimana'nın ve Googlebot'un aldığının tam olarak aynısıdır. - Glimana'da doğrulayın. YZ erişimi sayfasında Yeniden test düğmesine tıklayın ya da haftalık testi (Pazar 03:00) bekleyin. Görev, botun isteği normal sayfayı döndürdüğünde kapanır.
Düzeltme nasıl doğrulanır
Haftalık olarak ya da Yeniden test ile yeniden test edilir; görev, botun isteği normal sayfayı döndürdüğünde kapanır.