robots.txt yapay zekâ arama botlarını engelliyor
ai_search_bot_blockedKısa cevap
robots.txt dosyanızda bir Disallow kuralı var ve bu kural bir ya da daha fazla YZ arama ya da kullanıcı botuna uygulanıyor: OAI-SearchBot (ChatGPT araması), Claude-SearchBot, PerplexityBot, DuckAssistBot ya da ChatGPT-User ve Claude-User gibi kullanıcı tetiklemeli botlar. Bu botlar, cevaplarda kaynak göstermek için sayfalarınızı okur; bir sayfayı okuyamazlarsa onu kaynak olarak gösteremezler. Bu botlar için Disallow kuralını kaldırın. Yalnızca içeriğinizi YZ eğitiminin dışında tutmak istiyorsanız bunun yerine eğitim botlarını (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot) engelleyin ve YZ görünürlüğü tercihinizi "Cevaplarda görün, eğitimi engelle" olarak ayarlayın.
Neden önemli
Bu sorun, sitenizin YZ asistanlarının cevaplarında kaynak olarak kullanılıp kullanılamayacağını etkiler. Araştırma tipi sorguların giderek artan bir bölümü artık birkaç kaynak gösteren bir sohbet cevabıyla sonuçlanıyor; arama botları engellenmiş bir site, Google'da ne kadar iyi sıralanırsa sıralansın orada görünmez. Pek çok site bu botları, arama ve kullanıcı botları eğitim botlarından ayrılmadan önce, 2023'te "tüm YZ'yi engelle" türünden bir robots.txt parçacığını kopyalayarak engelledi.
Glimana bunu nasıl tespit eder
Glimana robots.txt dosyanızı ayrıştırır ve her botun user agent'ı için kuralları, botun yapacağı şekilde grup grup değerlendirir (belirli bir grup eşleşmediğinde User-agent: * bloğu uygulanır). Kural, herhangi bir arama ya da kullanıcı botu / yolundan ya da örneklenen sayfalardan engellendiğinde tetiklenir; robots.txt belirleyici bir sinyal olduğu için bulgu kesindir. YZ erişimi sayfası her botu kararıyla birlikte listeler; kuralın şiddeti YZ görünürlüğü tercihinize göre belirlenir (cevaplarda görünmek istiyorsanız yüksek, fark etmiyorsa bilgi, tüm YZ botlarını engellemeyi seçtiyseniz raporlanmaz).
Nasıl düzeltilir
- Etkilenen sayfaları Glimana'da bulun. Paneldeki YZ erişimi sayfasını açın. engellendi olarak işaretlenen bot satırları kararı gösterir (robots.txt = kesin, canlı istek = gösterge); Örnekleri göster, test edilen URL'leri ve her birinin döndürdüğü durum kodunu listeler.
-
Düzeltmeyi platformunuzda uygulayın.
robots.txt'yi açın ve user-agent gruplarına bakın. Buna üç yapı yol açar:
# 1. A blanket block that also catches search bots User-agent: * Disallow: / # 2. The search bot named explicitly User-agent: OAI-SearchBot Disallow: / # 3. A "block AI" list that mixes training and search bots User-agent: GPTBot User-agent: OAI-SearchBot User-agent: ChatGPT-User Disallow: /Engellemek istiyorsanız eğitim botlarını kendi gruplarında tutun, arama/kullanıcı botlarının geçmesine izin verin:
User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: CCBot Disallow: / User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot Allow: /Web kökünde fiziksel bir dosya yoksa robots.txt sanaldır. SEO eklentinizden düzenleyin (Yoast: Tools › File editor; Rank Math: General Settings › Edit robots.txt) ya da fiziksel bir dosya yükleyin. Bazı güvenlik eklentileri (Wordfence, All In One Security) ve barındırma firmaları (SiteGround, WP Engine) YZ botu engelleri ekler; onların ayarlarını da kontrol edin.
Shopify robots.txt dosyasını
templates/robots.txt.liquidşablonundan üretir. Bunu tema kod düzenleyicisinde düzenleyin; arama botlarını engelleyen grubu kaldırın. Shopify'ın kendi varsayılan ayarının bazı botları yalnızca sepet/ödeme yollarında engellediğini unutmayın; bu sorun değildir.Statik dosyayı ya da onu sunan rotayı düzenleyin; her user agent için ilk eşleşen grubun geçerli olduğunu unutmayın, yani belirli bir
User-agent: OAI-SearchBotgrubu*grubunu geçersiz kılar. Dağıtın, ardındancurl https://example.com/robots.txtile doğrulayın. -
Yayımlayın ve önbellekleri temizleyin. Dosyayı kaydedin, ardından CDN'de
/robots.txtdosyasını (ve sitemap URL'lerinizi) boşaltın: Cloudflare ve çoğu CDN bunları bir güne kadar önbellekte tutar. Canlı dosyanın değişikliği gösterdiğinicurl -s https://your-domain/robots.txtile doğrulayın. - Glimana'da doğrulayın. YZ erişimi sayfasında Yeniden test düğmesine tıklayın ya da haftalık testi (Pazar 03:00) bekleyin. Görev, hiçbir arama ya da kullanıcı botu engellenmediğinde kapanır.
Düzeltme nasıl doğrulanır
Glimana bir sonraki haftalık çalıştırmada ya da YZ erişimi sayfasında Yeniden test'e tıkladığınızda yeniden test eder; görev, hiçbir arama ya da kullanıcı botu engellenmediğinde kapanır.
SSS
GPTBot'u engelledim. Bu, ChatGPT'nin beni kaynak göstermesini engeller mi?
Hayır. GPTBot, OpenAI'ın eğitim tarayıcısıdır; ChatGPT araması OAI-SearchBot ve ChatGPT-User'ı kullanır. Yalnızca GPTBot'u engellemek sizi eğitim verisinin dışında tutar, kaynak gösterilebilir olmanızı ise korur.
Bu kural neden kullanıcı botlarından da bahsediyor?
Kullanıcı botları (ChatGPT-User, Claude-User, Perplexity-User), bir kişi sohbette bir sayfa hakkında soru sorduğunda o sayfayı çeker. Onlar için daha önce var olan ayrı kural bununla birleştirildi, çünkü düzeltme de etki de aynıdır.