robots.txt nedir?
İnternet Arama Motoru Dışlama Protokolü (Robots Dışlama Protokolü), güvenlik gerektiren içeriğin arama motorlarına sızdırılmasını önlemek için bir web sayfasının nasıl oluşturulacağını açıklayan uluslararası bir teknik standarttır. Tüm arama robotları bu standardı takip etmez, ancak genel web sitesi geliştiricileri bunu kolayca uygulayabilir, bu nedenle kullanımı yaygınlaşmaktadır.
Sunucu yöneticisi, web sayfasının HTML’sinin üst kısmına arama robotunu hariç tutmak anlamına gelen ‘File:robots.txt’, ‘User-agent: * /’ vb. yazdığında, arama robotunun arama hedefinden hariç tutulur. . gibi meta etiketleri girerek arama yapmaktan kaçınılabilir.
hepsine erişim yok
Kullanıcı aracısı: *
İzin verme: /
hepsine erişime izin ver
Kullanıcı aracısı: *
İzin verme:
Veya boş robots.txt veya robots.txt oluşturmayın
Yani robots.txt yoksa aranır ve açığa çıkar.
Bazen, robots.txt dosyasının bulunmadığı veya ticari sitelerde tüm erişime izin verildiği durumlar vardır.
Üye bilgileri veya giriş işlevi olan bir web sitesinde, aşağıda gösterildiği gibi üye bilgilerini içeren dizini engellediğinizden emin olun.
Belirli dizinlere erişimi engelle
Kullanıcı aracısı: *
İzin verme: /user/
Yalnızca belirli botların erişmesine izin verme
Kullanıcı aracısı: Googlebot
İzin vermek:
Kullanıcı aracısı: *
İzin verme: /
Trafiği tetikleyen bir bot veya şüpheli bir bot bulunursa, sadece o botu toplamamayı belirtebilirsiniz.
Kullanıcı aracısı: badBot
İzin Verme: /
