Robots.txt Nedir? Nasıl Kullanılır?
Bir web sitesinin sayfalarını tarayan ve arşivleyen arama motoru botlarının isteğe göre web sitenizde yer alan bazı bölümlere erişimini engellemek amacıyla kullanılan robots.txt, sıklıkla kullanılan bir yöntemdir. Web sitenizdeki önemli verilerin korunmasına yardımcı olan bu yöntem, SEO çalışmalarında büyük bir titizlikle hazırlanmalıdır. Bu nedenle Robots.txt nedir, ne işe yarar ve nasıl oluşturulur gibi sorular en çok merak edilen konular arasında yer alır.
Robots.txt dosyası ile arama motoru yazılımlarındaki dizine web sitesiyle ilgili pek çok komut eklenebilir. Bu komutlar genel olarak;
- Sitenin hangi bölümlerinin dizine ekleneceği,
- Hangi dizinin arama motoru botları tarafından taranacağı,
- Hangi arama motoru yazılımının giriş izni olacağı, hangisinin engelleneceğini belirler.
Böylece arama motoru yazılımları web sitenin öncelikle robots.txt dosyasına gelir ve bu dosyadaki komutlara bağlı olarak tarama ve arşivleme gibi işlemleri gerçekleştirir. Kısacası bu dosya ile web sitesinin sınırları belirlenir ve hangi kapıların arama motoru botlarına açılacağı netleştirilir.
Robots.txt Dosyası Hazırlanırken Dikkat Edilmesi Gerekenler Nelerdir?
Robots.txt dosyasının belirli standartları bulunur. Bu nedenle dosya hazırlanırken bu standartlara uygun şekilde hareket edilmeli ve sonrasında web sitenin kök dizinine hazırlanan robots.txt dosyası yüklenmelidir. Hazırlık sürecinde özellikle üç farklı konuda dikkatli davranılmalıdır. Bunlar;
- Dosyanın web sitesinin kök dizinine yüklenmiş olması,
- Dosyanın hazırlanması esnasında UTF-8 karakter kodlamasına göre işlem yapılması,
- Dosyanın, web sitesinin URL’si ile aynı formatta olması şeklindedir.
Yukarıda belirtilen konularda herhangi bir problem yaşanması, Robots.txt dosyasının performansını olumsuz etkiler ve istenilen sonucun elde edilmesini engeller.
Robots.txt Dosyası Komutları Nelerdir?
Robots.txt dosyası komutları genel olarak grup komutları ve grup dışı komutlar olarak iki farklı sınıfta incelenir. Grup komutları kapsamında yer alan komutlar şu şekilde sıralanabilir:
- Arama motoru robotu engelleme / izin verme
- Dizin engelleme / izin verme
- Sayfa engelleme / izin verme
- Tarama gecikmesi belirtme
Grup dışı komutlar ise;
- Site haritası belirtme şeklindedir.
Grup komutlarındaki her bir unsur net ifadelerden oluşmalı ve yazım hatasına yer verilmemelidir. Aksi takdirde eklenen komutlar dikkate alınmaz. Grup dışı komutlar ise, sitemap.xml dosyasının yerini belirtmek amacıyla kullanılır. Dosyanın URL’sinin doğru şekilde yazıldığına dikkat edilmelidir. Arama motoru botları açısından çok önemli verilere sahip olan sitemap.xml dosyası, muhakkak kullanılmalıdır.
Robots.txt Ne İşe Yarar?
Robots.txt dosyası çok çeşitli amaç için kullanılır ve kullanıcılarına pek çok avantaj sağlar. Öncelikle arama motoru botlarının web sitesinin hangi bölümlerine girebileceğini ya da giremeyeceğini belirten bu dosya, aynı zamanda web sitesinin yapım, tasarım ve bakım süreçlerinde de sıklıkla kullanılır.
Ayrıca web sitesinin mevcut tasarımı değiştirilirken gerçekleştirilen çalışmalarda da robots.txt dosyasından fayda sağlanır. Çeşitli amaçlarla robots.txt dosyası düzenlendikten sonra, muhakkak web sitesinin arama motoru botlarının erişimine tekrar açılmalıdır.
Bazı web sayfaları önceden arama motoru botları tarafından taranmış ve arşivlenmiş ise, sonrasında bu sayfaların robots.txt dosyası ile erişiminin engellenmesi imkansızdır. Bu noktada sistem kullanıcılara gerekli uyarıyı yaparak onları bilgilendirir.
Robots.txt kullanımı SEO açısından da büyük önem taşır. Arama motoru sonuçlarında üst sıralarda yer almak isteyen web siteleri, robots.txt dosyası komut dizinlerini kusursuz şekilde düzenlemelidir. Eğer bu komutlarda herhangi bir hata söz konusu olursa, SEO açısından büyük sıkıntılar ortaya çıkabilir. Bu durumda arama motoru sonuçlarında web sitesinin ön sıralara yükselmesi ve daha erişilebilir hale gelmesi mümkün olmaz.
