Robots.txt, web sitesinin kök dizininde yer alan ve arama motoru tarayıcılarına (botlara) hangi sayfaları tarayıp tarayamayacaklarını bildiren bir metin dosyasıdır. SEO yönetimi ve site güvenliği açısından kritik bir araçtır.
Önemi ve Faydaları
- SEO Açısından:
- Arama motorlarının gereksiz sayfaları indekslemesini engelleyerek crawl budget’i optimize eder.
- Hassas veya kopya içeriklerin arama motorlarında görünmesini engeller.
- Kullanıcı Deneyimi ve Yönetim:
- Admin panelleri, özel dosyalar veya test sayfaları gibi gereksiz içeriklerin indekslenmesini önler.
- Site haritası (sitemap) yolunu robots.txt dosyası üzerinden botlara bildirebilirsiniz.
- Site Yapısı Kontrolü:
- Hangi klasörlerin ve sayfaların botlar tarafından taranacağını açıkça belirler.
- Örnek:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://turkwebonline.com/sitemap.xml
İyi Kullanım İpuçları
- Önemli sayfaları engellememeye dikkat edin
- Dosya küçük ve anlaşılır olmalı
- Sitemap URL’sini eklemek botların siteyi daha hızlı taramasına yardımcı olur
💡 Kısa Açıklaması:
“Arama motoru botlarına hangi sayfaları tarayıp tarayamayacaklarını söyleyen metin dosyası.”
Robots.txt Dosyası Nasıl Bulunur?
- Robots.txt dosyası her zaman sitenin kök dizininde bulunur.
- Tarayıcıda şu URL ile kontrol edebilirsin:
https://siteadi.com/robots.txt
- Dosya yoksa oluşturulmamış demektir; WordPress gibi CMS’lerde genellikle otomatik üretilir veya manuel eklenebilir.
Robots.txt İçindeki Temel Komutlar ve Anlamları
- User-agent:
- Hangi arama motoru botu için kuralların geçerli olduğunu belirler.
- Örnek:
User-agent: *→ Tüm botlar için geçerli
- Disallow:
- Botların taramasını istemediğiniz sayfa veya klasörleri belirtir.
- Örnek:
Disallow: /wp-admin/→/wp-admin/klasörü taranmaz
- Allow:
- Disallow ile engellenen klasör içinde taranmasına izin verilen alt sayfaları belirtir.
- Örnek:
Allow: /wp-admin/admin-ajax.php
- Sitemap:
- Site haritası URL’si, botların sitenizi daha hızlı ve doğru taramasını sağlar.
- Örnek:
Sitemap: https://turkwebonline.com/sitemap.xml
Robots.Txt İyi Kullanım İpuçları
- Önemli sayfaları yanlışlıkla engellemeyin
- Dosya küçük ve anlaşılır olmalı
- Sitemap URL’si eklemek botların sitenizi daha iyi anlamasını sağlar
