Popüler Aramalar:  TLS Nedir?  MyBB SSL Ayarları  MyBB 1.8 Linkleri Gizleme Eklentisi  Wordpress LiteSpeed Cache Ayarları  Wordpress Eklentisiz Breadcrumb  Yandex Webmaster
WordPress’de Robots.txt Dosyası Nasıl Olmalıdır?

WordPress’de Robots.txt Dosyası Nasıl Olmalıdır?

Bugün İnternet sitelerini dolaşırken sıkça takip ettiğim, blog yazılarını okumaya çalıştığım bir seo ustası olan Neil Patel tarafından yazılan bir blog yazısına denk geldim. Bu blog yazısının ana konusu unutulan robots.txt teknolojisi ile alakalı idi.

Yazısında bir robots.txt dosyası nasıl olmalıdır, neden kullanılmalıdır gibi birçok soruya kendi tecrübelerine dayanarak çıkarımlarda bulunmuş ve robots.txt kullanmayan bir sitenin bir parçasının eksik kaldığının, yarım kaldığına dikkat çekmiş. (Neil Patel’in blog yazısı)

Ben de bu yazıdan ilham alarak, WordPress kullanıcıları için kendimin kullandığı robots.txt dosyasını paylaşacağım. Robots.txt dosyasında kullandığım kodları ne amaçla kullandığımı, ne işe yaradığını elimden geldiğince açıklamaya çalışacağım.

Robots.txt Nedir?

robots.txt dosyası, sitenizi arama sonuçlarına eklemek için gelen arama motoru robotlarına ya da örümceklerine hangi sayfalarınızın indexlemesini veyahut indexlememesini belirtmenizi sağlayan ve kendi içerisinde bir yazım protokolü kullanan küçük bir metin dosyasıdır.

Robots.txt Neden Kullanılmalıdır? Neden Önemli?

Bir İnternet sitesini insan vücuduna benzetebiliriz. Robots.txt’de insan vücudunda ki apandist organıdır diyebiliriz. İnsanların tarafından çok önemsenmeyen bir organdır, apandisti mi aldırdım deyimi çok basite indirgenmiştir. İşte robots.txt’de bir İnternet sitesinin apandist organıdır. Yokluğunu kimse aramaz, varmış yokmuş hiç kimsenin umurunda değildir ancak bir şey hariç; Arama motorları.

Arama motorları için robots.txt dosyası vazgeçilmez bir şeydir. Mutlaka bu dosyanın var olmasını isterler, böylelikle internet sitenizi çok daha rahat bir şekilde anlayabilecek ve ona göre sitenizi arama sonuçları dizinlerine alabilecekler. Robots.txt dosyanızın olmadığını varsayalım ve sitenizde absürt sayfalar mevcut ve bu sayfalar arama sonuçlarına ekleniyor fakat siz bu sayfaların arama sonuçlarında çıkmasını istemiyorsunuz ve bunu sağlayabilmek içinde noindex etiketini eklemek zorundasınız her sayfaya.

Binlerce sayfa olduğunu düşünün? hepsine nasıl ekleyeceksiniz? İşte, robots.txt kullanırsanız sizi tüm bu dertlerden kurtarıyor, tek bir satır kod yazarak Disallow diyerek istediğiniz bir sayfanın veya dizinin arama motorlarınca indexlenmesini engelleyebilirsiniz, bu yüzden önemlidir.

Robots.txt Dosyası Nasıl Oluşturulur? Nereye Yüklenmelidir?

Oldukça basit bir şekilde robots.txt dosyası oluşturabilirsiniz. Bilgisayarınızda yeni bir metin belgesi oluşturun ve adını robots.txt olarak değiştirin. Daha sonra bir kod düzenleme editörü kullanarak (Bkz: Kod Düzenleme Editörleri) dosyayı düzenleyebilirsiniz.

Oluşturduğunuz bu dosyayı İnternet sitenizin FTP dizininde ana dosyaların yer aldığı dizin olan public_html, www veya httpdocs dizinin içerisine bir ftp programı yardımı ile yükleyeceksiniz.

WordPress’de Robots.txt Dosyası Nasıl Olmalıdır?

Standart olarak WordPress’de otomatik olarak oluşturulmuş bir robots.txt dosyası gelir ve içerisinde aşağıda ki yapıya benzer kodlar içerir.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Biz ise bu standart yapıyı biraz değiştirerek, daha uygun hale getireceğiz. Benim kişisel blog sitemde kullandığım robots.txt örneği aşağıdadır. Tek tek satırları açıklayarak gideceğim…

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /vestacp/
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-includes/js
Disallow: /trackback
Disallow: */trackback
Disallow: /*?*
Disallow: /*?
Disallow: /*~*
Disallow: /*~

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /vestacp/
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-includes/js
Disallow: /trackback
Disallow: */trackback
Disallow: /*?*
Disallow: /*?
Disallow: /*~*
Disallow: /*~
Crawl-delay: 2
Host: https://guzel.net.tr

Sitemap: https://huseyinkorbalta.com/sitemap_index.xml

User-agent: * Bu satır tüm arama motorları botları için geçerli olan bir satırdır. Bu satırın altına yazdığım yer kod tüm arama motorları için geçerli olacaktır.

Allow: /wp-admin/admin-ajax.php  Bu satırda arama motorlarına wp-admin klasörü içerisinde bulunan admin-ajax.php dosyasını görüntüleyebilir, erişebilirsiniz dedim. Böylelikle site yüklenirken kullanılan ajax işlemi arama motorlarının botları tarafından da görülebilecektir.

Allow: /wp-content/uploads/ Bu satırda ise arama motorlarına yüklediğim resimleri, videoları, sesleri indexleyebileceklerini belirttim. WordPress tabanlı bir blog sitesine sahip iseniz yüklediğiniz resimler sizin için önemlidir ve dahi kimi zaman önemli bir site trafiği sağlarlar.

Bu yüzden WordPress’in dosya yükleme dizini olan uploads dizinine arama motorlarının botlarına erişime açmak en doğrusu olacaktır.

Disallow: Satırları ise yukarıda ki satırların aksine arama motorlarının erişmesini istemediğim dizinleri ve dosyaları belirttim. Sizde aynı şekilde kullanabilirsiniz ancak bir satır hariç Disallow: /vestacp/ satırı bu benim sitem için özel olan bir dizin olduğu için bu satırı kendi robots.txt dosyanızda kullanmayabilirsiniz.

Yandex Arama Motoru İçin Robots.txt

Yandex İçin Robots.txt Kullanımı
Yandex İçin Robots.txt Kullanımı

Gel gelelim ikinci satırda yer alan User-agent: Yandex satırına.

Yandex bildiğiniz üzere Türkiye piyasasına hızlı bir giriş yapmış ancak çeşitli sıkıntılarından dolayı çoğu İnternet sitesi sahibi tarafından kullanılmamıştır. Bunun en büyük sebebi ise Yandex’in Google gibi düzgün bir şekilde siteleri indexlememesidir.

İnternet sitesi sahipleri sitelerinde yayınladıkları içerikleri en kısa sürede arama sonuçlarında görmek, görüntülemek isterler ve bunu en iyi Google yaptığı için ayrı bir sevilir. Yandex  ise bu indexleme aşamasında yavaş kaldığı için çoğu İnternet sitesi sahibi kendisini gözardı etmektedir.

Site içeriklerini dizine eklenme sürecinde yaşanan bu sıkıntıların en büyük nedeni robots.txt dosyası. Google, Robots.txt dosyası için özel bir satıra, direktiflere ihtiyacı yoktur. Standart User-Agent: * satırı Google için yeterlidir ancak Yandex için durum böyle değil.

Yandex robots.txt dosyasında kendisi için özel bir satırı oluşturulmasını istemektedir bu yüzden İnternet sitesi sahipleri sitelerinin Yandex arama sonuçlarında düzgün bir şekilde yer almasını istiyorlarsa robots.txt dosyasına bu özel direktifi oluşturmak zorunda. (Detaylar için; Yandex Robots.txt Kullanımı)

Yapmanız gereken ise yukarıda ki belirttiğim örnek robots.txt  dosyasında ki satırları kullanmak. Örnek robots.txt dosyasına bulunan User-agent: Yandex satırında bir üstte ki satırdan farklı olarak iki satırı mevcut bunlar; Host ve Crawl-delay satırları.

Bu satırlar Yandex arama motoru botları için gerekli olan satırlardır. Bu satırlar ne anlama gelmektedir;

Host: Sitenizin barındığı hosting firması, barındırma firmasının internet sitesinin adresini yazıyorsunuz buraya. Eğer, kendinize ait bir sunucu kullanıyorsanız eğer yine kendi site adresinizi belirtebilirsiniz.

Böylelikle yandex arama sonuçlarında ve analiz araçlarında sitenizin barındırma hizmeti aldığı yer ile ilgili çeşitli bilgileri bulabilir olacak.

Crawl-delay: Bu satır ise Yandex arama motorunun botlarının siteye giriş yaptıktan kaç saniye sonra indexleme işlemine başlaması gerektiğini belirten satırdı. Yandex’in bir diğer sorunu ise budur aslında, Google botlarına nazaran Yandex botları siteye çok fazla sorgu göndermekte ve bağlantı kurduğu sitenin sunucu kaynaklarının zorlanmasına sebep olmaktadır hatta öyle ki Türkiye’de bazı hosting firmaları Yandex arama motorunu botlarının sitelere erişimini engellemiştir.

Bu tarz aşırı sorguların önüne geçebilmek için bu direktifi kullanarak Yandex botlarının bu aşırı sorgu gönderme arzularını engelleyebilirsiniz.

Bu direktifleri robots.txt dosyanızda kullandığınız Yandex arama motorunda siteniz çok daha iyi konumlara gelecektir. Daha düzgün, stabil ve hızlı indexlemeler görmeniz mühtemeldir.

Robots.txt Sitemap Direktifi Nasıl Olmalıdır?

Yandex için sitemap direktifi satırı en son kısımda yer almalıdır. Google için ise farketmiyor, nereye koyarsanız koyun. Tavsiyem en son satıra sitemap direktifini koymanız, ben o şekilde kullanıyorum.

Seo açısında önemi var mıdır, yok mudur bilemem ancak kullanılması gereken bir dosyadır, siteleriniz de mutlaka bu dosyayı oluşturun, kullanın. Yararını, zararını kendi sitenizi gözlemleyerek öğrenebilirsiniz. Örnek robots.txt dosyası için; https://huseyinkorbalta.com/robots.txt adresini ziyaret edebilirsiniz.

 Yazı Bağlantısını Kopyala & Paylaş

Benzer Yazılar

  • En Popüler 5 CSS Kütüphanesi 2019

    En Popüler 5 CSS Kütüphanesi 2019

    Web geliştiricileri olarak işimizi büyük ölçüde kolaylaştıran CSS kütüphaneleri mevcut. CSS3 teknolojisinin ortaya çıkmasıyla kazanılan kolaylıklar bu CSS kütüphanelerinin artmasını sağladı. Kütüphanelerin çeşidi ve sayısı artıkça arayüz ya da bir değiş ile ön yüz geliştiricilerin işi bir hayli kolaylaştı. Projelerinizi çok daha etkin ve kolay yönetebilmenizi, efekt verebilmenizi sağlayan bu…
  • Bir İnternet Sitesi Nasıl Hızlanır? (Zaman Algısı)

    Bir İnternet Sitesi Nasıl Hızlanır? (Zaman Algısı)

    Geldiğimiz şu noktada her işimizi hızlı bir şekilde yapmaya çalışıyoruz, her şey hızlı olmak zorunda. Ben de dahil olmak üzere tüm geliştirici ve kullanıcı olarak düşünen herkes, hıza "iş" olarak odaklanıyoruz. Sonuçta hepimizi en iyi sonuçlara yönlendirilmeyi severiz, en hızlı şekilde sonuca ulaşmayı hedefleriz lakin izlenmesi gereken net bir yol…
  • Google’ın Yeni Search Console Güncellemesi

    Google’ın Yeni Search Console Güncellemesi

    Geçtiğimiz yıl Google, site yöneticilerini yakından ilgilendiren bir güncelleme gerçekleştirdi. Ücretsiz olarak internet sitesi sahiplerinin kullanmakta olduğu Google Search Console servisi diğer Google servisleri gibi bir takım arayüz güncellemeleri almıştı. Beta olarak kullanıma sunulan bu yeni search console güncellemesi eski search console'un yerini alması planlandı. Artık resmi olarak tüm internet…
  • Visual Studio Code İçin Kullandığım Eklentiler ve Ayarlar

    Visual Studio Code İçin Kullandığım Eklentiler ve Ayarlar

    İster arayüz geliştiricisi olun ister arkaplan geliştiricisi. Her ne olursanız olun bir kod düzenleme editörüne ihtiyaç duyuyorsunuz. Şuana kadar Notepad++, Sublime Text gibi editörler kullandım ancak yaklaşık 1,5 yıldır Microsoft tarafından geliştirilen ücretsiz kod düzenleme editörü olan Visual Studio Code programını kullanmaktayım. Gerek büyük,karmaşık tüm projeler de oldukça stabil ve…
WordPress’de Robots.txt Dosyası Nasıl Olmalıdır? için Yorum'da Bulun

Bu yazıya şimdiye kadar 4 Yorum yapılmıştır.

  • Yorum Sahibi
     Yanıtla
    Arif Ziyaretçi

    Çok değerli bir paylaşım olmuş, sizin robots.txt örneğinize göre tekrar düzenleme yaptım, teşekkür ederim.

    • Yorum Sahibi
       Yanıtla
      Hüseyin Körbalta Yazar 

      Rica ederim 🙂

  • Yorum Sahibi
     Yanıtla
    Michael jack Ziyaretçi

    bu kadar detaylı anlatmanız çok güzel. teşekkürler.

  • Yorum Sahibi
     Yanıtla
    Ali Ziyaretçi

    Harikasın dostum

Bir Cevap Yaz

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

 Lütfen, en az 15 karakterli bir yorum belirtiniz.

 Lütfen,isminizi belirtiniz.
 Lütfen, kullanmakta olduğunuz bir e-mail adresi giriniz.
 Yukarıda ki alanı işaretlemeniz zorunludur.Aksi takdirde yorumunuz gönderilemeyecektir.