Gizlilik Politikam Güncellendi. Bkz:Gizlilik Politikası




31 May 2018

Bugün İnternet sitelerini dolaşırken sıkça takip ettiğim, blog yazılarını okumaya çalıştığım bir seo ustası olan Neil Patel tarafından yazılan bir blog yazısına denk geldim. Bu blog yazısının ana konusu unutulan robots.txt teknolojisi ile alakalı idi. Yazısında bir robots.txt dosyası nasıl olmalıdır, neden kullanılmalıdır gibi birçok soruya kendi tecrübelerine dayanarak çıkarımlarda bulunmuş ve robots.txt kullanmayan bir sitenin bir parçasının eksik kaldığının, yarım kaldığına dikkat çekmiş. (Neil Patel’in blog yazısı)

Ben de bu yazıdan ilham alarak, WordPress kullanıcıları için kendimin kullandığı robots.txt dosyasını paylaşacağım. Robots.txt dosyasında kullandığım kodları ne amaçla kullandığımı, ne işe yaradığını elimden geldiğince açıklamaya çalışacağım.

Robots.txt Nedir?

robots.txt dosyası, sitenizi arama sonuçlarına eklemek için gelen arama motoru robotlarına ya da örümceklerine hangi sayfalarınızın indexlemesini veyahut indexlememesini belirtmenizi sağlayan ve kendi içerisinde bir yazım protokolü kullanan küçük bir metin dosyasıdır.

Robots.txt Neden Kullanılmalıdır? Neden Önemli?

Bir İnternet sitesini insan vücuduna benzetebiliriz. Robots.txt’de insan vücudunda ki apandist organıdır diyebiliriz. İnsanların tarafından çok önemsenmeyen bir organdır, apandisti mi aldırdım deyimi çok basite indirgenmiştir. İşte robots.txt’de bir İnternet sitesinin apandist organıdır. Yokluğunu kimse aramaz, varmış yokmuş hiç kimsenin umurunda değildir ancak bir şey hariç; Arama motorları.

Arama motorları için robots.txt dosyası vazgeçilmez bir şeydir. Mutlaka bu dosyanın var olmasını isterler, böylelikle internet sitenizi çok daha rahat bir şekilde anlayabilecek ve ona göre sitenizi arama sonuçları dizinlerine alabilecekler. Robots.txt dosyanızın olmadığını varsayalım ve sitenizde absürt sayfalar mevcut ve bu sayfalar arama sonuçlarına ekleniyor fakat siz bu sayfaların arama sonuçlarında çıkmasını istemiyorsunuz ve bunu sağlayabilmek içinde noindex etiketini eklemek zorundasınız her sayfaya. Binlerce sayfa olduğunu düşünün? hepsine nasıl ekleyeceksiniz? İşte, robots.txt kullanırsanız sizi tüm bu dertlerden kurtarıyor, tek bir satır kod yazarak Disallow diyerek istediğiniz bir sayfanın veya dizinin arama motorlarınca indexlenmesini engelleyebilirsiniz, bu yüzden önemlidir.

Robots.txt Dosyası Nasıl Oluşturulur? Nereye Yüklenmelidir?

Oldukça basit bir şekilde robots.txt dosyası oluşturabilirsiniz. Bilgisayarınızda yeni bir metin belgesi oluşturun ve adını robots.txt olarak değiştirin. Daha sonra bir kod düzenleme editörü kullanarak (Bkz: Kod Düzenleme Editörleri) dosyayı düzenleyebilirsiniz. Oluşturduğunuz bu dosyayı İnternet sitenizin FTP dizininde ana dosyaların yer aldığı dizin olan public_html, www veya httpdocs dizinin içerisine bir ftp programı yardımı ile yükleyeceksiniz.

WordPress’de Robots.txt Dosyası Nasıl Olmalıdır?

Standart olarak WordPress’de otomatik olarak oluşturulmuş bir robots.txt dosyası gelir ve içerisinde aşağıda ki yapıya benzer kodlar içerir.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Biz ise bu standart yapıyı biraz değiştirerek, daha uygun hale getireceğiz. Benim kişisel blog sitemde kullandığım robots.txt örneği aşağıdadır. Tek tek satırları açıklayarak gideceğim…

User-agent: *
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /vestacp/

User-agent: Yandex
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /vestacp/
Crawl-delay: 2
Host: https://guzel.net.tr

Sitemap: https://huseyinkorbalta.com/sitemap_index.xml

User-agent: * Bu satır tüm arama motorları botları için geçerli olan bir satırdır. Bu satırın altına yazdığım yer kod tüm arama motorları için geçerli olacaktır.

Allow: /wp-admin/admin-ajax.php  Bu satırda arama motorlarına wp-admin klasörü içerisinde bulunan admin-ajax.php dosyasını görüntüleyebilir, erişebilirsiniz dedim. Böylelikle site yüklenirken kullanılan ajax işlemi arama motorlarının botları tarafından da görülebilecektir.

Allow: /wp-content/uploads/ Bu satırda ise arama motorlarına yüklediğim resimleri, videoları, sesleri indexleyebileceklerini belirttim. WordPress tabanlı bir blog sitesine sahip iseniz yüklediğiniz resimler sizin için önemlidir ve dahi kimi zaman önemli bir site trafiği sağlarlar. Bu yüzden WordPress’in dosya yükleme dizini olan uploads dizinine arama motorlarının botlarına erişime açmak en doğrusu olacaktır.

Disallow: Satırları ise yukarıda ki satırların aksine arama motorlarının erişmesini istemediğim dizinleri ve dosyaları belirttim. Sizde aynı şekilde kullanabilirsiniz ancak bir satır hariç Disallow: /vestacp/ satırı bu benim sitem için özel olan bir dizin olduğu için bu satırı kendi robots.txt dosyanızda kullanmayabilirsiniz.

Yandex Arama Motoru İçin Robots.txt

Yandex İçin Robots.txt Kullanımı
Yandex İçin Robots.txt Kullanımı

Gel gelelim ikinci satırda yer alan User-agent: Yandex satırına.

Yandex bildiğiniz üzere Türkiye piyasasına hızlı bir giriş yapmış ancak çeşitli sıkıntılarından dolayı çoğu İnternet sitesi sahibi tarafından kullanılmamıştır. Bunun en büyük sebebi ise Yandex’in Google gibi düzgün bir şekilde siteleri indexlememesidir. İnternet sitesi sahipleri sitelerinde yayınladıkları içerikleri en kısa sürede arama sonuçlarında görmek, görüntülemek isterler ve bunu en iyi Google yaptığı için ayrı bir sevilir. Yandex  ise bu indexleme aşamasında yavaş kaldığı için çoğu İnternet sitesi sahibi kendisini gözardı etmektedir.

Site içeriklerini dizine eklenme sürecinde yaşanan bu sıkıntıların en büyük nedeni robots.txt dosyası. Google, Robots.txt dosyası için özel bir satıra, direktiflere ihtiyacı yoktur. Standart User-Agent: * satırı Google için yeterlidir ancak Yandex için durum böyle değil. Yandex robots.txt dosyasında kendisi için özel bir satırı oluşturulmasını istemektedir bu yüzden İnternet sitesi sahipleri sitelerinin Yandex arama sonuçlarında düzgün bir şekilde yer almasını istiyorlarsa robots.txt dosyasına bu özel direktifi oluşturmak zorunda. (Detaylar için; Yandex Robots.txt Kullanımı)

Yapmanız gereken ise yukarıda ki belirttiğim örnek robots.txt  dosyasında ki satırları kullanmak. Örnek robots.txt dosyasına bulunan User-agent: Yandex satırında bir üstte ki satırdan farklı olarak iki satırı mevcut bunlar; Host ve Crawl-delay satırları.

Bu satırlar Yandex arama motoru botları için gerekli olan satırlardır. Bu satırlar ne anlama gelmektedir;

Host: Sitenizin barındığı hosting firması, barındırma firmasının internet sitesinin adresini yazıyorsunuz buraya. Eğer, kendinize ait bir sunucu kullanıyorsanız eğer yine kendi site adresinizi belirtebilirsiniz. Böylelikle yandex arama sonuçlarında ve analiz araçlarında sitenizin barındırma hizmeti aldığı yer ile ilgili çeşitli bilgileri bulabilir olacak.

Crawl-delay: Bu satır ise Yandex arama motorunun botlarının siteye giriş yaptıktan kaç saniye sonra indexleme işlemine başlaması gerektiğini belirten satırdı. Yandex’in bir diğer sorunu ise budur aslında, Google botlarına nazaran Yandex botları siteye çok fazla sorgu göndermekte ve bağlantı kurduğu sitenin sunucu kaynaklarının zorlanmasına sebep olmaktadır hatta öyle ki Türkiye’de bazı hosting firmaları Yandex arama motorunu botlarının sitelere erişimini engellemiştir. Bu tarz aşırı sorguların önüne geçebilmek için bu direktifi kullanarak Yandex botlarının bu aşırı sorgu gönderme arzularını engelleyebilirsiniz.

Bu direktifleri robots.txt dosyanızda kullandığınız Yandex arama motorunda siteniz çok daha iyi konumlara gelecektir. Daha düzgün, stabil ve hızlı indexlemeler görmeniz mühtemeldir.

Robots.txt Sitemap Direktifi Nasıl Olmalıdır?

Yandex için sitemap direktifi satırı en son kısımda yer almalıdır. Google için ise farketmiyor, nereye koyarsanız koyun. Tavsiyem en son satıra sitemap direktifini koymanız, ben o şekilde kullanıyorum.

Seo açısında önemi var mıdır, yok mudur bilemem ancak kullanılması gereken bir dosyadır, siteleriniz de mutlaka bu dosyayı oluşturun, kullanın. Yararını, zararını kendi sitenizi gözlemleyerek öğrenebilirsiniz. Örnek robots.txt dosyası için; https://huseyinkorbalta.com/robots.txt adresini ziyaret edebilirsiniz.


Bu Yazımı Beğendiysen Sosyal Medya Hesaplarında Paylaşarak Bana Destek Olabilirsin!
 Google Plusda Paylaş


 Yazar: Hüseyin Körbalta Hakkında

Blog yazarı, Arayüz geliştiricisi ve Arkaplan geliştiricisi olmak için çalışmalar yapıyor.

 Websitesi
Takip Et:


3
 Kimler Neler Demiş?

avatar
2 Yazıdaki Yorumlar
1 Yorumlar
3 Takipçi
 
En çok tepki verilen yorum.
En iyi yorum
  Abone Ol  
Bildir
Arif
Ziyaretçi
Arif

Çok değerli bir paylaşım olmuş, sizin robots.txt örneğinize göre tekrar düzenleme yaptım, teşekkür ederim.

Michael jack
Ziyaretçi
Michael jack

bu kadar detaylı anlatmanız çok güzel. teşekkürler.


istanbul escort escort istanbul istanbul escort