Bizi Takip Edin :

LİNUX SUNUCU ROOT SİSTEMİ YENİLENDİ.
Uzun süreli çalıştığımız ve kendi işlemlerini kendilerinin sağlaması için geliştirilmiş olan Linux tabanlı sunucu-root sistemimiz yenilendi. Siz değerli müşterilerimizin linux kod bilgisi ile birden fazla siteyi daha hızlı yönetebilmesi için geliştirilen bu sistem, "tek tek sitelere girip link eklemek eziyet haline gelmişti." dermişcesine tek bir panel üzerinden üzerinden "link ekleme, link güncelleme, link silme, kelime takip, değer sorgulama" için kolay bir hale gelmiş sistemimizi denemeyi unutmayın. Artık herşey tek bir panel üzerinden daha kolay ...
SİSTEME GİRİŞ İÇİN LÜTFEN TIKLAYINIZ!

" DUYURU Hizmet alacak değerli müşterilerimizin, Whatsapp üzerinden 0 (533) 560 46 60 ile iletişime geçebilir, Skype ve/ya E-mail ile iletişime geçmeleri için hacklinknet@hotmail.com adresini eklemeleri gerekmektedir. "

Robots Nedir?

Robots Nedir?

Robots.txt, arama motoru yazılımlarına sitenizin hangi bölümlerini dizine ekleyebileceğini, hangi dizini taraması gerektiğini, hangi arama motoru yazılımının giriş izni olduğunu veya olmadığını söylemeye yarayan basit bir komut dosyasıdır. Örümcek olarak da adlandırılabilen Arama motoru yazılımları sitenize geldiğinde ilk olarak bu dosyayı tarar ve dosyadaki komutlara göre sitenin izin verilen bölümlerini dizine ekler.

Basitçe açıklamak gerekirse Robots.txt sitenizin sınır kapılarını kontrol etmeye benzer. Arama motoru robotlarının hangi sınır kapılarından girebileceğini, hangilerinden giremeyeceğini, hangi arama motoru robotunun giriş izni olduğunu, hangisinin olmadığını belirlemenizi sağlar. Robots.txt dosyası ve içerdiği komutlar doğru şekilde hazırlandıysa, arama motoru robotları bu kurallara uyar ve sitenizi verdiğiniz komutlar doğrultusunda tarar. Bu işlem Robotları Engelleme Standardı (veya Robot Engelleme Protokolü) olarak adlandırılır.

Robots.txt dosyası, her Web sitesinde mutlaka olması gereken bir dosyadır ve doğru şekilde hazırlanmış olması gerekmektedir. Doğru komutlar kullanılarak hazırlanmamış bir Robots.txt dosyası arama motorları tarafından dikkate alınmaz ve taranmasını istemediğiniz dizinler de taranabilir. Bu yüzden kendisi küçük ama etkisi büyük olan bu dosyanın doğru şekilde hazırlanmış olması gerekmektedir.

Robots.txt Dosyasını ve Komutları Anlamak

Robots.txt dosyası belli standartlara uygun olarak hazırlanmalıdır ve sitenizin kök dizinine yüklenmelidir. Robots.txt dosyası hazırlanırken dikkat edilmesi gereken en önemli üç nokta şunlardır:

  1. Robots.txt dosyasının sitenizin kök dizininde bulunuyor olması
  2. Robots.txt dosyasının UTF-8 karakter kodlamasına uygun şekilde hazırlanmış olması
  3. Robots.txt dosyasının site URL’siyle aynı formatta olması

Robots.txt dosyasının sitenizin kök dizininde bulunuyor olması bir gerekliliktir ve dosya oluşturulurken herhangi bir alt klasörde veya başka bir sayfada yer almaması gerekmektedir. Robots.txt dosyasının URL’si mutlaka standart olmalıdır; örneğin:

Doğru: http://www.siteadresiniz.com/robots.txt

Yanlış: http://www.siteadresiniz.com/main/robots.txt

Robots.txt dosyası düz metinden oluşmalı ve UTF-8 karakter kodlaması dışında bir karakter kodlaması kullanılmamalıdır. Robots.txt dosyası dinamik ve değişken içeriğe sahip olabilir, dosyayı istediğiniz zaman istediğiniz şekilde değiştirebilir ve düzenleyebilirsiniz. Tavsiyemiz, dosyanın her zaman çalışır durumda olması, herhangi bir amaçla kullanımdan kaldırılmaması ve gizlenmemesi yönündedir.

Ayrıca Robots.txt dosyasının sahip olduğu URL, sitenizin erişildiği URL ile aynı olmalıdır. Eğer https protokolü kullanıyorsanız, robots.txt dosyasının adresi de https protokolüne uygun olacak şekilde düzenlenmelidir. Örneğin;

Doğru:
Site URL’si: https://www.siteadresiniz.com/
Robots.txt URL’si: https://www.siteadresiniz.com/robots.txt

Yanlış:
Site URL’si: https://www.siteadresiniz.com/
Robots.txt URL’si: http://www.siteadresiniz.com/robots.txt

Robots.txt içerisinde belirli işlemleri gerçekleştirmek için standartlaşmış komutlar kullanılır. Bu komutlar temel olarak üç ana başlıkta toplanmaktadır:

29 Ağustos 2017
122 kez görüntülendi