Robots.txt Nedir, Nasıl Oluşturulur?

Web sitenizin içeriği, arama motorları tarafından taranıp indekslenir, ancak her sayfanın veya dosyanın arama motorları tarafından erişilmesini istemeyebilirsiniz. İşte bu noktada devreye giren “robots.txt” dosyası, web sitenizin taranabilirliğini kontrol etmenize yardımcı olur. Arama motorları, robots.txt dosyasını okuyarak hangi sayfaların taranabileceği ve hangilerinin taranamayacağı hakkında bilgi alır. Bu yazıda, robots.txt dosyasının ne olduğunu, nasıl oluşturulacağını ve web sitenize nasıl entegre edileceğini detaylı bir şekilde inceleyeceğiz.

Robots.txt Nedir?

Robots.txt, bir web sitesinde arama motoru botlarının hangi sayfalara erişip erişemeyeceğini belirlemek için kullanılan bir dosyadır. Arama motoru botları, sitenizin robots.txt dosyasını tarayarak, hangi sayfaları taramalarına izin verildiğini ve hangilerinin engellendiğini öğrenir. Bu dosya, genellikle sitenin kök dizininde yer alır ve herhangi bir metin düzenleyicisiyle açılabilir.

Robots.txt dosyasındaki kurallar, arama motorlarına web sitenizin hangi bölümlerini tarayıp hangi bölümlerini dışarıda bırakacaklarını söyler. Örneğin, bazı sayfalarda özel içerikler olabilir ya da yönetim paneli gibi taranması gerekmeyen kısımlar olabilir. Bu gibi durumlarda, robots.txt dosyasını kullanarak bu sayfaların arama motorları tarafından taranmasını engelleyebilirsiniz.

Robots.txt Dosyasının Yapısı

Robots.txt dosyası oldukça basit bir yapıya sahiptir ve genellikle aşağıdaki temel kurallardan oluşur:

1. User-agent: Bu kısım, hangi arama motoru botları için kuralın geçerli olduğunu belirtir. “User-agent” kısmına yazılan değer, belirli bir arama motoru botunu hedef alır. Örneğin, Googlebot (Google’ın botu) için farklı bir kural belirlenebilirken, Bingbot (Bing’in botu) için farklı bir kural belirlenebilir.
2. Disallow: Bu kısım, belirli bir sayfanın veya dizinin taranmasını engeller. “Disallow” komutunun ardından, hangi sayfanın veya dizinin taranmasının engelleneceği yazılır. Örneğin,

   /admin/

   dizini gibi.

3. Allow: Bu kısım, bir dizinde taranması yasaklanan sayfalardan bazılarını tekrar taranabilir hale getirir. Bu kural genellikle, disallow edilen bir dizinin içinde bazı sayfalara erişim izni vermek amacıyla kullanılır.
4. Sitemap: Bu kısım, sitenizin sitemap’inin (site haritası) URL’sini belirtir. Bu, arama motorlarına tüm site haritanızı gösterir ve hangi sayfaların indekslenmesi gerektiği hakkında bilgi verir.

Robots.txt Dosyasının Örnek Yapısı

Aşağıda, basit bir robots.txt dosyasının örnek yapısını bulabilirsiniz:

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
Sitemap: http://www.orneksite.com/sitemap.xml

Bu örnekte:

• User-agent: *: Tüm arama motorları için geçerli olan kurallar belirtilmiştir.
• Disallow: /admin/: Admin dizinine erişim engellenmiştir.
• Disallow: /private/: Private dizinine de erişim engellenmiştir.
• Allow: /public/: Public dizini içindeki sayfalara erişime izin verilmiştir.
• Sitemap: Sitenin sitemap URL’si belirtilmiştir.

Robots.txt Dosyası Nerede Bulunur?

Robots.txt dosyası, her zaman web sitenizin kök dizininde bulunmalıdır. Örneğin, http://www.orneksite.com/robots.txt adresinde, arama motorları botlarının erişebileceği bir konumda yer almalıdır. Eğer robots.txt dosyanız yoksa, arama motorları varsayılan olarak tüm sayfalarınızı taramaya çalışacaktır.

Robots.txt Dosyası Ne Zaman Kullanılır?

Robots.txt dosyası, web sitenizin SEO stratejilerinin önemli bir parçasıdır. Kullanıcılar ve arama motorları için daha iyi bir deneyim sunmak amacıyla, bazı sayfaların arama motorları tarafından indekslenmesini engellemek isteyebilirsiniz. İşte robots.txt dosyasının kullanıldığı bazı durumlar:

1. Gizli Sayfalar ve Özel İçerik: Web sitenizde yönetici paneli veya kullanıcıya özel sayfalar varsa, bu sayfaların arama motorları tarafından taranmasını engellemek isteyebilirsiniz.
2. Yinelenen İçerik Sorunları: Bazı sayfalar, aynı içeriği tekrar eden veya benzer sayfalara sahip olabilir. Bu tür sayfalarda yinelenen içerik sorunlarını önlemek için, bu sayfaların taranmasını engellemek gerekebilir.
3. Kaynak Kodları ve Tarayıcı Sayfaları: Web tasarımıyla ilgili kaynak kodları veya sadece kullanıcılar için görünür olan bazı sayfalara arama motorlarının erişmesini istemeyebilirsiniz.
4. SEO Optimizasyonu: SEO açısından bazı sayfaların daha fazla değer almasını istemek için, robots.txt dosyasını kullanarak gereksiz sayfaların taranmasını engelleyebilirsiniz.

Robots.txt Dosyası Oluşturma

Robots.txt dosyasını oluşturmak oldukça basittir. Bir metin dosyası açarak içine gerekli kuralları yazabilir ve ardından bu dosyayı sitenizin kök dizinine yükleyebilirsiniz. Aşağıda adım adım bir robots.txt dosyasının nasıl oluşturulacağı anlatılmaktadır:

1. Adım 1: Notepad veya herhangi bir metin düzenleyici programı açın.
2. Adım 2: “User-agent” ve “Disallow” komutları gibi kuralları yazın.
3. Adım 3: Dosyayı “robots.txt” olarak kaydedin.
4. Adım 4: Bu dosyayı web sitenizin kök dizinine (www.orneksite.com/robots.txt) yükleyin.

Robots.txt dosyasını doğru şekilde yapılandırarak, web sitenizin arama motorları tarafından doğru bir şekilde taranmasını ve indekslenmesini sağlayabilirsiniz.