Forum
Arkadaşlar,
Dün sitemin index.html ksımına <meta name="robots" content="noindex,nofollow" /> kodunu ekledim. Ama hala google dan seacrh ettiğimde site çıkıyor.
Arama motorlarının arama mantığı sırasıyla 1- domain ismi 2- mainpage içindeki kelimeler 3- tagler olarak biliyorum.
Mesela, facemash.com benim domain'im olsa, google da veya başka bir arama motorunda hiç çıkmamak için ne yapmam gerek.
Şimdiden teşekkürler.
Domain root klasör içerisine robots.txt diye bir klasör oluşturup içerisine
User-agent: *
Disallow: /
yazın
google web master tools gibi web araçlarını da kullanarak bu kuralın çalışıp çalışmadığını görüntüleyebilirsiniz
.htaccess nedir?
IP Tabanlı Ziyaretçi Engelleme
Yönlendirici Tabanlı Engelleme
bu konular umarım sana yardımcı olur
.htaccess nedir?
IP Tabanlı Ziyaretçi Engelleme
Yönlendirici Tabanlı Engelleme
bu konular umarım sana yardımcı olur
Bu bahsettikleriniz (.htaccess, IP Tab. Ziy. Eng. vs vs.. ) linux tabanlı apache web serverlar üzerinde yazma okuma izinleri ve güvenlikle alakalı yapılandırma ayarlarını anlatan dokumanlardır.
Mustafa Bey' in sorusu ise arama motorlarının siteyi indekslemesi ile alakalı
http://www.robotstxt.org/meta.html sayfasında bahsettiğiniz yöntem yazıyor. Centos üzerinde /var/www/ altında 6 adet web sayfası var. Search engine lerde çıkmamasını istediğim web sayfasının " / " kök dizinine robots.txt oluşturdum ve "User-agent: * ve Disallow: / " satırlarını ekledim. index.html'de zaten daha önce " <meta name="robots" content="noindex,nofollow" /> " satırını eklemiştim. 1-2 gün monitoring edeceğim. bakalım işe yarayacakmı ?
google' indekslemeden çıkarması indeklemesinden uzun sürebiliyor o yüzden https://www.google.com/webmasters/tools adresine giderek web sitenize ait bir hesap açabilir sitenize ait robots.txt dosyasını ekleyebilir, robots.txt dosyanızın doğru algılanıp algılanmadığını kontrol edebilirsiniz.
Yine bu işlemleri bing arama motoru için http://www.bing.com/toolbox/webmasters adresinden yapabilirsiniz
Bora bey, https://www.google.com/webmasters/tools blümünde "tanılamalar+googlebot gibi tara" bölümünden siteyi taradığımda robots.txt tarafından reddedildi diyor. Ama normal google.com da taradığımda hala ilk sırada çıkıyor. Herhalde 1-2 gün beklemem gerekiyor.
Site yapılandırma altında bulunan tarayıcı erişimi bölümünden kontrollerinizi yapabilirsiniz.
"robots.txt dosyasını test edin"
"robots.txt oluşturun"
"URL' yi kaldır"
sekmeleri size daha çok yardımcı olacaktır.
sizin bahsettiğiniz bölüm daha çok sayfaların googlebot testinin ugulandığı kısım