Как правилно да забраня индексирането на цяла папка? Robots.txt?!

[guest740]

Здравейте,

имам подпапка в сайта, която е разцепена на други подпапки и във всяка има сайт и приложения.
Интересувам се как правилно да забраня индексирането на всичко в тази папка да кажем dev.domain.com

Вътре са ми разни разработки и демо сайтове, които не желая да се индексират по никакъв начин. Дори ако може да се заключат по някакъв начин с код/парола? Дайте предложения.

За момента съм сложил Robots.txt в тази папка и вътре съм сложил да не се индексира.

[MOn dsoffn]

Прочети тази статия....

http://blog.superhosting.bg/good-vs-bad-bots.html

не спрях да им правя реклама на тия  готини пичове

 

[Михаил Михов]

Отвори си файла Robots.txt и допиши на нов ред, по начина който е там, основната папка за не индексация.

[Бого]

Става и по брутален начин, като удариш БАН на гугъл за тези папки.

[Ваш Рамбо]

Disallow: /папка/

Така ще спреш бай Гошо

[MOn dsoffn]

@Рамбо
Първо трябва да се сложи User-agent:, ако добавиш звездичка User-agent: * така се отнася за всички, ако искаме да е за гугъл User-agent: Googlebot и след това пишем това което написа, ако го оставиш така както го написа все едно нищо не си направил.

[Ваш Рамбо]

В robots.txt по default си го има user-agent: *, затова и не съм го споменал.