[TYPO3-german] robots.txt für TYPO3

[Wuergler Robert]

Alexander Loob wrote:
> Also meine robots.txt sieht so aus:
> 
> 
> User-agent: *
> 
> Disallow: /typo3/
> Disallow: /typo3_src/
> Disallow: /tslib/
> Disallow: /t3lib/
> Disallow: /typo3conf/
> Disallow: /media/

Es gibt eigentlich keinen Grund, diese TYPO3 spezifischen Directories 
anzugeben, denn diese sind hoffentlich weder ungeschützt noch verlinkt, 
weshalb ein robot gar nie auf die Idee käme, diese zu indexieren.

Also nur Angabe von Directories (bspw. mit RealURL), wenn diese verlinkt 
sind und nicht von Suchmaschinen indiziert werden sollen.

Bsp:

# Das ist mein Fotoalbum, das Google nicht haben soll
User-agent: Googlebot-Image
Disallow: /meinalbum/
Disallow: /meinalbum.html

Gruss
Robert