[TYPO3-german] robots.txt für TYPO3

[Eyüp Aydin]

Antares schrieb:
> Hallo Liste,
> 
> könnt Ihr mir mal bei einer robots.txt helfen. Alles Content soll 
> indiziert werden; Welche Verzeichnisse schließ ich da am besten aus?
> 
> Bis jetzt sieht das so aus:
> User-agent: *
> Disallow: /typo3/
> 
> Grüße und Vielen Dank,
> Antares

Am besten Disallowest du alle Verzeichnisse, die nichts mit deinem 
Seiteninhalt zu tun hat, also quasi, alles bis auf index.php, die 
Extension, fileadmin usw.

http://www.google.com/webmasters/bot.html