[Typo3-german] Typo3 & robots.txt

[Dominik Böhm]

Hallo ihr,

Am Fri, 16 Sep 2005 22:30:19 +0200 schrieb Franz Koch:

>> ich würde gerne mal wissen, wie eine robots.txt für typo3 aufgebaut sein
>> sollte. Macht es Sinn einfach die gesamte Indexierung zuzulassen, oder
>> sollte man Ordner wie /typo3 etc. von der Indexierung ausschließen?
> 
> liegt bei dir ob du diese Bereiche u.U. indexieren lassen willst. Ich  
> handhabe es so, dass ich alles was mit Core-Files, Config oder sonst was  
> zu tun hat ausschließe - da meiner Meinung nach Suchmaschinen dort nix  
> verloren haben:
> ----
> User-agent: *
> Disallow: /typo3/

Meines Erachtens funktioniert ein Suchmaschinen-Bot ja so, dass er
ausgehend von www.deinedomain.de aus allen Links folgt und indiziert (falls
man das so in der Robots.txt gesagt hat). Gut - nur verlinkt man in der
Regeln nicht nach /typo3 oder /typo3_src o.Ä.

Ich habe es bei mir so eingestellt, dass ich durch .htaccess-Dateien den
"Indexing"-Zugang zu diesen Verzeichnissen verbiete und damit der Spider
auch nur das sieht, was jeder User durch die Links entdecken kann.

Damit muss ich ihm eigenltich nichts mehr in der robots.txt verbieten?!?

Oder habe ich da jetzt einen Denkfehler?

Viele Grüße,
Dominik