[Typo3-german] Typo3 & robots.txt

[Franz Koch]

Hi Alexander,

> Hallo Liste,
>
> ich würde gerne mal wissen, wie eine robots.txt für typo3 aufgebaut sein
> sollte. Macht es Sinn einfach die gesamte Indexierung zuzulassen, oder
> sollte man Ordner wie /typo3 etc. von der Indexierung ausschließen?
>
> Danke im voraus ...
> Alexander Loob

liegt bei dir ob du diese Bereiche u.U. indexieren lassen willst. Ich  
handhabe es so, dass ich alles was mit Core-Files, Config oder sonst was  
zu tun hat ausschließe - da meiner Meinung nach Suchmaschinen dort nix  
verloren haben:
----
User-agent: *
Disallow: /typo3/
Disallow: /typo3_src/
Disallow: /tslib/
Disallow: /t3lib/
Disallow: /typo3conf/
Disallow: /media/
----

-- 
Grüße, Franz