[TYPO3-german] 9.5.21: Site configuration / robots.txt

[Michael]

>> Am 28.09.2020 um 14:14 schrieb Gert Redlich <gr2 at ipw.net>:
>> 
>> Am 28.09.2020 13:30, schrieb Michael:
>>> Hallo,
>>> 
>>> kurze Frage. Ich habe in den neuen Option zur "Site Configuration"
>>> versucht, über "Static Routes" eine einfache robots.txt anzulegen.
>>> So wie ich es aus den Docs
>>> https://docs.typo3.org/m/typo3/reference-coreapi/master/en-us/ApiOverview/SiteHandling/StaticRoutes.html
>>> verstanden habe,
>>> wird hier eine statische Seite parallel zum üblichen Weg über CONTENT
>>> etc. erzeugt.
>>> 
>>> Ich bekomme aber einen HTTP/404 für meinedomain.tld/robots.txt , 
>>> klappt
>>> also nicht.
>>> Tipps, was ich falsch gemacht haben könnte?
>>> 
>>> Viele Grüße,
>>> Michael
>> 
>> Hallo Michael,
>> 
>> warum so umständlich,
>> 
>> warum die robots.txt nicht einfach ins root Verzeichnis des 
>> jweweiligen Webs plazieren ?
>> 
>> wo ist der Vorteil ?
>> 
>> --
>> 
>> mit freundlichen Grüßen
>> Gert Redlich
>> _______________________________________________

Am 2020-09-28 15:16, schrieb lists at berlin-typo3.de:
> Die im Site-Modul konfigurierte robots.txt ist nur dann vorteilhaft,
> wenn in der Installation mehrere Domains/Websites angelegt sind, die
> jeweils eigene robots.txt haben sollen.
> 
> Was funktioniert nicht?
> Wird keine Datei im Hauptverzeichnis angelegt - oder kannst du in der
> URL keine robots.txt aufrufen?
> 
> Viele Grüße
> Birgit
> 
> 

2in1 Antwort am Birgit und Gert :-)


Ich nutze TYPO3, um zwei (kleine) Webauftritte auf einem Apache laufen 
zu haben. Mit einer TYPO3 Instanz. Separate "Sites" in TYPO3, jeweils 
mit eigener Domain.
Die "DocumentRoot" und "Directory" Direktiven in der Apache VHOST 
Definition zeigt auf (das gleiche) Verzeichnis .../typo3root

Wenn ich auf Dateisystem-Ebene, am TYPO3 vorbei, da ein robots.txt File 
hinlege, wird das vom Apache auch gefunden. Wobei mir aber schon nicht 
mehr klar ist, ob dieses dann vom Apache "direkt" ausgliefert wird, oder 
"indirekt" über TYPO3.
Auf jeden Fall habe ich dann aber "nur" eine einzige robots.txt, für 
beide Domains, also http(s)://domainA.tld/robots.txt und 
http(s)://domainB.tld/robots.txt liefern die gleiche Datei.

Was natürlich auch machbar ist, so kompliziert aufgebaut und vor allem 
inhaltlich wichtig sind meine beiden Sites nicht. Aber die Sub-Struktur 
ist unterschiedlich, eine "AllInOne" robots.txt mit den zu 
durchsuchenden Pfaden für beide Sites hieße dann, dass die Crawler in 
Pfade geschickt würden, die es nur spezifisch pro Site gäbe.

Daher fand ich diese recht neue Möglichkeit, sowas doch in eine über das 
Backend zu verwaltende Konfiguration pro Domain/Site eigentlich der Idee 
nach sehr einfach, "straightfoward" auf denglish :-)

Zu Birgits Frage
> Wird keine Datei im Hauptverzeichnis angelegt

Nein, wenn ich nicht wie oben beschrieben eine robots.txt manuell 
erzeuge, dann existiert unterhalb der DocumentRoot keine robots.txt. In 
der gesamten Substruktur nicht.
Ich verstehe aber schon nicht wirklich, ob die überhaupt da sein müsste: 
Meine ursprüngliche Vermutung war, dass eine über die Site Configuration 
erstellte "StaticRoute" auch dynamisch zum Abruf von TYPO3 
generiert/gerendert wird.

Die Site Configuration erlaubt ja z.B auch das Abfangen von HTTP/403, 
404 etc., das habe ich als Weiterleitung auf eigens in TYPO3 dafür 
angelegte simple Seiten ausprobiert, klappt prima. Mein evtl. falsches 
Verständnis war daher, dass der Apache jede beliebige Pfad/URL unter 
http(s)://domainAoderB.tld/ an TYPO3 übergibt/weiterreicht.

Viele Grüße,
Michael