[TYPO3-german] crawler beschleunigen

[Andreas Otto]

Hallo Peter,

Peter Russ wrote:
> danke, das war es. Bei uns wird nun deutlich schneller gecrawlt.
> Allerdings müssen wir den Timeout parametrisierbar machen. Gerade bei
> externen Dokumenten stoßen wir schnell ans Timeout bei 2 s. Umfangreiche
> Dokumente verlangen hier m.E. eine flexibele Einstellmöglichkeit.

Die Methode requestUrl($url, $crawlerId, $timeout=2) selbst kann mit der
Variablen $timeout aufgerufen werden, 2 Sekunden ist der Standard-Wert wenn
nichts gesetzt wurde.

In Zeile 721 wird die Methode mit $this->requestUrl($parameters['url']
$crawlerId) aufgerufen. Also ohne Angabe eines Timeouts.

Prüfe doch mal wie sich der Crawler verhält wenn Du in Zeile 742 die Angabe
des Timeouts weglässt:

$fp = fsockopen ($url['host'], ($url['port'] > 0 ? $url['port'] : 80),
$errno, $errstr);

Vielleicht kannst Du mal ein paar Vorschläge in Form von Patches machen, wie
man das ändern könnte. Soweit ich weiss, ist Kapser der Maintainer der
Crawler Extension.


Liebe Grüße,
Andreas