[TYPO3-german] crawler beschleunigen

[Peter Russ]

--- Original Nachricht ---
Absender:   Andreas Otto
Datum:       26.06.2007 14:22:
> Hallo Peter
> 
> Peter Russ wrote:
>> m.E. ist fgets deshalb so langsam, weil es auf die Auslieferung der
>> Seite warten muss. Deshalb könnte es interessant sein, welche Queries
>> u.U. das System ausbremsen. Was sagt der MySQL Slow-Log? Nach meiner
>> Erfahrung könnte es mit dem cache zusammenhängen, sprich je mehr Seiten
>> gecached sind, umso langsamer: Hier verbraten Abfragen wie select
>> count(*) from cache_pages u.ä. emens Zeit.
> 
> Daran kann es in meinem Testfall nicht liegen. Wenn man sich den
> Skriptdurchlauf etwas genauer anschaut merkt man, daß alle Daten ohne
> Probleme abgeholt werden, dann aber anscheinend kein EOF kommt und so die
> Verbindung auf irgendeinen Timeout wartet. Kapser hat für fsockopen() einen
> Timeout von 2 Sekunden angegeben - der scheint nicht zu greifen. Das mag an
> dem Header Keep-Alive liegen den Kasper setzt.
> 
> Ohne den Header Keep-Alive läuft alles sauber durch [1].
> 
> [1]<http://wiki.typo3.org/index.php/Ext_crawler#Performance>
> 

Hallo Andreas,

danke, das war es. Bei uns wird nun deutlich schneller gecrawlt. 
Allerdings müssen wir den Timeout parametrisierbar machen. Gerade bei 
externen Dokumenten stoßen wir schnell ans Timeout bei 2 s. Umfangreiche 
Dokumente verlangen hier m.E. eine flexibele Einstellmöglichkeit.

Gruss. Peter

-- 
Fiat lux!
Docendo discimus.
_____________________________
4Many® Services
XING: http://www.xing.com/go/invuid/Peter_Russ