[TYPO3-german] crawler beschleunigen

Peter Russ peter.russ at 4many.net
Tue Jun 26 13:07:55 CEST 2007


--- Original Nachricht ---
Absender:   Andreas Otto
Datum:       26.06.2007 11:08:
> Hallo Thomas
> 
> Thomas Scholze wrote:
>> der Crawler benötigt am meisten Zeit für readUrl_exec(), dort gehen
>> knappe 15sek drauf und das auf dem produktiv-system.
> 
> Ich habe mittlerweile mal den Profiler in Xdebug angeworfen. In den
> Profiling Daten sieht man sehr gut, daß das Problem mit der PHP Funktion
> fgets() zusammenhängen zu scheint [1].
> 
> [1]<http://wiki.typo3.org/index.php/Ext_crawler#Performance>

Hallo Andreas,

m.E. ist fgets deshalb so langsam, weil es auf die Auslieferung der 
Seite warten muss. Deshalb könnte es interessant sein, welche Queries 
u.U. das System ausbremsen. Was sagt der MySQL Slow-Log? Nach meiner 
Erfahrung könnte es mit dem cache zusammenhängen, sprich je mehr Seiten 
gecached sind, umso langsamer: Hier verbraten Abfragen wie select 
count(*) from cache_pages u.ä. emens Zeit.


Gruss. Peter.

-- 
Fiat lux!
Docendo discimus.
_____________________________
4Many® Services
XING: http://www.xing.com/go/invuid/Peter_Russ


More information about the TYPO3-german mailing list