[TYPO3-german] crawler beschleunigen

[Thomas Scholze]

Hallo,
eine kurze Frage: Ist es möglich den crawler etwas zu beschleunigen?

Ich möchte (da Mitternachts der Cache geleert wird) mit dem crawler die 
Seiten neu cachen und in dem Zug auch im Index updaten.

Das ganze läuft mit folgender config:
-- TypoScript --
## http://wiki.typo3.org/index.php/Ext_crawler
tx_crawler.crawlerCfg.paramSets.main =
tx_crawler.crawlerCfg.paramSets.main {
	procInstrFilter = 
tx_indexedsearch_crawler,tx_indexedsearch_reindex,tx_cachemgm_recache
	cHash = 1
	baseUrl = http://www.domain.de/
}
#set up a crawl for users who have group id of 1
tx_crawler.crawlerCfg.paramSets.grp1 < tx_crawler.crawlerCfg.paramSets.main
tx_crawler.crawlerCfg.paramSets.grp1 {
	userGroups = 1
}

-- crawler-aufruf in der Shell --
$ time 
/home/www/vh/www.fh-lausitz.de/typo3/sites/typo3_FHL_test/typo3/cli_dispatch.phpsh 
crawler_im 2 -d 999 -n 999 -ss -proc 
tx_cachemgm_recache,tx_indexedsearch_reindex,tx_indexedsearch_crawler -o 
exec

-- mit dem Ergebnis --
real    981m14.729s
user    0m15.978s
sys     0m2.571s

------------------------
Also nicht für jeden Tag geeignet.

Was mir ebenfalls aufgefallen ist, dass wenn man über CLI nur
-proc tx_cachemgm_recache
angibt auch alle anderen Parameter automatisch mit abgearbeitet werden, 
in dem fall tx_indexedsearch_crawler,tx_indexedsearch_reindex.
Lässt sich nur beheben, wenn man ein separates paramSets definiert in 
der die nicht gewünschten parameter auch nich drin sind.

Abgesehen davon läuft tx_cachemgm_recache alleine auch nicht schneller ...


Vielen Dank für eure Hilfe, ich würde dann auch versuchen 
http://wiki.typo3.org/index.php/Ext_crawler ein Update zu verschaffen.

Grüße
Thomas