[TYPO3-german] Crawler, crawled nur manchmal...
Richard Jäger
richard_j at arcor.de
Wed Jun 10 09:17:53 CEST 2009
Tolleiv Nietsch schrieb:
> Hi,
>
>> Hi,
>> irgendwie hat mein crawler noch nie so richtig funktioniert.
>>
>> Also der cronjob geht schonmal gar nicht.
>> Ich hab den cj über das domainfactory interface laufen, als "Direkter
>> Scriptaufruf":
>>
>> /www/web1234.com/1234/123456/typo3conf/ext/crawler/cli/crawler_cli.phpsh
>>
>
> aktuelle Vrsionen des Crawlers sollten per cli_dispatch also
> # typo3/cli_dispatch.phpsh crawler
> gestartet werden.
>
/www/web1234.com/1234/123456/typo3/cli_dispatch.phpsh crawler
wenn ich diesen pfad bei den cronjobs angebe, dann bekomme ich:
Die Datei 1234/123456/typo3/cli_dispatch.phpsh crawler existiert nicht
Muss man diesen cj irgendwie anders anlegen?
>> Der cj läuft jeden abend, aber er crawled wiegesagt nichts. Und die
>> "Letzte Ausgabe des Scriptes:" zeigt auch nichts an, keinen Fehler
>> nichts.
>>
>> Den BE user "_cli_crawler" habe ich natürlich auch angelegt.
>>
>> Momentan habe ich 6 seiten in meinem typo3. 1 deutsch und engl. und
>> die anderen 5 nur mit einer Sprache.
>>
>> Das ist die TSConfig der multipage:
>>
>> tx_crawler.crawlerCfg.paramSets {
>> content = &L=[|_TABLE:pages_language_overlay;_FIELD:sys_language_uid]
>> content.procInstrFilter = tx_indexedsearch_reindex,
>> tx_indexedsearch_crawler
>> content.baseUrl = http://www.web123456.de/
>> }
>>
>>
>>
>> Und so sieht einer der Seiten aus, die nur eine Sprache besitzen:
>>
>> tx_crawler.crawlerCfg.paramSets {
>> content.procInstrFilter = tx_indexedsearch_reindex,
>> tx_indexedsearch_crawler
>> content.baseUrl = http://www.web12345.de/
>> }
>>
>
> Sieht schonmal beides richtig aus - die Frage ist dann ja ob die für die
> Crawler-Queue generierten URLs richtig sind und ob der Crawler auch
> darauf zugreifen kann.
>
Wie könnte ich das denn testen?
>>
>> Auch wenn ich unter Info, den crawler manuell laufen lasse, dann
>> erhalte ich einen Fehler 500.
>>
>> Nur einmal hat er bis jetzt gecrawled, aber da fehlt noch einiges.
>>
>
> Im Crawler-Log kannst du dir mit "Show Result Log:" details anzeigen
> lassen (btw kannst du in der Result-Log Liste auch auf die qui Klicken
> um den Response vom Server zu erhalten.
>
> Hast du jemals versucht den crawler von der Kommandozeile per Hand zu
> starten? Hat das funktioniert?
>
Ich weiss ganz ehrlich gesagt nicht wie das geht, ich habs schonmal mit
putty versucht (falls du das meinst) aber nie hin bekommen.
Ich wäre über jede hilfe dankbar.
> Viele Grüße
> Tolleiv
>
>
>
More information about the TYPO3-german
mailing list