[TYPO3-german] direct_mail: Riskieren oder wegrennen?

Konrad Chorosinski kc at konster.de
Tue Aug 7 12:55:36 CEST 2012


Hallo,

die Extension "forcerealurls" kann problematisch sein für "direct_mail". 
Genauer gesagt kann "forcerealurls" folgenden Fehler in Schritt 2 des 
Newsletter-Versands auslösen:

Die HTML Inhalten können nicht ausgelesen werden.
Die Text Inhalten können nicht ausgelesen werden.

Um den Fehler zu umgehen, habe ich "forcerealurls" kurzerhand deinstalliert.

Ich hoffe, dass dieser Tippp irgendjemandem weiterhelfen kann.


Viele Grüße,
Konrad


Am 25.01.2011 15:06, schrieb Andreas Becker:
> Hi All
>
> Hier nun der Followup in Deutsch von unserem Problem;
>
> Ein sehr grosses Dankeschoen an dieser Stelle an Oliver Dobberkau der
> kraeftig mithalf das Problem zu lokalisieren.
>
> Ausgangs lage war
>
> TYPO3 4.5 mit TemplaVoila und Framework for TemplaVoila aber es war nicht
> moeglich Newsletter bis ueber den Schritt 2 hinaus zu erstellen. Quickmails
> hingegen wurden ohne Probleme versendet.
>
>
>     1. Check der Installation der Extensions (OK)
>     2. Check die TYPOSCRIPT einstellungen (OK)
>     3. versuch die Domain per ssh aufzurufen wget
>     http://meine.domain.tld/index.php?id=246 (FAILED)
>     4. check die VHost Einstellungen unter etc/hosts und
>     apache2/sites-available (OK)
>     5. Suhosin is installed und der error der aufgerufen wird traegt die
>     Nummer 403 - so durchsuchen wir die Errorlogs der Domain nach 403 und
>     suhosin eintraegen.
>     6. Check die .htaccess nach BOTS verhinderer Eintraegen und genau hier
>     lag dann auch das Problem. Die BOT Eintraege in der .htaccess verhinderten
>     dass der Newsletter ordnungsgemaess erstellt und dann auch versendet werden
>     konnte.
>     7. Wenn man die BOT Eintraege deactiviert klappt es einwandfrei.
>
>
> Schlussfolgerung:
> Es ist noetig einen Useragent fuer direct Mail zu schreiben der es erlaubt
> das auch die Bot Eintraege Direct Mail Newsletter nicht verhindern.
>
> ===============
> Hier sind noch einmal die BOT eintraege die wir in der .htaccess hatten,
> evtl faellt jemanden ja hierzu was ein. Ich werde auf jeden Fall einen
> Feature Request auf Forge schreiben und das versprochene Tutorial wird
> folgen - auch hierzu wuerde ich mich freuen wenn Leute die Direct Mail
> bereits einsetzen mir Infos zumailen was man so alles mit Direkt Mail
> anstellenkann. Es wurde ja schon sehr viel darueber geredet aber keiner
> schilderte eigentlich was er so mit direkt Mail an Featuren noch
> herauszaubert.
>
> Ich sammel das und werde es dann in einem 123 schritt fuer schritt Tutorial
> wie dem von Cooluri verarbeiten damit alle was davon haben.
>
> ======================
> ### Blocking Bots and Spams ###
> ###
> http://diveintomark.org/archives/2003/02/26/how_to_block_spambots_ban_spybots_and_tell_unwanted_robots_to_go_to_hell]
> ###
>
> # Blocking User Agents with no privileges
> # User-Agents with no privileges (mostly spambots/spybots/offline
> downloaders that ignore robots.txt)
>
> RewriteCond %{HTTP_USER_AGENT} http://www.domainname.com/domainname.com [OR]
> # ERROR SPAM
> RewriteCond %{REMOTE_ADDR} "^63\.148\.99\.2(2[4-9]|[3-4][0-9]|5[0-5])$" [OR]
> # Cyveillance spybot
> RewriteCond %{REMOTE_ADDR}
> ^12\.148\.196\.(12[8-9]|1[3-9][0-9]|2[0-4][0-9]|25[0-5])$ [OR] # NameProtect
> spybot
> RewriteCond %{REMOTE_ADDR} ^12\.148\.209\.(19[2-9]|2[0-4][0-9]|25[0-5])$
> [OR] # NameProtect spybot
> RewriteCond %{REMOTE_ADDR} ^64\.140\.49\.6([6-9])$ [OR] # Turnitin spybot
> RewriteCond %{HTTP_REFERER} iaea\.org [OR] # spambot
> RewriteCond %{HTTP_USER_AGENT} Wget [NC,OR] # rude
> RewriteCond %{HTTP_USER_AGENT} "Java/1.6.0_04" [OR] # OD
> RewriteCond %{HTTP_USER_AGENT} "Java/1.6.0_11" [OR] # rude
> RewriteCond %{HTTP_USER_AGENT} ^[A-Z]+$ [OR] # spambot
> RewriteCond %{HTTP_USER_AGENT} anarchie [NC,OR] # OD
> RewriteCond %{HTTP_USER_AGENT} Atomz [OR] # rude bot
> RewriteCond %{HTTP_USER_AGENT} cherry.?picker [NC,OR] # spambot
> RewriteCond %{HTTP_USER_AGENT} "compatible ; MSIE 6.0" [OR] # spambot (note
> extra space before semicolon)
> RewriteCond %{HTTP_USER_AGENT} crescent [NC,OR] # OD
> RewriteCond %{HTTP_USER_AGENT} "^DA \d\.\d+" [OR] # OD
> RewriteCond %{HTTP_USER_AGENT} "DTS Agent" [OR] # OD
> RewriteCond %{HTTP_USER_AGENT} "^Download" [OR] # OD
> RewriteCond %{HTTP_USER_AGENT} EasyDL/\d\.\d+ [OR] # OD
> RewriteCond %{HTTP_USER_AGENT}
> e?mail.?(collector|magnet|reaper|siphon|sweeper|harvest|collect|wolf)
> [NC,OR] # spambot
> RewriteCond %{HTTP_USER_AGENT} express [NC,OR] # OD
> RewriteCond %{HTTP_USER_AGENT} extractor [NC,OR] # OD
> RewriteCond %{HTTP_USER_AGENT} "Fetch API Request" [OR] # OD
> RewriteCond %{HTTP_USER_AGENT} flashget [NC,OR] # OD
> RewriteCond %{HTTP_USER_AGENT} FlickBot [OR] # rude bot
> RewriteCond %{HTTP_USER_AGENT} FrontPage [OR] # stupid user trying to edit
> my site
> RewriteCond %{HTTP_USER_AGENT} getright [NC,OR] # OD
> RewriteCond %{HTTP_USER_AGENT} go.?zilla [NC,OR] # OD
> RewriteCond %{HTTP_USER_AGENT} "efp at gmx\.net" [OR] # rude bot
> RewriteCond %{HTTP_USER_AGENT} grabber [NC,OR] # OD
> RewriteCond %{HTTP_USER_AGENT} imagefetch [OR] # rude bot
> RewriteCond %{HTTP_USER_AGENT} httrack [NC,OR] # OD
> RewriteCond %{HTTP_USER_AGENT} "Indy Library" [OR] # spambot
> RewriteCond %{HTTP_USER_AGENT} "^Internet Explore" [OR] # spambot
> RewriteCond %{HTTP_USER_AGENT} ^IE\ \d\.\d\ Compatible.*Browser$ [OR] #
> spambot
> RewriteCond %{HTTP_USER_AGENT} "LINKS ARoMATIZED" [OR] # rude bot
> RewriteCond %{HTTP_USER_AGENT} "Microsoft URL Control" [OR] # spambot
> RewriteCond %{HTTP_USER_AGENT} "mister pix" [NC,OR] # rude bot
> RewriteCond %{HTTP_USER_AGENT} "^Mozilla/4.0$" [OR] # dumb bot
> RewriteCond %{HTTP_USER_AGENT} "^Mozilla/\?\?$" [OR] # formmail attacker
> RewriteCond %{HTTP_USER_AGENT} MSIECrawler [OR] # IE's "make available
> offline" mode
> RewriteCond %{HTTP_USER_AGENT} ^NG [OR] # unknown bot
> RewriteCond %{HTTP_USER_AGENT} offline [NC,OR] # OD
> RewriteCond %{HTTP_USER_AGENT} net.?(ants|mechanic|spider|vampire|zip)
> [NC,OR] # OD
> RewriteCond %{HTTP_USER_AGENT} nicerspro [NC,OR] # spambot
> RewriteCond %{HTTP_USER_AGENT} ninja [NC,OR] # Download Ninja OD
> RewriteCond %{HTTP_USER_AGENT} NPBot [OR] # NameProtect spybot
> RewriteCond %{HTTP_USER_AGENT} PersonaPilot [OR] # rude bot
> RewriteCond %{HTTP_USER_AGENT} snagger [NC,OR] # OD
> RewriteCond %{HTTP_USER_AGENT} Snapbot [NC,OR] # OD
> RewriteCond %{HTTP_USER_AGENT} Sqworm [OR] # rude bot
> RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR] # rude bot
> RewriteCond %{HTTP_USER_AGENT} tele(port|soft) [NC,OR] # OD
> RewriteCond %{HTTP_USER_AGENT} TurnitinBot [OR] # Turnitin spybot
> RewriteCond %{HTTP_USER_AGENT}
> web.?(auto|bandit|collector|copier|devil|downloader|fetch|hook|mole|miner|mirror|reaper|sauger|sucker|site|snake|stripper|weasel|zip)
> [NC,OR] # ODs
> RewriteCond %{HTTP_USER_AGENT} vayala [OR] # dumb bot, doesn't know how to
> follow links, generates lots of 404s
> RewriteCond %{HTTP_USER_AGENT} zeus [NC]
> RewriteRule .* - [F,L]
>
> RewriteCond %{HTTP_USER_AGENT} ^(-?|[A-Z]{10})$                    [OR]
>
> # A host which tries to hide itself in reverse DNS lookup
> RewriteCond %{REMOTE_HOST} ^private$                               [NC,OR]
>
> # Web surveying sites (may require using ipchains)
> RewriteCond %{HTTP_REFERER} (traffixer|netfactual|netcraft)\.com   [NC,OR]
> RewriteCond %{REMOTE_HOST} \.netcraft\.com$                        [NC,OR]
>
> # A fake referrer that's often used -- use this unless your pages are
> related
> # in some way to atomic energy and could really be linked to from
> www.iaea.org
> RewriteCond %{HTTP_REFERER} ^[^?]*iaea\.org                        [NC,OR]
>
> # "addresses.com" is a referer used by an email address extractor
> RewriteCond %{HTTP_REFERER} ^[^?]*addresses\.com                   [NC,OR]
>
> # A fake referrer that's used in conjuncting with formmail exploits
> RewriteCond %{HTTP_REFERER} ^[^?]*\.ideography\.co\.uk             [NC]
>
> # The rule which blocks out further access from the host
> RewriteRule .* /cgi-bin/bad.pl [L,T=application/x-httpd-cgi]
>
> # Bad requests which look like attacks (these have all been seen in real
> attacks)
> RewriteRule
> ^[^?]*/(owssvr|strmver|orders|Auth_data|redirect\.adp|MSOffice|DCShop|msadc|winnt|system32|script|autoexec|formmail\.pl|_mem_bin|NULL\.)
> /cgi-bin/bad.pl [NC,L,T=application/x-httpd-cgi]
>
> # Filter out bad requests (may need to be adjusted to your needs)
> RewriteCond %{THE_REQUEST} "^((GET|POST|HEAD) [^/]|CONNECT)" [NC]
> RewriteRule .* /cgi-bin/bad.pl [L,T=application/x-httpd-cgi]
>
> RewriteRule
> ^(/(scripts|msadc|MSADC|./winnt)|.*(default\.ida|[NX]{30}|c\+dir)) /cgi-bin/
> blocklist.pl [L,T=application/x-httpd-cgi]
>
>
> ======================
>
> Liebe Gruesse
>
> Andi
>
>
>
> 2011/1/25 Marc Fell <info at marc-fell.de>
>
>> Hi Georg,
>>
>> ich finde, solche Grundsatzdiskussionen gehören nicht in die Liste, zumal
>> Google ja auch mitliest. Dem, was du schreibst stimme ich zu, ist mir alles
>> bekannt, aber auch hier machen wir jetzt mal 'nen Punkt.
>>
>> Der Titel meines Posts ist leider... naja... unglücklich, sollte man besser
>> aufpassen, inhaltlich finde ich es immer noch nicht verwerflich.
>>
>> Grüße an alle, bye Marc
>>
>>
>> Am 25.01.2011 07:23, schrieb Georg Ringer:
>>
>>   Hallo Marc,
>>>
>>> ich möchte das Thema noch ein letztes Mal aufgreifen, unter anderem weil
>>> ich auch ein paar Extensions geschrieben habe.
>>>
>>> Am 24.01.2011 17:21, schrieb Marc Fell:
>>>
>>>> voreingenommen... nun gut, ich denke, es bringt nichts, wenn wir das nun
>>>> hier weiter diskutieren. Wenn man diesen Thema in Entwicklerkreisen
>>>> anspricht, geht die Meinung schon ein eine eindeutige Richtung.
>>>>
>>>
>>> Ich kenne diese eindeutige Richtung eigentlich nicht. Klar ist: Wenn du
>>> auf eine externe Lösung setzt, wirst du sicherlich mehr Features haben
>>> als mit direct_mail, das ist aber gleich wie wenn du bei einem Forum auf
>>> vbulletin setzt statt auf mm_forum. Externe Lösungen decken genau 1
>>> Zweck ab, haben halt den Nachteil dass es extern ist.
>>>
>>>   Es hat ja auch nicht s mit niedermachen der Entwickler zu tun, ich bat
>>>> lediglich um eine Einschätzung... es kann ja auch durchaus möglich sein,
>>>> dass es mittlerweile besser läuft.
>>>>
>>>
>>> Nun du kennst sicherlich das Zitat mit dem Wald und dem Hineinrufen. Es
>>> ist halt nun mal so dass die meisten Extensions in der Freizeit gemacht
>>> werden, dementsprechend auch ein Hobby darstellen und es daher
>>> persönlich nehmen.
>>>
>>>   Ich denke auch nicht, dass diese Liste ausschließlich da ist, um
>>>> Loblieder zu singen, oder?
>>>>
>>>
>>> Nein, aber auch nicht für das Gegenteil
>>>
>>>   Und nebenbei gemerkt, bezahle jedes Jahr einen kleinen Betrag als
>>>> Association Member, damit TYPO3 weiter entwickelt werden kann... du
>>>> auch? ;)
>>>>
>>>
>>> Was hat das mit der direct_mail zu tun? Die Association ist für den Core
>>> zuständig, nicht für irgendwelche Extensions, die irgendwer schreibt.
>>>
>>> Ich leiste auch einen kleinen finanziellen Beitrag, bin noch im Security
>>> Team, im Core Team, gebe auf den mailinglisten Support, schreibe
>>> Extensions die kostenlos verfügbar sind und und und... Du glaubst also
>>> dein kleiner Beitrag reicht? ;)
>>>
>>> Georg
>>>
>>
>> _______________________________________________
>> TYPO3-german mailing list
>> TYPO3-german at lists.typo3.org
>> http://lists.typo3.org/cgi-bin/mailman/listinfo/typo3-german
>>



More information about the TYPO3-german mailing list