[TYPO3-german] direct_mail: Riskieren oder wegrennen?
Andreas Becker
ab.becker at web.de
Tue Jan 25 15:06:47 CET 2011
Hi All
Hier nun der Followup in Deutsch von unserem Problem;
Ein sehr grosses Dankeschoen an dieser Stelle an Oliver Dobberkau der
kraeftig mithalf das Problem zu lokalisieren.
Ausgangs lage war
TYPO3 4.5 mit TemplaVoila und Framework for TemplaVoila aber es war nicht
moeglich Newsletter bis ueber den Schritt 2 hinaus zu erstellen. Quickmails
hingegen wurden ohne Probleme versendet.
1. Check der Installation der Extensions (OK)
2. Check die TYPOSCRIPT einstellungen (OK)
3. versuch die Domain per ssh aufzurufen wget
http://meine.domain.tld/index.php?id=246 (FAILED)
4. check die VHost Einstellungen unter etc/hosts und
apache2/sites-available (OK)
5. Suhosin is installed und der error der aufgerufen wird traegt die
Nummer 403 - so durchsuchen wir die Errorlogs der Domain nach 403 und
suhosin eintraegen.
6. Check die .htaccess nach BOTS verhinderer Eintraegen und genau hier
lag dann auch das Problem. Die BOT Eintraege in der .htaccess verhinderten
dass der Newsletter ordnungsgemaess erstellt und dann auch versendet werden
konnte.
7. Wenn man die BOT Eintraege deactiviert klappt es einwandfrei.
Schlussfolgerung:
Es ist noetig einen Useragent fuer direct Mail zu schreiben der es erlaubt
das auch die Bot Eintraege Direct Mail Newsletter nicht verhindern.
===============
Hier sind noch einmal die BOT eintraege die wir in der .htaccess hatten,
evtl faellt jemanden ja hierzu was ein. Ich werde auf jeden Fall einen
Feature Request auf Forge schreiben und das versprochene Tutorial wird
folgen - auch hierzu wuerde ich mich freuen wenn Leute die Direct Mail
bereits einsetzen mir Infos zumailen was man so alles mit Direkt Mail
anstellenkann. Es wurde ja schon sehr viel darueber geredet aber keiner
schilderte eigentlich was er so mit direkt Mail an Featuren noch
herauszaubert.
Ich sammel das und werde es dann in einem 123 schritt fuer schritt Tutorial
wie dem von Cooluri verarbeiten damit alle was davon haben.
======================
### Blocking Bots and Spams ###
###
http://diveintomark.org/archives/2003/02/26/how_to_block_spambots_ban_spybots_and_tell_unwanted_robots_to_go_to_hell]
###
# Blocking User Agents with no privileges
# User-Agents with no privileges (mostly spambots/spybots/offline
downloaders that ignore robots.txt)
RewriteCond %{HTTP_USER_AGENT} http://www.domainname.com/domainname.com [OR]
# ERROR SPAM
RewriteCond %{REMOTE_ADDR} "^63\.148\.99\.2(2[4-9]|[3-4][0-9]|5[0-5])$" [OR]
# Cyveillance spybot
RewriteCond %{REMOTE_ADDR}
^12\.148\.196\.(12[8-9]|1[3-9][0-9]|2[0-4][0-9]|25[0-5])$ [OR] # NameProtect
spybot
RewriteCond %{REMOTE_ADDR} ^12\.148\.209\.(19[2-9]|2[0-4][0-9]|25[0-5])$
[OR] # NameProtect spybot
RewriteCond %{REMOTE_ADDR} ^64\.140\.49\.6([6-9])$ [OR] # Turnitin spybot
RewriteCond %{HTTP_REFERER} iaea\.org [OR] # spambot
RewriteCond %{HTTP_USER_AGENT} Wget [NC,OR] # rude
RewriteCond %{HTTP_USER_AGENT} "Java/1.6.0_04" [OR] # OD
RewriteCond %{HTTP_USER_AGENT} "Java/1.6.0_11" [OR] # rude
RewriteCond %{HTTP_USER_AGENT} ^[A-Z]+$ [OR] # spambot
RewriteCond %{HTTP_USER_AGENT} anarchie [NC,OR] # OD
RewriteCond %{HTTP_USER_AGENT} Atomz [OR] # rude bot
RewriteCond %{HTTP_USER_AGENT} cherry.?picker [NC,OR] # spambot
RewriteCond %{HTTP_USER_AGENT} "compatible ; MSIE 6.0" [OR] # spambot (note
extra space before semicolon)
RewriteCond %{HTTP_USER_AGENT} crescent [NC,OR] # OD
RewriteCond %{HTTP_USER_AGENT} "^DA \d\.\d+" [OR] # OD
RewriteCond %{HTTP_USER_AGENT} "DTS Agent" [OR] # OD
RewriteCond %{HTTP_USER_AGENT} "^Download" [OR] # OD
RewriteCond %{HTTP_USER_AGENT} EasyDL/\d\.\d+ [OR] # OD
RewriteCond %{HTTP_USER_AGENT}
e?mail.?(collector|magnet|reaper|siphon|sweeper|harvest|collect|wolf)
[NC,OR] # spambot
RewriteCond %{HTTP_USER_AGENT} express [NC,OR] # OD
RewriteCond %{HTTP_USER_AGENT} extractor [NC,OR] # OD
RewriteCond %{HTTP_USER_AGENT} "Fetch API Request" [OR] # OD
RewriteCond %{HTTP_USER_AGENT} flashget [NC,OR] # OD
RewriteCond %{HTTP_USER_AGENT} FlickBot [OR] # rude bot
RewriteCond %{HTTP_USER_AGENT} FrontPage [OR] # stupid user trying to edit
my site
RewriteCond %{HTTP_USER_AGENT} getright [NC,OR] # OD
RewriteCond %{HTTP_USER_AGENT} go.?zilla [NC,OR] # OD
RewriteCond %{HTTP_USER_AGENT} "efp at gmx\.net" [OR] # rude bot
RewriteCond %{HTTP_USER_AGENT} grabber [NC,OR] # OD
RewriteCond %{HTTP_USER_AGENT} imagefetch [OR] # rude bot
RewriteCond %{HTTP_USER_AGENT} httrack [NC,OR] # OD
RewriteCond %{HTTP_USER_AGENT} "Indy Library" [OR] # spambot
RewriteCond %{HTTP_USER_AGENT} "^Internet Explore" [OR] # spambot
RewriteCond %{HTTP_USER_AGENT} ^IE\ \d\.\d\ Compatible.*Browser$ [OR] #
spambot
RewriteCond %{HTTP_USER_AGENT} "LINKS ARoMATIZED" [OR] # rude bot
RewriteCond %{HTTP_USER_AGENT} "Microsoft URL Control" [OR] # spambot
RewriteCond %{HTTP_USER_AGENT} "mister pix" [NC,OR] # rude bot
RewriteCond %{HTTP_USER_AGENT} "^Mozilla/4.0$" [OR] # dumb bot
RewriteCond %{HTTP_USER_AGENT} "^Mozilla/\?\?$" [OR] # formmail attacker
RewriteCond %{HTTP_USER_AGENT} MSIECrawler [OR] # IE's "make available
offline" mode
RewriteCond %{HTTP_USER_AGENT} ^NG [OR] # unknown bot
RewriteCond %{HTTP_USER_AGENT} offline [NC,OR] # OD
RewriteCond %{HTTP_USER_AGENT} net.?(ants|mechanic|spider|vampire|zip)
[NC,OR] # OD
RewriteCond %{HTTP_USER_AGENT} nicerspro [NC,OR] # spambot
RewriteCond %{HTTP_USER_AGENT} ninja [NC,OR] # Download Ninja OD
RewriteCond %{HTTP_USER_AGENT} NPBot [OR] # NameProtect spybot
RewriteCond %{HTTP_USER_AGENT} PersonaPilot [OR] # rude bot
RewriteCond %{HTTP_USER_AGENT} snagger [NC,OR] # OD
RewriteCond %{HTTP_USER_AGENT} Snapbot [NC,OR] # OD
RewriteCond %{HTTP_USER_AGENT} Sqworm [OR] # rude bot
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR] # rude bot
RewriteCond %{HTTP_USER_AGENT} tele(port|soft) [NC,OR] # OD
RewriteCond %{HTTP_USER_AGENT} TurnitinBot [OR] # Turnitin spybot
RewriteCond %{HTTP_USER_AGENT}
web.?(auto|bandit|collector|copier|devil|downloader|fetch|hook|mole|miner|mirror|reaper|sauger|sucker|site|snake|stripper|weasel|zip)
[NC,OR] # ODs
RewriteCond %{HTTP_USER_AGENT} vayala [OR] # dumb bot, doesn't know how to
follow links, generates lots of 404s
RewriteCond %{HTTP_USER_AGENT} zeus [NC]
RewriteRule .* - [F,L]
RewriteCond %{HTTP_USER_AGENT} ^(-?|[A-Z]{10})$ [OR]
# A host which tries to hide itself in reverse DNS lookup
RewriteCond %{REMOTE_HOST} ^private$ [NC,OR]
# Web surveying sites (may require using ipchains)
RewriteCond %{HTTP_REFERER} (traffixer|netfactual|netcraft)\.com [NC,OR]
RewriteCond %{REMOTE_HOST} \.netcraft\.com$ [NC,OR]
# A fake referrer that's often used -- use this unless your pages are
related
# in some way to atomic energy and could really be linked to from
www.iaea.org
RewriteCond %{HTTP_REFERER} ^[^?]*iaea\.org [NC,OR]
# "addresses.com" is a referer used by an email address extractor
RewriteCond %{HTTP_REFERER} ^[^?]*addresses\.com [NC,OR]
# A fake referrer that's used in conjuncting with formmail exploits
RewriteCond %{HTTP_REFERER} ^[^?]*\.ideography\.co\.uk [NC]
# The rule which blocks out further access from the host
RewriteRule .* /cgi-bin/bad.pl [L,T=application/x-httpd-cgi]
# Bad requests which look like attacks (these have all been seen in real
attacks)
RewriteRule
^[^?]*/(owssvr|strmver|orders|Auth_data|redirect\.adp|MSOffice|DCShop|msadc|winnt|system32|script|autoexec|formmail\.pl|_mem_bin|NULL\.)
/cgi-bin/bad.pl [NC,L,T=application/x-httpd-cgi]
# Filter out bad requests (may need to be adjusted to your needs)
RewriteCond %{THE_REQUEST} "^((GET|POST|HEAD) [^/]|CONNECT)" [NC]
RewriteRule .* /cgi-bin/bad.pl [L,T=application/x-httpd-cgi]
RewriteRule
^(/(scripts|msadc|MSADC|./winnt)|.*(default\.ida|[NX]{30}|c\+dir)) /cgi-bin/
blocklist.pl [L,T=application/x-httpd-cgi]
======================
Liebe Gruesse
Andi
2011/1/25 Marc Fell <info at marc-fell.de>
> Hi Georg,
>
> ich finde, solche Grundsatzdiskussionen gehören nicht in die Liste, zumal
> Google ja auch mitliest. Dem, was du schreibst stimme ich zu, ist mir alles
> bekannt, aber auch hier machen wir jetzt mal 'nen Punkt.
>
> Der Titel meines Posts ist leider... naja... unglücklich, sollte man besser
> aufpassen, inhaltlich finde ich es immer noch nicht verwerflich.
>
> Grüße an alle, bye Marc
>
>
> Am 25.01.2011 07:23, schrieb Georg Ringer:
>
> Hallo Marc,
>>
>> ich möchte das Thema noch ein letztes Mal aufgreifen, unter anderem weil
>> ich auch ein paar Extensions geschrieben habe.
>>
>> Am 24.01.2011 17:21, schrieb Marc Fell:
>>
>>> voreingenommen... nun gut, ich denke, es bringt nichts, wenn wir das nun
>>> hier weiter diskutieren. Wenn man diesen Thema in Entwicklerkreisen
>>> anspricht, geht die Meinung schon ein eine eindeutige Richtung.
>>>
>>
>> Ich kenne diese eindeutige Richtung eigentlich nicht. Klar ist: Wenn du
>> auf eine externe Lösung setzt, wirst du sicherlich mehr Features haben
>> als mit direct_mail, das ist aber gleich wie wenn du bei einem Forum auf
>> vbulletin setzt statt auf mm_forum. Externe Lösungen decken genau 1
>> Zweck ab, haben halt den Nachteil dass es extern ist.
>>
>> Es hat ja auch nicht s mit niedermachen der Entwickler zu tun, ich bat
>>> lediglich um eine Einschätzung... es kann ja auch durchaus möglich sein,
>>> dass es mittlerweile besser läuft.
>>>
>>
>> Nun du kennst sicherlich das Zitat mit dem Wald und dem Hineinrufen. Es
>> ist halt nun mal so dass die meisten Extensions in der Freizeit gemacht
>> werden, dementsprechend auch ein Hobby darstellen und es daher
>> persönlich nehmen.
>>
>> Ich denke auch nicht, dass diese Liste ausschließlich da ist, um
>>> Loblieder zu singen, oder?
>>>
>>
>> Nein, aber auch nicht für das Gegenteil
>>
>> Und nebenbei gemerkt, bezahle jedes Jahr einen kleinen Betrag als
>>> Association Member, damit TYPO3 weiter entwickelt werden kann... du
>>> auch? ;)
>>>
>>
>> Was hat das mit der direct_mail zu tun? Die Association ist für den Core
>> zuständig, nicht für irgendwelche Extensions, die irgendwer schreibt.
>>
>> Ich leiste auch einen kleinen finanziellen Beitrag, bin noch im Security
>> Team, im Core Team, gebe auf den mailinglisten Support, schreibe
>> Extensions die kostenlos verfügbar sind und und und... Du glaubst also
>> dein kleiner Beitrag reicht? ;)
>>
>> Georg
>>
>
> _______________________________________________
> TYPO3-german mailing list
> TYPO3-german at lists.typo3.org
> http://lists.typo3.org/cgi-bin/mailman/listinfo/typo3-german
>
More information about the TYPO3-german
mailing list