[TYPO3-german] 4.1.10 -> 4.2.9, Frage zum Wiki, Umstellung UTF8

[Stephan Schuler]

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA256

Hallo zusammen.


Ich muss mich jetzt auch mal kurz einmischen, weil das bisher hier gesagte und die verlinkten Wiki- und Blogeinträge das auch nicht so klar rüber bringen:

Das Umlautproblem von *irgendwas* nach UTF-8 lässt sich grundsätzlich lösen, indem man den Plaintext-SQL-Dump per passendem Tool bearbeitet und alle Umlaute des Quellcharsets in entsprechende Umlaute des Zielcharsets verwandelt. Vorstellen kann man sich das wohl wie eine recht umfangreiche Liste an Vorher-Nachher-Paaren für str_replace.

Das eigentliche Problem bei der Konvertierung tritt auf, weil an einigen Stellen Text in BLOB gespeichert ist, und der SQL-Dump BLOB standardmäßig *irgend wie in hex* ausspuckt. Ich glaube es ist base64_encode, bin mir da aber nicht so 100% sicher und eigentlich spielt das hier auch keine große Rolle. Jedenfalls sind Texte im BLOB als Hex "verformt", der Charset-Converter *findet* sie nicht. Dadurch werden Umlaute in TEXT-Feldern ordnungsgemäß konviertiert, Umlaute in BLOBs dagegen nicht, eine Mischung aus passenden und unpassenden Umlauten ist die Folge, und das ist wohl die ungünstigste aller Situationen.
Die Option, BLOB nicht als HEX aus zu geben ist in dem Fall die Lösung, weil hier BLOB nicht konvertiert/verformt sondern "wie normaler Text" behandelt und ausgegeben wird, sodass der Charset-Converter die Texte klar lesen kann.

Bis hier hin steht der Sachverhalt bereits im Thread.

Problematisch wird die Sache, sobald in einem BLOB -- wie es sich für BLOBs (Binlary Large OBjects) eigentlich gehört -- keinen Text sondern wirklich "binary" enthält. Oft kommt das zwar zum Glück in der TYPO3-Welt nicht vor, aber ausgeschlossen ist es nun mal nicht. Konstruiertes Beispiel: Benutzerdatensätze bekommen Benutzerfotos, die nicht im Dateisystem liegen sondern eben in einem BLOB-Attribut des User-Records.

Deshalb würde ich wohl, wenn es zu solchem Umlautproblemen an einer Stelle kommt, auch nur diese eine zugehörige Datenbanktabelle anfassen und von allen anderen BLOBs die Finger lassen, so lange bis mir dort ein anderes Problem auf die Füße fällt. Pauschal in allen BLOBs das Charset per Textconverter zu manipulieren (was wohl unüberlegt ein recht naheliegender Gedanke ist) kann jedenfalls gewaltig schief gehen.


Grüße,
Stephan.



Stephan Schuler
TYPO3 Entwickler

Telefon: +49 (911) 539909 - 0
E-Mail: Stephan.Schuler at netlogix.de

- --
netlogix GmbH & Co. KG
Systemhaus | Trainingscenter | Medienagentur
Andernacher Straße 53 | 90411 Nürnberg
Telefon: +49 (911) 539909 - 0 | Fax: +49 (911) 539909 - 99
E-Mail: mailto:info at netlogix.de | Internet: http://www.netlogix.de/

netlogix GmbH & Co. KG ist eingetragen am Amtsgericht Nürnberg (HRA 13338).
Persönlich haftende Gesellschafterin: netlogix Verwaltungs GmbH (HRB 20634)
Geschäftsführer: Stefan Buchta, Matthias Schmidt, Guido-Arndt Söldner, Jens-Henrik Söldner

- -----Ursprüngliche Nachricht-----


Von: typo3-german-bounces at lists.typo3.org [mailto:typo3-german-bounces at lists.typo3.org] Im Auftrag von Steffen Müller
Gesendet: Dienstag, 27. Oktober 2009 22:04
An: typo3-german at lists.typo3.org
Betreff: Re: [TYPO3-german] 4.1.10 -> 4.2.9, Frage zum Wiki, Umstellung UTF8

Hi.

On 27.10.2009 19:09 Gerhard Mehsel wrote:
> ich habe im obigen Vorgehen auch schon das iconv weggelassen, allerdings
> sind dann die Typoscript Templates kaputt: z.B. ein TS Template mit 500
> Zeilen hat danach nur noch 30 Zeilen, der Rest ist nicht mehr vorhanden
> (abgeschnitten beim ersten Umlaut im TS Template)
>
>

Du musst vor dem upgrade und vor der charset conversion die blob Felder
der template Tabelle nach text umwandeln.

Ich hatte mal ähnliche probleme:
http://www.t3node.com/blog/thinking-about-utf-8-character-set-conversion-in-typo3/

Leider hatte ich damals nicht den vollständigen Lösungsweg dokumentiert
und vergessen. Der Blog Artikel stellt also lediglich die Moral der
Geschichte dar :)

- --
cheers,
Steffen

TYPO3 Blog: http://www.t3node.com/
Blubber on Twitter: http://twitter.com/t3node
_______________________________________________
TYPO3-german mailing list
TYPO3-german at lists.typo3.org
http://lists.typo3.org/cgi-bin/mailman/listinfo/typo3-german


-----BEGIN PGP SIGNATURE-----
Version: PGP Universal 2.9.1 (Build 287)
Charset: Windows-1252

wpUDBQFK6VGCpp0IwsibV8MBCMaaA/46wSRjcztvWQDCXK/YNhqs5nVO76p6OWsg
PZBHGFg7QCA0aofhTZBPSHFzqcmZEvvtEwRd326n47Y/w8SD0544cCMweMaVMllV
ZMQg77ZVGf5S010zz50LrYnKKpRmgp/HX9bngshJ8N+8py/MuvlvWgRc6QdDsiMs
9Fp7FE+ttg==
=WJs4
-----END PGP SIGNATURE-----