[R] Gmail Notifier et compatibilité multi langue (utf-8)

[pierrotm777]

Bonjour à tous,

Je suis sur un nouveau projet, un notificateur de mails dans Gmail.

J'ai trouvé un UDF sur le site Us (Gmail checker) qui fonctionne à merveille.

Mon seul problème, c'est la compatibilité avec les langues comportant certains caractères.

Les é ou è passent bien mai les ' sont remplacés par ' ce qui n'est pas bien lisible.

Pourriez vous m'aider à rendre compatible cet UDF (GMAIL.au3) multilangue ?

Merci par avance.

Je joins l'UDF et un petit exemple.
Pour mieux comprendre,si vous avez un compte gmail, envoyez vous un mail avec dans le titre ou le corps du message:
c'est un premier essai .
Complétez dans l'exemple vos login et password et lancez le script.
Vous devriez obtenir dans le message de l'exemple:
c'est un premier essai

[jchd]

Il suffit d'interpréter correctement l'encodage html.

Code : Tout sélectionner

Local $s = 'Unicode html string with some fractional ((2n+1)/8) html codepoints ⅛=1/8 ⅜=3/8 ⅝=5/8 ⅞=7/8'
$s = Execute('"' & StringRegexpReplace($s, "&#(\d+);", '"&chrw($1)&"') & '"')
MsgBox(0, "Html Unicode test", $s & @LF)
 

Attention, il y a aussi les & (perluette & elle-même) et autres.

[pierrotm777]

Merci de votre intérêt pour mon problème.

où dis-je placer ce code svp et comment l'utiliser.

Si je comprend bien , ce code ne résoudrait que le problème avec le ' ?

Après quelques recherches, j'ai trouvé plusieurs fonctions.http://www.autoitscript.com/forum/index ... hl=chinese

Celles ci peuvent-elles m'aider.

Merci

► Afficher le texte

Code : Tout sélectionner

Func Asc2Unicode($AscString, $addBOM = false)
    Local $BufferSize = StringLen($AscString) * 2
    Local $FullUniStr = DllStructCreate("byte[" & $BufferSize + 2 & "]")
    Local $Buffer = DllStructCreate("byte[" & $BufferSize & "]", DllStructGetPtr($FullUniStr) + 2)
    Local $Return = DllCall("Kernel32.dll", "int", "MultiByteToWideChar", _
        "int", 0, _
        "int", 0, _
        "str", $AscString, _
        "int", StringLen($AscString), _
        "ptr", DllStructGetPtr($Buffer, 1), _
        "int", $BufferSize)
    DllStructSetData($FullUniStr, 1, 0xFF, 1)
    DllStructSetData($FullUniStr, 1, 0xFE, 2)
    If $addBOM then
        Return DllStructGetData($FullUniStr, 1)
    Else
        Return DllStructGetData($Buffer, 1)
    Endif
EndFunc

Func Unicode2Asc($UniString)
    If Not IsBinary($UniString) Then
        SetError(1)
        Return $UniString
    EndIf

    Local $BufferLen = StringLen($UniString)
    Local $Input = DllStructCreate("byte[" & $BufferLen & "]")
    Local $Output = DllStructCreate("char[" & $BufferLen & "]")
    DllStructSetData($Input, 1, $UniString)
    Local $Return = DllCall("kernel32.dll", "int", "WideCharToMultiByte", _
        "int", 0, _
        "int", 0, _
        "ptr", DllStructGetPtr($Input), _
        "int", $BufferLen / 2, _
        "ptr", DllStructGetPtr($Output), _
        "int", $BufferLen, _
        "int", 0, _
        "int", 0)
    Local $AscString = DllStructGetData($Output, 1)
    $Output = 0
    $Input = 0
    Return $AscString
EndFunc

Func Unicode2Utf8($UniString)
    If Not IsBinary($UniString) Then
        SetError(1)
        Return $UniString
    EndIf

    Local $UniStringLen = StringLen($UniString)
    Local $BufferLen = $UniStringLen * 2
    Local $Input = DllStructCreate("byte[" & $BufferLen & "]")
    Local $Output = DllStructCreate("char[" & $BufferLen & "]")
    DllStructSetData($Input, 1, $UniString)
    Local $Return = DllCall("kernel32.dll", "int", "WideCharToMultiByte", _
        "int", 65001, _
        "int", 0, _
        "ptr", DllStructGetPtr($Input), _
        "int", $UniStringLen / 2, _
        "ptr", DllStructGetPtr($Output), _
        "int", $BufferLen, _
        "int", 0, _
        "int", 0)
    Local $Utf8String = DllStructGetData($Output, 1)
    $Output = 0
    $Input = 0
    Return $Utf8String
EndFunc

Func Utf82Unicode($Utf8String)
    Local $BufferSize = StringLen($Utf8String) * 2
    Local $Buffer = DllStructCreate("byte[" & $BufferSize & "]")
    Local $Return = DllCall("Kernel32.dll", "int", "MultiByteToWideChar", _
        "int", 65001, _
        "int", 0, _
        "str", $Utf8String, _
        "int", StringLen($Utf8String), _
        "ptr", DllStructGetPtr($Buffer), _
        "int", $BufferSize)
    Local $UnicodeString = StringLeft(DllStructGetData($Buffer, 1), $Return[0] * 2)
    $Buffer = 0
    Return $UnicodeString
EndFunc

[jchd]

L'explication est la suivante : html autorise la représentation de tous les caractères Unicode sous une forme portable (comprendre "propriétaire") en encodant la valeur Unicode décimale précédée de &# et suivie de ;
Pour une apostrophe, code hexa 0x27, soit 39 en décimal, cela donne '

Il suffit d'employer une expression régulière (RegExp) pour extraire et remplacer la chose par & ChrW(39) & (concaténé au beau milieu de la chaîne initiale) et d'exécuter le tout.
Partant de "C'est le pied !", on arrive à Execute("C" & ChrW(39) & "est le pied !") et donc à "C'est le pied !"


Maintenant, mon exemple démontre qu'il ne fonctionne pas qu'avec la perluette (il suffirait de l'exécuter pour s'en rendre compte...), mais avec l'intégralité du jeu de charactères Unicode qu'AutoIt peut traiter.

Un mot à ce sujet : AutoIt est censé utiliser Unicode (UTF-16LE) mais en réalité, il n'en est rien : il ne gère actuellement que UCS-2, c'est à dire, grosso modo, que le plan 0 du jeu Unicode, (les caractères Unicode représentables par un seul mot de 16 bits, sans "surrogates"). J'avance petit à petit mes pions pour qu'il passe à un véritable UTF-16LE, mais cela ne se fera pas en un jour, donc que personne ne retienne sa respiration avant de pouvoir traiter l'ensemble des symboles musicaux byzantins avec AutoIt...

Où placer ce bête StringRegExpReplace ? Et bien après réception de la chaîne html et avant traitement ultérieur, pardi !

Oublie les transcodages de/vers UTF8, ils n'ont absolument rien à voir là-dedans.

Edit: argh, j'ai doublonné (cité au lieu d'éditer), mille excuses.

Dernier point : Unicode n'a rien à voir avec les langues !

[pierrotm777]

Merci jchd pour cette explication vraiment claire !

Je vous essayer d'adapter à mon code votre solution et reviendrais vers vous pour vous en dire plus !

[mimione]

Bonjour
Très intéressant.
Tant que vous avez les mains dans le cambouis, serait-il possible (avec éventuellement une option) de lister TOUS les messages présents dans la boîte de réception de Gmail, et pas seulement les "non lus"... ?
Bon courage.

[pierrotm777]

Pour info, le sujet initial est sur le forum autoit us : http://www.autoitscript.com/forum/index ... pic=111853 , mai ne comporte pas,
enfin je crois la possibilité de lire tous les mails mais juste les non lus.

[pierrotm777]

j'ai essayé cette modif mais ça ne marche pas !

Code : Tout sélectionner

Local $s = 'Unicode html string with some fractional ((2n+1)/8) html codepoints ⅛=1/8 ⅜=3/8 ⅝=5/8 ⅞=7/8'
$s = GetEmailSummary(Execute('"' & StringRegexpReplace($s, "&#(\d+);", '"&chrw($1)&"') & '"'))
MsgBox(0, "Html Unicode test", $s & @LF)

[jchd]

Poste un bout de code (court) qui démontre un problème, car comme le dit souvent Thierry, le "ça ne marche pas !" est un peu vague.

Boudiou, je n'avais pas remarqué le GetEmailSummary... késako ce bidule ?

Si, comme son doux nom brichou veut nous le faire croire, cette fonction renvoie une chaîne, c'est ce qu'il faut assigner à $s dans mon exemple.

Code : Tout sélectionner

Local $s = GetEmailSummary(... paramètres que j'ignore ...)
$s = Execute('"' & StringRegexpReplace($s, "&#(\d+);", '"&chrw($1)&"') & '"')
MsgBox(0, "Emails summarizé", $s & @LF)

Peu ou prou.

[private joke]
Donald, y'm'font des trucs pas prévus en MIX !
[/private joke]

[pierrotm777]

GetEmailSummary permet de récupérer le message lui-même (voir GMAIL.au3) .

Je pensais donc utiliser votre filtre autout de cette commande.

L'exemple du post #1 donne un aperçu du problème avec les ' .

[jchd]

Certes, mais dons pas GetEmailSummary prenant en paramètre la fonction "filtre".

Que donne le dernier exemple, une fois mis en place dans le code ?

[pierrotm777]

J'ai essayé comme ci-dessous mais cela me donne la même chose

[pierrotm777]

Je suis un peu stupide sur ce coup là.

J'avais inversé la place du filtre.

voici ce que je viens d'essayer et qui semble fonctionner avec le ' :

Code : Tout sélectionner

Local $s = 'Unicode html string with some fractional ((2n+1)/8) html codepoints ⅛=1/8 ⅜=3/8 ⅝=5/8 ⅞=7/8'
$s = Execute('"' & StringRegexpReplace(GetEmailSummary($CurrentMessage), "&#(\d+);", '"&chrw($1)&"') & '"')
MsgBox(0, "Html Unicode test", $s & @LF)

Je vais tester avec d'autre langues pour voir si cela fonctionne aussi

[pierrotm777]

Bon , j'ai essayé avec de l'allemand qui semble fonctionner bien que je ne le lise pas.

J'ai essayé avec du grec et là ça ne va pas du tout. Il semble que sans le filtre cela fonctionne et plus avec le filtre

Y aurait-il une solution multi langues ?

[pierrotm777]

Non ce n'est pas ça.

Pour le grec, cela semble fonctionner avec et sans le filtre !
Idem pour le japonais!
Bizar ...

[jchd]

Donne un exemple de lignes html qui posent ou pas problème, la solution générique ne doit pas être loin.
Autre question très corollaire, comment affiches-tu le texte Unicode en sortie et avec quelle police ?

[pierrotm777]

Oui , quelle police , si j'ai bien compris il faut une police de caractère compatible unicode . Mais laquelle choisir.

Pour l'instant , j'utilise le plus souvent l'Arial .

Mais laquelle est utilisée par défaut dans autoit. Voilà une bonne question !

Pour l'exemple de page html , je ne sais pas comment la récupérer ni à quelle adresse.

Ce que je sais c'est ce que récupère GMAIL.au3:

► Afficher le texte

Code : Tout sélectionner

    If @OSVersion = "WIN_7" OR @OSVersion = "WIN_VISTA" Then
        $Response = _INetGetSource("https://" & $Username & ":" & $Password & "@" & "gmail.google.com/gmail/feed/atom")
    Else
        $oHTTP = ObjCreate("winhttp.winhttprequest.5.1")
        $oHTTP.Open("GET", "https://gmail.google.com/gmail/feed/atom", False)
        $oHTTP.SetCredentials($Username, $Password, 0)
        $oHTTP.Send()
        Local $Response = $oHTTP.ResponseText
    EndIf

[jchd]

L'écrasante majorité des polices Windows est Unicode, lance charmap pour t'en convaincre. Par contre, l'Arial ne comporte pas de japonais. Charmap montre tout des polices installées.

AutoIt ne fait pas beaucoup de choix, c'est plutôt ton thème qui choisit d'employer telle police pour tel dialogue ou contrôle standard. Depuis AutoIt, il est facile de changer pour tout contrôle la police par défaut.

Bah, la page html tu la récupères dan $Response. N'ayant pas de compte gmail, je suis assez mal pour tester. Masque les infos personnelles et poste-en un bout qui pose souci dans une boîte

Code : Tout sélectionner

.