[R] Traitement de fichier texte unicode

[pierrotm777]

Bonjour,
Je souhaite reformatter un fichier texte avec des caractères unicode (russe) par exemple.
Je souhaiterais aprés traitement retrouver mes caractères russe !
Voici mon script :

► Afficher le texte

Code : Tout sélectionner

#include <Array.au3>
#include <File.au3>

;Dim $File = @ScriptDir&"\FR.txt", $aArray, $ZipDat
;Dim $File = @ScriptDir&"\allCountries.txt", $aArray, $ZipDat
Dim $File = @ScriptDir&"\test_unicode.txt", $aArray, $ZipDat

_FileReadToArray($File,$aArray)
;_ArrayDisplay($aArray)


If IsArray($aArray) Then
    $aArray = _DoIt($aArray)
    $ZipDat = _ArrayToString($aArray, @CRLF)
EndIf
If $ZipDat <> "" Then _SaveNewFile($File, $ZipDat)

Func _DoIt($aVilles)
    Local $x, $Var, $Var2, $Longitude, $Latitude, $NomVille, $ZipCode
    For $x = 1 to $aArray[0]
    ;    Msgbox(0,'Record:' & $x, $aArray[$x])
        $Var = StringSplit(StringReplace($aArray[$x],@LF,@CRLF),@TAB)
        $NomVille = $Var[3]
        If StringInStr($Var[2],"CEDEX") Then ContinueLoop;bloque toutes les lignes CEDEX
    ;   $ZipCode = StringLeft($Var[2],5)
        $ZipCode = $Var[2]
        $Region = ChrW($Var[4])
        $Departement = ChrW($Var[7])

        If $Var[10] > 0 Then
            $Latitude = "+"&$Var[10]
        Else
            $Latitude = $Var[10]
        EndIf

        If $Var[11] > 0 Then
            $Longitude = "+"&$Var[11]
        Else
            $Longitude = $Var[11]
        EndIf

        $aVilles[$x] = '"'& $ZipCode & '","' & $Latitude & '","' & $Longitude & '","' & $NomVille & '","'& $Departement & '","' & $Region &'",""'
    Next
    _ArraySort($aVilles)
    _ArrayDelete($aVilles, 0) ; On supprime le nombre d'élément du tableau
    Return $aVilles
EndFunc   ;==>_DoIt

Func _SaveNewFile($Fichier, $sVilles)
    Local $szDrive, $szDir, $szFName, $szExt, $Path
    $Path = _PathSplit($Fichier, $szDrive, $szDir, $szFName, $szExt)
    $Fichier = $szDrive & $szDir & $szFName & "_New" & $szExt
    $hFichier = FileOpen($Fichier, 2)
    If $hFichier = -1 Then
        MsgBox(0, "Erreur", "Impossible de traiter le fichier :" & @CRLF & $Fichier)
        Return
    EndIf

    FileWrite($hFichier, $sVilles)
    FileClose($hFichier)
EndFunc   ;==>_SaveNewFile

Merci de votre aide !!!

[sksbir]

bonjour
la solution est ici : $hFichier = FileOpen($Fichier, 2+128)

attention à la modération : je crois bien qu'il faut un espace entre [..] et le titre...

[Tlem]

attention à la modération : je crois bien qu'il faut un espace entre [..] et le titre...

Pffff, j’arrête pas de corriger les titres depuis quelques jours (pas d'espace, pas de balise, titre bidon, bourré de fautes, etc ...). C'est vrai que ça me saoul au bout d'un moment !!!
J'ai vraiment l'impression de faire que ça.

[pierrotm777]

Désolé Tlem, promis je vais faire attention

[pierrotm777]

bonjour
la solution est ici : $hFichier = FileOpen($Fichier, 2+128)

Avec l'option 2, j'écrase mon original, je ne garderais que l'option 128 .

J'ai donc modifié mon script ainsi, mais le tableau ne se rempli alors plus !

► Afficher le texte

Code : Tout sélectionner

#include <Array.au3>
#include <File.au3>

;Dim $File = @ScriptDir&"\FR.txt", $aArray, $ZipDat
;Dim $File = @ScriptDir&"\allCountries.txt", $aArray, $ZipDat
Dim $File = @ScriptDir&"\test_unicode.txt", $aArray, $ZipDat

[color=#FF0000]$hFichier = FileOpen($File, 128)[/color]

_FileReadToArray([color=#FF0000]$hFichier[/color],$aArray)
;_ArrayDisplay($aArray)


If IsArray($aArray) Then
    $aArray = _DoIt($aArray)
    $ZipDat = _ArrayToString($aArray, @CRLF)
EndIf
If $ZipDat <> "" Then _SaveNewFile($File, $ZipDat)

Func _DoIt($aVilles)
    Local $x, $Var, $Var2, $Longitude, $Latitude, $NomVille, $ZipCode
    For $x = 1 to $aArray[0]
    ;    Msgbox(0,'Record:' & $x, $aArray[$x])
        $Var = StringSplit(StringReplace($aArray[$x],@LF,@CRLF),@TAB)
        $NomVille = $Var[3]
        If StringInStr($Var[2],"CEDEX") Then ContinueLoop;bloque toutes les lignes CEDEX
        $ZipCode = $Var[2]
        $Region = $Var[4]
        $Departement = $Var[7]

        If $Var[10] > 0 Then
            $Latitude = "+"&$Var[10]
        Else
            $Latitude = $Var[10]
        EndIf

        If $Var[11] > 0 Then
            $Longitude = "+"&$Var[11]
        Else
            $Longitude = $Var[11]
        EndIf

        $aVilles[$x] = '"'& $ZipCode & '","' & $Latitude & '","' & $Longitude & '","' & $NomVille & '","'& $Departement & '","' & $Region &'",""'
    Next
    _ArraySort($aVilles)
    _ArrayDelete($aVilles, 0) ; On supprime le nombre d'élément du tableau
    Return $aVilles
EndFunc   ;==>_DoIt

Func _SaveNewFile($Fichier, $sVilles)
    Local $szDrive, $szDir, $szFName, $szExt, $Path
    $Path = _PathSplit($Fichier, $szDrive, $szDir, $szFName, $szExt)
    $Fichier = $szDrive & $szDir & $szFName & "_New" & $szExt
    $hFichier = FileOpen($Fichier, 2)
    If $hFichier = -1 Then
        MsgBox(0, "Erreur", "Impossible de traiter le fichier :" & @CRLF & $Fichier)
        Return
    EndIf

    FileWrite($hFichier, $sVilles)
    FileClose($hFichier)
EndFunc   ;==>_SaveNewFile

[mikell]

Ben voui parce qu'il faut donner à _FileReadToArray() le chemin/nom du fichier en paramètre
_FileReadToArray($file,$aArray)
De FileOpen, point

Faudrait plutôt aller dans l'include File.au3 voir cette fonction _FileReadToArray() pour essayer d'y remplacer dedans
Local $hFile = FileOpen($sFilePath, $FO_READ)
par
Local $hFile = FileOpen($sFilePath, $FO_UTF8)

[pierrotm777]

J'avais pensé effectivement à ceci ( _FileReadToArray($file,$aArray) ).
Mais sans succés

[mikell]

Argh t'as mal lu mon post ?
A l'intérieur de la fonction _FileReadToArray() ya un FileOpen à modifier, par défaut il traite les textes en ANSI ($FO_READ = 0) ^^

[pierrotm777]

Aprés lecture de l'aide plusieurs fois , je ne vois pas d'option dans _FileReadToArray afin de lui faire lire en UTF8 !

[pierrotm777]

Désolé, oui je viens de comprendre que je dois modifier la fonction !

► Afficher le texte

Code : Tout sélectionner

; #FUNCTION# ====================================================================================================================
; Name...........: _FileReadToArray
; Description ...: Reads the specified file into an array.
; Syntax.........: _FileReadToArray($sFilePath, ByRef $aArray)
; Parameters ....: $sFilePath - Path and filename of the file to be read.
;                  $aArray    - The array to store the contents of the file.
; Return values .: Success - Returns a 1
;                  Failure - Returns a 0
;                  @Error  - 0 = No error.
;                  |1 = Error opening specified file
;                  |2 = Unable to Split the file
; Author ........: Jonathan Bennett <jon at hiddensoft dot com>, Valik - Support Windows Unix and Mac line separator
; Modified.......: Jpm - fixed empty line at the end, Gary Fixed file contains only 1 line.
; Remarks .......: $aArray[0] will contain the number of records read into the array.
; Related .......: _FileWriteFromArray
; Link ..........:
; Example .......: Yes
; ===============================================================================================================================
Func _FileReadToArray($sFilePath, ByRef $aArray)
    Local $hFile = FileOpen($sFilePath, [color=#FF0000]$FO_UTF8[/color])
    If $hFile = -1 Then Return SetError(1, 0, 0);; unable to open the file
    ;; Read the file and remove any trailing white spaces
    Local $aFile = FileRead($hFile, FileGetSize($sFilePath))
;~  $aFile = StringStripWS($aFile, 2)
    ; remove last line separator if any at the end of the file
    If StringRight($aFile, 1) = @LF Then $aFile = StringTrimRight($aFile, 1)
    If StringRight($aFile, 1) = @CR Then $aFile = StringTrimRight($aFile, 1)
    FileClose($hFile)
    If StringInStr($aFile, @LF) Then
        $aArray = StringSplit(StringStripCR($aFile), @LF)
    ElseIf StringInStr($aFile, @CR) Then ;; @LF does not exist so split on the @CR
        $aArray = StringSplit($aFile, @CR)
    Else ;; unable to split the file
        If StringLen($aFile) Then
            Dim $aArray[2] = [1, $aFile]
        Else
            Return SetError(2, 0, 0)
        EndIf
    EndIf
    Return 1
EndFunc   ;==>_FileReadToArray

[mikell]

Aprés lecture de l'aide plusieurs fois , je ne vois pas d'option dans _FileReadToArray afin de lui faire lire en UTF8 !

Re-argh
Tu vas dans le dossier C:\Program Files\AutoIt3\Include
Dedans ya un fichier File.au3 (c'est le #include <File.au3>)
Dans ce fichier ya la fonction _FileReadToArray que tu utilises
Dans le code de cette fonction, tu remplaces
Local $hFile = FileOpen($sFilePath, $FO_READ) qui ouvre en ANSI
par
Local $hFile = FileOpen($sFilePath, $FO_UTF8) pour ouvrir en unicode

[pierrotm777]

Cela ne semble pas suffisant !

[mikell]

Ya un truc
Avec le File.au3 modifié je viens d'essayer

Code : Tout sélectionner

#include <Array.au3>
#include <File.au3>
Global $aArray

_FileReadToArray("test_unicode.txt",$aArray)
_ArrayDisplay($aArray)

et ça marche, j'ai mon array en russe

EDIT
marrant, si je modifie pas le File.au3 ça marche aussi
Le souci doit venir du formatage du texte
Tu pourrais pas mettre un exemple du texte souhaité à l'arrivée ?

[pierrotm777]

Oui , je sais bien ! J'ai aussi fais ce test avec le _ArrayDisplay où tous les caractères sont correctes !
C'est aprés le traitement que ça ne va plus !

[mikell]

Tu pourrais pas mettre un exemple du texte tel que tu le veux après traitement ?

[pierrotm777]

Voici une ligne originale:

Code : Tout sélectionner

RU  442121  Мокрый Мичкас   Пензенская Область     ПАЧЕЛМСКИЙ РАЙОН             53.3425 43.5986 4

Il y a ici 12 champs séparés par des tabulations.(certains champs , ici, sont vides).
Je voudrais juste reformatter cette ligne afin d'avoir dans l'ordre:

Code : Tout sélectionner

"442121","+53.3425","43.5986","Мокрый Мичкас", etc ...

d'où mon code final:

Code : Tout sélectionner

$aVilles[$x] = '"'& $ZipCode & '","' & $Latitude & '","' & $Longitude & '","' & $NomVille & '","'& $Departement & '","' & $Region &'",""'

Mais peut importe l'ordre, le but étant de récupérer les noms ayant des caractères unicode !

[PandiPanda]

vous devriez trouvé un moyen de récuperer vos information a partir de la non?

► Afficher le texte

Code : Tout sélectionner

#Include <File.au3>
#Include <Array.au3>
Dim $__pierrotm777[8]

_Test()

Func _Test()
    Local $array
    _FileReadToArray(@ScriptDir&"\test_unicode.txt",$array)
    _ArrayDisplay($array,"array Principale")
    Local $array2
    For $i=1 To $array[0]
        $array2=StringSplit($array[$i],Chr(9),"array secondaire")
        _PutArray($array2)
        _ArrayDisplay($__pierrotm777)
    Next
EndFunc

Func _PutArray($array)
    $__pierrotm777[0]=$array[1]
    $__pierrotm777[1]=$array[2]
    $__pierrotm777[2]=$array[3]
    $__pierrotm777[3]=$array[4]
    $__pierrotm777[4]=$array[6]
    $__pierrotm777[5]=$array[10]
    $__pierrotm777[6]=$array[11]
    $__pierrotm777[7]=$array[12]
EndFunc

[pierrotm777]

j'ai une erreur en ligne 11

[PandiPanda]

j'ai re éditer mon script.

[mikell]

Marchent très bien chez moi les 2 scripts du Panda ^^