[R] Trier un fichier texte un fonction taille des mots

[bloodwolff]

Code : Tout sélectionner

$_File1 = FileOpen("dico1", 42)
$_File2 = FileOpen("dico2", 42)
$_File3 = FileOpen("dico3", 42)

Code : Tout sélectionner

Local $pattern_gen = "(?m)(?x)^(\W{" & $min & "," & $max & "})$"

[jchd]

C'est normal. La bibliothèque PCRE employée par AutoIt n'est _pas_ actuellement compilée avec le support UTF-8 (Unicode). Donc les \w, \W et autres métacaractères qui font référence à une propriété Unicode ne fonctionnent pas comme on pourrait le souhaiter dès lors que la chaîne sujet contient des caractères > 0x7F.

Je travaille actuellement sur une solution PCRE (avec support Unicode et dernières nouveautés PCRE) compatible AutoIt (avec fonctions de callbacks) et SQLite (pour mettre à profit l'opérateur REGEXP). Cette DLL sera aussi utilisable par tout programme souhaitant employer l'API standard de PCRE.

C'est un travail en cours à temps très partagé, donc ne retenez pas votre souffle jusqu'à sa sortie !

PCRE = Perl-Compatible Regular Expression

[jchd]

D'ailleurs ça donne l'occasion de voir un effet de bords indésirable de l'opérateur ou (|) lorsque c'est l'"expression de droite qui match, on a un double retours : vide pour la partie gaucheet le match de la partie droite.

C'est normal, il y a deux captures, donc deux retours. Au lieu de (abc)|(def) il faut faire ((?:abc)|(?:def)) pour n'avoir qu'une seule capture. Ou dans ce cas, bien plus simplement, (abc|def).

Sinon les 2 expressions en questions sont
- tout ce qui suit un retours chariot avec d'éventuels espaces parasites puis constitué de min à max caractère suivi enventuellement d'espaces parasites jusu'à l'autre retours chariots

-La première ligne avec d'éventuels espaces parasites constituée de min à max caractère suivi enventuellement d'espaces parasites jusu'à l'autre retours chariots

On peut fusionner les deux cas en employant \b : \b(\w{min,max})\b.

Attention : la plupart des métacaractères perdent leur signification spéciale à l'intérieur d'un jeu défini par [].

[pierrotm777]

Code : Tout sélectionner

$_File1 = FileOpen("dico1", 42)
$_File2 = FileOpen("dico2", 42)
$_File3 = FileOpen("dico3", 42)

Code : Tout sélectionner

Local $pattern_gen = "(?m)(?x)^(\W{" & $min & "," & $max & "})$"

Ces modifications fonctionnent super bien mais je me retrouve avec un espace entre chaque mot !

[Tlem]

Pouvez-vous essayer ce code sur vos dictionnaires.
Je l'ai essayé sur votre fichier Russe modifié pour qu'il fasse environs 3,5Mo (en dupliquant les lignes pour arriver à 100000 lignes) et il met à peine 6 secondes pour faire le traitement.
Comme j'ai un peut de mal avec les RegExp, je propose ce que je sais faire.

► Afficher le texte

Code : Tout sélectionner

Global $_MainDicoPath = @ScriptDir & "\dico.txt"
Global $_Dico1 = @ScriptDir & "\dico1.txt"
Global $_Dico2 = @ScriptDir & "\dico2.txt"
Global $_Dico3 = @ScriptDir & "\dico3.txt"
Global $aDico1, $aDico2, $aDico3
Global $Dico1Min = 2, $Dico1Max = 5
Global $Dico2Min = 6, $Dico2Max = 8
Global $Dico3Min = 9

$hFile = FileOpen($_MainDicoPath, 0)
If $hFile = -1 Then
    MsgBox(0, "Erreur", "Impossible d'ouvrir le fichier.")
    Exit
EndIf

While 1
    $line = FileReadLine($hFile)
    If @error = -1 Then ExitLoop

    CreateDico($line)
Wend

FileClose($hFile)

$hFileDico1 = FileOpen($_Dico1, 256 + 2)
$hFileDico2 = FileOpen($_Dico2, 256 + 2)
$hFileDico3 = FileOpen($_Dico3, 256 + 2)
FileWrite($hFileDico1, $aDico1)
FileWrite($hFileDico2, $aDico2)
FileWrite($hFileDico3, $aDico3)
FileClose($hFileDico1)
FileClose($hFileDico2)
FileClose($hFileDico3)

Func CreateDico($sStrLine)
    Local $sStrLen = StringLen($sStrLine)

    Select
        Case $sStrLen >= $Dico1Min And $sStrLen <= $Dico1Max
            $aDico1 &= $sStrLine & @CRLF

        Case $sStrLen >= $Dico2Min And $sStrLen <= $Dico2Max
            $aDico2 &= $sStrLine & @CRLF

        Case $sStrLen >= $Dico3Min
            $aDico3 &= $sStrLine & @CRLF

    EndSelect

EndFunc

[bloodwolff]

@ pierrot oui j'avais remarqué et j'ai pris le temps de bidouiller un peu ton script. Diminution du nombre de ligne (De 184 à 116 et j'ai pas eu le temps de toucher au switch ) mais oublier de le poster

Ps: J'ai tester de dupliquer le fichier pour atteindre 8,45mo et il le trie en environ 3 secondes

► Afficher le texte

Code : Tout sélectionner

#Region ;**** Directives created by AutoIt3Wrapper_GUI ****
#AutoIt3Wrapper_icon=ciseau.ico
#AutoIt3Wrapper_outfile=dicocut.exe
#EndRegion ;**** Directives created by AutoIt3Wrapper_GUI ****
#include <Array.au3>
#include <File.au3>
#include <ButtonConstants.au3>
#include <GUIConstantsEx.au3>
#include <WindowsConstants.au3>

Local $dico11 = 2, $dico21 = 6, $dico31 = 9, $dico12 = 5, $dico22 = 8, $dico32 = "*", $open, $contenu

$main_window = GUICreate("Dictionary sort for Hung Game", 400, 170, -1, -1)
GUISetFont(10, 800, 0, "MS Sans Serif")
GUICtrlCreateLabel("Select your dictionary :",5,10,300,20)
$File = GUICtrlCreateInput("", 170, 10,190, 20)
GUICtrlCreateLabel("Minimum",75,45,70,30)
GUICtrlCreateLabel("Maximum",173,45,70,30)
$Info = GUICtrlCreateLabel("",255,45,300,30)
$NbrsWords = GUICtrlCreateLabel("",145,172,80,30)
GUICtrlCreateLabel("Number of words :",10,140,150,30)
For $i=1 to 3
    GUICtrlCreateLabel("dico" & $i, 10, 50+20*$i,50,30)
    Assign("MinDico" & $i & "_Min", GUICtrlCreateButton("<",70, 48+$i*20, 20, 20,0))
    Assign("MinDico" & $i & "_Max", GUICtrlCreateButton("<",170, 48+$i*20, 20, 20,0))
    Assign("MaxDico" & $i & "_Min", GUICtrlCreateButton(">",120, 48+$i*20, 20, 20,0))
    Assign("MaxDico" & $i & "_Max", GUICtrlCreateButton(">",220, 48+$i*20, 20, 20,0))
    Assign("ValMinDico" & $i, GUICtrlCreateInput(Eval("dico" & $i & "1"), 95, 48+$i*20, 20, 20))
    Assign("ValMaxDico" & $i, GUICtrlCreateInput(Eval("dico" & $i & "2"), 195, 48+$i*20, 20, 20))
Next
$Choix = GUICtrlCreateButton("...",370, 10, 20, 20,0)
$Annuler = GUICtrlCreateButton("Cancel", 300, 135, 75, 25, 0)
$OK = GUICtrlCreateButton("OK", 200, 135, 75, 25, 0)
GUISetState(@SW_SHOW)

While 1
       $nMsg = GUIGetMsg()
        Switch $nMsg
            Case $GUI_EVENT_CLOSE, $Annuler ; Si la fenêtre est fermée ou si le bouton annulé est cliqué.
                Exit

            Case $Choix ; Si le bouton ... à été cliqué.
                $Fichier = FileOpenDialog("Select a files please !", @ScriptDir, "File asc (*.txt)", 1)
                If $Fichier <> "" Then GUICtrlSetData($File, $Fichier) ; Si le nom du fichier n'est pas vide, on attribue ca valeur au champ de l'input.
                Global $TotalOfWords = _FileCountLines ($Fichier)
                GUICtrlSetData($NbrsWords,$TotalOfWords)
            Case $MinDico1_Min
                If $dico11 = 2 Then;test empéchant une valeur < 2
                    $dico11 = 2
                Else
                    $dico11 -= 1
                EndIf
                GUICtrlSetData($ValMinDico1, $dico11)

            Case $MaxDico1_Min
                $dico11 += 1
                GUICtrlSetData($ValMinDico1, $dico11)

            Case $MinDico2_Min
                $dico21 -= 1
                GUICtrlSetData($ValMinDico2, $dico21)

            Case $MaxDico2_Min
                $dico21 += 1
                GUICtrlSetData($ValMinDico2, $dico21)

            Case $MinDico3_Min
                $dico31 -= 1
                GUICtrlSetData($ValMinDico3, $dico31)

            Case $MaxDico3_Min
                $dico31 += 1
                GUICtrlSetData($ValMinDico3, $dico31)

            Case $MinDico1_Max
                If $dico12 = 2 Then;test empéchant une valeur < 2
                    $dico12 = 2
                Else
                    $dico12 -= 1
                EndIf
                GUICtrlSetData($ValMaxDico1, $dico12)

            Case $MaxDico1_Max
                $dico12 += 1
                GUICtrlSetData($ValMaxDico1, $dico12)

            Case $MinDico2_Max
                $dico22 -= 1
                GUICtrlSetData($ValMaxDico2, $dico22)

            Case $MaxDico2_Max
                $dico22 += 1
                GUICtrlSetData($ValMaxDico2, $dico22)

            Case $MinDico3_Max
                $dico32 -= 1
                GUICtrlSetData($ValMaxDico3, $dico32)

            Case $MaxDico3_Max
                $dico32 += 1
                GUICtrlSetData($ValMaxDico3, $dico32)

            Case $OK ; Si le bouton OK à été cliqué.
                $contenu=FileRead(GUICtrlRead($File))
                If Not @error Then
                    GUICtrlSetData($Info,"Cutting is running !!!")
                    For $i=1 to 3
                        $open = FileOpen("Dico" & $i, 42)
                        $liste = StringRegExp($contenu, "(?m)(?x)^(\W{" & Eval("Dico" & $i & "1") & "," & Eval("Dico" & $i & "2") & "})$", 3)
                        GUICtrlCreateLabel("==> " & UBound($liste) & " words", 270, 48+20*$i)
                        If IsArray($liste) Then FileWrite($open, _ArrayToString($liste, ""))
                        FileClose($open)
                    Next
            EndIf
        EndSwitch
Wend

[Tlem]

J'ai tester de dupliquer le fichier pour atteindre 8,45mo et il le trie en environ 3 secondes

Hummm, j'ai oublié de préciser le matériel utilisé :
Portable C2D 1.66Ghz avec 2,5Go de RAM / Windows XP SP3

De plus cette version n'a pas de limite sur la taille du fichier dictionnaire.

[pierrotm777]

Merci à tous deux . C'est les russes qui vont être content