[..] FTP : Récupération récursive

[peuchere83]

Bonjour à tous,

je cherche à réaliser une fonction qui me permettra de faire un télechargement de manière récursive.
Voici le code qui fonctionne en envoi que j'ai trouvé dans ftp_ex.au3 :

► Afficher le texte

Code : Tout sélectionner

;======================================================================================================
;
; Function Name:    _FTPPutFolderContents()
; Description:      Puts an folder on an FTP server. Recursivley if selected
; Parameter(s):     $l_InternetSession    - The Long from _FTPConnect()
;                   $s_LocalFolder     - The local folder i.e. "c:\temp".
;                   $s_RemoteFolder - The remote folder i.e. '/website/home'.
;                   $b_RecursivePut - Recurse through sub-dirs. 0=Non recursive, 1=Recursive
; Requirement(s):   DllCall, wininet.dll
; Author(s):        Stumpii
;
;======================================================================================================

Func _FTPPutFolderContents($l_InternetSession, $s_LocalFolder, $s_RemoteFolder, $b_RecursivePut)

    If StringRight($s_LocalFolder,1) == "\" Then $s_LocalFolder = StringTrimRight($s_LocalFolder,1)
    ; Shows the filenames of all files in the current directory.
    $search = FileFindFirstFile($s_LocalFolder & "\*.*")

    ; Check if the search was successful
    If $search = -1 Then
        Return SetError(1, 0, 0)
;~      MsgBox(0, "Error", "No files/directories matched the search pattern")
;~      Exit
    EndIf

    While 1
        $File = FileFindNextFile($search)
        If @error Then ExitLoop
        If StringInStr(FileGetAttrib($s_LocalFolder & "\" & $File), "D") Then
            _FTPMakeDir($l_InternetSession, $s_RemoteFolder & "/" & $File)
            If $b_RecursivePut Then
                _FTPPutFolderContents($l_InternetSession, $s_LocalFolder & "\" & $File, $s_RemoteFolder & "/" & $File, $b_RecursivePut)
            EndIf
        Else
            _FTPPutFile($l_InternetSession, $s_LocalFolder & "\" & $File, $s_RemoteFolder & "/" & $File, 0, 0)
        EndIf
    WEnd

    ; Close the search handle
    FileClose($search)
    Return 1
EndFunc   ;==>_FTPPutFolderContents

Je cherche donc à faire la même chose mais dans l'autre sens (rapatriement).

Si quelqu'un car je n'arrive pas à gérer le cas ou le répertoire parent contient plusieurs sous répertoires.

Cordialement.

[peuchere83]

Je me permets de relancer la conversation sur ce sujet.

Personne n'a d'idées ?

[Tlem]

Si vous parlez de cet UDF : http://www.autoitscript.com/forum/index ... t&p=622079
je vois au moins deux fonctions qui devraient vous être d'un grand secours :

• _FTPFilesListToArray
  _FTPFilesListToArrayEx

[peuchere83]

Merci Tlem,

j'ai essayé tant bien que mal d'essayer de faire quelque chose mais c'est catastrophique !!!

Je m'explique : je cherche à rapatrier de manière récursive un répertoire complet car j'ai plusieurs cascade de répertoire.
Voici le code pour l'instant erroné que j'ai réalisé :

► Afficher le texte

Code : Tout sélectionner

Func ScanFolder($SourceFolder)
    Local $h_Handle
    Local $i = 0
    $aElements = _FTP_ListToArray($Conn, 0)
    If $aElements[0] <> 0 Then      ; Si le tableau contient des élemenets
        While $i <= $aElements[0]

        MsgBox(0,$i & "/" & $aElements[0],$FullFilePath)
        $aFile2 = _FTP_FindFileFirst($Conn, $SourceFolder, $h_Handle)
        If $aFile2[0] <> 0 Then MsgBox(0,"1",'$Filename = ' & $aFile2[10] & ' attribute = ' & $aFile2[1])


            $aFile = _FTP_FindFileNext($h_Handle)
            If $aFile[0] <> 0 Then
                If $aFile[1] = 16 Then
                    $FullFilePath = $SourceFolder & "/" & $aFile[10]
                    ScanFolder($FullFilePath)
                Else
                    MsgBox(0,"fichier",$aFile[10])
                EndIf
                MsgBox(0,"2",'$Filename = ' & $aFile[10] & ' attribute = ' & $aFile[1] & '  -> Error code: ' & @error)
            EndIf
            $i = $i + 1
        WEnd
        $FindClose = _FTP_FindFileClose($h_Handle)
    Else
        Exit
    EndIf

EndFunc

$Ftpc = _FTP_Close($Open)

En résumé : La récursivité est dans les choux.

Si quelqu'un a une idée ou une suggestion pour me conseiller pour la réalisation de ce script, c'est avec une joie non dissimulée que je l'accepte volontiers

[Adenadels]

J'avais le même problème, mais en HTTP (et c'est ici qu'on m'avait aidé à trouver la solution)
Mais le principe de la boucle ne change pas... il suffit de l'adapter en FTP.

Je te laisse mon code si ça peut t'aider.

► Afficher le texte

Code : Tout sélectionner

#include <Array.au3>
#include <IE.au3>
#include <String.au3>

_IEErrorHandlerRegister ()

; Ouverture du site
$oIE = _IECreate ("http://www.site.fr")
_IELoadWait ($oIE)

; Création du fichier texte de sortie
$FicOut = FileOpen("out.txt", 2)
; Check if file opened for reading OK
If $ficOut = -1 Then
  MsgBox(0, "Erreur", "Création dtc.txt impossible")
  Exit
EndIf

; Gestion de l'indentation
$Espace = 0

; Lancement de la boucle
_Parcourir()

Func _Parcourir()
  ; variables de suivi en local pour gestion de l'itaration
  Local $oTable,$aTableData,$i,$Lien,$ctrl
  ; tous les liens sont toujours dans une table
  $oTable = _IETableGetCollection ($oIE, 0)
  ; lecture des liens (si colonne 3 contient élément -> lien, sinon simple fichier)
  $aTableData = _IETableWriteToArray ($oTable)
  ; on parcoure tous les liens
  For $i = 1 TO UBound($aTableData, 2) - 1
    ; Si lien on y va, et on indente la sortie
    If StringInStr($aTableData[2][$i], 'élément') Then
      $Lien = StringStripWS ($aTableData[0][$i], 1)
      FileWriteLine($FicOut, _StringRepeat(" ", $Espace) & $lien)
      If $Lien = "__La documentation technique associée " Then ContinueLoop
      $Espace += 2
      $ctrl = _IELinkClickByText ($oIE, $Lien)
      _IELoadWait ($oIE)
      If $ctrl = 0 Then ContinueLoop
      _Parcourir()
    Else
      ; Sinon on trace les fichiers
      $Lien = StringStripWS ($aTableData[0][$i], 1)
      FileWriteLine($FicOut, _StringRepeat(" ", $Espace) & $lien)
    Endif
  Next
  _IEAction ($oIE, "back")
  _IELoadWait ($oIE)
  $Espace -=2
EndFunc
_IEQuit($oIE)
FileClose($FicOut)

[Tlem]

Messieurs, pourriez-vous rajouter la balise de code dans vos messages respectifs pour plus de lisibilité.
Voir ici pour plus de détails : http://www.autoitscript.fr/forum/viewto ... 896#p24896

Merci.

[peuchere83]

Merci pour la réponse Adenadels. Je vais regarder cela des ce matin.

Tlem, je n'ai pas utilisé la balise code pour ne pas avoir un post à rallonge, mais dorénavant je l'utiliserai promis

[peuchere83]

Bonjour à tous,

Voila pour l'instant où j'en suis.
Mais je n'arrive toujours pas à faire fonctionner la récursivité : systématiquement _FTP_FindFileFirst me retourne lors du rappel de la fonction "ScanFolder", qu'il n'y a aucun élément or il y en a !!!

► Afficher le texte

Code : Tout sélectionner

#include <FTPEx.au3>

$server = '***'
$username = '***'
$pass = '***'

$Open = _FTP_Open('MyFTP Control')
$Conn = _FTP_Connect($Open, $server, $username, $pass)


$pathftp = '/cgi-bin/toto/tata'
$FullFilePath=0
ScanFolder($pathftp)

Func ScanFolder($SourceFolder)
    Local $h_Handle
    $aFile2 = _FTP_FindFileFirst($Conn, $SourceFolder, $h_Handle)
    If $aFile2[0] <> 0 Then
        MsgBox(0,"",'$Filename = ' & $aFile2[10] & ' attribute = ' & $aFile2[1])
    Else
        MsgBox(0,$SourceFolder,"Pas d'element")
    EndIf


    While 1
        $aFile = _FTP_FindFileNext($h_Handle)
;~      MsgBox(0,"",$aFile[10])
        If $aFile[0] = 0 Then ExitLoop
        If $aFile[1] = 16 Then
            $FullFilePath = $SourceFolder & "/" & $aFile[10]
            MsgBox(0,$FullFilePath,"ici")
            ScanFolder($FullFilePath)
        Else
            MsgBox(0,"nom fichier",$aFile[10])
        EndIf
    WEnd
    $FindClose = _FTP_FindFileClose($h_Handle)

EndFunc

$Ftpc = _FTP_Close($Open)

Je ne comprends pas où se trouve le problème.

Si quelqu'un a une idée, je suis preneur.
Par avance merci.

[Tlem]

Comme je l'indique dans le lien que je vous donne, vous pouvez mixer la balise Spoiler et la balise code de façons à ne pas avoir un message à rallonge.

[peuchere83]

Ca y est Tlem, j'ai fait les modifs sur tous mes posts.

Par contre cela ne corrige pas mon problème

[Tlem]

Si vous utilisez _FTPFilesListToArray, est-ce que cela recrée l'arborescence de votre dossier FTP dans le tableau résultant ?

[peuchere83]

Non Tlem,

je n'obtiens que la liste des des éléments du répertoire courant. Cette fonction ne correspond pas au filelisttoarray traditionnel qui a la possibilité de travailler dans les sous répertoires.
Donc je suis dans ce cas la obligé d'utiliser les commandes _ftpdirsetcurrent et _ftpdirgetcurrent pour pouvoir me déplacer dans mon arborescence.
C'est pour cela que je suis parti sur la solution avec _FTP_FindFileFirst qui n'en a pas besoin car il ouvre un handle en fonction du chemin qui lui est passé en paramètre.

Mais par contre dans mon dernier code tout fonctionne correctement sauf le rappel de la fonction qui me permettrait ainsi de faire de la récursivité et je ne comprends pas pourquoi car (pour moi) cela me semble logique (au niveau raisonnement en tout cas).

Si vraiment je n'aboutis pas, je passerais sur du python mais bon cela m'ennuierait fortement d'avoir plusieurs langage à maintenir pour un seul et même programme.

[Tlem]

Après pas mal de recherches, j'ai trouvé un code qui me semble correspondre à votre demande : http://www.autoitscript.com/forum/index ... t&p=253635

Je ne l'ai pas testé, mais d'après ce qui est écrit dans le sujet, cela correspond à votre attente.

[peuchere83]

Un grand merci Tlem !!!!

J'ai modifié le code pour qu'il fonctionne avec les nouvelles fonctions liées à FtpEx.au3
Je vais l'intégrer et ensuite je le posterai car je pense cela pourra être utile pour d'autres personnes.

Par contre je voudrais savoir si quelqu'un (et peut être toi) pourriez m'expliquer le fonctionnement de la reconnexion en cas de coupure réseau (time out du serveur ftp).
A première vue il faut utiliser le callback mais je n'ai pas trouvé que très peu d'information et je ne parle même pas du site msdn qui est une catastophe au niveau de la compréhension

Par avance merci.

[peuchere83]

Voici mon retour :
Cette fonction retourne le nombre de fichiers récupérés et elle fonctionne sous autoit 3.3.6.0.
Il suffit juste de l'intégrer à FtpEX.au3 et le tour est joué

► Afficher le texte

Code : Tout sélectionner

;===============================================================================
;
; Function Name:    _FTPGetFoldercontents
; Description:    Recursively retrieves the contents of a directory on an FTP server.
; Parameter(s):  $s_Server   - Server name/ip.
;                  $s_Username   - Username.
;                  $s_Password   - Password.
;                  $s_RemoteFolder  - The directory on the server to retrieve.  End in "/"
;                  $s_LocalFolder   - The Local directory to save to
; Requirement(s):   DllCall, wininet.dll
; Return Value(s):  On Success - None.  Byref variable $i_Count returns number of files (not
;                                      including directories) transferred.
;                  On Failure - None, exits with Msg.  Opportunity here for some improvement
; Author(s):        Walkabout 2006-10-18
;                   Peuchere83 2009-04-29 (modify)
;
;===============================================================================
Func _FTP_DirGetContents($s_Server, $s_UserName, $s_Password, $s_RemoteFolder, $s_LocalFolder, ByRef $i_Count)
    Local $h_Handle
    Local $DllRect
    Local $FileInfo[12]
    Local $Open
    Local $Conn
    Local $s_Filename

;Open the Connection.  This has to be done for each new level of recusion.
    $Open = _FTP_Open ('MyFTP Control')
    If @error Then MsgBox(0,"erreur", "Open", 3)    ;Failed ("Open")
    $Conn = _FTP_Connect ($Open, $s_Server, $s_UserName, $s_Password, 1)
    If @error Then MsgBox(0,"erreur", "Connect", 3) ;Failed ("Connect")

;First File
    If Not FileExists($s_LocalFolder) Then DirCreate($s_LocalFolder)
    $FileInfo = _Ftp_FindFileFirst ($Conn, $s_RemoteFolder & '*.*', $h_Handle)  ;, $DllRect)
    $error = @error
    If Not $FileInfo[0] Then Return
    $s_Filename = $FileInfo[10]

    ConsoleWrite($i_Count & " - " & $s_RemoteFolder & $s_Filename & @LF)

    If $FileInfo[1] = 16 Then;Directory.  Recurse down one level
        If $s_Filename <> "." And $s_Filename <> ".." Then
            If Not FileExists($s_LocalFolder & $s_Filename & "\") Then DirCreate($s_LocalFolder & $s_Filename & "\")
            _FTP_DirGetContents($s_Server, $s_UserName, $s_Password, $s_RemoteFolder & $s_Filename & "/", $s_LocalFolder & $s_Filename & "\", $i_Count)
        EndIf
    Else; File.  Retrieve it
        $Result = _FTP_FileGet ($Conn, $s_RemoteFolder & $s_Filename, $s_LocalFolder & $s_Filename)
        $i_Count += 1
    EndIf

;Subsequent Files
    While 1
        $FileInfo = _FTP_FindFileNext ($h_Handle)
        If Not $FileInfo[0] Then Return
        $s_Filename = $FileInfo[10]

        ConsoleWrite($i_Count & " - " & $s_RemoteFolder & $s_Filename & @LF)

        If $FileInfo[1] = 16 Then;Directory.  Recurse down one level
            If $s_Filename <> "." And $s_Filename <> ".." Then
                If Not FileExists($s_LocalFolder & $s_Filename & "\") Then DirCreate($s_LocalFolder & $s_Filename & "\")
                _FTP_DirGetContents($s_Server, $s_UserName, $s_Password, $s_RemoteFolder & $s_Filename & "/", $s_LocalFolder & $s_Filename & "\", $i_Count)
            EndIf
        Else; File.  Retrieve it
            $Result = _FTP_FileGet ($Conn, $s_RemoteFolder & $s_Filename, $s_LocalFolder & $s_Filename)
            $i_Count += 1
        EndIf
    WEnd

EndFunc  ;==>_FTPGetFolderContents

Par contre j'aimerais un retour de votre part sur la gestion des erreurs et de possible évolution.

Cordialement

[GaRydelaMer]

Bonjour

super la fonction; mais 2 remarques:

Le nom de l'aide de la fonction, et son nom n'est pas le même.

J'aurais vu un truc du genre, 1 fonction qui te retourne un tableau de l'arborescence, une autre pour downloader l'arborescence (le tableau précédent) en paramètre. De facon à pouvoir le faire en arrière plan et/ou avec une GUI de progression.

[peuchere83]

Bonjour,

c'est pas bête je vais essayer de le faire.

Par contre j'ai poussé le test sur environ 70 comptes ftp différents et là .... catastrophe.
J'ai l'impression que je crash le serveur qui héberge ces comptes ftp car il me rapatrie bien les données sur certains comptes et pour d'autres il n'arrive pas à se connecter au serveur (echec du _ftp_connect).

J'ai contacté la hotline de mes serveurs et ils ne comprennent pas d'où peut venir le pb.

Si quelqu'un a une idée .....

De facon à pouvoir le faire en arrière plan et/ou avec une GUI de progression.

Comment ca en arrière plan ?
Car tout le reste est faisable (en tout cas dans mes cordes) mais là je ne vois pas.
Si tu veux que l'on bosse ensemble dessus je dis pas non car cela m'intéresse fortement.

Cordialement

[GaRydelaMer]

Re

je pensais à 2 choses, soit avec ADlibRegister, une fonction qui prend le tableau en paramètre.

Et elle verifie chaque fois si le tableau est vide ou pas.
Ensuite elle donwload un élément(adresse du fichier) du tableau et le supprime du tableau.
Elle peut aussi avoir le GUI de progression.

Si c'est pas assez rapide cas des gros fichiers je pense, on peux faire un fichier exe avec AutoIt exprès qui va lui se charger de télécharger, et un shellexecute ou un run devrait suffire.

Voila mes idées.

[peuchere83]

Bonjour à tous.

Je rencontre des soucis de connexion lorsqu'il y a une grande quantité de fichier à rapatrier.
Quelqu'un a t'il une suggestion pour faire de la reprise de traitement ?
En sachant que je n'ai pas le droit de supprimer les fichiers que je rapatrie (ce serait trop simple sinon).

En attendant j'ai utilisé un programme qui s'appelle scriptftp (www.scriptftp.com) qui pourra intéresser plus d'une personne exploitant le ftp : il est entièrement scriptable, il est capable de faire de la synchronisation de répertoire (gain de temps), le langage ressemble quasiment au batch dos et il coute une misère.

En attendant un réponse, je vous souhaite à tous un bon WE.