[R] Lister les pages d'un site internet

[TT22]

Bonjour,
Je voudrais savoir si il était possible de faire un script autoit qui listerait toutes les pages (et sous-pages et sous-sous-pages etc...) d'un site internet ?
Puis marquer le tout dans un fichier ini (Cette partie, je sais faire )

Merci d'avance à ceux qui pourront m'aider.

[scorp84]

Bonjour TT22,

En récupérant ta page et en cherchant dans chaque ligne via une expression régulière les liens, ça me semble jouable.

J'ai trouvé ça pour les expressions régulières :
http://regexlib.com/Search.aspx?k=URL

En espérant que cela puisse t'aider.

Amicalement.

BM

[TT22]

Ouai, ça m'a l'aire d'être une bonne idée
Je vais commencé à faire comme ça.
Mais le problème, c'est que il n'y a pas forcément de liens vers toutes les pages

Mais merci quand même.

PS : Je reste toujours ouvert à toutes les propositions.

[scorp84]

Peut être en prenant la page d'accueil puis quand tu as parcouru toute la page, tu reprends le premier lien trouvé en récursif en stockant le tout dans une base de données :

PARENT | LIEN
page accueil | lien 1
page accueil | lien 2
page accueil | lien 3
lien 1 | lien11
lien 1 | lien12
lien 1 | lien13
...

A voir.

Amicalement.

BM

[mikell]

Tu peux aussi construire une fonction récursive de test à base de _IELinkGetCollection , _IENavigate et @error
C'est plus facile, plus efficace mais plus lent

[legend]

solution trouvée dans 5secondes sur google ^^"
google te permet cela. il faut juste utiliser faire une recherche dans google comme cela (exemple pour autoitscript.fr)

Code : Tout sélectionner

site:autoitscript.com autoitscript.com

cependant google affiche seulement quelques résultats par page ce qui rend l'utilisation IE très lente
faut jouer sur l'adresse url (les variables get que google utilise pour rechercher la bdd)
un petit exemple simplifié d'une recherche qui est sur ma barre d'adresse.

Code : Tout sélectionner

google.fr/search?hl=fr&biw=1138&bih=555&q=site%3Aautoitscript.fr+autoitscript.fr&oq=site%3Aautoitscript.fr+autoitscript.fr

bonne chance.

[TT22]

Tu peux aussi construire une fonction récursive de test à base de _IELinkGetCollection , _IENavigate et @error
C'est plus facile, plus efficace mais plus lent

Il n'y aurait pas un moyen de rechercher les liens dans le code source sans avoir à ouvrir de navigateur ?

[legend]

@TT22 : InetGet bien sur! suffit de chercher dans le code source qui contient chaque lien dans la balise

Code : Tout sélectionner

<a href = "lien"> ...</a>

il est recommandé de passer par stringregexp
donc tu peut faire une fonction qui cherche les liens dans une page (tu passe l'url en paramétre) et appeler cette fonction chaque fois que tu trouve un nouvel lien vers une page. (c'est tout a fait si tu veut rechercher dans un dossier et ses sous-dossiers mais la c'est une page et ses sous-pages)
passer par un moteur de recherche tel que google est bien plus facile.

[TT22]

Oui, merci je vais faire comme ça

Edit :

Code : Tout sélectionner

<a href = "lien"> ...</a>

Je vais plutôt prendre ce qui est entre <a href =" et "

[legend]

c'est exactement ce que je voulais dire ^^ (href = "lien")

[Tlem]

Juste une petite précision.
Les Webmestres apprécie moyennement l'aspiration automatisée de leur site, car cela consomme de la bande passante et ralentit le site si plusieurs personnes s'amusent à faire la même chose.

Sachez qu'un Webmestre consulte régulièrement les stats
et à accès aux logs d'accès de son site. Un fichier log contient toutes les IP et autres renseignements qui permettent d'identifier les visiteurs.

Donc, je vous conseil d'être vigilant sur ce que vous faites.

[TT22]

Et que peut-il se passer dans ce cas ?

[guitarist]

Ba il peut ban ton ip j'imagine. Suffit de passer par un proxy non?

[TT22]

@guitarist : Ouai, effectivement

Bon, merci à tous pour vos réponses, je passe en résolu

PS : @Tlem : Est-ce que je posterait le script quand je l'aurais finis ?

[Tlem]

Et que peut-il se passer dans ce cas ?

Prenons exemple de ce site.
Je constate dans ma base de donnée, que les 546 messages écrits, l'ont été à partir de cette IP 82.243.X.X (héhé je vais pas donner l'adresse complète ...).
Mais cela signifie que vous avez une adresse fixe et donc certifie votre identité dans les fichiers de logs.

En utilisant un outils comme ceci : http://www.frameip.com/whois/ , je sait que vous êtes (du moins vos parents) abonné chez Free et si vous utilisez cet outil avec votre IP, vous verrez qu'il y a une ligne ou l'on trouve :
remarks: trouble: Spam/Abuse requests: mailto:abuse@proxad.net

Ai-je réellement besoin de détailler encore plus ?

PS: Essayez ceci http://www.fobec.com/apps/localiser-ip/

[TT22]

Effectivement,'c'est assez impressionnant, surtout la localisation d'IP ( même si c'est un peu décalé de la réalité ).
Donc la réponse que j'attendais est très claire

[Tlem]

Le décalage est lié au fait que seul le lieu du raccordement (le répartiteur FT) apparait (petite doc). Après il est normal que chaque maison ne soit pas répertoriée, sinon, cela permettrait sans doute un peut trop d'abus. Ceci dit, votre prestataire connait votre adresse, donc ...