[R] InetRead n'affiche pas la source html en entier!

[mmaier]

Bonjour.

Je suis en train de m'écrire une sorte de 'web-grabber' qui collecte les infos des sites qui m'intéressent pour me les envoyer tous les matins par mail.
Globalement cela fonctionne, mais j'ai un souci.
Voici l'exemple (d'aujourd'hui, mais réproductible à n'importe quelle moment avec tous les articles):
http://www.ledauphine.com/isere-nord


Ce qui m'intéresse c'est le titre, la photo, le petit texte 'gratuite', et la date.
La source sous IE, Firefox ou encore chrome de cette page me donne pour cette section:

► Afficher le texte

Code : Tout sélectionner

HTML:
        <li class="topContent article ">
        <article>    
                        <figure>
                                <a href="/isere-nord/2015/07/29/une-collision-fait-deux-blesses-legers-cdcc">
                                                        <img src="http://s-www.ledauphine.com/images/6D0A01FD-4C5F-4DBB-B601-93FBBCF8CC1D/LDL_V0_01/une-collision-fait-deux-blesses-legers.jpg" alt="Une collision fait deux blessés légers" />
                                    </a>
            </figure>
                        <h2>
                                                <a class="surtitre" href="/isere-nord/2015/07/29/une-collision-fait-deux-blesses-legers-cdcc">
                                    BOURGOIN-JALLIEU
                </a>
                                                <a  class="titre" href="/isere-nord/2015/07/29/une-collision-fait-deux-blesses-legers-cdcc">
                                    Une collision fait deux blessés légers
                </a>
            </h2>
            [b]<div class="contenu">
            <p>L’accident est survenu à 9 heures, hier, à l’approche du rond-point des Buissières (accès à l’autoroute A43 à la limite de la commune de ... </p>            </div>[/b]
                        <div class="contentInfo">  
                <ul>
                    <li class="datePublication"><span>Publié </span> 29/07/2015 à 06:05</li>
                                        <li class="viewCounter"><p><span class="viewcount-info viewcount-info-281bec22-ece8-48f2-948a-39e7a8f0570c"></span></p></li>
                </ul>
            </div>
        </article>
    </li>
 

Parfait! Tous les infos qui m'intéressent y sont.
-> L'image: <img src="http://s-www.ledauphine.com/images/6D0A ... legers.jpg" alt="Une collision fait deux blessés légers" />
-> Le titre: alt="Une collision fait deux blessés légers" />
-> Le texte: <p>L’accident est survenu à 9 heures, hier, à l’approche du rond-point des Buissières (accès à l’autoroute A43 à la limite de la commune de ... </p> </div>
-> Et la date: <span>Publié </span> 29/07/2015 à 06:05</li>

Théoriquement quelques _ArraySearch & StringSplit et encore un StringLeft/StringRight et l'affaire est clos!

SAUF QUE:

Avec le script suivant:

► Afficher le texte

Code : Tout sélectionner

AUTOIT:
Local $sData = InetRead("http://www.ledauphine.com/isere-nord")
Local $nBytesRead = @extended
$web = BinaryToString($sData)
 

PS: L'AJOUT DE : HttpSetUserAgent("MyUserAgent") NE CHANGE SRICTEMENT RIEN!!!
J'obtiens:

► Afficher le texte

Code : Tout sélectionner

HTML:
      <li class="topContent article ">
        <article>    
                        <figure>
                                <a href="/isere-nord/2015/07/29/une-collision-fait-deux-blesses-legers-cdcc">
                                                        <img src="http://s-www.ledauphine.com/images/6D0A01FD-4C5F-4DBB-B601-93FBBCF8CC1D/LDL_V0_01/une-collision-fait-deux-blesses-legers.jpg" alt="Une collision fait deux blessés légers" />
                                    </a>
            </figure>
                        <h2>
                                                <a class="surtitre" href="/isere-nord/2015/07/29/une-collision-fait-deux-blesses-legers-cdcc">
                                    BOURGOIN-JALLIEU
                </a>
                                                <a  class="titre" href="/isere-nord/2015/07/29/une-collision-fait-deux-blesses-legers-cdcc">
                                    Une collision fait deux blessés légers
                </a>
            </h2>
                        [b]<div class="contentInfo"> [/b] 
                <ul>
                    <li class="viewCounter"><p><span class="viewcount-info viewcount-info-281bec22-ece8-48f2-948a-39e7a8f0570c"></span></p></li>
                    <li class="datePublication"><span>Publié </span> 29/07/2015 à 06:05</li>
                </ul>
            </div>
        </article>
    </li>
 

Tout y est SAUF: <div class="contenu"> ce qui devient <div class="contentInfo"> sans les infos ???

Alors que les scripts 'beaucoup plus lents!!!':

► Afficher le texte

Code : Tout sélectionner

AUTOIT:
Local $o_object = ObjCreate("InternetExplorer.Application")
$o_object.visible = 0 ; Non visible
$o_object.navigate("http://www.ledauphine.com/isere-nord")
While Not (String($o_object.readyState) = "complete" Or $o_object.readyState = 4)
    Sleep(100) ; Pause chargement page
 WEnd
 $web = $o_object.document.body.innerText
 

ou encore:

► Afficher le texte

Code : Tout sélectionner

AUTOIT:
Local $oIE = _IECreate("http://www.ledauphine.com/isere-nord/", 0, 0)
Local $web = _IEBodyReadText($oIE)
 

me donnent le résultat:

► Afficher le texte

Code : Tout sélectionner

txt:
BOURGOIN-JALLIEU 
 Une collision fait deux blessés légers  

[b]L’accident est survenu à 9 heures, hier, à l’approche du rond-point des Buissières (accès à l’autoroute A43 à la limite de la commune de ... [/b]

Publié  29/07/2015 à 06:05

 vu 4151 fois
 

Sauf que cette fois-ci les infos sur le lien du photo manquent...

Certes, je pourrais pour contourner mon problème en exécutant les deux scripts pour paralléliser les résultats pour obtenir la totalité des infos souhaitées, mais cela me semble pas trop propre.
Du coup je suis preneur de toute idées pour contourner ce problème d'une manière plus smart..

Amicodement...

[jguinch]

Bonjour mmaier, bienvenue sur le forum.
Merci de modifier le titre du sujet afin qu'il respecte les règles de présentation d'un message.
Merci également d'utiliser la balise Spoiler pour le code (d'autant plus qu'ici tu en as mis plusieurs morceaux) : je le fais pour celui-là

[jguinch]

Essaie ça :

Code : Tout sélectionner

HttpSetUserAgent("Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0")

Mais je remarque quelques caractères bizarres, on n'a pas le problème en passant par winhttp :

► Afficher le texte

Code : Tout sélectionner

$oHTTP = ObjCreate("winhttp.winhttprequest.5.1")

$oHTTP.Open("GET", "http://www.ledauphine.com/isere-nord", False)
$oHTTP.setRequestHeader('User-Agent', 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0');
$oHTTP.Send()
$sReceived = $oHTTP.ResponseText
 

[jbnh]

@jguinch pourquoi une requête post ? Get me semble plus approprié non ?

[jguinch]

Parce que j'ai copié-collé un bout de script à moi sans faire gaffe...
C'est corrigé , merci

[mmaier]

Grand merci jguinch

Avec le UserAgent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0) tout marche comme souhaité.
Mon script est adapté et fonctionne à merveille.

Merci

[mikell]

Code : Tout sélectionner

$oHTTP = ObjCreate("winhttp.winhttprequest.5.1")
$oHTTP.Open("GET", "http://www.ledauphine.com/isere-nord", False)
$oHTTP.setRequestHeader('User-Agent', 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0');
$oHTTP.SetRequestHeader("Referer", "http://www.ledauphine.com")
$oHTTP.Send()
$sReceived = $oHTTP.ResponseText

$pattern = '(?s).*?section isere-nord isere-nord.*?img src="([^"]+).*?' & _
        'surtitre.*?>\s*(\V+).*?titre.*?>\s*(\V+).*?<p>([^<]+).*?/span>\h*([^<]+).*'
$res = StringRegExpReplace($sReceived, $pattern, "$1" &@crlf& "$2" &@crlf& "$3" &@crlf& "$4" &@crlf& "$5")
Msgbox(0,"", $res)

[jguinch]

@mikell : et la date ?

[mikell]

Pf complètement zappé la date... édité

[jbnh]

jguinch qui se venge de son erreur POST sur mikell

[jguinch]

Hé hé

[mikell]

Ah ben oui évidemment... bien vu jbnh
Oumpf trop naïf le chat, il percute pas vite