Forum Linux.mandriva Télécharger plusieurs fichiers en même temps

• # wget

  Posté par Gabriel le 16 février 2006 à 10:09. Évalué à 0.

  

  wget -r -np -A zip http://trs-80.com/processsqlsearch.php
  
  -r pour y aller récursivement
  -np pour no-parent, sinon tu risques potentiellement de télécharger l'ensemble des pages web de l'Internet
  -A zip parce qu'il n'y a que les .zip qui t'intéressent ...

  • [^] # Re: wget

    Posté par gtr le 16 février 2006 à 16:16. Évalué à 0.

    

    Merci bien mais si tu as essayé la commande tu verras que ça ne fonctionne pas.
    
    Merci quand même.

• # Plusieus solutions...

  Posté par dood le 16 février 2006 à 10:10. Évalué à 0.

  

  Sous Konqueror tu peux utiliser kget ou alors un script shell avec wget.
  
  Perso, "DownThemAll" j'ai jamais réussi à la faire marcher (mais je ne l'utilise que sous Win).
  
  Guilhelm

  • [^] # Re: Plusieus solutions...

    Posté par gtr le 16 février 2006 à 16:25. Évalué à 0.

    

    Merci bien mais kget ne fonctionne pas plus pour ça.
    
    Sur un autre forum on m'a donné cette commande mais je ne comprend par tou et ça ne fonctionne pas chez moi. Je ne sais pas ce que c'est "trs-80$", un fichier, répertoire, ou autre..
    
    
    Bon, j'ai enregistré la page de résultats sous mozilla:
    processsqlsearch.php.html
    La chaîne de commandes suivantes semble faire l'affaire:
    (j'ai limité mes chargements aux dix premiers liens (suprimmer head -10), et il faudrait améliorer l'expression régulière de egrep (autres types de liens de chargement)
    
    egrep -o '/cgi-bin/newmangle3.pl\?[^"]*"' processsqlsearch.php.html | tr -d '"' |sed -e 's/^/http:\/\/trs-80.com/' |head -10|wget --referer="http://trs-80.com/processsqlsearch.php" --input-file -
    
    
    
    explications pour wget
    Il faut ajouter le referrer car le serveur vérifie la provenance du lien
    --input-file : tous les liens sont lus depuis un fichier, ici l'entrée standard
    
    Mon output
    
    johand@horus:~/downloads/trs-80$ egrep -o '/cgi-bin/newmangle3.pl\?[^"]*"' processsqlsearch.php.html | tr -d '"' |sed -e 's/^/http:\/\/trs-80.com/' |head -2 |wget --referer="http://trs-80.com/processsqlsearch.php" --input-file -
    --07:14:34-- http://trs-80.com/cgi-bin/newmangle3.pl?pictur3d.zip
    => `newmangle3.pl?pictur3d.zip'
    Résolution de trs-80.com... 82.165.130.211
    Connexion vers trs-80.com|82.165.130.211|:80...connecté.
    requête HTTP transmise, en attente de la réponse...302 Found
    Emplacement: http://www.classiccmp.org/trs80/model3/pictur3d.zip [suivant]
    --07:14:35-- http://www.classiccmp.org/trs80/model3/pictur3d.zip
    => `pictur3d.zip'
    Résolution de www.classiccmp.org... 209.145.140.57
    Connexion vers www.classiccmp.org|209.145.140.57|:80...connecté.
    requête HTTP transmise, en attente de la réponse...200 OK
    Longueur: 1150 (1.1K) [application/zip]
    
    100%[=================================================================>] 1150 --.--K/s
    
    07:14:35 (22.38 MB/s) - « pictur3d.zip » sauvegardé [1150/1150]
    
    johand@horus:~/downloads/trs-80$ file pictur3d.zip
    pictur3d.zip: Zip archive data, at least v2.0 to extract

• # Dowload Them All

  Posté par liberforce (site web personnel) le 16 février 2006 à 17:15. Évalué à 2.

  

  Bé si, ça marche, je viens de le faire...
  Installe la version disponible ici...
  http://extensions.geckozone.org/DownThemAll/
  
  Puis va sur ta page, fais un clic droit -> "Download Them All", fixe le répertoire où tu veux sauvegarder les fichiers, et fais un filtre personnalisé en .zip
  
  Après arme toi de patience, vu que c'est super long (+de 900 fichiers), et que Download Them All ralentit considérablement firefox à l'usage... Donc compte pas pouvoir te servir du PC en même temps, va boire un café.
  
  Sinon, essaie de voir dans man wget si tu peux pas juste enregistrer ta page à partir de firefox, et lui faire bouffer par wget -i tarecherche.html. Il me semble que wget peut extraire automatiquement les liens d'une page...

  • [^] # Re: Dowload Them All

    Posté par gtr le 16 février 2006 à 17:37. Évalué à 0.

    

    Je sais pas comment tu fais mais chez moi avec DownThemAll ça ne fonctionne vraiment pas, ils sont tous en file d'attente et rien ne se télécharge même avec la version que tu me propose.
    
    Merci

    • [^] # Re: Dowload Them All

      Posté par liberforce (site web personnel) le 19 février 2006 à 02:19. Évalué à 2.

      

      1. Sauvegarder la page sous le nom ref.html
      2. Télécharger les fichiers (man wget):
      wget -i ref.html -F --referer http://trs-80.com/processsqlsearch.php
      Sans l'option referer, il te filera juste un fichier contenant un message disant qu'il faut télécharger les fichiers à partir du site. Tu simulers ce comportement avec cette option.
      3. Nettoyer en retirant les fichiers en trop:
      rm -rf tr\?*
      
      En fait je devais télécharger de la m***e avec DTA, mais sans m'en rendre compte (je pense pas qu'il ait utilisé l'astuce du referer)...
      CQFD, testé et approuvé...

      • [^] # Re: Dowload Them All

        Posté par gtr le 20 février 2006 à 20:01. Évalué à 0.

        

        Merci bien,
        
        On m'a proposé un peu la même chose sur un autre forum don voici la commande :
        
        egrep -o '/cgi-bin/newmangle3.pl\?[^"]*"' processsqlsearch.php.html | tr -d '"' |sed -e 's/^/http:\/\/trs-80.com/' |head -10|wget --referer="http://trs-80.com/processsqlsearch.php" --input-file -
        
        
        Et ça fonctionne très bien.
        
        Merci

      • [^] # Re: Dowload Them All

        Posté par gtr le 21 février 2006 à 23:38. Évalué à 0.

        

        J'ai testé ta commande aujourd'hui et elle fonctionne très bien.
        
        Merci bien.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.