La plupart des utilisateurs téléchargent des fichiers sur leur PC à l’aide de leur navigateur Web. Il y a un problème avec cette méthode, cependant, elle n’est pas particulièrement efficace. Si vous devez interrompre votre téléchargement ou si vous avez perdu votre connexion, vous devrez probablement recommencer votre téléchargement à partir de zéro. Vous pouvez également travailler avec Python ou un autre code sur la ligne de commande et souhaitez télécharger directement à partir de l’invite de commande.
C’est là qu’interviennent des outils comme Wget. Cet outil de ligne de commande possède un certain nombre de fonctionnalités utiles, avec la prise en charge des téléchargements récursifs et la reprise des téléchargements qui vous permet de télécharger des fichiers uniques (ou des sites Web entiers) en une seule fois.
Wget est populaire sur Linux et d’autres systèmes d’exploitation basés sur Unix, mais il est également disponible pour les utilisateurs de Windows. Ci-dessous, nous expliquerons comment installer et utiliser Wget pour télécharger tout contenu que vous souhaitez en ligne à partir de votre ligne de commande Windows.
Installer GNU Wget sous Windows
Wget (au moins de nom) est disponible sur Windows 10 et 11 via le terminal PowerShell. Cependant, cette version de Wget n’est pas la même que l’outil GNU Wget que vous utiliseriez sur un PC Linux. Au lieu de cela, cette version est simplement un alias pour une commande PowerShell appelée Invoke-WebRequest.
Invoke-WebRequest ressemble à Wget dans ce qu’il fait, mais c’est un outil complètement différent qui est beaucoup plus difficile à utiliser et à comprendre. Au lieu de cela, vous serez mieux servi en installant Wget pour Windows, une version compilée du même outil disponible pour les utilisateurs de Linux, en suivant les étapes ci-dessous.
1. Téléchargez le fichier d’installation de Wget pour Windows à partir du Site web de Wget. Vous devrez le faire à l’aide de votre navigateur Web.
2. Exécutez le fichier d’installation de Wget pour Windows. Une fois le téléchargement du fichier d’installation de Wget terminé, exécutez le fichier d’installation et suivez les instructions à l’écran pour terminer l’installation.
3. Mettre à jour le fichier Wget.exe (facultatif). Le programme d’installation de Wget est fourni avec une version assez ancienne du binaire Wget. Si vous rencontrez des difficultés pour télécharger des fichiers en raison d’erreurs de certificat SSL, vous devez télécharger le dernier wget.exe pour votre architecture à partir de ce site et enregistrez-le dans votre répertoire d’installation Wget (généralement C:Program Files (x86)GnuWin32bin). Cette étape est facultative, mais fortement recommandée.
4. Ouvrez le menu Démarrer, recherchez les variables d’environnement et cliquez sur Ouvrir. Une fois l’installation terminée, utilisez l’outil de recherche du menu Démarrer pour rechercher des variables d’environnement, puis cliquez sur Ouvrir. Vous devrez le faire pour vous permettre d’utiliser la commande ‘wget’ à partir de la ligne de commande sans référencer son emplacement chaque fois que vous souhaitez l’exécuter.
5. Cliquez sur Variables d’environnement dans la fenêtre Propriétés système.
6. Sélectionnez Chemin et cliquez sur Modifier sous Variables système ou utilisateur.
7. Cliquez sur le bouton Nouveau et tapez dans le répertoire du fichier binaire Wget pour Windows (.exe). Par défaut, cela devrait être C:Program Files (x86)GnuWin32bin.
8. Enregistrez vos modifications. Lorsque vous avez terminé, cliquez sur OK dans chaque menu et quittez les propriétés système.
9. Ouvrez le menu Démarrer, tapez cmd et appuyez sur Ouvrir. Cela lancera une nouvelle fenêtre d’invite de commande. Vous pouvez également utiliser la nouvelle application Terminal, tant que vous passez à l’aide d’un shell d’invite de commande.
dix. Tapez wget –version et appuyez sur Entrée. Si Wget a été installé correctement, vous devriez voir la version GNU Wget renvoyée dans la fenêtre d’invite de commande.
Si vous souhaitez exécuter Wget à partir d’un terminal PowerShell à la place, vous devrez exécuter le fichier directement à partir de son répertoire d’installation (par exemple, C:Program Files (x86)GnuWin32binwget.exe).
Télécharger des fichiers avec Wget
Une fois que vous avez installé GNU Wget et que vous avez configuré les variables d’environnement pour pouvoir le lancer correctement, vous pourrez l’utiliser pour commencer à télécharger des fichiers et des pages Web.
Nous avons utilisé un exemple de domaine et de chemin de fichier dans nos exemples ci-dessous. Vous devrez le remplacer par le chemin d’accès correct au fichier (ou aux fichiers) que vous souhaitez télécharger.
- Tapez wget -h pour voir une liste complète des commandes. Cela vous donnera la liste complète des options que vous pouvez utiliser avec Wget.
wget-h
- Télécharger un seul fichier en utilisant wget
. Remplacez par le chemin d’accès à un fichier sur un serveur HTTP, HTTPS ou FTP. Vous pouvez également faire référence à un nom de domaine de site Web ou à une page Web directement pour télécharger cette page spécifique (sans aucun de ses autres contenus).
wget exemple.com
- Enregistrer avec un nom de fichier différent en utilisant -O. En utilisant l’option -O, vous pourrez enregistrer le fichier avec un nom de fichier différent. Par exemple, wget -O
, où est le nom de fichier que vous avez choisi.
wget -O exemple.html exemple.com
- Enregistrer dans un autre répertoire en utilisant -P. Si vous souhaitez enregistrer dans un autre répertoire que celui dans lequel vous vous trouvez actuellement, utilisez l’option -P. Par exemple, wget -P
.
wget -PC:dossier example.com
- Utilisez –continue ou -c pour reprendre les fichiers. Si vous souhaitez reprendre un téléchargement partiel, utilisez l’option -c pour le reprendre, tant que vous êtes dans le même répertoire. Par exemple, wget -c
.
wget -c exemple.com
- Télécharger plusieurs fichiers en séquence. Si vous souhaitez télécharger plusieurs fichiers, ajoutez chaque URL à votre commande Wget. Par exemple, wget
etc.
wget exemple.com tomshardware.com
- Télécharger plusieurs fichiers en utilisant un fichier texte avec -i. À l’aide de l’option -i, vous pouvez vous référer à un fichier texte contenant une liste d’URL pour télécharger un grand nombre de fichiers. En supposant que chaque URL se trouve sur une nouvelle ligne, Wget téléchargera le contenu de chaque URL en séquence. Par exemple, wget -i
.
wget -i urls.txt
- Limitez les vitesses de téléchargement en utilisant –limit-rate. Si vous souhaitez limiter votre utilisation de la bande passante, vous pouvez limiter les vitesses de téléchargement à l’aide de l’option –limit-rate. Par exemple, wget –limit-rate=1M
limiterait la vitesse de téléchargement à 1 mégaoctet par seconde, tandis que wget –limit-rate=10K la limiterait à 10 kilooctets par seconde.
wget –limit-rate=10K example.com
- Utilisez -w ou -wait pour définir une période de pause après chaque téléchargement. Si vous téléchargez plusieurs fichiers, l’utilisation de -w peut vous aider à répartir les demandes que vous faites et à limiter les risques de blocage de vos téléchargements. Par exemple, wget -w 10
pour une attente de 10 secondes.
wget -w 10 exemple.com tomshardware.com
- Définissez une limite de tentatives à l’aide de -t ou –tries. Si un téléchargement échoue, wget utilisera la valeur -t pour déterminer combien de fois il tentera à nouveau avant de s’arrêter. La valeur par défaut est de 20 tentatives. Si le fichier est manquant, ou si la connexion est refusée, alors cette valeur est ignorée et Wget se terminera immédiatement.
wget -t 5 exemple.com
- Enregistrez un journal en utilisant -o ou -a. Vous pouvez enregistrer vos données de journal dans un fichier texte en utilisant -o (pour toujours créer un nouveau fichier journal) ou -a (pour ajouter à un fichier existant). Par exemple, wget -o
.
- Contourner les erreurs SSL en utilisant –no-check-certificate. Si vous rencontrez des difficultés pour télécharger à partir d’un serveur Web avec un certificat SSL et que vous avez déjà mis à jour votre installation Wget, contournez complètement la vérification du certificat SSL en utilisant –no-check-certificate pour autoriser le téléchargement (dans la plupart des cas). Vous ne devriez le faire que pour les téléchargements à partir d’emplacements en lesquels vous avez entièrement confiance. Par exemple, wget –no-check-certificate exemple.com.
wget –no-check-certificate https://example.com
Assurez-vous d’utiliser le wget-h ou wget –aide pour afficher la liste complète des options qui s’offrent à vous. Si vous rencontrez des problèmes avec Wget, assurez-vous de limiter le nombre de tentatives que vous effectuez et définissez une limite d’attente pour chaque téléchargement que vous tentez.
Utilisation de Wget pour les téléchargements récursifs
L’une des fonctionnalités les plus utiles de Wget est la possibilité de télécharger de manière récursive. Au lieu de ne télécharger qu’un seul fichier, il essaiera plutôt de télécharger un répertoire complet de fichiers associés.
Par exemple, si vous spécifiez une page Web, il téléchargera le contenu attaché à cette page (comme les images). Selon la profondeur récursive que vous choisissez, il peut également télécharger toutes les pages qui lui sont liées, ainsi que le contenu de ces pages, toutes les pages liées à ces pages, etc.
Théoriquement, Wget peut fonctionner avec un niveau de profondeur infini, ce qui signifie qu’il ne cessera jamais d’essayer d’aller plus loin et plus profondément avec le contenu qu’il télécharge. Cependant, d’un point de vue pratique, vous constaterez peut-être que la plupart des serveurs Web bloqueront ce niveau de raclage, vous devrez donc faire preuve de prudence.
- Tapez wget -r ou wget –recursive pour télécharger de manière récursive. Par défaut, le niveau de profondeur est cinq. Par exemple, wget -r
.
wget -r tomshardware.com
- Utilisez -l ou –level pour définir un niveau de profondeur personnalisé. Par exemple, wget -r -l 10
. Utilisez wget -r -l inf pour un niveau de profondeur infini.
wget -r -l 10 tomshardware.com
- Utilisez -k pour convertir les liens en URL de fichiers locaux. Si vous récupérez un site Web, Wget convertira automatiquement tous les liens en HTML pour pointer vers la copie hors ligne que vous avez téléchargée. Par exemple, wget -r -k
.
wget -r -k tomshardware.com
- Utilisez -p ou –page-requisites pour télécharger tout le contenu de la page. Si vous souhaitez qu’un site Web soit entièrement téléchargé afin que toutes les images, CSS et autres contenus de page soient disponibles hors ligne, utilisez les options -p ou –page-requisites. Par exemple, wget -r -p
.
wget -r -p tomshardware.com
Pour une liste complète des options, assurez-vous d’utiliser le wget –h commande. Vous devez également veiller à respecter tout site Web à partir duquel vous téléchargez activement et faire de votre mieux pour limiter les charges du serveur en utilisant des limites d’attente, de nouvelle tentative et de profondeur.
Si vous rencontrez des difficultés avec les téléchargements à cause d’erreurs de certificat SSL, n’oubliez pas de mettre à jour votre fichier binaire Wget (wget.exe) avec la dernière version.