A wget segédprogram lehetővé teszi weboldalak, fájlok és képek letöltését az internetről a Linux parancssor segítségével.
Egyetlen wget parancs önmagában is letölthető egy webhelyről, vagy létrehozhat egy bemeneti fájlt, hogy több fájlt töltsön le több webhelyen.
A manuális oldal szerint a wget akkor is használható, ha a felhasználó kijelentkezett a rendszerből. Ehhez a nohup parancsot kell használni.
A wget segédprogram akkor is próbálkozik újra letöltéssel, amikor a kapcsolat leesik, folytatva azt, ahonnan a kapcsolat megszakad, ha lehetséges.
Teljes webhelyeket tölthet le a wget segítségével, és a hivatkozásokat helyi forrásokra irányítja, így a webhelyet offline állapotban tekintheti meg.
A wget jellemzői a következők:
- Fájlok letöltése HTTP, HTTPS és FTP használatával
- Folytassa a letöltéseket
- A letöltött weboldalakhoz tartozó abszolút hivatkozások konvertálása relatív URL-ekre, így a webhelyek megtekinthetők offline módon
- Támogatja a HTTP-proxykat és cookie-kat
- Tartós HTTP kapcsolatokat támogat
- Lehet futni a háttérben akkor is, ha nincs bejelentkezve
- Működik Linuxon és Windowson
Hogyan töltsön le egy weboldalt a wget használatával
Az útmutatóhoz megmutatom, hogyan tölthetem le személyes blogomat.
wget www.everydaylinuxuser.com
Érdemes létrehozni saját mappáját a gépen az mkdir parancs használatával , majd a cd parancs használatával áthelyezni a mappába.
Például:
mkdir everydaylinuxuser
cd everydaylinuxuser
wget www.everydaylinuxuser.com
Az eredmény egy index.html fájl. Ez a fájl önmagában meglehetősen haszontalan, mivel a tartalom még mindig a Google-ból húzódik, és a képek és stíluslapok még mindig a Google-ban vannak.
A teljes webhely és az összes oldal letöltéséhez a következő parancsot használhatja:
wget -r www.everydaylinuxuser.com
Ez az oldalt rekurzívan tölti le maximum 5 szint mélységig.
5 szint mély talán nem elegendő ahhoz, hogy mindent megkapjon a webhelyről. Az -l kapcsolóval állíthatja be a kívánt szintek számát a következőképpen:
wget -r -l10 www.everydaylinuxuser.com
Ha végtelen rekurziót szeretne, használhatja a következőket:
wget -r -l inf www.everydaylinuxuser.com
Az inf-t is helyettesítheti 0-val, ami ugyanazt jelenti.
Még egy probléma van. Lehet, hogy az összes oldalt helyileg, de az oldalakon található összes link még mindig az eredeti helyére mutat. Ezért nem lehetséges helyileg kattintani az oldalakon található hivatkozások között.
Ezt a problémát megoldhatja a -k kapcsolóval, amely az oldalakon található összes linket a helyileg letöltött egyenértékre mutatva a következőképpen jeleníti meg:
wget -r -k www.everydaylinuxuser.com
Ha egy weboldal teljes tükrét szeretné kapni, akkor egyszerűen használja a következő kapcsolót, amely eltávolítja a -r -k és -l kapcsolók használatának szükségességét.
wget -m www.everydaylinuxuser.com
Ezért ha saját webhelyed van, teljes egyszerű biztonsági másolatot készíthetsz ezzel az egyszerű paranccsal.
Futtasd a wget-t mint háttérparancsot
A wget parancssori parancsfájlként futtatható, így a fájlok letöltésekor a terminál ablakában dolgozhat.
Egyszerűen használja a következő parancsot:
wget -b www.everydaylinuxuser.com
Természetesen kombinálhat kapcsolókat. A wget parancs futtatásához a háttérben a weboldal tükrözése mellett a következő parancsot kell használni:
wget -b -m www.everydaylinuxuser.com
Ezt egyszerűsítheti az alábbiak szerint:
wget -bm www.everydaylinuxuser.com
Fakitermelés
Ha a wget parancsot a háttérben futtatja, nem fog látni a normál üzeneteket a képernyőre.
Minden ilyen üzenetet eljuttat a naplófájlba, hogy bármikor ellenőrizhesse a haladást a farok parancs segítségével .
A wget parancsnak a naplófájlba történő adatainak a következő parancs kiadásával:
wget -o / path / to / mylogfile www.everydaylinuxuser.com
A fordított, persze, hogy nincs szükség naplózásra, és nincs kimenet a képernyőre. Az összes kimenet kihagyásához használja a következő parancsot:
wget -q www.everydaylinuxuser.com
Letöltés több webhelyről
Beállíthat egy bemeneti fájlt, amelyet számos különböző webhelyről letölthet.
Nyisd meg a fájlt a kedvenc szerkesztőddel, vagy akár a macska parancs segítségével, és egyszerűen kezdj el felsorolni a fájlok minden egyes sorából letölthető webhelyeket vagy linkeket.
Mentse el a fájlt, majd futtassa a következő wget parancsot:
wget -i / path / to / inputfile
A saját weboldalának biztonsági mentésén túlmenően, vagy talán találni valamit letöltésre, hogy elolvashassa a vonatot, nem valószínű, hogy teljes webhelyet szeretne letölteni.
Valószínűbb, hogy egyetlen URL-t tölt le képekkel, vagy letölthet fájlokat, például zip fájlokat, ISO fájlokat vagy képfájlokat.
Ezt szem előtt tartva nem kell a bemeneti fájlba beírnia a következőket, mivel időigényes:
- http://www.myfileserver.com/file1.zip
- http://www.myfileserver.com/file2.zip
- http://www.myfileserver.com/file3.zip
Ha tudod, hogy az alap URL mindig ugyanaz lesz, akkor csak megadhatja a következőket a bemeneti fájlban:
- file1.zip
- file2.zip
- file3.zip
Ezután megadhatja az alap URL-t a wget parancs részeként az alábbiak szerint:
wget -B http://www.myfileserver.com -i / path / to / inputfile
Próbálja újra az Opciókat
Ha létrehozott egy sorba a fájlok letöltését a bemeneti fájlt, és hagyja, hogy a számítógép egész éjszaka töltse le a fájlokat akkor elég bosszant, ha jön le reggel, hogy megtalálja, hogy ragadt az első fájl és egész este próbálkozott.
Megadhatja a kísérletek számát a következő kapcsolóval:
wget -t 10 -i / path / to / inputfile
Előfordulhat, hogy a fenti parancsot a -T kapcsolóval együtt használhatja, amely lehetővé teszi, hogy másodlagos időtúllépést adjon meg a következők szerint:
wget -t 10 -T 10 -i / path / to / inputfile
A fenti parancs 10 alkalommal próbálkozik újra, és 10 másodpercig próbál kapcsolódni a fájl egyes linkjeihez.
Szintén bosszantó, ha a 4 gigabájtos fájl 75% -át egy lassú szélessávú kapcsolaton csak részben töltötte le a kihagyásra.
A wget segítségével újrapróbálhatja meg a letöltést a következő parancs használatával:
wget -c www.myfileserver.com/file1.zip
Ha egy szervert kalapál, akkor a gazda talán túl sokat nem szeret, és blokkolja vagy megölheti a kéréseket.
Megadhatja a várakozási időt, amely meghatározza, hogy mennyi ideig kell várni az egyes visszakeresések között az alábbiak szerint:
wget -w 60 -i / path / to / inputfile
A fenti parancs a letöltések között 60 másodpercet vár. Ez akkor hasznos, ha sok fájlt tölt le egyetlen forrásból.
Néhány webtárhely azonban észreveheti a frekvenciát, és mindenképpen megakadályozza. A várakozási idő véletlenszerűen állíthatja úgy, hogy úgy tűnik, hogy nem használja a programot az alábbiak szerint:
wget - véletlenszerű-wait -i / path / to / inputfile
A letöltési korlátok védelme
Számos internetszolgáltató még mindig alkalmazza a letöltési határértékeket szélessávú használatához, különösen ha városon kívül él.
Lehet, hogy kvótát szeretne hozzáadni ahhoz, hogy ne fújja le ezt a letöltési korlátot. Ezt a következőképpen teheti meg:
wget -q 100m -i / path / to / inputfile
Ne feledje, hogy az -q parancs nem fog működni egyetlen fájllal sem.
Tehát ha 2 GB méretű fájlt töltesz le, a -q 1000m használata nem fogja leállítani a fájl letöltését.
A kvóta csak akkor alkalmazható, ha rekurzív módon letöltődik egy webhelyről vagy egy bemeneti fájl használatakor.
A biztonság megszerzése
Néhány webhelyen be kell jelentkeznie ahhoz, hogy hozzáférhessen a letölteni kívánt tartalomhoz.
A felhasználónevet és a jelszót megadhatja a következő kapcsolók használatával.
wget --user = a felhasználónéved --password = a jelszavad
Megjegyzés egy többfelhasználós rendszerre, ha valaki futtatja a ps parancsot, láthatja a felhasználónevét és a jelszavát.
Egyéb letöltési lehetőségek
Alapértelmezés szerint a -r kapcsoló rekurzívan tölti le a tartalmat, és könyvtárakat fog létrehozni.
Az összes fájlt letöltheti egy mappába a következő kapcsolóval:
wget -nd -r
Ennek ellentéte az, hogy kényszerítsük a könyvtárak létrehozását, amelyek a következő parancs segítségével érhetők el:
wget -x -r
Egyes fájltípusok letöltése
Ha rekurzív módon szeretne letölteni egy webhelyről, de csak olyan fájltípust szeretne letölteni, mint egy mp3 vagy egy kép, például egy png, akkor használja a következő szintaxist:
wget -A "* .mp3" -r
Ennek hátterében az egyes fájlok figyelmen kívül hagyása. Talán nem szeretné letölteni a végrehajtható fájlokat. Ebben az esetben a következő szintaxist használja:
wget -R "* .exe" -r
Cliget
Van egy Firefox kiegészítő, amit a cligetnek hívnak. Ezt a következő módon hozzáadhatja a Firefoxhoz.
Keresse fel a https://addons.mozilla.org/en-US/firefox/addon/cliget/ weboldalt és kattintson a "Hozzáadás a Firefoxhoz" gombra.
Kattintson a telepítés gombra, amikor megjelenik. A Firefox újraindítása szükséges.
A cliget használatához látogasson el a letölteni kívánt oldalra vagy fájlra, és kattintson jobb gombbal. Egy helyi menü jelenik meg a cliget néven, és lehetőség lesz a "copy to wget" és a "copy to curl" másolására.
Kattintson a "copy to wget" lehetőségre, és nyisson meg egy terminál ablakot, majd kattintson a jobb gombbal és illessze be. A megfelelő wget parancs beillesztésre kerül az ablakba.
Alapvetően ez megmenti a parancsot.
összefoglalás
A wget parancs nagyszámú opció és kapcsoló.
Érdemes tehát elolvasni a wget kézikönyvet a terminál ablakba írásához:
ember wget