home
***
CD-ROM
|
disk
|
FTP
|
other
***
search
/
OS/2 Spezial
/
SPEZIAL2_97.zip
/
SPEZIAL2_97.iso
/
ANWEND
/
ONLINE
/
W3GRAB14
/
WWWGRAB2.CZE
< prev
next >
Wrap
Text File
|
1997-07-07
|
38KB
|
945 lines
WWWGrab/2 v1.4
<English On>
Please read the WWWGrab2.ENG file.
<English Off>
<Spanish>
La versión en castellano es WWWGrab.SPA
</Spanish>
<French>
La documentation en français est dans le fichier WWWGRAB.FRA.
</French>
Obsah
-----
Θvod
Poºadavky
Autorská práva a záruky
Spuτt╪ní WWWGrab/2
Nahrazovací v∞razy
Pouºívání `@' souborà
Formát konfiguraƒních souborà
Seznam p²íkazà - Detailní popis
Seznam p²íkazà - Struƒn∞ popis
Referenƒní tabulka p²íkazà a voleb
P²íklady
Pod╪kování
Θvod
----
WWWGrab/2 je ²ádkov╪ orientovaná utilita slouºící ke kompletnímu nebo
ƒásteƒnému zrcadlení WEBserverà. WWWGrab/2 vyrobí na váτ pevn∞ nebo sí£ov∞
disk, kopii souborà vzdáleného WWW serveru vƒetn╪ HTML souborà, obrázkà,
zvuku a podobn╪.
WWWGrab/2 pot²ebujete v p²ípad╪ ºe:
* Jste administrátorem webového serveru a pot²ebujete jej zrcadlit na
dalτí servery. S vyuºitím programu typu "cron" màºete nastavit WWWGrab/2
tak, aby pravideln╪ zrcadlil váτ web-server na ostatní servery.
* Máte problém se stahováním stránek kvàli rychlosti nebo kvalit╪ spojení
(coº u nás není nic divného) s webov∞m serverem. WWWGrab/2 vám màºe
uτet²it ƒas (a peníze pokud jej pomocí "cron" nastavíte na noƒní hodiny)
tím, ºe stáhne stránky sám a vy si je prohlédnete v klidu na svém disku.
* Pracujete na své vlastní webové stránce a chcete si prohlédnout HTML kód
stránek n╪koho jiného a zjistit, jak jsou vlastn╪ ud╪lány.
* Chcete mít vlastní kopii webového serveru pro rychlé a snadné
prohlíºení.
* Chcete mít kopii webové stránky nebo serveru, protoºe v blízké dob╪ jiº
nemusí existovat.
* Máte pomalé p²ipojení k Internetu nebo prost╪ nemáte p²íliτ rádi systém
"World Wide Wait".
* Platíte p²ístup na Internet za minutu.
* ¼asto navτt╪vujete jeden webov∞ server, ale nechcete se pokaºdé
p²ipojovat kdyº se pot²ebujete na n╪co podívat.
WWWGrab/2 má n╪kolik vlastností, které jej ƒiní mohutn∞m a flexibilním
nástrojem na zrcadlení webov∞ch serverà:
* P²ibliºn╪ 50 p²íkazà a voleb díky nimº máte maximální moºnou kontrolu a
pruºnost p²i práci s programem. (Samoz²ejm╪ ºe nepot²ebujete pouºívat a
znát vτechny p²íkazy.)
* Snadno pouºitelné konfiguraƒní soubory umoºσují detailní nastavení voleb
a p²íkazà. Konfiguraƒní soubory mohou b∞t vno²eny, umoºσují automatické
vkládání spoleƒn∞ch p²íkazà a voleb. Pro kaºd∞ webov∞ sever màºete mít
zvláτtní konfiguraƒní soubor.
* Nahrazovací v∞razy podobné jako v U*IXu umoºσují maximální pruºnost p²i
definici jmen souborà, masek URL.
* WWWGrab/2 màºe kontrolovat modifikované soubory na jiº d²íve zrcadleném
serveru.
* Po kaºdém úsp╪τn╪ staºeném souboru màºe b∞t spuτt╪n libovoln∞ program,
coº umoºσuje provád╪t se soubory poºadované akce.
* Logování úsp╪τn╪ staºen∞ch souborà.
Poºadavky
---------
WWWGrab/2 má pár skromn∞ch poºadavkà:
* OS/2 verze 2.11 nebo vyττí. Doporuƒuji pouºít MERLIN nebo OS/2 Warp
Connect pro optimální v∞kon.
* Jeden z následujících balíkà TCP/IP pro OS/2 (Se²azeno podle
vhodnosti):
* IBM TCP/IP dodávané s OS/2 Warp Merlin.
* IBM TCP/IP 3.0 dodávan∞ s OS/2 Warp Connectem.
* IBM TCP/IP 2.0 Base Kit s aplikovan∞m CSD64092 nebo vyττím.
* The Internet Access Kit z OS/2 Warp Bonus packu.
* Disk s podporou dlouh∞ch jmen (HPFS, ext2fs, atp.) není vyºadován,
ale siln╪ doporuƒen!
* P²ibliºn╪ 100K diskového prostoru pro program a dokumentaci.
* Dostatek místa na disku pro vaτe zrcadlení. Toto závisí na tom, jak
pouºíváte WWWGrab/2 a màºe b∞t velké jen n╪kolik kilobajtà, ale také
pár desítek megabajtà.
Záruky, autorská práva apod.
----------------------------
Drºitelem autorsk∞ch práv na tento program je J. Rubeτ.
WWWGrab/2 je sharewarov∞ produkt, kter∞ je distribuován pomocí voln╪
dostupn∞ch míst, aby si jej p²ípadní zájemci mohli p²ed zakoupením
vyzkouτet.
WWWGrab/2 màºe b∞t pouºit pouze k legálním úƒelàm. PⁿEDEM se
ujist╪te, zda není ZAK╡ZANÉ zrcadlení poºadovaného místa.
POUª╓V╡N╓ PROGRAMU JE NA VLASTN╓ NEBEZPE¼╓
Tento program je dodáván TAK JAK JE bez jak∞chkoliv záruk. Autor není
zejména odpov╪dn∞ za ºádné τkody vzniklé provozovaním programu, náhodné
nebo následné, ztrátu zisku nebo dat, ani vhodnost pouºití programu pro
dané úƒely.
WWWGrab/2 NESM╓ b∞t pouºíván ke komerƒním úƒelàm bez p²edchozího
písemného povolení autora.
Spuτt╪ní WWWGrab/2
------------------
Spuτt╪ní WWWGrab/2 je velice jednoduché. Staƒí prost╪ napsat na
p²íkazov∞ ²ádek OS/2:
WWWGRAB <konfiguraƒní_soubor> [/i] [-c0|-c1]
WWWGrab/2 màºe b∞t téº spouτt╪n z dávkov∞ch a REXX souborà,
samoz²ejm╪ také jako programov∞ objekt z OS/2 desktopu (nebo chcete-li
pracovní plochy).
<konfiguraƒní_soubor> je pouºit∞ konfiguraƒní soubor. Konfiguraƒní
soubor je obyƒejn∞ textov∞ soubor obsahující p²íkazy a volby, které urƒují
chování WWWGrab/2. Jeho formát je popsán níºe. Nejjednoduτí zpàsob, jak
vytvo²it nov∞ konfiguraƒní soubor je zkopírování n╪kterého z p²iloºen∞ch
p²íkladà a jeho následná úprava dle vlastní pot²eby.
-i ²íká, aby WWWGrab/2 nezpracovával standardní konfiguraƒní soubor.
Normáln╪ je standardní konfiguraƒní soubor (pojmenovan∞ "DEFAULT.W3D")
automaticky zpracováván p²i kaºdém spuτt╪ní. Tento soubor màºe obsahovat
p²íkazy a volby, které ƒasto nem╪níte. (Seznam p²íkazà pouºiteln∞ch v
standardním konfiguraƒním souboru najdete v referenƒní tabulce p²íkazà a
voleb.)
-c0 nebo -c1 zapíτí seznam modifikovan∞ch odkazà od posledního
zrcadlení do souboru W3GRAB.CHG:
c0 - kontroluje servery bez p²íkazu HEAD. Tento zpàsob je pomalejτí, ale
jist╪jτí.
c1 - kontroluje servery s pouºitím p²íkau HEAD. Toto je rychlejτí, ale
mén╪ jisté, protoºe n╪které jednoduττí WWW servery neakceptují
p²íkaz HEAD od klienta a vrací chybov∞ kód. (Apache, CERN, ICS a
Netscape pracují správn╪.)
Volbu -c0 nebo -c1 lze pouºít pouze na jiº zrcadlen∞ WWW server.
Nahrazovací v∞razy
------------------
WWWGrab/2 pouºívá v n╪kter∞ch p²íkazech nahrazovací v∞razy ve stylu
U*IXu. Tyto umoºσují vytvá²et komplexní specifikace jako nap²íklad
http://www.foo.*/*/index.htm* nebo c??. Pomocí nich lze vytvá²et pruºné
specifikace URL, p²ípon a jin∞ch tvarà masek u p²íkazà v nichº je moºné (a
ºádoucí) zadávat porovnávací v∞razy.
Zadávaná maska màºe obsahovat:
`*' odpovídá nula nebo více znakàm.
`?' odpovídá jednomu znaku.
`\' potlaƒuje v∞znam speciálního znaku.
[SEZNAM] odpovídá libovolnému znaku uvedenému v seznamu.
[!SEZNAM] nebo [^SEZNAM] odpovídá libovolnému znaku NEuvedeném
v seznamu.
SEZNAM je tvo²en ze samostatn∞ch znakà nebo rozsahu znakà. Rozsah znakà
tvo²í dva znaky odd╪lené pomlƒkou (nap²íklad 0-9 nebo A-Z). ¼íslice, písmena
(malá ƒi velká) a podtrºítko (`_') tvo²í minimální sadu znakà povolen∞ch v
nahrazovacích v∞razech. V╪tτina operaƒních systémà podporuje rozτí²enou
(8 bitovou) znakovou sadu.
Uvozovací znak (`\') je pouºit k potlaƒení speciálního v∞znamu
znakà []*?!^-\ tak, aby mohli b∞t porovnávány jako obyƒejné znaky. Nap²íklad
vzor `soubor\*' odpovídá ²et╪zci `soubor*' a ne ²et╪zci zaƒínajícímu na
`soubor\' následovan∞m nula nebo více znaky; podobn╪ vzoru `soubor\[*'
odpovídá ²et╪zec `soubor[' následovan∞ nula nebo více dalτími znaky.
P²íkazy podporující nahrazovací v∞razy jsou uvedeny v referenƒní
tabulce p²íkazà ve sloupci REX.
P²íklady:
soubor*
Odpovídá libovolnému ²et╪zci zaƒínajícímu na `soubor' jako jsou
`soubor', `souborovy', `soubor100'.
??soubor
Odpovídá libovolnému osmiznakovému ²et╪zci konƒícímu na `soubor'
jako jsou `00soubor', `XXsoubor' atd.
soubor[yuo]*
Odpovídá libovolnému ²et╪zci zaƒínajícímu na `soubor',
následovan∞ `y', `u' a `o' následovan∞ nula nebo více znaky,
nap²íklad `souboru', `soubory', `souborovy'.
soubor[0-9]\-?
Odpovídá ²et╪zci zaƒínajícímu na `soubor', následovanému ƒíslicí a
pomlƒkou následovanou jedním libovoln∞m znakem `soubo3-a',
`soubor0-0'.
Pouºití '@' souborà
-------------------
¼asem zjistíte, ºe pouºíváte n╪které parametry po²ád dokola. V tomto
p²ípad╪ je lepτí neº kopírování/vkládání textu z jednho konfiguraƒního
soboru do druhého, uloºit parametry do '@' souboru a na ten se posléze
odkazovat z konfiguraƒních souborà. Nap²íklad ƒasto pouºíváte p²íkaz
MASK, màºete jej uloºit do souboru DEFAULT.W3G a tento bude pouºit ve
VµECH konfiguraƒních souborech. Ovτem pokud pot²ebujete pouºít dv╪
rozdílné MASKy pro ràzné konfiguraƒní soubory, musíte pouºít '@' soubory.
Jak? Nejprve vytvo²te soubor pojmenovan∞ (nap²íklad) MASKY1 s tímto
obsahem:
*.HTML
*.HTM
*.?.JPEG
*.0?.GIF
Následn╪ vytvo²te druh∞ soubor pojmenovan∞ (nap²íklad) MASKY2 s tímto
obsahem:
*.SHTML
*.SHTM
*.JPEG
*.GIF
*.WAV
Vτim╪te si, ºe vkládan∞ soubor musí obsahovat jeden parametr na jeden ²ádek.
Nakonec nastavte odkaz na p²ísluτn∞ vkládan∞ soubor do vaτeho konfiguraƒního
souboru. Nap²íklad pokud chcete pouºít MASK1 p²idejte následující ²ádek do
vaτeho konfiguraƒního souboru:
MASK @MASK1 ; pouºije obsah souboru MASKS1
P²i zpracování konfiguraƒního souboru bude WWWGrab/2 naƒítat parametry pro
p²íkaz MASK ze souboru MASK1. Pozor, nezapomeσte uvád╪t znak `@' na zaƒátku
jména souboru!
Màºete pouºít více vkládan∞ch souborà s jedním a tím sam∞m p²íkazem, pokud
tento màºe b∞t pouºit více neº jednou. Nap²íklad uvedením obou souborà MASK1
a MASK2 p²idejte následující dva ²ádky do konfiguraƒního souboru:
MASK @MASK1 ; pouºije obsah souboru MASK1
MASK @MASK2 ; a p²idá k n╪mu obsah souboru MASK2
Pokud by byl pouºit pouze MASK @MASK2, potom by se stáhly pouze soubory
vyhovující t╪mto maskám: *.SHTML, *.SHTM, *JPEG, *.GIF, a *.WAV
Podívejte se do refernƒní tabulky p²íkazà na p²íkazy, které podporují
vkládání souborà.
Formát konfiguraƒního souboru
-----------------------------
Vτechny p²íkazy a volby v konfiguraƒním souboru mají stejn∞ formát:
<p²íkaz> [parametry]
P²ed p²íkazem se mohou vyskytovat mezery a mezi p²íkazem a parametrem,
pokud p²íkaz n╪jak∞ parametr vyºaduje, se musí vyskytovat minimáln╪ jedna
mezera.
Komentá²e se uvozují znakem ';'. Text následovan∞ za st²edníkem je aº do
konce ²ádky ignorován. Nap²íklad:
URL http://www.foo.com/bar ; Toto je komentá²
; Toto je také komentá²
Vτechny URL musí b∞t uvedeny v plném formátu, t.j. `http://www.foo.com/'
a ne `foo', `foo.com' nebo `www.foo.com'. Také màºete pouºít IP adresu
a/nebo Ēslo portu: `http://www.foo.com:8080/' nebo
`http://127.0.0.1:8080/cokoli.html'
Seznam p²íkazà - Detailní popis
-------------------------------
ADD <cesta>
P²idá uvedenou cestu do seznamu poºadovan∞ch URL. Màºe b∞t pouºito
vícekrát. Aplikuje se na první zadané URL.
P²íklad:
URL http://www.xxx.yyy/cesta1/index.html
ADD /cesta2/pic/index.htm
Stáhne http://www.xxx.yyy/cesta1/index.html a
http://www.xxx.yyy/cesta2/pic/index.htm
+ p²ísluτné soubory
ALL
Normáln╪, pokud WWWGrab/2 zjistí, ºe soubor je uº na lokální stanici,
poτle na server podmín╪n∞ poºadavek. Soubor je vrácen jen v tom p²ípad╪,
pokud je nov╪jτí neº lokální soubor. Jestliºe chcete stáhnout vτechny
soubory, bez ohledu na datum, pouºijte p²íkaz ALL.
ALLOW <URL-v-http-formátu>
Explicitn╪ definuje, ºe daná "v╪tev" je stahovatelná. Màºete jej
pouºít v tom p²ípd╪, kdy nechcete definovat MAXTRIES nebo SITELIST.
Tento p²íkaz màºe b∞t pouºit více neº jednou.
P²íklad:
ALLOW http://www.xxx.yyy/povoli/tuto/cestu
CHAM <Ēslo>
N╪které servery (v╪tτinou Netscape) zkouτejí rozpoznat jméno klienta.
Pokud klienta nepoznají, nepoτlou mu ºádná data. Màºete pouºít tuto
volbu k zamaskování jména klienta (n╪co jako CHAMeleon:). V∞znam
jednotliv∞ch ƒísel:
0 - WWWGrab (standardn╪)
1 - Mozilla Netscape Browser
2 - WebExplorer IBM WebExplorer/2
3 - WebCrawler WebCrawler robot
4 - InfoSeek InfoSeek robot
5 - Harvest webov∞ robot
6 - Mosaic NCSA Mosaic
7 - Lynx Lynx, text browser
8 - PRODIGY-WB Prodigy browser
9 - Microsoft Internet Explorer
P²íklad:
CHAM 2 Poτle User-Agent: WebExplorer
CHANGESITE <poƒet míst>
Normáln╪ pokud najde WWWGrab/2 v HTM* souboru odkaz na jin∞ server,
ignoruje jej. Pokud chcete povolit zm╪nu serverà màºete pouºít
CHANGESITE. Poƒet míst definuje maximální poƒet zm╪n serverà.
Standardní hodnota je 0 - nem╪nit server. Také p²i pouºívání této
volby je t²eba jisté opatrnosti, aby nedoτlo k ozrcadlení celého WWW.
P²íklad:
CHANGESITE 2
CLIENT
P²i pouºití volby CLIENT jsou vτechny absolutní linky p²evedeny na
linky relativní, vhodné pro prohlíºení na lokálním poƒítaƒi. To
znamená, ºe pokud v souboru bude odkaz
<A HREF="/www/soubor/blbost.html"> nahrazen odkazem
<A HREF="blbost.html">. Pouºijte tuto volbu pokud si chcete prohlíºet
staºené soubory lokáln╪. (Poznámka: Server-side-include, CGI nebude
a JAVA nemusí pracovat správn╪ p²i lokálním prohlíºení, pokud poºadují
HTTP server).
DEFAULTNAME <jméno>
Obƒas odkazy ukazují na adresá² a ne na soubor. V tomto p²ípad╪ se
pouºije jméno uvedené v DEFAULTNAME. P²ednastavená hodnota je
"index.html".
P²íklad:
DEFAULTNAME Welcome.html
DENY <URL-v-http-formátu>
Pokud nechcete stahovat vτehny soubory zadaného URL nebo daná "v╪tev"
není dostupná, , màºete neºádoucí cesty specifikovat tímto p²íkazem.
Màºe b∞t pouºit vícekrát.
P²íklad:
DENY http://www.xxx.yyy/zakaz/tuto/cestu/
Pokud neuvedete na konci URL '/' (tj. zadáte pouze
http://www.xxx.yyy/zakaz/tuto/cestu) potom vτechny cesty|soubory
zaƒínající na "cestu" budou ignorovány. Nap²íklad: "cestuj/tam",
"cestující.html" apod.
DO <DEF | HTML | IMG | SND> <NOTHING | p²íkaz>
Tento p²íkaz vám umoºní provád╪t p²íkaz pro kaºd∞ úsp╪τn╪ staºen∞
soubor. Pro kaºd∞ typ souboru màºete zadat jin∞ p²íkaz. Pokud danému
typu souboru není p²i²azen ºádn∞ p²íkaz, provede se p²íkaz definovan∞
jako DEF (tj. p²edvolen∞). Na p²íkazové ²ádce màºete pouºít následující
volby:
%d úroveσ vno²ení
%h hostitel (www server)
%l celé jméno souboru na lokálním disku
%p rodiƒovské URL (udkud byl odkaz vyvolán)
%r jméno souboru (URL bez hostitele)
%t ƒas vytvo²ení/modifikace ve formátu RFC 822
%u URL
%% % (prost╪ procento)
Pokud nechcete pro zvolen∞ typ souboru provád╪t ºádnou akci, ale
pot²ebujete mít definovan∞ DEF p²íkaz, zadejte jako p²íkaz NOTHING.
Povolené typy jsou:
HTML - soubor definovan∞ v hlaviƒce jako text/*
IMG - soubor definovan∞ v hlaviƒce jako image/*
SND - soubor definovan∞ v hlaviƒce jako audio/*
DEF - libovoln∞ soubor
P²íkazy které jsou spouτt╪ny souƒasn╪ s WWWGrab/2 mohou PⁿET╓ªIT váτ
systém. Za souƒasn╪ spouτt╪né aplikace jsou povaºovány ty p²íkazy,
které zaƒínají p²íkazem "start".
P²íklad:
DO HTML start /b html2txt %l
; spustí html2txt na pozadí pro kaºd∞ HTML soubor
DO SND play file=%l
; p²ehraje kaºd∞ staºen∞ zvukov∞ soubor
DO IMG NOTHING
; ned╪lá nic s obrázky
DO DEF echo %u >> ostatni.soubory
; ostatní soubory zapíτe do log souboru
EXCL <www-server>
Definuje www-server(y), které se nebudou stahovat. Tento p²íkaz je
pouºiteln∞ spolu s p²íkazem CHANGESITE. Màºe b∞t pouºito vícekrát.
P²íklad:
EXCL www.xxx.yyy
EXCL microsoft.is.lame.org ; BTW: zkuste toto URL:-)
EXTENSIONS <seznam p²ípon>
Extensions definuje seznam p²ípon, které budou zahrnuty do zpracování.
Ostatní p²ípony budou ignorovány. P²ípony se odd╪lují mezerou nebo
tabulátorem. Pokud ºádné p²ípony nezadáte, budou automaticky
nadefinovány p²ípony HTM, HTML, SHTM, SHTML, JPG, GIF, WAV, AU, CLASS a
JAVA. Màºete pouºít znaku ':' jako negaƒního operátoru u p²ípon které
nechcete stahovat. U tohoto p²íkazu je pot²eba b∞t opatrn∞! Uvedením
p²ípony EXE nebo ZIP màºete ozrcadlit kompletn╪ cel∞ HOBBES! U tohoto
p²íkazu màºete pouºít nahrazovací v∞razy.
P²íklad:
EXTENSIONS ZIP C
Stáhne soubory s p²íponami C a ZIP.
EXTENSIONS ZIP JAVA :C??
Stáhne soubory s p²íponou ZIP a JAVA, ale ne C++, C--, C00.
FAT
Tato volba zapíná FAT kompatibilní mód. V tomto reºimu WWWGrab/2
ukládá vτechny soubory do jednoho adresá²e s vyuºitím formátu FAT 8.3
jmen souborà. Vτechny linky jsou automaticky upravovány. Tato volba
je automaticky zapnuta pokud je LOCALPATH nastavena na FATov∞ disk
nebo na disk bez podpory dlouh∞ch jmen souborà.
FIXSL
N╪kte²í auto²i webov∞ch stránek obƒas nep²idávají koncová lomítka na
konec odkazà. Proti jejich zapomn╪tlivosti lze pouºít volbu FIXSL.
I401
Pokud WWWGrab/2 poτle podmín╪n∞ poºadavek na staºení chrán╪né stránky
a tato stránka nebyla modifikována, vrací n╪které servery stavov∞ kód
401 (neautorizovan∞ p²ístup). Pokud chcete tento stav ignorovat,
pouºijte tuto volbu. (Má v∞znam pouze u registrované verze. V ºádném
p²ípad╪ neobchází autorizaci!)
INCLUDE <soubor>
Tento p²íkaz umoºσuje vloºit jin∞ konfiguraƒní soubor do aktuálního
konfiguraƒního souboru. Vno²ování je povoleno maximáln╪ do ƒtvrté
úrovn╪. Tento p²íkaz je pouºiteln∞ pro ƒasto se opakující p²íkazy ve
íce konfiguraƒních souborech. Viz. také '@' soubory.
P²íklad:
INCLUDE realms.inc
INCL urls.inc
LOCALPATH <cesta>
Cesta na lokálním poƒítaƒi, pod kterou se bude vytvá²et zrcadlená
struktura adresá²à. Pokud není parametr uveden, pouºije se
\WWWGrab\Grab\.
P²íklad:
LOCALPATH F:\GRAB\IBM\
LOG <log-soubor> <log-²et╪zec>
Tento p²íkaz umoºσuje zapsat do souboru <log-soubor> vτechny úsp╪τn╪
staºené soubory ve formátu <log-²et╪zec>, kter∞ vám vyhovuje. Ve
formátovacím ²et╪zci màºete pouºít následující speciální znaky:
%d úroveσ vno²ení
%h hostitel (www server)
%l celé jméno souboru na lokálním disku
%p rodiƒovské URL (udkud byl odkaz vyvolán)
%r jméno souboru (URL bez hostitele)
%t ƒas vytvo²ení/modifikace ve formátu RFC 822
%u URL
%% % (prost╪ procento)
\n nov∞ ²ádek
\t tabulátor
\\ \ (zp╪tné lomítko)
POZN╡MKA: P²íkaz LOG nep²idává automaticky CRLF na konec kaºdého
²et╪zce.
P²íklad:
LOG test.log URL je ulozen v %l\n
V∞sledek bude:
URL http://www/index.html je ulozen v \grab\www\index.html
URL http://www/foo/foo.gif je ulozen v \grab\www\foo\foo.gif
...
MAP
Tato volba zapne vytvá²ení souborové mapy. Tento soubor je pojmenován
jako w3gmap.htm. Mapa obsahuje mapu ozrcadleného serveru. Tento soubor
màºete pozd╪ji k ruƒnímu stahování souborà.
MASK <maska souborà>
S pomocí tohoto p²íkazu màºete specifikovat jaké soubory chcete
vlastn╪ ze serveru stahovat. Tento p²íkaz p²episuje veτkerá
nastavení p²íkazu EXTENSIONS. Z toho plyne, ºe je nutné definovat
masku i pro HTML soubory! Tento p²íkaz màºete pouºít vícekrát. V
masce lze pouºít nahrazovací v∞razy. Viz. p²edchozí ƒást
"Nahrazovací v∞razy".
P²íklad:
MASK *.jpg
Stáhne vτechny soubory s koncovkou jpg.
MASK ?a*.html
Stáhne vτechny soubory zaƒínající libovoln∞m znakem,
následovan∞m 'a', za kter∞m màºe b∞t libovoln∞ poƒet
jak∞chkoliv znakà a konƒících na '.html', nap²íklad:
zaphod.html, 0a.html, atd.
MASK *.jpg s?n.htm* do*s.large.i*x
Stáhnou se soubory:
one.jpg, two.jpg, sin.htm, son.htm, sun.html, dogs.large.idx,
doorways.large.index, atd...
MASK *.jp*g chapter[0-4].htm*
Stáhne libovoln∞ jpg a jpeg soubor a chapter0.htm, chapter1.htm,
chapter0.html, chapter1.html, chapter2.htm, chapter3.html, ale ne
chapter5.html.
[Vhodné na stahování ƒesky kódovan∞ch stránek rozliτovan∞ch
p²í|p²edponou, jako win*.htm*]
MAXDEEP <úroveσ>
Definuje maximální úroveσ vno²ení pro zrcadlení. Stránky vno²ené níºe
budou ignorovány.
P²íklad:
MAXDEEP 5
Stáhne http://www.foo.com/1/2/3/4/5/file.html , ale ne
http://www.foo.com/1/2/3/4/5/6/file.html
POZN╡MKA: Sharewarová verze je limitována na 5 úrovní.
MAXDL <limit>
Definuje maximální celkovou velikost staºen∞ch souborà v kB. Kdyº
WWWGrab/2 nahrává soubor na disk, kontroluje jeho délku. Pokud by
délka souboru p²esáhla limit zadan∞ v MAXDL, bude jej WWWGrab/2
ignorovat.
P²íklad:
MAXDL 3 stáhne maximáln╪ 3kb
MAXFSIZE <Velikost-souboru-v-kb>
Tímto p²íkazem màºete definovat nejdelτí staºiteln∞ soubor v
kilobajtech. Soubor v╪tτí neº MAXFSIZE bude ignorován. tento p²íkaz
nepracuje správn╪ se servery, které nevracejí délku obsahu souboru.
P²íklad:
MAXFSIZE 100
Nebude stahovat soubory v╪tτí neº 100 kilobajtà.
MAXTRIES <poƒet>
MaxTries definuje poƒet pokusà k získání souboru. WWWGrab/2 zkouτí
stáhnout vτechny soubory. Pokud není moºné soubor stáhnout, je tento
ignorován, dokud není zpracován cel∞ strom. Následn╪ WWWGrab/2
kontroluje, zda doτlo ke staºení celého stromu. Pokud k tomu nedoτlo,
opakuje tuto operaci <poƒet> krát.
P²íklad:
MAXTRIES 3
METAFILE <jméno souboru>
Tento p²íkaz definuje soubor, do kterého si WWWGrab/2 ukládá
informace o staºen∞ch souborech. Standardní jméno je META.DAT a
soubor je uloºen v adresá²i LOCALPATH\%host%.
P²íklad:
METAFILE data.met
NICE [ƒas v sekundách]
Tento p²íkaz definuje pauzu mezi jednotliv∞mi poºadavky na staºení
souboru, aby nedoτlo k zahlcení systému, kter∞ zrcadlíte. Pokud
neuvedete ºádnou hodnotu, pouºije WWWGrab/2 prodlevu 10 sekund. Pokud
tento p²íkaz nepouºijete vàbec, nastaví se prodleva 5 sekund.
Upozorn╪ní: Jelikoº WWWGrab/2 màºe generovat hodn╪ poºadavkà za
minutu, nemusí to n╪které WWW servery p²eºít. Jde zejména o tyto typy
serverà:
Vτechny WWW servery které b╪ºí pod Microsoft Windows(TM)
Stará generace (HTML/1.0) CERN serverà na vτech platformách
Nízká hodnota màºe téº zv∞τit zatíºení sít╪ a sí£ov∞ch prost²edkà. Z
t╪chto dàvodà by m╪lo b∞t nastaveno minimáln╪ p╪t sekund (ƒím více,
tím lépe). Nezapomeσte, ºe tento program màºe b╪ºet n╪kolik hodin...
P²íklad:
NICE 5
NOAPPLET
Tuto volbu pouºijte, pokud nechcete stahovat java aplety.
NOIMG
P²i pouºití této volby se nebudou stahovat obrázky.
NOSND
P²i pouºití této volby se nebudou stahovat zvuky.
OHTML
Kombinuje v∞τe uvedené p²íkazy NOIMG, NOSND a NOAPPLET.
PPORT <proxy port>
Tato volba definuje port proxy serveru. Standardní hodnota je 80.
Volba je úƒinná pouze pokud je specifikovaná volba PROXY.
P²íklad:
PPORT 8080
PROXY <server>
Tuto volbu vyuºijete, jestliºe máte p²ístup na internet p²es proxy
server/cache. <server> màºe b∞t uveden bu╘ pln∞m doménov∞m jménem
(t.j. proxy.foo.com), nebo IP adresou. Pokud si nejste jist, zda jste
p²ipojen p²es proxy, informujte se u svého systémového administrátora
nebo poskytovatele p²ipojení k internetu.
P²íklad:
PROXY www.proxy.server
PROXY 123.456.789.10
PROXYAUTH <base64>
Tuto volbu pouºijte pokud máte p²ístup k Internetu chrán╪n∞
zaheslovan∞m proxy serverem.
P²íklad:
PROXY chranena.proxy.cz
PROXYAUTH LTot
REALM <host> <"Realm Name"> <zakódované jméno a heslo>
Definuje zaheslovan∞ server, "realmname" (pojmenování zaheslované
ƒásti, 'realmname' je kratτí...) a zakódované jméno+heslo (pomocí
base64). Realmname musí b∞t uvedeno v uvozovkách a rozliτují se
velká/malá písmena! Pokud realmname neznáte vloºte prázdn∞ ²et╪zec
(t.j. ""), p²ípadn╪ si zkuste prohlédnout WWWGRAB.LOG. <host> je
server chrán╪n∞ pomocí basic-auth, a to bu╘ jako IP adresa
(11.22.33.44), nebo v doménovém formátu (www.foo.com). Zakódované
jméno a heslo je generováno pomocí programu makeauth. Pro vloºení
vygenerovaného jména a hesla màºete pouºí p²íkaz INCLUDE. Tento
p²íkaz màºe b∞t uveden vícekrát.
P²íklad:
REALM www.secured.host "Toto je ReaLmName" LTot
REMOVE
Tato volba zapíná odstraσování nepouºit∞ch odkazà ze stránek. Odkazy
nejsou ze souboru vymazány, ale pouze zakomentovány.
REPL <cesta>
Udává cestu, kterou bude p²epsána LOCALPATH v novém odkazu. Nap²íklad
vloºte "REPL /mirrors" a LOCALPATh bude definována jako
F:\OS2Httpd\HTML\Grab\, odkaz v HTML dokumentu bude
"<A HREF="/some/pages/index.html"> link </a>", jméno ukládaného
souboru bude "F:\OS2Httpd\HTML\GRAB\www.foo.com\some\pages\index.html".
Potom opraven∞ odkaz ve v∞sledném souboru bude:
"/mirrors/www.foo.com/some/pages/index.html"
P²íklad:
REPL /mirrors
SITELIST <WWW Server(y)>
Normáln╪ pokud najde WWWGrab/2 v HTM* souboru odkaz na jin∞ server,
ignoruje jej. Pokud chcete povolit zm╪nu serverà màºete pouºít
SITELIST se seznamem povolen∞ch WWW serverà. Op╪t lze pouºít znak ':'
jako operátor 'NE'. Tento p²íkaz màºe b∞t pouºít vícekrát. SITELIST
má vyττí prioritu neº CHANGESITE.
P²íklad:
SITELIST www.xxx.yyy
SITELIST :www.xxx.yyy -> Vτechna www místa s v∞jimkou www.xxx.yyy
SWSLASH
Tato volba prohazuje "levá" lomítka za "pravá", tj. z '/' na '\'.
Toto je pouºitelné se starτími|hloup╪jτími prohlíºeƒi.
TIMC <sec>
P²íkaz TIMC urƒuje hodnotu do které musí obdrºet zprávu od WWW serveru,
ºe doτlo k p²ipojení. Pokud ji do této doby neobdrºí dojde k ukonƒení
komunikace mezi serverem a WWWGrab/2. Tayo hodnota musí b∞t menτí nebo
rovna TIMP a v╪tτí neº 10 sekund. Nepouºívejte tuto volbu, pokud nevíte
co vlastn╪ d╪láte. standardní hodnota 60 sekund je dostaƒující.
P²íklad:
TIMC 100
TIMP <sec>
Definuje dobu, do které musí p²ijít ze serveru paket. Spojení je
p²eruτeno p²i p²ekroƒení této doby. Hodnota musí b∞t v╪tτí neº 10.
Nepouºívejte tento p²íkaz, pokud to není nezbytn╪ nutné!
P²íklad:
TIMP 120
TOP <url-v-http-formátu>
Definuje vrchol cesty. WWWGrab/2 bude ignorovat soubory nad touto
cestou, jinak ²eƒeno, cesta musí obsahovat tento ²et╪zec. S tímto
p²íkazem màºete pouºít nahrazovací v∞razy a p²íkaz màºe b∞t pouºit více
neº jedenkrát.
P²íklad:
TOP http://www.foo.com/cesta/xxxx/
Ignoruje soubory nad /cesta/xxxx/, t.j. /cesta/nejaky.soubor na
serveru www.foo.com
POZN╡MKA: Zm╪na syntaxe oproti p²edchozí verzi!!!
URL <url-v-http-formátu>
Kompletní URL místa, které chcete
zrcadlit. Je nutné uvád╪t i "http:". Màºe b∞t pouºito vícekrát k
ozrcadlení více serverà. Toto je základní p²íkaz.
P²íklad:
URL http://www.geocities.com/SiliconValley/Heights/7262/index.html
Seznam p²íkazà - Struƒn∞ popis
------------------------------
Následuje struƒn∞ popis vτech p²ibliºn╪ 50 p²íkazà a voleb slouºících k
ovládání WWWGrab/2.
ADD <cesta> P²idá zadanou cestu k seznamu poºadovan∞ch URL.
ALL Stáhne soubory bez závislosti na jejich datu.
ALLOW <URL> Explictn╪ povolí v╪tev ke staºení.
CHAM <ƒíslo> Maskuje jméno klienta (chameleon).
CHANGESITE <ƒíslo> Následuje <ƒíslo> odkazà na jiné servery.
CLIENT M╪ní odkazy na relativní kvàli lokálnímu prohlíºení.
DEFAULTNAME <jméno> Nastaví standardní jméno HTML souborà pro adresá²e.
DENY <URL> Zakáºe stahování stromu pod <URL>.
DO <option> <p²íkaz> Provede <p²íkaz> s DEF|HTML|IMG|SND souborem.
EXCL <server> Vynechá WWW server ze stahování.
EXTENSIONS <seznam> Povolené p²ípony ke stahování.
FAT Kompatibilita se souborov∞m systémem FAT.
FIXSL P²idává lomítka na konec odkazu, pokud tam chybí.
I401 Ignoruje chybu 401 a umoºní staºení souboru.
INCLUDE <soubor> Vloºí konfiguraƒní soubor <soubor> do aktuálního.
LOCALPATH <cesta> Adresá² na disku do kterého se bude zrcadlit.
LOG <soubor> <formát> Zapisuje do <soubor> ve formátu <formát>.
MAP Vytvo²í HTML mapu zrcadleného serveru.
MASK <maska> Explicitn╪ definuje masku souborà ke staºení.
MAXDEEP <vno²ení> Definuje maximální úroveσ vno²ení.
MAXDL <limit> Maximum kilobajtà ke staºení.
MAXFL <velikost> Maximální velikost souboru ke staºení.
MAXTRIES <poƒet> Maximální poƒet pokusà o staºení.
METAFILE <soubor> Specifikuje jméno metasouboru.
NICE <sekund> Pauza <sekund> mezi jednotliv∞mi stahováními.
NOAPPLET Nebrat applety.
NOIMG Nebrat obrázky.
NOSND Nestahovat zvukové soubory.
OHTML Kombinuje NOIMG, NOSND a NOAPPLET.
PPORT <port> Udává proxy port.
PROXY <hostname> Definuje proxy server.
PROXYAUTH <base64> Definuje proxy autorizaci.
REALM <h> <rlm> <pw> Definuje chrán╪n∞ server, realm a uºivatele/heslo.
REMOVE Odstraní nepouºité odkazy z HTML souborà.
REPL <cesta> Zam╪ní lokální odkazy na <cesta>.
SITELIST <server> Povolí stahování také ze <server>.
SWSLASH Zam╪σuje levá lomítka za pravá.
TIMC <sec> Doba na p²ipojení k serveru.
TIMP <sec> Doba na p²ijetí paketu.
TOP <URL> Definuje vrchol cesty (netahuje se nic nad..).
URL <URL> URL serveru kter∞ chcete zrcadlit.
Referenƒní tabulka p²íkazà a voleb
----------------------------------
Pⁿ╓KAZ ZKRATKA '@' STDKFG PⁿEPISUJE STDHOD REX REG V╓CE
--------------------------------------------------------------------------
ADD ANO NE NE NE ANO
ALL NE NE NE NE NE
ALLOW ANO NE ANO ANO ANO
CHAM NE ANO 0 NE NE NE
CHANGESITE CHSIT NE NE 0 NE ANO NE
CLIENT NE ANO NE NE NE
DEFAULTNAME DEF NE ANO [3] NE ANO NE
DENY ANO NE ANO ANO ANO
DO NE ANO NE ANO NE
EXCL ANO NE ANO NE ANO
EXTENSIONS EXT ANO ANO [1] ANO ANO ANO
FAT NE ANO NE NE NE
FIXSL NE ANO NE NE NE
I401 NE ANO NE NE NE
INCLUDE INCL NE NE NE NE ANO
LOCALPATH LOP NE ANO [0] NE NE NE
LOG NE ANO NE ANO NE
MAP NE ANO NE NE NE
MASK ANO ANO EXTENSIONS ANO ANO ANO
MAXDEEP MDP NE ANO 1 NE [2] NE
MAXDL NE ANO NE NE NE
MAXFL NE ANO NE NE NE
MAXTRIES MTR NE ANO NE NE NE
METAFILE META NE NE NE NE NE
NICE NE ANO 10 NE NE NE
NOAPPLET NOAP NE ANO NE NE NE
NOIMG NE ANO NE NE NE
NOSND NE ANO NE NE NE
OHTML NE ANO [4] NE NE NE
PPORT NE ANO 80 NE NE NE
PROXY NE ANO NE NE NE
PROXYAUTH NE ANO NE NE NE
REALM NE NE NE ANO ANO
REMOVE NE ANO NE ANO NE
REPL NE ANO NE ANO NE
SITELIST SLIST ANO NE CHANGESITE NE ANO ANO
SWSLASH NE ANO NE NE NE
TIMC NE ANO 60 NE NE NE
TIMP NE ANO 60 NE NE NE
TOP NE NE ANO NE ANO
URL ANO NE NE NE ANO
[0] - \WWWGrab\Grab
[1] - HTM, HTML, SHTM, SHTML, JPG, GIF, WAV, AU, CLASS, a JAVA
[2] - Sharewarová verze WWWGrab/2 je limitována na 5 úrovní.
[3] - "index.html". Pro sharewarovou verzi je to nem╪nné.
[4] - Kombinuje NOIMG, NOSND, and NOAPPLET.
P²íklady
--------
P²íklad autorizace:
URL http://www.sec1.host/secured/pages/index.html
LOCALPATH \MyGrab\Secured
MAXDEEP 5
MAXTRIES 3
REALM www.sec1.host "Realm 1" WAEFfgSDRGwer==
REALM www.sec1.host "Realm 2" WQREGFbsdgiwheg
P²íklad konfiguraƒního souboru DEFAULT.W3G:
;; Definice spoleƒn∞ch p²ípon
;
EXTENSIONS HTML HTM SHTML SHTM
EXTENSIONS JPG JPEG GIF XBM
EXTENSIONS WAV VOC AU
EXTENSIONS JAVA CLASS
;
;; Standardní hodnota pro p²íkaz MAXDEEP
;
MAXDEEP 5
;
;; standardní hodnota pro p²íkaz NICE
;
NICE 3
Pod╪kování
----------
Cht╪l bych pod╪kovat vτem lidem, kte²í testovali WWWGrab/2 a posílali
mi detailní popisy chyb, vτem t╪m, kte²í mi posílali nápady na zlepτení
programu. Bez jejich pomoci by nebyl WWWGrab/2 na takové úrovni a tak
úsp╪τn∞.
Speciální pod╪kování pat²í t╪mto lidem:
* Tom Wheeler
* Andreas Krattenmacher
* Mike Nice
* Stanislav KoĒ (St/\n)
* Jochen Riemer
* Fernando Cascsia
* Vincent Bernat
Tom Wheeler si zaslouºí speciální pod╪kování za jeho pomoc p²i
kontrole dokumentace v angliƒtin╪.
Pod╪kování za p²eklady:
Fernando Cassia za p²eklad µpan╪lτtiny fcassia@theoffice.net).
http://ourworld.compuserve.com/homepages/fcassia/sos2.htm
Vincent Bernat za p²eklad do Francouτtiny (bernat@mail.dotcom.fr).
http://w.home.ml.org ou http://www.mygale.org/07/www/
HELLOWEEN, GAMMA RAY, Michael Kiske, MANOWAR, Alice Cooper, GREEN DAY
a ostaním hudebníkàm, za jejich hudební podporu p²i mém programování.
--------------------------------------------------------------------------
Pokud se Vám program líbí:
Poτlete mi prosím 250,- Kƒ, normální registraƒní poplatek. (Pokud
poτlete víc, nebudu se bránit:)
Tento registraƒní poplatek je pouze pro JEDNOTLIVCE. Pro pouºití ve
firmách, ú²adech a jin∞ch institucích na více neº jednom poƒítaƒi je t²eba
sjednat multilicenci. Kontaktujte mne ohledn╪ slev na tyto licence.
Za tento poplatek obdrºíte (pomocí emailu) registrovanou verzi
nejnov╪jτí verzi WWWGrab/2. Tato registrace platí i pro vτechny
následující verze.
Bliºτí informace viz. REGISTER.CZE
Pokud se Vám program nelíbí:
Napiτte mi proƒ a pak jej smaºte.
---------------------------------------------------------------------------
Uv╪domte si prosím, ºe tento druh softwaru stojí a padá na ohlasech
uºivatelà.
Nejnov╪jτí verzi WWWGrab/2 màºete získat na:
http://www.geocities.com/SiliconValley/Heights/7262/
Své p²ipomínky, hláτení o chybách nebo nápady màºete zasílat:
email:
jirkar@writeme.com
jirkar@hotmail.com
Jiri_Rubes@slad.fido.cz
FidoNet:
2:421/37
Nikdo není dokonal∞, ani tato dokumentace. Pokud zde najdete chybu
nebo p²eklep poτlete mi prosím zprávu a já ji opravím.