Seitenquelltext per Konsolenbefehl anzeigen lassen

[TheKorn]

Hi zusammen, möchte folgendes machen, hier ein Beispiel.

Nehmen wir mal https://www.computerbase.de/downloads/

Tolle Seite Im Browser mach ich einfach rechtsklick und geh auf "Seitenquelltext anzeigen"

Wie kann ich mir das in der Konsole ausgeben lassen?

Schon mal vielen Dank

Gruß, Korn

 

[Krik]

wget -O - https://www.computerbase.de/downloads/ > less

Das müsste eigentlich funktionieren. Da ich gerade nicht an einem Linux sitze, kann ich es aber nicht testen.

 

[TheKorn]

Das funktioniert leider nicht... da passiert garnix :-)

wenn ich anstatt "> less" das hier schreib: "| less" bekomme ich folgendes:

get: URL fehlt
Syntax: wget [OPTION]... ... »wget --help« gibt weitere Informationen. ;-)

 

[Krik]

Ups ^^

Das müsste laut Manual aber gehen:

`-O file'
`--output-document=file'
The documents will not be written to the appropriate files, but all will be concatenated together and written to file. If `-' is used as file, documents will be printed to standard output, disabling link conversion. (Use `./-' to print to a file literally named `-'.)
Use of `-O' is not intended to mean simply “use the name file instead of the one in the URL;” rather, it is analogous to shell redirection: `wget -O file http://foo' is intended to work like `wget -O - http://foo > file'; file will be truncated immediately, and all downloaded content will be written there.

Note that a combination with `-k' is only permitted when downloading a single document, and combination with any of `-r', `-p', or `-N' is not allowed

Probiere mal wget --output-document=- https://www.computerbase.de/downloads/ > less
Bzw benutze wieder die Pipe |.


Edit: Oder lass less mal weg. Dann dürfte man aber wohl nicht mehr scollen können :-/

 

[TheKorn]

Jepp, das funktioniert :-) Allerdings nicht auf allen Seiten. Bei computerbase, winfuture, freeware.de funktionierts. Bei skins.be bekomm ich ein Forbidden. Aber das hilft schon mal ein gutes Stück weiter!

 

[t2000r]

wget -O - https://www.computerbase.de/downloads/ > less

Hier wird der Output von wget in eine Datei umgeleitet, die less heißt. Die kannst Du Dir natürlich mit less anschauen

Kannst natürlich auch vi benutzen:

vi https://www.computerbase.de/downloads/

 

[hostile]

Jepp, das funktioniert :-) Allerdings nicht auf allen Seiten. Bei computerbase, winfuture, freeware.de funktionierts. Bei skins.be bekomm ich ein Forbidden. Aber das hilft schon mal ein gutes Stück weiter!

Der 403 kommt wohl durch den - wohl "verbotenen" - User-Agent... kann man aber auch umgehen.

gruß
hostile

 

[Krik]

Hier wird der Output von wget in eine Datei umgeleitet, die less heißt. Die kannst Du Dir natürlich mit less anschauen

Dann also die Pipe verwenden. Hm, ich war eigentlich immer der Meinung, dass man statt | auch > oder >> verwenden kann. So irrt man sich

 

[hostile]

achso, falls du es nicht weisst, den user-agent kann man natürlich ändern...

# wget --help | grep user
       --user=USER               set both ftp and http user to USER.
       --http-user=USER        set http user to USER.
       --proxy-user=USER       set USER as proxy username.
  -U,  --user-agent=AGENT      identify as AGENT instead of Wget/VERSION.
       --ftp-user=USER         set ftp user to USER.

einfach die entsprechende option angeben.

gruß
hostile

 

[TheKorn]

hmm, ich verstehe nicht so ganz was es bringt den user zu ändern. Bei dieser Seite hier komm ich mit dem Browser drauf, nur mit dem wget Befehl nicht... http://www.skins.be Genauso wie auf computerbase.de

 

[Krik]

UserAgent ist ein kurzer Text, dass dem Server sagt, was für ein Programm gerade auf ihn zugreift.
Viele Seiten nutzen das um Browserstatistiken anzufertigen. Manche nutzen das aber auch, um Browserweichen zu ermöglichen, damit jede Seite in jedem Browser gleich aussieht.

 

[TheKorn]

aaaaaaaaaaaaah, kapiert! stimmt, wenn ich den user agent "firefox" nenn klappts...

Leute, ihr seid Spitze!

Vielen Dank :-)