Hackerboard Wiki HaboBlog
Hackerboard bei Facebook Hackerboard bei Google+ Hackerboard bei Twitter

[HaBo]

 
Linux/UNIX Linuxverfechter finden hier Weggefährten.

Frag zu wget --spider

Diskussion: Frag zu wget --spider im Forum Linux/UNIX, in der Kategorie Operating Systems; Anzeige Hallo HaBo, zum Neustart meines Router habe ich mir scripte erstellt, die auch in Daemons genutzt werden sollen. Zum ...

Antwort
Alt 31.12.10, 13:43   #1 (permalink)
.:L
Senior Member
 
Benutzerbild von .:L
 
Registriert seit: 05.05.06
.:L Leistung: 8086
.:L eine Nachricht über ICQ schicken
Likes: 23
Standard Frag zu wget --spider

Anzeige

Hallo HaBo,

zum Neustart meines Router habe ich mir scripte erstellt, die auch in Daemons genutzt werden sollen.

Zum Neustart verwendet ich

Code:
wget -q --spider url
Durch --spider sollten doch eigentlich keine Daten heruntergeladen werden, oder?
Zitat:
When invoked with this option, Wget will behave as a Web spider,
which means that it will not download the pages, just check that
they are there. For example, you can use Wget to check your
bookmarks:
Nach jedem Ausführen des Befehl habe ich jedoch die HTML-Datei... Was mache ich falsch?

Achja, noch eine Kleinigkeit am Rande: Ich habe mir für diverse Scripte Aliase hinterlegt.
Bsp.:
Code:
 alias RR='sh rr-script'
Nach einiger Zeit sind die Aliase verschwunden, ohne das ich diese entfernen wollte (unalias)... Jemand eine Idee wie so etwas passiert?

Gruß
__________________
fat people are hard to kidnap
.:L ist offline   Mit Zitat antworten
Alt 31.12.10, 13:46   #2 (permalink)
Moderator
 
Benutzerbild von xeno
 
Registriert seit: 09.09.04
xeno Leistung: Pentium Ixeno Leistung: Pentium I
xeno eine Nachricht über ICQ schicken
Likes: 76
Standard

Zu „spider“:

Code:
~ % wget --spider http://www.thehappy.de/index.html
Spider-Modus eingeschaltet.  Prüfe ob die Datei auf dem Server existiert.
--2010-12-31 13:44:31--  http://www.thehappy.de/index.html
Auflösen des Hostnamen www.thehappy.de... 88.198.49.239
Verbindungsaufbau zu www.thehappy.de|88.198.49.239|:80... verbunden.
HTTP-Anforderung gesendet, warte auf Antwort... 200 OK
Länge: 3425 (3,3K) [text/html]
Datei auf dem Server existiert und könnte weitere Links enthalten,
aber Rekursion ist abgeschaltet -- kein Download.
~ % ls index.html
ls: Zugriff auf index.html nicht möglich: Datei oder Verzeichnis nicht gefunden
Irgendwas machst du falsch

Zu den Aliasen kann ich nur vermuten, daß du zwischenzeitlich das Terminal und/oder die Shell neu gestartet hast. Damit werden deine Environementvariablen natürlich neu generiert (~/.bashrc oder andere...).
xeno ist offline   Mit Zitat antworten
   
HaBOT
 
- Anzeige -

Werbung ist gerade online    
Alt 31.12.10, 13:56   #3 (permalink)
.:L
Senior Member
Themenstarter
 
Benutzerbild von .:L
 
Registriert seit: 05.05.06
.:L Leistung: 8086
.:L eine Nachricht über ICQ schicken
Likes: 23
Standard

hmmmmm seltsam.

Scheint an der Seite des Routers zu liegen. Auf beliebigen anderen Seiten bekomme ich keinen Download :/

Naja, dann löschen die die Dateien per Script :>

Zum alias:
Ja, ich habe die Console zwischendurch neu gestartet. Werden die Aliase dann jedes mal gelöscht?

Wie kann ich das vermeiden, bzw. den Alias langfristig anlegen?
__________________
fat people are hard to kidnap
.:L ist offline   Mit Zitat antworten
Alt 31.12.10, 13:57   #4 (permalink)
Moderator
 
Benutzerbild von xeno
 
Registriert seit: 09.09.04
xeno Leistung: Pentium Ixeno Leistung: Pentium I
xeno eine Nachricht über ICQ schicken
Likes: 76
Standard

In der Datei, die von deiner Shell beim Starten gesourced wird. Im Falle von Bash wäre das ~/.bashrc (da sollten schon welche drin stehen), für die ZSH wäre das ~/.zshrc.
xeno ist offline   Mit Zitat antworten
Alt 31.12.10, 14:02   #5 (permalink)
 
Benutzerbild von metax.
 
Registriert seit: 22.01.07
metax. Leistung: 8086
metax. eine Nachricht über ICQ schicken
Likes: 10
Standard

Code:
 wget -O /dev/null http://www.planet-metax.de/
mfg, metax.

edit:
Wenn du nur prüfen willst, ob das Ziel existiert, kannst du auch den Befehl "lwp-request" benutzen, um dir den Statuscode ausgeben zu lassen. lwp-request ist ein Perl-Programm, das die lwp-lib benutzt.
Code:
metax@yuggoth ~ $ lwp-request -ds http://www.planet-metax.de
200 OK
metax@yuggoth ~ $ lwp-request -ds http://www.planet-metax.de/xysdfagads
404 Not Found
__________________
Wenn keiner zuschaut, teile ich heimlich durch Null!
Meine Homepage: Planet Metax | meine Bilder: DeviantArt | Twitter

Geändert von metax. (31.12.10 um 14:10 Uhr)
metax. ist offline   Mit Zitat antworten
Alt 31.12.10, 14:13   #6 (permalink)
.:L
Senior Member
Themenstarter
 
Benutzerbild von .:L
 
Registriert seit: 05.05.06
.:L Leistung: 8086
.:L eine Nachricht über ICQ schicken
Likes: 23
Standard

@Metax
Funktioniert wunderbar, danke. An diese Denkweise muss ich mich erst noch gewöhnen :>

@xeno
Funktioniert auch wunderbar, danke.
__________________
fat people are hard to kidnap
.:L ist offline   Mit Zitat antworten
Alt 31.12.10, 14:44   #7 (permalink)
 
Benutzerbild von overflow
 
Registriert seit: 17.01.04
overflow Leistung: Z3
overflow eine Nachricht über ICQ schicken overflow eine Nachricht über MSN schicken
Likes: 16
Standard

Ist zwar OT aber:

Wie stellst du die Verbindung zu deinem Router her ?

Mein Router von netcologne:
http://www.netcologne.de/fileadmin/s...ct_premium.pdf

Recherchiere schon seit langem wie ich eine Verbindung aufbauen kann um den Router zu rebooten.
overflow ist offline   Mit Zitat antworten
Alt 31.12.10, 14:47   #8 (permalink)
.:L
Senior Member
Themenstarter
 
Benutzerbild von .:L
 
Registriert seit: 05.05.06
.:L Leistung: 8086
.:L eine Nachricht über ICQ schicken
Likes: 23
Standard

Ich verstehe dir Frage nicht.

Ich bin lokal im Netzwerk, also habe ich eine direkte Ethernetverbindung zu meinem Router. Sollte das aber mal nicht der Fall sein, habe ich per DynDs eine Weiterleitung über eine Domain.

EDIT:// Meinst du mit Verbindung den Login?
__________________
fat people are hard to kidnap

Geändert von .:L (31.12.10 um 14:53 Uhr)
.:L ist offline   Mit Zitat antworten
Alt 31.12.10, 14:54   #9 (permalink)
 
Benutzerbild von overflow
 
Registriert seit: 17.01.04
overflow Leistung: Z3
overflow eine Nachricht über ICQ schicken overflow eine Nachricht über MSN schicken
Likes: 16
Standard

Mein Router besitzt wie jeder handelsüblicher Router ein Webinterface für Einstellungen.
Die Einstellungen möchte ich ohne die Nutzung des Webinterfaces nutzen.
Ich starte öfters den Router neu um eine neue IP Adresse zu erhalten.
Daher ist es für mich sehr umständlich mich immer wieder im UI anzumelden.

UI ist sehr langsam dann sind dort noch die Wartezeiten von 60 Sekunden.

Diese möchte ich umgehen indem in zb per ssh eine Verbindung zum Router aufbauen kann, da aber kein ssh server auf dem Router installiert ist, fällt mir keine andere Alternative ein.
overflow ist offline   Mit Zitat antworten
Alt 31.12.10, 15:04   #10 (permalink)
.:L
Senior Member
Themenstarter
 
Benutzerbild von .:L
 
Registriert seit: 05.05.06
.:L Leistung: 8086
.:L eine Nachricht über ICQ schicken
Likes: 23
Standard

OK, jetzt verstehen wir uns :>

Ich hatte exakt das selbe Problem.

Zu SSH:
Mein Router unterstützt kein SSH, deswegen kann ich dir da nicht weiterhelfen.

Zu Telnet:
Hat mir persönlich nicht geholfen. Alles was ich per Telnet kann (und auch nur wenn man per get-anfrage todo=DebugMode aktiviert) ist ein DIR oder DELETE. Scripte ausführen ist da auch nicht wirklich.

Wie schon beschrieben habe ich das ganze über WGET gelöst.
Alles was du im UI machst ist ein get an eine Funktion zu senden, in diesem Fall restart.
Du musst nur rausfinden, wie die URL zu dieser Funktion lautet.

Bei mir ist es zum Beispiel:
Code:
http://user:password@routerip/setup.cgi?todo=disconnect
User steht für deinen Loginnamen, Password für dein Passwort...wow.

Nochmal fürs Verständnis:
Wenn du folgendes im Browser eingibst landest du sofort auf dem Router:
Code:
http://user:password@routerip
per WGET wird eine GET-Anfrage ausgelöst, also Seiten angefordert. In meinem Fall vordere ich die Seite/Funktion zum Neustarten des Routers auf. Damit alles funktioniert werden die Logindaten übergeben und voila, der Router startet neu :>

Wie die URL zum Neustarten deines Routers lautet kannst du per Netzwerksniffer rausfinden. hab grad vergessen wie das Firefoxaddon heißt :/

EDIT://

Ich weis nicht wie gut du dich auskennst, ich habs grad selbst nochmal bei mir probiert.

Was brauchst du?
- Einen Browser
- Wireshark oder Wahlweise was anderes. Ich kann gut mit WS

Vorgehen:
Browser öffnen, UI des Routers anzeigen lassen. Geh schon auf die Site wo der Restartbutton des Routers ist.

Nun öffnest du WS. "Start capture", in das Suchfeld gibst du einfach HTTP als Protokollfilter ein.

Wieder zurück zum Browser und den Knopf drücken. In WS beendet du das Capture.

Das sollte jetzt etwas so aussehen:

Das grau unterlegte ist die POST-Anfrage. Hier wirds interessant.

Rechtsklick drauf und "Follow TCP-Stream".

Du siehst, welche Aktion ausgeführt wird.

Das Ergebnis:
Code:
http://user:password@192.168.0.1/todo=reboot&this_file=diag.htm&next_file=diag.htm
__________________
fat people are hard to kidnap

Geändert von .:L (31.12.10 um 15:28 Uhr)
.:L ist offline   Mit Zitat antworten
Alt 31.12.10, 16:25   #11 (permalink)
 
Benutzerbild von overflow
 
Registriert seit: 17.01.04
overflow Leistung: Z3
overflow eine Nachricht über ICQ schicken overflow eine Nachricht über MSN schicken
Likes: 16
Standard

Bedanke mich für den ausführlichen Beitrag.
Genau so bin auch ich schon bereits vorgegangen.

Leider habe ich immer wieder das Problem das wenn ich die Parameter direkt im Browser eingebe, das diese keine Auswirkungen haben.
Sprich die UI wird normal geladen und verlangt von mir eine Passworteingabe.

Nur wenn ich angemeldet bin kann ich durch die Parametereingabe im Browser Einstellungen vornehmen.

Und genau an diesem Problem bin ich seit Wochen.

Geändert von overflow (31.12.10 um 16:38 Uhr)
overflow ist offline   Mit Zitat antworten
Alt 01.01.11, 18:54   #12 (permalink)
.:L
Senior Member
Themenstarter
 
Benutzerbild von .:L
 
Registriert seit: 05.05.06
.:L Leistung: 8086
.:L eine Nachricht über ICQ schicken
Likes: 23
Standard

Poste mal bitte, wie die POST-Url lautet.

Ansonsten wird dir nur jemand helfen können der entweder den selben Router hat oder sich mal auf deinem System umsehen kann.
__________________
fat people are hard to kidnap
.:L ist offline   Mit Zitat antworten
Alt 01.01.11, 19:25   #13 (permalink)
 
Registriert seit: 12.08.10
mime Leistung: Pentium Imime Leistung: Pentium I
Likes: 30
Standard

Zitat:
Zitat von .:L Beitrag anzeigen
Poste mal bitte, wie die POST-Url lautet.
Ihr solltet euch vielleicht mal http://board.jdownloader.org/showthread.php?t=22974 ansehen...

HTH

Micha
__________________
http://www.openvas.org
mime ist offline   Mit Zitat antworten
Alt 01.01.11, 21:18   #14 (permalink)
 
Benutzerbild von overflow
 
Registriert seit: 17.01.04
overflow Leistung: Z3
overflow eine Nachricht über ICQ schicken overflow eine Nachricht über MSN schicken
Likes: 16
Standard

Zitat:
http://1:PASSWORT@192.168.0.1/web.cgi?controller=Internet&action=StopPppoe&id=0
Sobald ich im Browser den Link aufrufe erhalte ich folgende Meldung:

Zitat:
Sie sind dabei, sich bei der Website "192.168.0.1" mit dem Benutzernamen "1" anzumelden, aber die Website benötigt keine Authentifizierung. Dies könnte ein Versuch sein, Sie zu täuschen.

Soll die Website "192.168.0.1" wirklich aufgerufen werden?
Bestätige ich, gelange ich zum gewohnten Login.
overflow ist offline   Mit Zitat antworten
Alt 01.01.11, 22:34   #15 (permalink)
Member of Honour
 
Benutzerbild von beavisbee
 
Registriert seit: 22.02.07
beavisbee Leistung: Pentium IIIbeavisbee Leistung: Pentium IIIbeavisbee Leistung: Pentium IIIbeavisbee Leistung: Pentium III
beavisbee eine Nachricht über ICQ schicken
Likes: 77
Standard

Zitat:
Zitat von overflow Beitrag anzeigen
Sobald ich im Browser den Link aufrufe erhalte ich folgende Meldung:
Benutzer/Passwort im Link funktioniert nunmal nur, wenn die Passwort-Abfrage über BasicAuth geht...

Wenn es ein normales HTML-Formular ist, wo du deine Daten eingeben musst, dann musst du den entsprechenden POST-Request zum Einloggen nachbauen.

Tipp für PHP: snoopy - eine WebClient-Klasse
http://snoopy.sourceforge.net/

und mit php5-cli kann man dann ja auch die PHP-Scripte per Konsole aufrufen...
beavisbee ist gerade online   Mit Zitat antworten
Antwort
   
- Anzeige -

Werbung ist gerade online    

[HaBo] » Operating Systems » Linux/UNIX » Frag zu wget --spider
Themen-Optionen
Ansicht

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks sind aus
Pingbacks sind aus
Refbacks sind aus



1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61