Inhalte KOMPLETT von einem Webserver downloaden?

M

manatarms

0
Hi schon mal danke für deinen Blick auf meine Frage!

Meint Ihr es ist möglich den gesamten Ihnhalt der sich auf einem xbelibigem Webserver befindet, herunterzuladen?
Damit ist nicht nur der Html code gemeint sondern auch das cms evt. installierte Datenbanken usw.!
So als würde ich von http://hackerboard.de/ die komplette Forumsoftware+Datenbanken
der Benutzer und Beitrage saugen!
Hoffe jeder weiß was gemeint ist!
?(



Danke vorab für alle Kommentare


Man@Arms
 
ja und nein
nein - weil man jegliche Pfade und Namen kennen muss (es sei denn, Ordnerlistening ist an ;) ) und ja, weil man das durch Brutforcen herausfinden kann (allerdings bewegt sich das wohl in einem sehr sehr theoretischem Bereich)
und wieder nein, weil ein gutkonfigurierter Server nur bestimmte Ordner überhaupt "durchsucht" . Also etwas komplex zu beantworten:
Um alles herunterzuladen muss:
mindestens:
a)der Webserver so konfiguriert sein, dass er alles "liefert".
dann noch:
b)optimalerweise Direktorylisteng aktiviert
c)oder alle Inhalte verlinkt sein
d)ansonsten durch ausprobieren die Pfade herausfinden, wobei ich jetzt nicht
vorrechnen möchte, wie lange es auch nur für eine Datei dauert ;)

Also rein praktisch: nein.
Zumindest habe ich so Deine Frage verstanden.
Als Vergleich: versuche mal alle Dateien von einer Platte zu kopieren, ohne dass man dessen Dateinamen kennt und ohne einer Liste solcher Namen.
 
Hallo manatarms

so wie der Server vom HaBo konfiguriert, dürfte es sehr schwierig werden, ohne FTP _alles_ zu bekommen. Erstes Problem: PHP-Dateien werden interpretiert, d.h. der Original-Code ist nicht sichtbar bei einem HTTP-Aufruf. Zweites Problem: Du hast die Zugangsdaten von der Datenbank (hoffentlich :]) nicht. Und so geht es weiter...

Als Vergleich: versuche mal alle Dateien von einer Platte zu kopieren, ohne dass man dessen Dateinamen kennt und ohne einer Liste solcher Namen.
Zum Vergrößern anklicken....
Code: 
COPY C:\*.* D:\
Oder wie war das :D

MfG dfi
 
wget for windows und winhttrack (eigentlich httrack) wären solche programme. ich empfehle dir das allerdings nicht, da die meisten seiten sich einfach zu schnell verändern
 
irgendwie ist das doch logisch dass das nicht geht wenn ma a bissl sein hirn anstrengt oder ned
Zum Vergrößern anklicken....

wenn er nicht weiß wie das Inet funktioniert, dann nicht
und ich denke mal dann hätte er nicht gefragt

wget hab ich auch
das lädt aber immer nur eine Seite runter, oder ich habs falsch eingestellt
 
sto anstelle ihn nur dumm anzumachen und auf google zu verweisen, wie wärs wenn du ihm mal hilfst, wenn du doch so viel mehr weißt wie er!

zum topic:
selbst wenn man die zugansdaten hätte, wieviel zeit würde es mit T1 ungefähr in Anspruch nehmen, kann das jemand abschätzen? bleiben wir mal beim Habo..Mackz, Jan? wie groß sind hier ALLE inhalte?
 
Original von Hashishin
sto anstelle ihn nur dumm anzumachen und auf google zu verweisen, wie wärs wenn du ihm mal hilfst, wenn du doch so viel mehr weißt wie er!
Zum Vergrößern anklicken....

Da stellen sich 2 Fragen... sind alle Inhalte verlinkt auf der Page? Wenn nein müsstest du jeden File kennen und die verzeichnisstruktur. Außerdem wirst du wahrscheinlich nicht um die MySQL Datenbank rumkommen außer du speicherst alle inhalte als html ab... das wird aber schätzungsweiße ne ziemlich lange aufgabe...

Wenn das CMS eine gewisse struktur hat und open source is könntest du vielleicht selbst nen Downloadmanager basteln der den gesamten Inhalt der über php-scripts ausgegeben wird als html abspeichert oder sogar richtig interpretiert.

zum topic:
selbst wenn man die zugansdaten hätte, wieviel zeit würde es mit T1 ungefähr in Anspruch nehmen, kann das jemand abschätzen? bleiben wir mal beim Habo..Mackz, Jan? wie groß sind hier ALLE inhalte?
Zum Vergrößern anklicken....

Mitglieder: 9.407 | Themen: 20.374 | Beiträge: 146.701

Naja das dürfte wohl schon länger dauern ^^ Klingt eher nach GB und nicht nach MB über das wir hier reden... Außerdem sind ja noch die ganzen Anhänge plus Userpics plus Avatare plus Userdaten anzurechnen
 
Da stellen sich 2 Fragen... sind alle Inhalte verlinkt auf der Page?
Zum Vergrößern anklicken....

Wobei es bei Boards wie dem HaBo etwas einfacher wird:
www.hackerboard.de/thread.php?threadid=1
bis
www.hackerboard.de/thread.php?threadid=1&page=letzteSeite

bis

www.hackerboard.de/thread.php?threadid=NrVomLetzemThread
bis
www.hackerboard.de/thread.php?threadid=NrVomLetzemThread&page=letzteSeite

Das in zwei Schleifen rein haun:
Code: 
Pseudo-Code:

for (erster bis letzter Thread) {
  while (http://www.hackerboard.de/thread.php?threadid=NrVomThread&page=Seite != leer) {
    speichern("http://www.hackerboard.de/thread.php?threadid=NrVomThread&page=Seite ");
    Seite++;
  }
}

wird aber trotzdem ne ganze weile dauern, bis man alles runter geladen hat :D
 
@sto: Unterlasse bitte solche Bemerkungen. Deine Antworten sind, im Gegensatz zu seiner Frage, sinnfrei. Wann hier etwas ins Becken wandert, entscheiden die Mods, nicht du!
Die Frage ist berechtigt und das Board ist ein Supportforum. Wenn du nichts Konstruktives zu schreiben hast, schreibe nichts.
Danke.

@manatarms: Es gibt verschiedene Programme, wie etwa "Teleport Pro", mit denen Du Inhalte von Websites laden kannst, bzw. auch eine 1:1 Spiegelung der HTML-Inhalte erstellen kannst. Du hast dann eine lokal benutzbare Kopie der kompletten Site incl. aller Unterseiten auf deinem Rechner.
Dies gilt allerdings nur für die Inhalte, die nicht serverseitig ausgeführt werden, wie etwa PHP. Alles was nicht über den Browser angezeigt bzw. erreicht werden kann, kann auch nicht kopiert werden.

root
 
Original von SUID:root
@sto: Unterlasse bitte solche Bemerkungen. Deine Antworten sind, im Gegensatz zu seiner Frage, sinnfrei. Wann hier etwas ins Becken wandert, entscheiden die Mods, nicht du!
Die Frage ist berechtigt und das Board ist ein Supportforum. Wenn du nichts Konstruktives zu schreiben hast, schreibe nichts.
Danke.
Zum Vergrößern anklicken....

Heißt das dass ich meine Meinung zu Posts nicht mehr Kundtun darf? Heißt das, wenn ich finde dass es ein Fall fürs Planschbecken ist dass das nicht posten darf? Meinungsfreiheit? Schon mal was davon gehört?

@manatarms: Es gibt verschiedene Programme, wie etwa "Teleport Pro", mit denen Du Inhalte von Websites laden kannst, bzw. auch eine 1:1 Spiegelung der HTML-Inhalte erstellen kannst. Du hast dann eine lokal benutzbare Kopie der kompletten Site incl. aller Unterseiten auf deinem Rechner.
Dies gilt allerdings nur für die Inhalte, die nicht serverseitig ausgeführt werden, wie etwa PHP. Alles was nicht über den Browser angezeigt bzw. erreicht werden kann, kann auch nicht kopiert werden.

root
Zum Vergrößern anklicken....

Die wohl "einfachste" Möglichkeit an die PHP-Files zu kommen wäre dir dort nen Account zu organisieren und gucken ob der Server vielleicht so mies konfiguriert ist dass du ein paar Exploits ausführen kannst und php lahm legst...

Dann kannste dir auch die PHP Scripts saugen.
 
Original von sto
Heißt das dass ich meine Meinung zu Posts nicht mehr Kundtun darf? Heißt das, wenn ich finde dass es ein Fall fürs Planschbecken ist dass das nicht posten darf? Meinungsfreiheit? Schon mal was davon gehört?
Zum Vergrößern anklicken....

Das heißt, dass solche Aussagen nur sinnlosen Traffic Produzieren, und einige Leute es noch schwerer haben, eine Kopie vom Habo zu bekommen :D

Meinungsfreiheit...Es steht dir hier nicht frei, in jeder Hinsicht deine Meinung kundzutun! Sie sollten (die Meinungen) nicht gegen die Boardregeln verstoßen, und wenn du soclhe Aussagen machst, kann man das als Spam zählen!

Nochmal back2Topic wegen der Größe...irgentwo stand hier mal, das monatlich (glaube ich) ca. 30 GB TRAFFIC erzeugt werden...wie lange existiert das Board schon? rechnets euch aus 8)
 
Heißt das, wenn ich finde dass es ein Fall fürs Planschbecken ist dass das nicht posten darf?
Zum Vergrößern anklicken....

Ja, genau DAS ist damit gemeint. Es ist nicht gewünscht und ich bitte dich, das einzuhalten. Dieses Board hat genügend Teammitglieder, die sich entsprechender Threads annehmen. Es steht hier jedem Menschen frei, Fragen zu stellen und es obliegt nicht Dir, die Threads zu bewerten und Usern die Lust am Posten zu nehmen, indem du sie abwertest.

Meinungsfreiheit...Es steht dir hier nicht frei, in jeder Hinsicht deine Meinung kundzutun! Sie sollten (die Meinungen) nicht gegen die Boardregeln verstoßen, und wenn du soclhe Aussagen machst, kann man das als Spam zählen!
Zum Vergrößern anklicken....

Stimmt.
Und jetzt bitte back to Topic.

root
 
für das erstellen von HTML-Mirrors benutze ich persönlich "WebCopier".

Ich habe bis vor kuzem noch mit dem "IntelliTamper" gearbeitet, aber dann bin ich auf irgendeine page gestoßen bei der er mir ständig verreckt ist.

daher habe ich mich nach einem anderen Prog umgesehen.


das monatlich (glaube ich) ca. 30 GB TRAFFIC erzeugt werden..
Zum Vergrößern anklicken....
Look here

und es geht dabei doch um den "Traffic" also dem "Verkehr in BEIDE richtungen" (oder ?()


Aber manatarms nahm ja das HaBo nur als Beispiel, nehmen wir einfach mal eine "kleine" PHP-Seite mit einer kleinen SQL-DB.
Wie würde man da vorgehen?
Ich meine ja nur, zum lernen (wie man eine DB schreibt usw.) ist es ja ganz sinnvoll... habe ich damals auch mit HTML-Pages gemacht !

MfG
Caleb
 
Um antworten zu können musst du eingeloggt sein.
Zurück
Oben