Daten von einer Website abfragen

[MCStreetguy]

Hallo Community...

Ich hab mal wieder eine Frage

Ist es möglich mittels eines Programms Daten von einer Website abzufragen und zu verarbeiten? Oder wie kann ich da vorgehen... Falls jetzt die Frage nach dem Zweck aufkommt, es gibt keinen... Ich wollte nur wissen ob und wenn ja wie es geht...
Ich arbeite wie immer in C mit Dev-Cpp (Ja alt aber funzt )...

Danke schonmal für die Antworten

 

[Chakky]

Hallo Community...

Ich hab mal wieder eine Frage

Ist es möglich mittels eines Programms Daten von einer Website abzufragen und zu verarbeiten?

Ein Browser der glaube schon 1990 erfunden wurden ist kann das.....

Ansonsten sag uns was du genau machen willst (Bildbearbeiten, Daten rausfiltern etc pp)

 

[CDW]

wget, curl oder telnet mit
HTTP Made Really Easy
Aber um effektiv mit dem "Web" zu arbeiten, ist man auf eine vorhandene Bibliothek angewiesen (Cookies, JavaScript, Keep-Alive, richtiges Encoding/Decoding, Redirections, Authentification usw. wird man nicht so ganz schnell selber umsetzen können).

 

[MCStreetguy]

Also es ging darum einen oder mehrere strings von einer Seite abzufragen... Ausserdem soll das Programm soll mit einem Login auf meiner Homepage verbunden sein um einige "Premium"-Features zu aktivieren...
Wenn man sich einloggt erstellt die Seite einen Cookie mit dem Nutzernamen... Der sollte auch abgefragt werden...

Wie kann man das realisieren?

 

[CDW]

Möglichkeit
a) Wireshark oder entsprechendes "HTTP-Sniffer" Browserplugin + viel Geduld
b) wrapper für curl suchen: (libcurl)
libcurl - the multiprotocol file transfer library
libcurl - source code examples
oder eine der Alternativen:
libcurl - available alternatives

wobei

Ausserdem soll das Programm soll mit einem Login auf meiner Homepage

sehr lustig werden kann - je nach konkreter Umsetzung des Logins. Da wird man wahrscheinlich immer noch Wireshark bzw. HTTP-Monitoring Tools herausholen müssen - sofern es nicht um ein "standard" HTTP-Auth handelt.
Allerdings spart man sich mit http-Bibliotheken immer noch immens viel Tipparbeit und "Überraschungen" (redirects, cookiehandling)

 

[MCStreetguy]

Möglichkeit a ist nicht ganz passend...
Das soll ja schließlich automatisch funktionieren...
Aber b les ich mir auf jeden fall mal durch
Danke

 

[odigo]

Einen HTTP-Client in der Sprache deiner Wahl zu schreiben ist natürlich auch immer eine Möglichkeit.

 

[CDW]

Möglichkeit a ist nicht ganz passend...
Das soll ja schließlich automatisch funktionieren...

Damit (und mit

immer noch Wireshark bzw. HTTP-Monitoring Tools herausholen müssen

) meinte ich eher, dass man sich den HTTP-Traffic anschauen muss, um diesen dann nachzubauen. Einen Teil kann man zwar aus dem HTML Code rekonstruieren, allerdings wird man sich auch die Cookies ansehen müssen.

 

[MCStreetguy]

Hmmmm...
Und wenn nur eine Cookie-Überprüfung durchläuft?
Kann man nach einem bestimmten Cookie suchen lassen?