Danke Danke:  0
Gefällt mir Gefällt mir:  0
Dislikes Dislikes:  0
Ergebnis 1 bis 6 von 6

Thema: Webcrawler/searchspider gesucht

  1. #1

    Registriert seit
    31.05.16
    Danke (erhalten)
    0
    Gefällt mir (erhalten)
    0

    Cool Webcrawler/searchspider gesucht

    Anzeige
    Hey Leute ich bräuchte ein Tool zum durchsuchen von Intranet und Internet Seiten nach PersonenDaten (Durchwahlen, HandyNummern). Die Standardcrawler können im Zweifel nicht mehr als Google... Gibt es da ne Möglichkeit? Ein fertiges Tool mit dem ich mir nicht gleich drei Trojaner und zwei Viren als Gäste beim Download einfache?
    Die crawler in der Robots.txt kann man wohl knicken...

  2. #2
    Moderator Avatar von bitmuncher
    Registriert seit
    30.09.06
    Danke (erhalten)
    125
    Gefällt mir (erhalten)
    1598

    Standard

    Ist heutzutage nicht sonderlich schwer sich sowas selbst zu basteln: How to make a web crawler in under 50 lines of Python code

  3. #3

    Registriert seit
    15.05.14
    Danke (erhalten)
    17
    Gefällt mir (erhalten)
    100

    Standard

    Wenn es sich um JS-lastige Resourcen handelt, könnteste mit PhantomJS oder Casper spidern.
    Gibt aber mit Sicherheit auch schon etwas fertiges, hier mal ein Primer.
    - Politische Korrektheit ist der Tod einer Gesellschaft -
    - Niemand hat das Recht NICHT angefressen zu sein -
    - Don't be fooled... Google is evil.... and so is Alphabet -

  4. #4

    Registriert seit
    31.05.16
    Danke (erhalten)
    0
    Gefällt mir (erhalten)
    0

    Standard Check ich nicht

    kann mir einer Phantom oder Casper erklären? Ich nutze Win10 und kann Casper daher z.b. nicht öffnen
    Mein Wunsch ist es einen Spider zu haben der a. fertig ist (notfalls Zahle ich dafür) der b. folgendes finden kann:
    Die Handynummer von Joe Kaeser (Vorstand) der Siemens AG- diese muss aus dem Intranet gelesen werden können...
    Sowas geht, ich habe das schon mal gesehen- kann mich aber nicht mehr daran erinnern wie das Tool hieß das benutzt wurde

  5. #5
    Avatar von lama0815
    Registriert seit
    23.05.16
    Danke (erhalten)
    19
    Gefällt mir (erhalten)
    36

    Standard

    Cewl erstellt Wordlists aus den Inhalten von Webseiten oder leitet das an stdout weiter. Da Handynummern ein gewisses Muster aufweisen wirst du mit ner min_worth_length von ca. 10 und grep nach +49-17 oder entsprechend dem Format und der vermutlich Telekomvorwahl Glück haben können, nachdem du die 5 Yottabyte gezogen hast.
    Wie du die Nummer dem Namen zuordnest ist dann abhängig was du alles crawlen willst. min_word_length runter drehen und dann grep nach Joe Kaeser und dann i. R. die Nummer danach.
    Nimm Kali in ner VM.
    Geändert von lama0815 (09.06.16 um 15:30 Uhr)

  6. #6

    Registriert seit
    15.05.14
    Danke (erhalten)
    17
    Gefällt mir (erhalten)
    100

    Standard

    Anzeige
    Sandmann, das sind headless-browser welche man automatisieren kann.
    Hilfe dafür ist ein eigener Thread.
    Kannst ja erstmal eine VM aufsetzten und schauen ob das überhaupt was für dich ist.
    Ansonsten gibt es noch SlimerJS und mit sicherheit noch einige Andere.

    Mal davon ab, wäre es für dein Vorhaben ggf. einfacher direkt nach einem API-zugang zu fragen, oder dir die Seitenaufrufe anzuschauen, Web-Applikations haben manchmal die tolle Eigenschaft, die Datenabfrage schön zu separieren, und die Schnittstellen sind manchmal einfach nur Wrapper für gut konfigurierbare SQL-Abfragen, womit du deinen API-zugang auch hättest.

    Das hier wäre ggf. auch was für dich YaCy - The Peer to Peer Search Engine: Home .

    btw: wiso ist die Handynummer vom Vorstand so viel wichtier als die anderen Datensätze die es zu sammeln gilt?
    Ansonsten fragen, Nummern haben normalerweise die Leute die sie brauchen.
    Stichwort Wiki?
    Gruß

    Fluffy
    - Politische Korrektheit ist der Tod einer Gesellschaft -
    - Niemand hat das Recht NICHT angefressen zu sein -
    - Don't be fooled... Google is evil.... and so is Alphabet -

Ähnliche Themen

  1. HP gesucht
    Von Valentin im Forum Internet Allgemein
    Antworten: 6
    Letzter Beitrag: 04.06.06, 01:26
  2. MP3 + BAT Joiner gesucht
    Von PPY im Forum Downloads
    Antworten: 5
    Letzter Beitrag: 06.08.05, 02:53
  3. Gesucht
    Von MyOwnWold im Forum Off topic-Zone
    Antworten: 2
    Letzter Beitrag: 19.04.05, 17:42
  4. .pps gesucht
    Von d3lux3 im Forum Downloads
    Antworten: 4
    Letzter Beitrag: 30.05.04, 21:34

Stichworte

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •