Diskussion: Freiheit im Internet!

Ich glaube an Freiheit! Informationen sollten allen zugänglich sein!

Dass Suchmaschinen einer der wichtigsten Teile des Webs sind, ist denke ich jedem klar. Und auch, dass jeder von uns von Suchmaschinen abhängig ist.
Was auch vielen klar sein dürfte, ist, dass diese Suchmaschinen sehr oberflächlich sind, sie durchsuchen nur das sogenannte Surface Web.
Außerdem werden sie meistens durch die bekannte robots.txt eingeschränkt.
Ich habe das Gefühl, dass jedem von uns dadurch eine gigantische Menge an Daten und Wissen vorenthalten wird!
Die Daten im Netz wachsen von Tag zu Tag, die Daten im Deep Web sind schon jetzt unüberschaubar.

Ich könnte über dieses Thema noch viel länger reden, aber ich möchte euch erstmal meine eigentliche Frage stellen:
Gibt es ein (Open-Source-)Projekt, das es sich zur Aufgabe gemacht hat, das gesamte Deep Web zu indexieren und durchsuchbar zu machen?

Ich denke es gibt auf diesem Gebiet unendlich viel ideologischen, rechtlichen, technischen Stoff, über den ich hier mit euch gerne diskutieren würde.
Wie ist eure Meinung dazu? Wo gibt es Probleme?

Viele Grüße,
Blackbird++
 
Zuletzt bearbeitet:
Was macht eine Suchmaschine, wenn sie auf eine Passwortabfrage einer Seite/Datenbank stößt?

Inhalt, der öffentlich zugänglich gemacht werden soll, wird normalerweise nicht hinter Abfragen versteckt ;)
 
ich bin der Auffassung, Dinge, die der Gemeinschaft nützen, sollten frei sein; Dinge, die die Privatsphäre der User betreffen sollten dagegen geschützt bleiben.

In der Beziehung finde ich z.B. StudiVZ sehr vorbildlich, dass man dort nur als registrierter Nutzer überhaupt Zugriff auf die Profile bekommt und der Profil-Eigentümer selbst auch nochmals sehr fein gliedern kann, was er wem preis gibt.

Des weiteren soll es doch ruhig Bereiche im Netz geben, auf die man nur nach Registrierung oder gar käuflichen Erwerbs eines Accounts Zugriff bekommt.
(was würden die Jugendschutz-Organisationen sagen, wenn sämtliche erotischen Inhalte komplett frei im Netz verfügbar wären ;) )

Was willst du mit deinem Ansatz "Deep Web Indexieren" bezwecken?
mehr kostenlosen Hardcore-P0rn? noch schneller illegale Downloads finden? ;)
oder: nach dem gläsernen Bürger jetzt neu: den gläsernen Server :D

Und wie stellst du dir das technisch vor? Wie soll ein "DeepWeb-Crawler" in Erfahrung bringen, was es an Daten gibt, welche nicht öffentlich zugänglich sind?
Bruteforce-Attacken auf jeden Server im Netz?
 
Die Daten im Netz wachsen von Tag zu Tag, die Daten im Deep Web sind schon jetzt unüberschaubar.
…
Gibt es ein (Open-Source-)Projekt, das es sich zur Aufgabe gemacht hat, das gesamte Deep Web zu indexieren und durchsuchbar zu machen?

Wie willst du diese Seiten denn finden bzw. wie soll ein Open Source Projekt das tun? Alle IPv4-Adressen ansprechen und per brute-force Hostnamen ausprobieren? Je nach Grund, warum eine Website zum Deep Web gehört, sind diese ja nirgends verlinkt (=> Deep Web). Andere Arten des Deep Web sind einfach nicht maschinenlesbar genug (Flash, etc.) um sie durchsuchen zu können. Und - da das Surface Web „schätzungsweise 400- bis 550mal kleiner als das Deep Web“ (Zitat Wikipedia) ist: Wer soll diese Datenmassen indizieren und speichern? Überlege einmal, wie groß du dir Googles Index vorstellst. Das sind Petabyte. Jetzt stell dir das 400-550-fache vor. Das ist physisch noch garnicht in so weit möglich, dass es sich lohnt.
 
@beavisbee: Nein, natürlich nicht. Geschützte bzw. schützenswerte Daten sollten das auch bleiben.
Ich sag mal als harmloses Beispiel: Online-Bibliotheken von Uni's.
Natürlich ist das alles rechtlich bedenklich. Aber ich finde: Wenn jemand nicht will, dass Sachen öffentlich werden, soll er sie gefälligst nicht ins (freie) Internet stellen. Was geschützt ist, ist geschützt, aber was ungeschützt ist, ist eben für alle da. So ist es im echten Leben auch, wieso sollte es im Internet anders sein!
 
*lol* - den screenshot muss ich euch mal posten - Google ist echt mein Freund :D

ich sitz hier gerade bei meinen Eltern am PC und habe dementsprechend keinen Haken drin zum Eingeloggt-bleiben... somit war jetzt nach dem Kaffee meine Session abgelaufen - als ich hier STRG+R drückte, war ich also wieder Gast und Gäste bekommen nunmal Werbe-Einblendungen... und folgende Werbung suchte Google für diesen Thread aus:
3160d1270651977-diskussion-freiheit-im-internet-zensiert.png


das Bild spricht Bände, oder? *g*


b2t: okay, bei Bibliotheken könnte man durchaus den Bestand für alle zugänglich machen, auf dass andere Leute schneller finden, wo es ein bestimmtes Werk zum Ausleihen gibt. Aber das liegt eben im Ermessen der Bibliotheken, in wie weit sie ihre Kataloge öffentlich zur Verfügung stellen wollen oder es als schützenswertes Geheimnis ansehen...
 
Hm, wenn ich mir die Ergebnisse von Suchmaschinen mittlerweile anschaue (gerade Google), muss ich leider feststellen, dass sie von Tag zu Tag mehr zumüllen. Früher hab ich 2-3 Begriffe eingegeben und fand auf der ersten Seite locker 3-4-5 Treffer, die ziemlich nah an das rankamen was ich gesucht habe. Mittlerweile bin ich froh wenn ich auf einer Seite 1-2 vernünftige Treffer für meine Suchanfrage bekomme (oder ich muss meine Suche immer weiter verfeinern oder ausgefallene Suchbegriffe verwenden).

Wenn ich mir nun vorstelle, dass sämtlicher Content dort erfasst wäre (Statusseiten von Kontaktformularen oder nach Logins, irgendwelche kurze Popup-Erklärungen zu einem Begriff, usw), würde ich persönlich wohl keine Suchmaschine mehr benutzen, sondern auf Linklisten zurückgreifen, der man per Mail oder Mund-(Chat)-Progranda empfohlen bekommen hat.

Anstatt die Daten einfach nur anzuhäufen, sollte meiner Meinung nach eher weiter an einer Lösung zur besseren Strukturierung von Daten gearbeitet werden.

-just my 2 cents-
 
Natürlich ist das alles rechtlich bedenklich. Aber ich finde: Wenn jemand nicht will, dass Sachen öffentlich werden, soll er sie gefälligst nicht ins (freie) Internet stellen. Was geschützt ist, ist geschützt, aber was ungeschützt ist, ist eben für alle da. So ist es im echten Leben auch, wieso sollte es im Internet anders sein!
Sie sind doch nicht öffentlich, sondern im Deep Web. Warum willst du dann jetzt diese teilweise geschützten Daten da rausholen?
 
Und was hat das alles mit "Freiheit im Internet" zu tun?

Das Suchmaschinen nicht alles indexieren hat technische-und Ressourcengruende auf der einen Seite und auf der anderen die Zugangsbeschraenkungen.
 
Das Suchmaschinen nicht alles indexieren hat technische-und Ressourcengruende auf der einen Seite und auf der anderen die Zugangsbeschraenkungen.

Nur leider wissen wir nicht ob es auch andere Gründe gibt, es sei denn wir arbeiten an einer Suchmaschinen-core für ein entsprechendes Unternehmen.
Jeder hat jetzt aktuell soviel Skepsis gegenüber Zensur und hier und da, aber vielleicht gibt es ja schon immer den ein oder anderen Algo, der die Reputation einer Information killt und Sie so in einem 'DeepWeb' versinken lässt...
Von diesem Standpunkt aus wäre es die Freiheit, bzw. eher die unbewusste Unfreiheit.
Auf der anderen Seite möchte man einige Dinge auch nicht finden, und im Zuge des Wettbewerbs von Informationsanhäufern, wird der Gewinnen, der die Massen mit Ihrer Intention der Suche befriedigt. Alle anderen versinken warscheinlich im 'deepweb'.
 
Zuletzt bearbeitet:
Nur leider wissen wir nicht ob es auch andere Gründe gibt, es sei denn wir arbeiten an einer Suchmaschinen-core für ein entsprechendes Unternehmen.

Zensur ist immer re-aktiv. Es wird nicht bei der arbeit eines crawlers festgelegt, was er einsammeln "darf" und was nicht.

Wenn man Freiheit mit Begriffen wie deep-web verwendet sollte man aber auch im Kontext bleiben. Von daher finde ich das nach wie vor (woertlich genommen) fragwuerdig.
 
Ich wunder mich, dass hier niemand kritisch gegenüber Google zu sein scheint. Offenbar scheint es hier niemanden zu stören oder zu interessieren, welche Daten Google von jedem einzelnen von uns sammelt.

Wisst ihr eigentlich, wie viele Google-Server zu Eurem Rechner Verbindung aufnehmen, wenn Ihr eine kommerzielle Seite besucht?
Daher denke ich nicht, dass es um die Freiheit im Internet so gut bestellt ist.
 
Ich wunder mich, dass hier niemand kritisch gegenüber Google zu sein scheint. Offenbar scheint es hier niemanden zu stören oder zu interessieren, welche Daten Google von jedem einzelnen von uns sammelt.

Wisst ihr eigentlich, wie viele Google-Server zu Eurem Rechner Verbindung aufnehmen, wenn Ihr eine kommerzielle Seite besucht?
Daher denke ich nicht, dass es um die Freiheit im Internet so gut bestellt ist.
Das ist meist Google Analytics, das sich ganz einfach per NoScript fernhalten lässt. Google und diverse andere Unternehmen sammeln zwar Daten, aber dadurch schränken sie imho keine Freiheiten ein. Sie machen damit Geld, indem sie gezielt werben (was sich mit AdBlock umgehen lässt), aber auch hier sehe ich keine Einschränkung. Wo hast du denn eine Seitens Google bemerkt?
 
Zurück
Oben