Google: Mit .txt Datei Indizierung anderer Suchmaschinen verhindern

Die Macher der Suchmaschine Google haben sich jetzt etwas einfallen lassen, womit sie verhindern wollen, dass andere Suchmaschinen ihre Inhalte nicht indizieren können.
Dazu sollen die so genannten Robots, die durchs Internet 'surfen' und dabei alles Mögliche übernehmen, gehindert werden, spezielle Bereiche einer Homepage zu indizieren.

Das macht Google zwar nicht, um die Exklusivität seiner Angebote zu wahren, sondern angeblich, weil die knapp 284 Robots, die es zur Zeit gibt, den Server überlasten würden.
 
Zurück
Oben