[HaBo]

Hallo!!

Ich hab da ne Kleine Frage:
Und Zwar habe ich einen Service wie den Schwabulator eingerichtet (also einen Kleinen Proxy, der Webseiten auf Anfrage ins Schwäbische, Säxische, Fränkische und Hessische übersetzt!) um zu verhinder, dass Bots das Ganze Internet nachundnach auf Schwäbisch indizieren, habe ich in die Robots.txt geschrieben:

User-agent: *
Disallow: /

Jetzt meine Frage:
trotz robots.txt bekomme ich innerhalb von 15 min etwa 30 anfragen von der Selben IP (66.249.65.197)...
Whois query zeigte, dass es sich dabei um eine auf Google registrierte IP handelte... genauere suche, dass es sich um einen Google-Bot handelt...

Jetzt wollte ich euch Fragen, ob das ein Bot ist, der für Google die webseiten indiziert (das wär schlecht für mich und für Google!), oder ob dass vieleicht ein Proxy sein könnte, oder ob google jetzt auch ein ISP geworden ist ;D

PS: hier die URL zum Proxy: http://fhirt.dyndns.org/schwob

===EDIT===
es wird auch immer dasselbe abgefragt: eine Suche auf plattentests.de, aber immer mit anderen suchwörtern... meist im abstand von ca. 30 sec.

OK, es IST ein Google Bot, und zwar einer, der die Seiten Indiziert... bloss warum Ignoriert dass ding die robots.txt??? sie scheint garnicht abgefragt zu werden,! ich habe seit heute mittag 4 Uhr 1nen einzigen Request für die Robots.txt erhalten, und der stammte von mir! Die einzige möglichkeit, die ich im mom sehe, ist diese IP auszusperren, aber dann sehe ich meine Config-datei für den Apache überquellen... (vorallendingen wenn ich an den ganzen haufen anderer suchmaschinen Bots denke!)

habe versucht, per Apache-configurationsdatei den Bot aus dem Unterverzeichniss auzusperren. es scheint nur nicht zu gehen.... es werden weiter munter suchergebnisse gespidert... hier das stück config-datei:
<Directory /cgi-bin/openschwob>
AddHandler python-program .py
PythonHandler modpython_schwob

Order deny,allow
Allow from all
Deny from 66.249.65.197
</Directory>