Hackerboard Wiki HaboBlog
Hackerboard bei Facebook Hackerboard bei Google+ Hackerboard bei Twitter

[HaBo]

 
Webmaster-Security Fragen zur richtigen Serverkonfiguration oder Absicherung dynamischer Scripte gehören hier hinein.

Squid liefert nach einer Weile einen 301

Diskussion: Squid liefert nach einer Weile einen 301 im Forum Webmaster-Security, in der Kategorie Security Area; Anzeige Ich ueberwache einen Squid mit Nagios. Dafuer setzt Nagios einen spezifischen Request auf den Squid ab, was eigentlich auch ...

Antwort
Alt 18.05.10, 11:37   #1 (permalink)
Moderator
 
Benutzerbild von bitmuncher
 
Registriert seit: 30.09.06
bitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcore
Likes: 443
Standard Squid liefert nach einer Weile einen 301

Anzeige

Ich ueberwache einen Squid mit Nagios. Dafuer setzt Nagios einen spezifischen Request auf den Squid ab, was eigentlich auch funktioniert. Problem ist nun, dass das Nagios nach einer Weile (1-2 Tage) ploetzlich vom Squid einen 301 erhaelt

Code:
HTTP CRITICAL - Invalid HTTP response received from host on port 51080: HTTP/1.0 301 Moved Permanently
Aendert man nun den User-Agent, der vom Nagios mitgesendet wird, kommt wieder problemlos ein 200er. Allerdings kann es natuerlich keine dauerhafte Loesung sein alle 1-2 Tage den User-Agent zu aendern. Hat evtl. jemand eine Idee, woran dieses Problem liegen und vor allem, wie man es umgehen kann? Bin langsam mit meinem Latein am Ende und kann mir das Verhalten nicht erklaeren. Das Problem scheint definitiv im Squid zu liegen, der als Web-Cache fungiert, und nicht an dahinter laufenden Webservern. Diese werden getrennt ueberwacht und liefern einen 200er, wenn Squid bereits einen 301 liefert. Ein komplettes Rausnehmen der User-Agent aus dem Request bringt auch keine Abhilfe. Auch dann bekommt das Nagios nach einer Weile einen 301.

PS: Dies ist ein Cross-Posting, da es unter http://www.unixboard.de/vb3/showthread.php?t=45919 bisher keine Antwort gab. Obwohl hier weniger Sysadmins im Board sind, gibt's hier ja evtl. die kreativeren Koepfe. Jede Idee ist willkommen.
__________________
Mein Blog - Mein Job - Diaspora

Der Ring uns zu knechten besteht aus 12 Sternen auf blauem Grund.

Neue Beiträge im Habo via Twitter - Das HaBo auf FB - Das HaBo bei G+
bitmuncher ist gerade online   Mit Zitat antworten
Alt 18.05.10, 16:43   #2 (permalink)
Member of Honour
 
Benutzerbild von Brabax
 
Registriert seit: 04.10.01
Brabax Leistung: 8086Brabax Leistung: 8086
Brabax eine Nachricht über ICQ schicken
Likes: 42
Standard

Ist zwar ein weiter Schuss ins Blaue, aber hast du eventuell etwas Firewall-Ähnliches laufen, was den Dauerping nach einiger Zeit ablehnt bzw. als Spam einstuft?

Was passiert, wenn du den User-Agent wechselst und dann zum alten zurückwechselst?

lG

Brabax
__________________

<< Wir leben bereits im morgigen Gestern, doch vom gestrigen Morgen sind wir noch weit entfernt. >>

<< Träume sind Schäume. Es liegt an dir ob du sie lebst oder ein Schaumschläger bist! >>

<< Erst wenn man beginnt zu implizieren, wird man merken, dass einem sowieso keiner richtig zuhört. >>
Brabax ist offline   Mit Zitat antworten
   
HaBOT
 
- Anzeige -

Werbung ist gerade online    
Alt 18.05.10, 16:54   #3 (permalink)
Moderator
Themenstarter
 
Benutzerbild von bitmuncher
 
Registriert seit: 30.09.06
bitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcore
Likes: 443
Standard

Eine WAF, ein IDS o.ä. hatte ich auch schon im Verdacht. Laut Aussage der Infrastruktur-Admins ist da aber nichts entsprechendes geschaltet. Wenn man zum alten Agent zurück wechselt, wird dieser wieder für ein paar Tage akzeptiert und bekommt irgendwann wieder ein 301.

Aktuell habe ich auch eine neue Vermutung... Die Seite, die da gecachet werden soll bzw. vom Nagios geprüft wird, ob sie über den Squid erreichbar ist, ändert sich relativ häufig. Bekommt der Squid mit, dass sich die Seite in einem bestimmten Zeitzyklus ständig ändert, wird sie nicht mehr aus dem Cache geliefert und auch nicht mehr in den Cache aufgenommen, sondern es wird nur auf die Seite weitergeleitet, was den 301 erklären könnte. Das ist allerdings nur eine Vermutung aus meinem logischen Verständnis von Squids Caching heraus. Kann das evtl. jemand bestätigen?
__________________
Mein Blog - Mein Job - Diaspora

Der Ring uns zu knechten besteht aus 12 Sternen auf blauem Grund.

Neue Beiträge im Habo via Twitter - Das HaBo auf FB - Das HaBo bei G+
bitmuncher ist gerade online   Mit Zitat antworten
Alt 18.05.10, 17:08   #4 (permalink)
Member of Honour
 
Benutzerbild von beavisbee
 
Registriert seit: 22.02.07
beavisbee Leistung: Pentium IIIbeavisbee Leistung: Pentium IIIbeavisbee Leistung: Pentium IIIbeavisbee Leistung: Pentium III
beavisbee eine Nachricht über ICQ schicken
Likes: 77
Standard

Zitat:
Zitat von bitmuncher Beitrag anzeigen
Bekommt der Squid mit, dass sich die Seite in einem bestimmten Zeitzyklus ständig ändert, wird sie nicht mehr aus dem Cache geliefert und auch nicht mehr in den Cache aufgenommen, sondern es wird nur auf die Seite weitergeleitet, was den 301 erklären könnte. Das ist allerdings nur eine Vermutung aus meinem logischen Verständnis von Squids Caching heraus. Kann das evtl. jemand bestätigen?
das lässt sich doch ganz leicht testen, indem du neben dieser einen Seite mal noch eine andere Seite, möglichst 'ne wirklich statische HTML-Seite, über den Squid abfragst und schaust, ob diese zeitgleich mit der anderen ebenfalls den 301 liefert oder weiterhin funktioniert?
beavisbee ist gerade online   Mit Zitat antworten
Alt 18.05.10, 17:13   #5 (permalink)
Moderator
Themenstarter
 
Benutzerbild von bitmuncher
 
Registriert seit: 30.09.06
bitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcore
Likes: 443
Standard

So leicht ist das leider nicht. Der Webserver, für den wir cachen, gehört nicht zu unserer Firma und meines Wissens nach liegen dort keine statischen Inhalte rum. Wird alles irgendwie generiert und darauf habe ich keinen Einfluss. Aber ich werd mal schauen, wo ich ggf. mal ein Test-Szenario aufsetzen kann, auf dem ich dynamische und statische Inhalte zur Verfügung habe. Guter Hinweis! Danke.
__________________
Mein Blog - Mein Job - Diaspora

Der Ring uns zu knechten besteht aus 12 Sternen auf blauem Grund.

Neue Beiträge im Habo via Twitter - Das HaBo auf FB - Das HaBo bei G+
bitmuncher ist gerade online   Mit Zitat antworten
Alt 18.05.10, 17:30   #6 (permalink)
Member of Honour
 
Benutzerbild von beavisbee
 
Registriert seit: 22.02.07
beavisbee Leistung: Pentium IIIbeavisbee Leistung: Pentium IIIbeavisbee Leistung: Pentium IIIbeavisbee Leistung: Pentium III
beavisbee eine Nachricht über ICQ schicken
Likes: 77
Standard

Zitat:
Zitat von bitmuncher Beitrag anzeigen
So leicht ist das leider nicht. Der Webserver, für den wir cachen, gehört nicht zu unserer Firma und meines Wissens nach liegen dort keine statischen Inhalte rum.
auch keine statischen Grafiken, die du direkt laden könntest?
oder selbst wenn nicht: wenigstens ist doch (denke ich) die Wahrscheinlichkeit, dass sich eine Grafik, die hinter einer URL steckt, ändert, geringer?!
beavisbee ist gerade online   Mit Zitat antworten
Alt 18.05.10, 17:32   #7 (permalink)
Moderator
Themenstarter
 
Benutzerbild von bitmuncher
 
Registriert seit: 30.09.06
bitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcore
Likes: 443
Standard

Nein, die kommen von einem extra Host.
__________________
Mein Blog - Mein Job - Diaspora

Der Ring uns zu knechten besteht aus 12 Sternen auf blauem Grund.

Neue Beiträge im Habo via Twitter - Das HaBo auf FB - Das HaBo bei G+
bitmuncher ist gerade online   Mit Zitat antworten
Alt 18.05.10, 17:34   #8 (permalink)
Member of Honour
 
Benutzerbild von beavisbee
 
Registriert seit: 22.02.07
beavisbee Leistung: Pentium IIIbeavisbee Leistung: Pentium IIIbeavisbee Leistung: Pentium IIIbeavisbee Leistung: Pentium III
beavisbee eine Nachricht über ICQ schicken
Likes: 77
Standard

Arrgh. Dann bleibt wohl doch nur das Nachstellen dieses Szenarios...
beavisbee ist gerade online   Mit Zitat antworten
Alt 18.05.10, 18:45   #9 (permalink)
 
Registriert seit: 25.11.09
matt Leistung: Facit NTK
Likes: 3
Standard

Das riecht nach verschieden konfigurierten Apachen hinter dem Squid...
matt ist offline   Mit Zitat antworten
Alt 18.05.10, 18:49   #10 (permalink)
Moderator
Themenstarter
 
Benutzerbild von bitmuncher
 
Registriert seit: 30.09.06
bitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcore
Likes: 443
Standard

Hm, da müsste ich schon genauer wissen, worin die Unterschiede liegen könnten um gezielt beim zuständigen Unternehmen nachfragen zu können. Allgemein geht der Squid aber auf einen Loadbalancer, der zumindest Werte wie Sessions etc. "normalisieren" sollte.
__________________
Mein Blog - Mein Job - Diaspora

Der Ring uns zu knechten besteht aus 12 Sternen auf blauem Grund.

Neue Beiträge im Habo via Twitter - Das HaBo auf FB - Das HaBo bei G+
bitmuncher ist gerade online   Mit Zitat antworten
Alt 19.05.10, 14:13   #11 (permalink)
Moderator
 
Registriert seit: 30.06.08
Chromatin Leistung: K 6-3Chromatin Leistung: K 6-3Chromatin Leistung: K 6-3Chromatin Leistung: K 6-3
Likes: 227
Standard

@Bitmuncher

Ich kann deine Theorie bestaetigen.

Ich habe Adserver mit wecheselnden Content von freenet unter der gleichen URL. Ab und an mache ich Loganalysen und checke sporadisch URLs (mit den Microsites) per Telnet. Mein lokaler squid gibt mir die gleichen Meldungen (vermutlich auch nach Aenderungen des content in der microsite).

Aber ganz abgesehen davon wuerde ich entweder die Testseite nicht cachen, oder doch ne statische nehmen um den squid zu ueberwachen

Oder lieber was eigenes basteln
__________________
Wenn ein Gesetz nicht gerecht ist, dann geht die Gerechtigkeit vor dem Gesetz!

Habo Blog - http://blog.hackerboard.de/
Chromatin ist offline   Mit Zitat antworten
Alt 19.05.10, 23:01   #12 (permalink)
 
Registriert seit: 25.11.09
matt Leistung: Facit NTK
Likes: 3
Standard

Zitat:
Zitat von bitmuncher Beitrag anzeigen
Allgemein geht der Squid aber auf einen Loadbalancer, der zumindest Werte wie Sessions etc. "normalisieren" sollte.
Hmm das machen zwar einige Loadbalancer, aber hier gibt es wohl
keine Sessions. Gerade das hinter dem Loadbalancer verschiedene
Webserver warten wird das Problem sein. Aber was spricht dagegen
den User-Agent mit dem Check dieses Hosts jedes Mal mitzugeben?
Wenn Du die Apache Server nicht unter Deiner Kontrolle hast ist
das doch die einfachste Art das abzufangen.
matt ist offline   Mit Zitat antworten
Alt 20.05.10, 00:52   #13 (permalink)
Moderator
Themenstarter
 
Benutzerbild von bitmuncher
 
Registriert seit: 30.09.06
bitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcorebitmuncher Quadcore
Likes: 443
Standard

Zitat:
Zitat von matt Beitrag anzeigen
Aber was spricht dagegen
den User-Agent mit dem Check dieses Hosts jedes Mal mitzugeben?
Wenn Du die Apache Server nicht unter Deiner Kontrolle hast ist
das doch die einfachste Art das abzufangen.
Ich müsste einen zufallsgenerierten User-Agent mitgeben, damit der Squid nicht immer wieder einen 301 liefert. Dazu müsste ich das Plugin entsprechend aufbohren und das will ich eigentlich vermeiden, da es eben auch noch zum Check anderer Systeme wie z.B. auch Apache-Servern verwendet wird. Die Pflege von 2 Plugins anstatt einem macht auch doppelt soviel Aufwand und sorgt für unnötige Verwirrungen in der Monitoring-Konfiguration, die bei uns aufgrund der Vielzahl von Servern, Projekten und Services quasi als "Referenz" für das Netzwerk genutzt wird.

Aktuell habe ich es erstmal durch einen Workaround gelöst. Laut Aussage der Betreiber der Webserver, für die der Squid cachet, liefern diese und deren Loadbalancer niemals einen 301 im Fehlerfall sondern einen 404, 500 usw.. Damit kann ich im Monitoring erstmal davon ausgehen, dass ein 301 als OK-Status gewertet werden kann. Ich akzeptiere also jetzt sowohl die 200 als auch die 301 als Returncode. Schön finde ich diese Lösung allerdings nicht, vor allem weil ich immernoch nicht weiss ob meine Vermutung richtig ist. Finde dazu nirgendwo eine Doku und um mich durch die Squid-Sources zu wühlen fehlt mir die Zeit.
__________________
Mein Blog - Mein Job - Diaspora

Der Ring uns zu knechten besteht aus 12 Sternen auf blauem Grund.

Neue Beiträge im Habo via Twitter - Das HaBo auf FB - Das HaBo bei G+
bitmuncher ist gerade online   Mit Zitat antworten
Antwort
   
- Anzeige -

Werbung ist gerade online    

[HaBo] » Security Area » Webmaster-Security » Squid liefert nach einer Weile einen 301
Themen-Optionen
Ansicht

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks sind aus
Pingbacks sind aus
Refbacks sind aus


LinkBacks (?)
LinkBack to this Thread: http://www.hackerboard.de/webmaster-security/41508-squid-liefert-nach-einer-weile-einen-301-a.html
Erstellt von For Type Datum
Squid liefert nach einer Weile einen 301 This thread Refback 08.11.11 13:01
Squid liefert nach einer Weile einen 301 - Unixboard.de This thread Refback 21.05.10 11:31


1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61