[HaBo]

Dresko

Hallo zusammen.

Es geht um einen produktiven Debian-5.0-Server mit Apache, MySQL, PHP (als Apache-Modul eingebunden) und Suhosin.
Nun habe ich vor einigen Tagen PHP aktualisiert (auf php5_5.2.6.dfsg.1-1+lenny6) und seitdem tauchen sporadisch Fehlermeldungen auf:

oder
Davon sind momentan 2 Webseiten betroffen: 1 Wordpress-Blog und 1 Joomla-CMS.
An einen Angreifer glaube ich nicht, da einer der Fehler auch zufällig bei der Wartung des Joomla-CMS aufgetreten ist und ich nur eine CSS-Datei bearbeitet und die Startseite aktualisiert habe. Das Joomla-CMS und das Blog haben auch nichts miteinander zu tun.
Einen Reim kann ich mir darauf nicht machen, außer dass die Fehler erst seit ein paar Tagen auftreten, kurz nach dem PHP-Update.

Mittels Google findet man zwar einige Bug-Reports und Forenberichte, aber nichts davon hat mir wirklich weitergeholfen außer dass durch eine Deaktivierung von Suhosin der Fehler wesentlich seltener auftritt...

Reproduzieren kann ich den Fehler auch nicht. Es scheint absolut zufällig zu sein.

Kennt jemand das Phänomen oder hat einen Tipp wie ich nun weiter vorgehen könnte um die Fehlerquelle einzugrenzen?

Beste Grüße
Dresko

__________________
Programming today is a race between software engineers striving to build bigger and better idiot-proof programs, and the Universe trying to produce bigger and better idiots. So far, the Universe is winning.
- Rick Cook -

bitmuncher

Du könntest einfach erstmal das Logging etwas detaillierter machen, um z.B. zu sehen, ob der Fehler im Zusammenhang mit bestimmten GET/POST-Parametern, mit bestimmten Browser-Versionen, beim Wechsel einer Session o.ä. auftaucht. Ausserdem könntest du mal eine Dateiüberwachung auf das DocumentRoot setzen um zu sehen, ob der Fehler ggf. bei Änderungen von Dateien auftritt. Und auch eine Prozesslisten-Überwachung könnte evtl. helfen, falls der Fehler z.B. immer dann auftritt, wenn ein Worker-Prozess des Indianers erneuert wird, weil er seine MaxRequestsPerChild erreicht hat. Und zu guter Letzt könntest du es auf die Spitze treiben und die Apache-Prozesse z.B. mittels systemtap oder ähnlichen dtrace-Alternativen überwachen, um ganz genau zu sehen was der Webserver im Moment des Fehlers an Daten verarbeitet, welchen Request er bekommt, wohin er die Parameter im Speicher schreibt etc..

__________________

Dresko

Hallo bitmuncher,

danke für deine Tipps. Ein Teil davon habe ich schon versucht und kann folgende Sachen ausschließen:

- GET/POST-Parameter
- bestimmten Browser-Versionen
- Wechsel einer Session

Es sind auch unterschiedliche Dateien involviert. Mal ist irgendeine Datei aus dem wp-include-Ordner, mal die index.php, mal diese und mal jene. Bisher sind die Fehler bei insgesamt 6 versch. Dateien aufgetaucht.
Ein umfangreiches Logging oder ein Trace über einen längeren Zeitraum anzufertigen ist auch schwierig, da der Server unter Last steht und verfügbar bleiben sollte. Eine Prozess-/Dateisystemüberwachung werde ich aber mal noch durchführen.

Gestern abend ist aber noch etwas passiert:
Zudem gab es vor einem Monat schonmal einen ominösen Segfault bei meinem täglichen Backup:
Ich werde heute nacht den Server mal vom Netz nehmen und ein e2fsck und memcheck ausführen. So langsam vermute ich einen Defekt in einem der RAM-Riegel.

Sobald ich mehr weiß, melde ich mich wieder.

Grüße
Dresko

__________________
Programming today is a race between software engineers striving to build bigger and better idiot-proof programs, and the Universe trying to produce bigger and better idiots. So far, the Universe is winning.
- Rick Cook -

bitmuncher

Lass mal memtest auf der Kiste durchlaufen. Sieht mir doch sehr nach einem Hardware-Fehler aus, wenn es verschiedene Programme betrifft.

__________________

Moe

Das wird (fast) definitiv ein Hardware-Fehler sein, wenn ich mir den Suhosin Output zusammen mit den Segfaults so betrachte. Entweder das, oder eine ziemlich schlechte Kernel-Konfiguration.

__________________
In personal conversations with technical people, I call myself a hacker.
But when I'm talking to journalists I just say "programmer" or something like that.
Linus Torvalds

Lunar Linux
Xfce

Chromatin

Da Speziell dieser Fehler eher im Zusammenhang mit PHP auftritt, ist davon auszugehen dasz dort irgendwas verbuggtes ist - sofern du keine generellen Speicherfehler bekommst (memtest).
Und da hast du Recht, es ist wahrscheinlich kein Angreifer. suhosin setzt diese canary flags, PHP oder eine der extensions verursacht diesen Fehler - suhosin wird aufmerksam.
Das ist zumindest anzunehmen, auch wenn PHP Entwickler das gerne dementieren: http://news.php.net/php.internals/40919

Wenn Du die Moeglichkeit und Lust hast, kannst das ganze mal gegen Valgrind bauen und selbst etwas rumdebuggen.

Wir hosten selbst eine Anzahl von Joomla Sites und ich habe diesen Fehler nicht. Probier testweise einige extensions zu deaktivieren, vielleicht reicht das schon um eine Fehlerquelle zu finden.

__________________
Wenn ein Gesetz nicht gerecht ist, dann geht die Gerechtigkeit vor dem Gesetz!

Habo Blog - http://blog.hackerboard.de/

Dresko

Danke für eure Antworten.
Wie schon geschrieben, will ich den Server erst heute nacht vom Netz nehmen. Ich bin gespannt was memtest ausspuckt, da ich momentan auch am ehesten ein Hardware-Defekt vermute.

Sehr schöne Idee. Valgrind ist mir nicht in den Sinn gekommen. Danke!

__________________
Programming today is a race between software engineers striving to build bigger and better idiot-proof programs, and the Universe trying to produce bigger and better idiots. So far, the Universe is winning.
- Rick Cook -

Dresko

Hallo.

Memtest hat bei einem Riegel wirklich mehrere Fehler gefunden.
Er wurde ausgetauscht und seitdem läuft die Kiste wieder stabil und ohne irgendwelche Fehler.

Danke und beste Grüße,
Dresko

__________________
Programming today is a race between software engineers striving to build bigger and better idiot-proof programs, and the Universe trying to produce bigger and better idiots. So far, the Universe is winning.
- Rick Cook -