oh Mann, seit einer halben Stunde werde ich mit allen möglichen WM-Google Anfragen bombardiert, der Server jappst und kommt einfach nicht mehr mit. Kam nicht mal mehr an WP-Cache ran!
Habs dann so gemacht:
– Zunächst eine htaccess mit Passwort-Login vors Blog geschoben, um weitere Bloganfragen zu sperren
– Server rebootet, um alle bestehenden Connects zu killen
– Server wieder hoch
– in WP rein und WP-Cache aktiviert
– gefakte htaccess durch normale WP htaccess ersetzt
– mal schauen 🙂
meine erde » Kaputt
Irgendwas geht um in Kleinblogersdorf. Angefangen hat es damit, dass Bud Naked schon seit einiger Zeit nicht mehr erreichbar ist. Soll heißen, dass die gesamte Website nur noch mit Authentifizierung zugänglich war. Kurz darauf wurde sie so konfigurie…
Wie kannst du das ermitteln wieviele Google Anfragen reinkommen, zu welchem Zweck und was die machen?
Würde mich interessieren, denn ich hab grad einen Server mit httpd-Überlastproblemen, kann aber keine Ursache finden.
@LJay
Logfile? Einfach mal nach Google grepen.
Dann sind aber auch suchanfragen von usern drin, das sagt also nichts darüber aus, ob google für eine Überlast verantwortlich ist.
@LJay: Ich verstehe zwar Robert so, dass er viele Anfragen von Usern bekommt die über Google kommen und nicht vom Googlebot aber beides erkennt man ja an den access.log :
Alle Googlebots haben in ihrem User-Agent mindestens mal Google stehen (der WWW-Bot nennt sich „Googlebot“, der Blog-Search-Bot glaub „Feedfetcher-Google“). Naja und alle Besucher von Google haben halt google.de/.com/… als Referrer.
Wenn ich raten darf, tippe ich auf den Artikel „Kostenlose Videos aller WM 2006 Spiele“ der den Traffik verursacht. Kommt davon wenn man als A-Blogger bei so Spielchen mitmacht 😉
yep, die Anfragen sind via Google Search. Aber nicht auf die WM Videos, vielmehr Live Stream Links. Da dummerweise weder ARD, ZDF noch RTL dahingehend was anbieten, suchen die Leute nach Alternativen.
Das Video-Meme haben die meisten recht gut als Reaktion auf die Fifa-Kanzlei verstanden, die BoingBong und andere Blogs angeschrieben hatte.
hehe
Hier knallen die Anfragen nach „Beckham Victoria real sinzheim“ rein. Weil die Dame war ja in diesem Markt hier um die Ecke…. Und ich hab was dazu geschrieben. Hätte nie gedacht, dass das so „heftig“[1] wird!
[1] In Bezug auf meinen ansonsten recht geringen Traffic!
Leg mal Hand an deinen Apache, bzw. an die httpd.conf, wenn du so viele gleichzeitige Connections hast, dann gibt es keine Probleme mehr bei sowas 🙂
@LJay:
Zu empfehlen ist auch das kleine Statistiktool Slimstat, das kein Logfile-Analyzer ist, sondern auf SQL-Tabellen basiert und daher leichter eine „Auswahl“ zulässt. Im Config-File kann man auch bestimmte Zugriffe ignorieren lassen (z.B. dich selbst, oder Crawler).
Wenn du was bezahlen willst, ist Mint das Richtige.
Ich finde solche Analyzer wesentlich besser als Logfile-Schnüffler, die „uninteressante“ Daten mitliefern (auch interne Zugriffe)…
Die zusätzliche Last auf den Server ist nicht hoch, da beim Zugriff nur ein paar Variablen gespeichert werden. Die Analysen werden bei Aufruf des Statistiktools durchgeführt. Der User bekommt also nichts davon mit.
@LJay
Klar sind da die Suchanfragen von Google drinn, die sind ja auch Schuld(zumindest bei Robert).
Wenn das bei Dir nicht der Fall ist, kann es auch ein Bot sein, der im Kreis läuft.
Ich hatte mal so einen aus Japan, der ist über 3 Seiten im Kreis gerannt und das ohne Ende.
Ein Statistiktool via MySQL halte ich jedenfalls in meinem Fall für äusserst fatal.
Um die Last des apache zu ermitteln, möchte ich nun nicht Last auf die MySQL DB verlagern.
Wenn ich soetwas tun würde, wäre die DB schnell auf Überlast.
Ein weiteres Problem, mit dem ich mich u.a. herumschlage sind die unterschiedlichen Auswertungen der unterschiedlichsten Tools. Dabei musste ich feststellen, das der Webalizer mit am ungenausten ist.
W3Counter z.b. liefert mir völlig andere, geringere Zahlen.
Naja, aber das sind andere Themen, die nicht wirklich hierher passen.
Meinen Analysen zufolge habe ich aktuell jedenfalls keine Google-Zugriffs-Probleme, was allerdings ab und zu nicht schaden könnte. 😉
kann es sein, dass Du auf einem shared host Paket sitzt?
ich?
hehe Nein, sind meine Maschinen, aber ich vermute, das es bei dieser an der Konfiguration oder einem schlechten Script liegt.
@Mathias: Wie bist Du mit Slimstat zufrieden? Kostet das wirklich nicht (zuviel) Performance?
Hab das Teil seit 2 Monaten im Downloadordner rumliegen und wollte es „bei Gelegenheit“ mal ausprobieren…