E30-Talk - Probleme mit Serverload

[fortytwo]

Tach Hausmeister,

 

Du könntest vermutlich einiges an Load loswerden, wenn Du die alten Beiträge aus der Datenbank nimmst. Ich denke, 3 Monate zurück reichen im Board völlig aus, denn fast alle Fragen wiederholen sich immer wieder.

 

Den Rest würde ich als statische HTMLs auslagern, die dann mit einer kleinen Suchmaschine (weniger CPU-Load) oder auch Google (garkein Load) durchsucht werden können. Auch am Traffic ließe sich einiges sparen. vBulletin hat ja scheinbar leider keine integrierte Archivfunktion, aber wenn Du dich umschaust, machen das viele große Communities so oder ähnlich.

 

Ein Script das so ein HTML-Archiv aus der Datenbank zimmert schreib ich Dir gerne.

Melde Dich einfach per PM oder Mail.

 

42

[JJ]

alte beiträge weg, und was ist mit den ganzen fast unbezahlbaren niedergeschriebenen wissen?, ich glaube kaum das man die talk vergangenheit einfach so übern kamm scheren kann. zumals wenn man dann suche nimmt findet man ja auch fast null wenn nur 3 monate verfügbar sind.

[...chris316iM10]

WAS? Dann wird das hier doch nur ein besserer Chat ... Ohne mich!

[Hausmeister]

Eine Löschung alter Beiträge kommt für mich eigentlich nicht in Frage. Die Gründe dafür hat JJ eigentlich schon genannt. Dieses Board hat sehrwohl ein Archiv, das von Suchmaschinen durchforstet werden kann: http://e30-talk.com/archive/index.php. Hierbei handelt es sich um ein HTML-Archiv. Passend zu diesem Thema habe ich heute wieder eine E-Mail meines Hosters erhalten, der mich wohl offenbar gleich wieder los werden will.

 

Guten Tag,

sie betreiben eine nicht gerade kleine Community, unabhängig davon was andere User mit Datenbanken machen oder nicht, haben Sie schlichtweg den ganzen Server genutzt.

Zudem nutzen Sie jetzt nach wie vor mehr als 60% eines Xeon Server´s. Das werden wir auf Dauer so nicht akzeptieren können.

Da schlichtweg sich andere Benutzer über diese plötzlichen Servereinbrüche beschwert haben.

Wir beobachten noch genau 48 Stunden Ihre Seite und messen den Verbrauch an Leistung und geben Ihnen dann das Ergebnis bekannt.

 

In unseren AGB´s steht sehr eindeutig wie wir bei lastigen Scripten verfahren.

 

Mit freundlichen Grüßen

Es hat wohl keinen Sinn. Es besteht ganz klar ein Konflikt zwischen dem, was ich mit meinen Seiten machen will und dem, was ich vom Hoster für einen Shared-Account für Leistungen bekomme. Ich werde mich wohl oder übel nach einem Server oder besser V-Server umsehen müssen.

[JJ]

ein chat solls echt net werden, und wenn der umzug kommt, dann müssen wir für den start wohl alle mal zusammenlegen. ich hoffe das hier keiner unseren hausmeister im stich lässt, von irghendwelchen hostern lassen wir uns unsern e30-talk doch nicht kaputt machen, oder?

 

spendet mal das es nur so raucht, dann hängen wir alles an bisher dagewesenen foren ab und sind unabhängiger.

[Hausmeister]

Mir ist gerade eine Idee gekommen: Ich werde mich jetzt konkret nach den Preisen eines virtuellen Servers erkunden ("emulierter" eigenständiger Server mit eigenem Betriebssystem und eigener autarker Umgebung, der zusammen mit wenigen anderen Accounts auf einem physikalischen Server läuft). Dieser Preis X ist dann der Betrag, der - falls möglich - größtenteils durch Spenden und Banner gedeckt werden sollte. Die Differenz zwischen Kosten und Spenden wird dann jeden Monat neu hier eingeblendet und ihr könnt selbst bestimmen, wer wieviel abgeben will, bis die Summe ungefähr an die monatlichen Kosten herankommt.

Würde ich persönlich einer einmaligen, größeren Spende von euch vorziehen.

 

Vielen Dank an dieser Stelle an diejenigen, die mir schon Geld haben zukommen lassen oder es in den nächsten Tagen noch tun werden. Diese Summe wird dann selbstverständlich auch in die monatlichen Kosten mit eingerechnet!

[JJ]

cool, das ist auch ok, hält mich von der ersten spende aber nicht ab.

[fortytwo]

ihr habt mich irgendwie falsch verstanden. aber brauchen wir wirklich die beiträge von 2003 noch? wenn jemand nach was sucht, schaut er eh kaum alle seiten durch, und auf den ersten Seiten hat man die threads der letzten monate.

 

Auch wenn man dann etwas findet, wird im gefundenen Thread kaum weiterdiskutiert! Also braucht man ihn eigentlich nichtmehr in der Datenbank sondern er ist als Wissensbasis im Archiv gut aufgehoben!

Falls dann noch Diskussionsbedarf besteht, kann man ja einen neuen Thread aufmachen!

 

Und um das Archiv als Nachschlagewerk gegenwärtiger zu machen, könnte man ja einen Link ins Menu setzen oder die Suchseite entsprechend überarbeiten!

 

edit:

 

Das Problem wird durch einen V-Server, sofern nicht wesentlich mehr als bisher investiert wird, auch nicht viel besser. Entweder der Provider beschwert sich wieder, weil trotzdem Resourcen verbraucht werden, oder die Resourcen sind fest verteilt und e30-talk wird dadurch halt langsamer!

 

Interessant wäre vielleicht auch noch, bei einem dem e30 verbundenen Standleitungsbesitzer einen eigenen Server aufzustellen. Hatte ich vor knapp 3 Jahren auch für ein anderes Projekt, ein ausgemusterter Rechner tut es besser als man denkt, wenn er sich auf eine Aufgabe konzentrieren kann.

Wir hatten damals auf einem AFAIR PIII400 mit 1GB Ram und W2k einige Datenbanken (SQL Server) mit mehreren Hunderttausend Datensätzen (Logfiles), die dynamisch in ASP ausgewertet wurden, und es gab keine Probleme, obwohl nebenher noch eine umfangreiche Community mit erheblichem Load lief.

 

Bandbreite ist denke ich nicht der Hauptfaktor bei e30-talk, auch wenn man den Source sicher noch verkleinern kann. Nachdem ich gerade mal reingeschaut habe, sind mir schnell einige Sachen aufgefallen die auch kleiner möglich währen und ca 30% weniger HTML ergeben könnten.

[Hausmeister]

Kleiner Hinweis am Rande: Mein Hoster durchforstet das Board gerade sehr akribisch durch und ist auch schon auf meinen netten Beitrag in den Hinweisen gestoßen

[Hausmeister]

Ich denke es gibt schon einige User, die froh sind, wenn sie über ein Thema, worüber vielleicht nicht so häufig diskutiert wird eine brauchbare Antwort finden. Und wenn in diesem Fall 1 ganzes Jahr an Beiträgen gelöscht würde, dann wären viele dieser speziellen Themen ebenfalls verloren und es würden stattdessen wieder neue Themen erstellt werden.

Das HTML-Archiv hier hängt meines Wissens nach direkt mit den Beiträgen zusammen. Sprich wenn ich Beiträge löschen würde, würden diese auch im Archiv nicht mehr vorhanden sein.

Sicher, dass ein V-Server hier nicht die nötige Abhilfe schaffen könnte? Oft laufen diese virtuellen Umgebungen in einer Sandbox, das heißt die Rechenleistung, RAM usw. wird genau auf die User aufgeteilt und niemand kann dem anderen durch einen zu hohen Server-LOAD Performance "klauen".

 

Das Problem ist eigentlich auch nicht die Performance der Seiten durch häufige Zugriffe auf die Inhalte, sondern aufwändige Datenbank-Einspielungen und Sicherungen, die leider extrem viele Ressourcen verschlingen, für mich aber unverzichtbar sind. Erschwerend kommt bei diesem Hoster hinzu, dass ich kein SSH zur Verfügung habe, um den Server direkt anzusprechen.

[degrees]

rserver gibts schon ab 39,- brauchbar (zb strato, läuft leider suse drauf), soviel zugriffe hat das board ja nicht. scheiss suchfunktion braucht immer viel performance. weiss ja net was du jetzt fürs hosting zahlst.

 

mit ner echten shell kannste dann auch wieder gut backuppen per script. evt. kannste ja auch noch für "kunden" noch nen paar kleine sachen mit draufnehmen. dann kommt bissel kohle zurück.

[fortytwo]

immernoch: Ich will keinen einzigen Beitrag löschen ......

Ich rede nur die ganze Zeit davon, dass Beiträge als Static HTML im Archiv weniger Load verursachen als in der Datenbank.

 

Und so eine zumutung im Archiv statt im Board zu suchen ist es ja wirklich nicht oder??

Gefunden wird die Information ja trotzdem, nur die Threads wo mit hoher Wahrscheinlichkeit keine Diskussion mehr stattfindet braucht man ja auch nicht in der Datenbank halten (sondern kann sie auslagern, NICHT LÖSCHEN).

Ich habe die Erfahrung gemacht dass MySQL (vermute mal dass die auf dem Server läuft...) ab einigen 100 000 Sätzen einfach in die Knie geht, solange man nicht knallhart optimieren kann. SQL Server z.b. ist da deutlich dehnbarer, aber der hat halt auch ne Menge Overhead dabei, deswegen ist MySQL ja eigentlich top für Webanwendungen.

 

 

Ich habe mir das "Archiv" jetzt mal angesehen. Es tut zwar so, aber es ist kein richtiges Archiv, denn alle Daten kommen nach wie vor via php aus der Datenbank, d.h. die Entlastung ist gleich NULL

 

Also um meine Position noch einmal klarzumachen:

 

1. Ich sehe das Problem in der überfüllten Datenbank die den Server mit jeder Abfrage strapaziert. (Und pro Seitenaufbau findet nicht nur eine Abfrage statt)

 

2. Um das Problem zu lösen schlage ich vor, ältere Beiträge (über die Grenze sollte noch diskutiert werden) in ein Archiv auszulagern, das aus statischen HTML Seiten besteht, die aber durchsuchbar bleiben sollen

 

 

Und nochmal zur Sicherheit, ich habe keine Lust weiter im Kreis zu diskutieren:

 

Auslagern != Löschen

edit:

 

Sicher, dass ein V-Server hier nicht die nötige Abhilfe schaffen könnte?

Es löst vielleicht die Probleme mit dem Provider, aber dann hängt e30-talk halt ewig und wird schlechter zu benutzen sein ....

[degrees]

ja suche beschränken indem man nicht mehr alle wörter in die db nimmt und die statistik raus. das board ist auch nicht der programmiertechnik letzter schluss...

 

normal geht ein forum mit 300 uniques jeden tag locker in ein 100 kunden/server paket .... ich spreche aus mehreren erfahrungen

 

ausserdem würd ich das fotoalbum komplett rausnehmen .. meine meinung ..

 

edit --> DAS muss doch nun wirklich nicht sein: http://e30-talk.com/search.php?searchid=146822 (suche nach: "und")

 

hab ich damals in meinen phpbb immer gefixt. wenn du die standardwörter rausnimmst reduziert sich der load um mind. 20% .. ansonsten wird bei jedem post und suchen die db mit dem unsinn gefüllt.

[fortytwo]

ja suche beschränken indem man nicht mehr alle wörter in die db nimmt und die statistik raus. das board ist auch nicht der programmiertechnik letzter schluss...

 

ACK

 

Ich verstehe eh nicht wieso er vB nimmt wenn es (meiner Meinung nach) bessere Alternativen für lau gibt.....

 

 

42

[Hausmeister]

Ich verstehe eh nicht wieso er vB nimmt wenn es (meiner Meinung nach) bessere Alternativen für lau gibt.....

Bitte lass uns die Diskussion auf die Optimierungen der Seiten beschränken. Ich beschäftige mich mit dem vB schon seit mehr als 3 Jahren und kenne es fast in- und auswendig. Mit einer anderen Software wären Geschichten wie die Übernahme der Benutzerdaten in den Chat oder zur Wahl der Kalenderbilder in die Galerie-Software gar nicht möglich. Von den administrativen Möglichkeiten einmal ganz zu schweigen...

 

Ich rechne damit, dass der Server-LOAD nach dem Entfernen der speicherfressenden Statistik gestern abend wesentlich nach unten gegangen sein müsste. Mein Hoster wird sich diesbezüglich sicher nochmal mit mir in Verbindung setzen.

Er schreibt, dass er mich hier nicht verkraulen will, sondern eben auch auf andere Kunden auf dem Server Rücksicht nehmen muss und mit mir versucht, eine geeignete Möglichkeit für die Lösung der Performance-Probleme zu finden.

Herzlich Willkommen an dieser Stelle an unseren neuen Benutzer "united". Vielleicht meldet er sich zu der Sache ja sogar mal persönlich hier zu Wort.

 

So, ich gehe jetzt ins Bett...

[degrees]

öhhm .. da muss ich dir widersprechen. das alles und viel mehr ist mit phpbb auch möglich. nur ist das auch nicht grad serverfreundlich. damit hab ich mich seit mehr als 3 jahren beschäftigt

[touringtreiber]

Die Bereiche Off Topic, Marktplatz und Ebay oder auch Foto/Video könnten wohl problemlos auf die Beiträge der z.B. letzten 3 Monate begrenzt werden ohne das wesentliches verloren ginge.

 

Da es z.Zt Trafficprobleme gibt sollte man mal darüber nachdenken ob man die Treats Interaktives Foren-Spiel,Forenspiel: Es war einmal...,Forenspiel: Licht an... Licht aus... nicht schliesst.

 

Bringt zwar nicht viel aber besser als nichts. Oder?

[Hausmeister]

Das angesprochene Problem, dass selbst Wörter wie "und" oder "sind" usw. im Suchindex aufgenommen werden, sollte natürlich nicht sein. Ich muss noch rausfinden, wie ich die Wörter aus dem Index permanent ausschließe.

Unabhängig von den Performance-Problemen (des Hosters - nicht des Boards) werde ich wohl bald auf einen eigenen V-Server umschwenken, da ich dort wesentlich mehr Spielraum und auch Speicherplatz zur Verfügung habe, was sich dank eurer bisherigen Spenden auch gut finanzieren ließe.

[Schumuckl]

Schließ dich doch mal mit dem Guido vom Fordboard kurz, der hat auch einen Umzug hintersich bringen müßen und das Forum hat riesen außmasse. Ich denke der kann dir sicherlich etwas helfen oder seine erfahrung bezüglich seines Serves nennen. So wie man sich zum Thema Auto austauscht, sollten sich die Admins auch etwas austauschen. Der ist okay und hilft bestimmt gerne, wenn du nicht willst kann ich auch gene für dich den kontakt knüpfen.

 

greez Schumuckl

[degrees]

hier ist ne liste mit stopwords: http://www.phpbb.de/search_stopwords.txt

 

könntest auch mod_gzip auf den seiten deaktivieren. das setzt zwar den traffic hoch, verringert aber die cpu last im server.

 

irgendwas hab ich auch mit cron und vb3_rc4 gelesen .. ich kenne aber dieses forum leider nicht wirklich.

[united]

Hallo liebe Community,

 

es meldet sich an dieser Stelle der Hoster persönlich.

 

Meine Name: Alexander Pelz, mir gehört dieses Unternehmen und bin in der Geschäftsführung im Bereich Technik zuständig.

 

Als 1. möchte ich eines vorwegnehmen: Wir wollen helfen und nicht verkraulen.

Uns ist leider aufgefallen das seitdem die Seite aufgeschalten worden ist, diese Maschine (Dual Xeon mit 2GB Ram) deutlich in die Knie gerutscht ist.

Wir betreiben ein Cluster System mit Loadbalancer im Bereich Netzwerk. Nicht für die Lasten.

 

Dieses Board verursacht teils durch unnötige Abfragen, wie verschiede Dump Prozesse sehr viel Last.

Wir haben heute Eurem Betreiber mal die Auswertungsbilder gesendet.

zu sehen hier: http://de.united-hoster.com/e30/cpu-week.jpg

http://de.united-hoster.com/e30/load-week.jpg

 

Das sind die Werte für LOAD und CPU.

 

Der Server ansich ist nicht das Problem oder der Traffic, nur sollte für eine Community in dieser Größe die MYSQL Config sowie verschiedene andere Werte diese spezieller angepasst werden.

Ihr müsst bedenken, das der Spamfiler/Antivirus etc. ebenfalls über diese Datenbank(server) rennt.

 

Angenommen Ihr lagert das ganze auf einen V-Server aus, dann habt Ihr folgendes Szenario: Die Seite hat zwar eigene Prozessleistung, aber im gesamten nimmt der V-Server auch wieder Last auf. Dann geht die Performance in die Knie, sprich es wird einfach alles langsamer.

 

Das einzigste was Euch wirklich hilft ist ein Dedicated Server.

 

Schaut Euch nur mal die Menge an Post´s an, Das ist nicht gerade wenig. Aber stresst auch den Server bei Abfragen, und die Boardsoftware ist nicht gerade die Beste.

 

Und noch eines: Wir schauen nicht akribisch die Post´s durch, mich Interessiert schliesslich auch was Ihr schreibt. Bin doch auch ein kleiner BMW Roller

 

Also, wie gesagt, wenn wir Euch irgenwie helfen können, kein problem, nur Ihr merkt es selber, die Seite hat nicht den Speed wie es normal sein sollte.

 

Ihr dürft mir auch direkt schreiben, kein Thema, an a.pelz@united-hoster.com

 

Mfg

[touringtreiber]

Also, wie gesagt, wenn wir Euch irgenwie helfen können, kein problem, nur Ihr merkt es selber, die Seite hat nicht den Speed wie es normal sein sollte.

 

Dann mal her mit den Lösungsvorschlägen um die Probleme zu beseitigen. Allerdings sollten sie kostenneutral sein.

 

Über die Geschwindigkeit kann ich mich nicht beklagen (solange man die Suche nicht nutzt) da ich i.d.R nur mit ISDN Kanalbündelung surfe.

[united]

Ich habe schon vorgeschlagen Euch erstmal weg von diesem Server zu setzen, damit der Speed wieder stimmt, aber Euer Betrieber meint, das wir nicht das richtige Angebot hätten.

Mein Vorschlag ist erstmal eines: Verlagern der Seite auf einen V-Server -> Danach wird dieser an eine Hardware geknüpft die skalierbar ist, damit keine Leistungeinsbrüche kommen können.

Oder Ihr programmiert das Board um. Aber schaut Euch die Menge an Beiträgen an, das ist wirklich nicht wenig. Sobald jemand nur die Suche anwirft, geht der Load auf über 3. Somit 3 Waitstates Wartezeit für die übrigen.