Elxis CMS Forum

Ελληνικό Forum => Βάσεις Δεδομένων => Topic started by: ArXoS on November 06, 2007, 16:27:26

Title: Όγκος βάσης δεδομένων
Post by: ArXoS on November 06, 2007, 16:27:26
Γεια σας. Σε ένα elxis που έχω εγκαταστήσει με δικαιώματα δημοσίευσης στα μέλη, έχω φτάσει σε 4 μήνες τις 1000 δημοσιεύσεις ..

Με προβληματίζει ο αριθμός των δημοσιεύσεων, και ο ρυθμός που αυξάνει καθημερινώς.
Πρέπει να προσέξω κάτι; Υπάρχει όριο το σύνολο των δημοσιεύσεων; Επηρεάζει την ταχύτητα και πόσο; Γενικά, έχω προβληματισμούς σε αυτό το θέμα. Αν έχετε εμπειρίες με τις μεγάλες βάσεις, γράψτε μου καμιά συμβουλή για τώρα ή για το μέλλον ..
Title: Re: Όγκος βάσης δεδομένων
Post by: datahell on November 06, 2007, 17:49:01
Η επιβάρυνση είναι κατά 95% στην Mysql. Αν η Mysql σου είναι ρυθμισμένη κατάλληλα και ο server μπορεί να αντέξει μεγάλους φόρτους τότε μπορεί να δεχθεί δεκάδες ή και εκατοντάδες χιλιάδες άρθρα και μεγάλη κίνηση. Στα πολύ μεγάλα site πάντως χρησιμοποιούν ξεχωριστό μηχάνημα για τη βάση δεδομένων. Αν το site σου μεγαλώσει πολύ και ο host σου δεν σε καλύπτει ίσως θα πρέπει να αρχίσεις να ψάχνεις για load balance στο internet και να προσανατολιστείς σε δικό σου μηχάνημα ειδικά για αυτό το site. Πάντως αν το σκεφτείς υπάρχουν πάμπολα forum που έχουν χιλιάδες άρθρα μέσα και ενώ τρέχουν σε φυσιολογικούς server δεν έχουν κανένα πρόβλημα. Βέβαια ένα site είναι πολύ πιο απαιτητικό από ένα forum.

Αυτό που μπορείς στο elxis να κάνεις για να ελαφρύνεις την πίεση στη βάση είναι:
1. Ξήλωμα όσον mambot δεν χρησιμοποιείς. Κράτα μόνο τα απολύτως απαραίτητα. Τα mambot είναι θάνατος για τη βάση δεδομένων.
2. Αναβάθμιση σε Elxis 2008 και ενεργοποίηση cache σε περιεχόμενο και modules (έλεγξε καλού κακού αν η cache σου δίνει καλύτερα αποτελέσματα - το elxis 2008 έχει ενσωματωμένο benchmark). Αύξηση του χρόνου της cache σε μερικές ώρες (για site σε μία γλώσσα ως και μία ημέρα μπορείς να βάλεις άνετα! ) Προσοχή: το elxis 2008 έχει πολλές βελτιώσεις και διορθώσεις στην χρήση της cache. Δεν συστήνω την ενεργοποίηση της cache σε 2006.x!
3. Αν χρησιμοποιείς το κλασικό SEF ή SEF τρίτου κατασκευαστή αναβάθμιση σε 2008 και χρήση του SEO PRO.
4. Χρήση αρχείου για τα παλιά αντικείμενα περιεχομένου (archive)
5. Συχνό optimization της βάσης (μπορείς να το κάνεις και μέσα από τη διαχείριση του 2008) και τακτικό backup.
6. Απενεργοποίησε ότι δεν χρησιμοποιείς.

Πληροφοριακά: το μέγιστο μέγεθος ενός πίνακα στη mysql με storage engine MyISAM είναι 2TB (τέραμπάϊτ) ενώ με InnoDB 64TB. Πράγμα που σημαίνει δεκάδες φορές μεγαλύτερο από ολόκληρο το δίσκο του server σου...

Το πρόβλημα με τις βάσεις υπάρχει κυρίως όταν έχεις αυξημένη κίνηση επισκεπτών στο site σου (μερικές χιλιάδες μοναδικών επισκέψεων την ημέρα και άνω). Αν απλά έχεις πολύ υλικό δεν υπάρχει πρόβλημα. Το λέω αυτό επειδή φαντάζομαι για πιο site μιλάς και δεν νομίζω να έχει πρόβλημα. Απλά γίνεται λίγο δύσκολος ο χειρισμός του στη διαχείριση.
Title: Re: Όγκος βάσης δεδομένων
Post by: ArXoS on November 06, 2007, 18:02:19
Σωστά… έχεις απόλυτο δίκιο .. αν είναι κάτι που πρέπει να ξηλωθεί πρώτα, είναι όλα τα άχρηστα mambots που κατά καιρούς έχω δοκιμάσει και δε χρησιμοποίησα ποτέ τελικά ..
Α, σε ευχαριστώ πάρα πολύ για την άμεση απάντηση ..

Για το elxis 2008, το σκέφτομαι πολύ σοβαρά, αλλά φοβάμαι να το πειράξω (βλέπεις, ακολουθώ την αρχή που λέει, πράγμα που δουλεύει μην του βάζεις χέρι. Θα τα πούμε αυτά σε άλλη ενότητα για να μην φύγουμε από το θέμα!!).

Τι ακριβώς είναι το load balance ? Όταν λές για δικό μου μηχάνημα, εννοείς τον προσωπικό μου υπολογιστή με static IP  ή σε server καπαρωμένο ?

Και κάτι άλλο. Το achive γιατί λες ότι θα βοηθήσει? Μπορείς να μου εξηγήσεις ?

Σε ευχαριστώ προκαταβολικά φίλε datahell   
Title: Re: Όγκος βάσης δεδομένων
Post by: datahell on November 06, 2007, 18:10:25
Η αλλαγή σε 2008 είναι επίπονη αλλά αξίζει για πάρα πολλούς λόγους και ειδικά σε ωραία και φτασμένα site. Είμαι σίγουρος ότι κάποια στιγμή θα το κάνεις από μόνος σου. Το load balance είναι μία τεχνική διαμοιρασμού του φόρτου ενός site (μιλάμε για ΜΕΓΑΛΑ site) σε περισσότερα του ενός μηχανήματα. Δικό σου μηχάνημα εννοώ ένα server δικό σου (όχι στο σπίτι σου βέβαια!) που να τρέχει μόνο ένα site. Το archive ξεχασέ το για το site σου, ταιριάζει κυρίως σε ειδησιογραφικά/ενημερωτικά site. Βοηθάει ως εξής: αφαιρεί πολύ όγκο από το κυρίως περιεχόμενο του site. Οι επισκέπτες κυρίως ενδιαφέρονται για τις νεότερες προσθήκες. Είναι διαφορετική η πίεση στη βάση όταν κάποιος μπαίνει σε μία κατηγορία που έχει 150 άρθρα από μία κατηγορία που έχει μόλις 10. Το αρχείο στην πράξη χρησιμοποιείτε σπάνια από τους χρήστες αλλά είναι ένας έξυπνος τρόπος και να έχεις όλο το υλικό σου δημοσιευμένο και να μην πιέζεις πολύ την Mysql.
Title: Re: Όγκος βάσης δεδομένων
Post by: ArXoS on November 06, 2007, 18:52:42
ωχ .. επιπονη ακούω ..


Έχεις δίκιο πάντως σε όσα λες. Δεν το είχα σκεφτεί έτσι. Οτι δηλαδή δεν είναι το μέγεθος της βάσης, αλλά και το πως παρουσιάζεις της ενότητές σου. Θα κοίτάξω λοιπόν να κάνω πιο οργανωμένες της παρουσιάσεις μου. Το achive, δυστηχώς δε μου χρησιμεύει ... οι δημοσιεύσεις μου είναι πάντα επίκαιρες ..


Κάτι άλλο (ίσως και off topic, επειδή από ότι κατάλαβα επισκέυτηκες το σιτε μου). Το να το γυρίσω σε edir, θα πρέπει οι (1000) δημοσιεύσεις αυτές να περαστούν από την αρχή μία μία στις βάσεις του edir ή μπορεί να περαστούν από αντικείμενα περιεγχομένου σε αντικείμενα edir (χωρίς να χαθούν βεβαίως τα στοιχεία του μέλους) ???
(και μια και βγήκαμε εκτος θέματος!!) Το edir μήπως δεν επιβαρύνει τόσο τη βάση δεδομένων στον ίδιο αριθμό δημοσιεύσεων?
Title: Re: Όγκος βάσης δεδομένων
Post by: ArXoS on November 09, 2007, 02:38:45
για της πληροφορίες που θελω για το edir μπορείς να μου γράψεις εδώ 2 λογάκια (ένα ναι ή ένα όχι να μην σε κουράζω) ή να ανοίξω ένα νέο ποστ και να σβηστεί αυτό?


Κοιτάζω επίσης τον κατάλογο mambots που έχει το elxis και βλέπω οτι μόνο τα βασικά της εγκατάστασης εχει (δεν έχω βάλει τίποτε νέο εκτός του Akocomment)
Ποια θα μπορούσα να διώξω και να μην το χαλάσω το site ? (δε χρησιμοποιώ SEF, δε ξέρω τι είναι τα  GeSHi, Legacy Mambot Includer, δεν υπάρχουν emails στα αντικείμενα περιεγχομένου, επομένως μπορεί να φεύγει το Email Cloaking, και πολλά search βλέπω. Οι αναζητήσεις μου γίνονται στα contents. Χρειάζονται τα Sections, Categories,Contacts?)
Αυτά που δε χρειάζομαι για να ξαλαφρώσω τη βάση δεδομένων, πρέπει να τα κάνω unistall ή αρκεί να σταματήσω τη δημοσίευσή τους ??


Ξέρω οτι αυτά που ρωτάω είναι πολλά και λεπτομέριες, συγνώμη  ;D ;D
Σε ευχαριστώ
Title: Re: Όγκος βάσης δεδομένων
Post by: datahell on November 09, 2007, 10:30:35
Συγνώμη για την αργοπορία στην απάντηση.

Τις καταχωρήσεις θα πρέπει να τις περάσεις πάλι αλλά μπορείς να τις κάνεις copy-paste από editor σε editor ή κατευθείαν μέσω sql (Ο ταχύτερος τρόπος αλλά θέλει εξοικείωση με sql και elxis). Θα μπορούσες ακόμα να τις φτιάξεις τοπικά και να τις ανεβάσεις με ένα sql μέσω του phpmysql (θέλει προσοχή). Ένα από τα καλά του EDir είναι ότι υποστηρίζει άπειρες υποκατηγορίες οπότε μπορείς να διαμοιράσεις καλύτερα το υλικό σου. Επίσης μπορείς να βάλεις πρόσθετα πεδία ξεχωριστά για κάθε κατηγορία οπότε να διαφοροποιήσεις τις καταχωρήσεις σου ανάλογα με την κατηγορία. Αυτό που θα σου συνιστούσα είναι να φτιάξεις ένα νέο css για το edir και να μην χρησιμοποιήσεις το προκαθορισμένο γιατί το προκαθορισμένο έχει πολύ "τυπική" εμφάνιση. Θέλει δουλίτσα αλλά μπορεί να γίνει πολύ καλό.

Όσον αφορά τα bots δυστυχώς (κληρονομιά του mambo) ακόμα και να από-δημοσιεύσεις ένα bot δεν το σταματά από να το εκτελεί το elxis. Αυτό διορθώθηκε στην έκδοση 2008. Οπότε συνιστούμε επεγκατάσταση για όσα δεν είναι τα στάνταρ του elxis και δεν χρησιμοποιούνται.

Αποδημοσίευσε αυτά: geshi, legacy includer, search σε contacts, e-mail cloaking,  moscode.
Αποδημοσίευσε αν δεν τα χρησιμοποιείς τα: mosflv, search weblinks, search newsfeeds

Ουσιαστικά τα μόνα απολύτως χρήσιμα είναι: mosimage, search (content, categories, sections), mosvote, mossef
Title: Re: Όγκος βάσης δεδομένων
Post by: ArXoS on November 11, 2007, 15:26:15
σε ευχαριστώ για τις απαντήσεις ..
καλού κακού θα κάνω και ένα backup μπας και χαλάσω τίποτε


Αλήθεια, γιατί τα search των categories και sections χρειάζονται ; Αν απεγκατασταθούν αυτά, υπάρχει περίπτωση να χαλάσει το search contet (λέω μην έχουν κανένα κοινό αρχείο) ?


Αποδημοσίευσε αυτά: geshi, legacy includer, search σε contacts, e-mail cloaking,  moscode.
Αποδημοσίευσε αν δεν τα χρησιμοποιείς τα: mosflv, search weblinks, search newsfeeds
Μιλάς για αποδημοσίευση ή για απεγκατάσταση ? (για το elxis 2006). Να τα απεγκαταστήσω να τελειώνουμε ?
Thanks  :D :D
Title: Re: Όγκος βάσης δεδομένων
Post by: datahell on November 11, 2007, 17:53:45
Τα search bot των ενοτήτων και κατηγοριών εκτελούν αναζήτηση στο όνομα και περιγραφή των ενοτήτων/κατηγοριών.

Κανονικά θέλουν απεγκατάσταση (διαγραφή) αλλά επειδή είναι του συστήματος θα σου πρότεινα να μην τα πειράξεις (αν και δεν υπάρχει πρόβλημα να τα διαγράψεις). Το site σου δεν έχει πρόβλημα ώστε να κάνεις κάτι τέτοιο. Άστα καλύτερα. Απλά αποδημοσιεύσέ τα αν δεν τα θες.
Title: Re: Όγκος βάσης δεδομένων
Post by: ArXoS on November 12, 2007, 18:16:57
Σε ευχαριστώ φίλε datahell    :D ;D
Title: Re: Όγκος βάσης δεδομένων
Post by: rentasite on November 29, 2007, 21:34:58
Το archive ξεχασέ το για το site σου, ταιριάζει κυρίως σε ειδησιογραφικά/ενημερωτικά site. Βοηθάει ως εξής: αφαιρεί πολύ όγκο από το κυρίως περιεχόμενο του site. Οι επισκέπτες κυρίως ενδιαφέρονται για τις νεότερες προσθήκες. Είναι διαφορετική η πίεση στη βάση όταν κάποιος μπαίνει σε μία κατηγορία που έχει 150 άρθρα από μία κατηγορία που έχει μόλις 10. Το αρχείο στην πράξη χρησιμοποιείτε σπάνια από τους χρήστες αλλά είναι ένας έξυπνος τρόπος και να έχεις όλο το υλικό σου δημοσιευμένο και να μην πιέζεις πολύ την Mysql.

Γιάννη, έθεσα στο Αρχείο αρκετά άρθρα από το Connection.gr γιατί πραγματικά είχε υπερφορτωθεί. Όμως, όταν πατάω σε κάποιον μήνα, λαμβάνω το παρακάτω μήνυμα: "Προς το παρόν δεν υπάρχουν αρχειοθετημένες εγγραφές για αυτή τη Κατηγορία".

Τι μου διαφεύγει;

Ευχαριστώ
Title: Re: Όγκος βάσης δεδομένων
Post by: datahell on November 29, 2007, 21:54:47
Πριν από μόλις 5 λεπτά ήμουν στο site σου και διάβαζα τα νέα άρθρα (είμαι τακτικός αναγνώστης σου  ;) ) και παρατήρησα αυτό ακριβώς! Ούτε συνεννοημένοι να ήμασταν!
Μισό να το ελέγξω για το 2006.x και θα σου πω
Title: Re: Όγκος βάσης δεδομένων
Post by: datahell on November 29, 2007, 22:00:56
OK, φταίει το SEF. Όπως έχουμε άπειρες φορές πει δεν συστήνεται η χρήση SEF σε Elxis 2006.x γιατί έχει χρησιμοποιηθεί όπως ήταν στο mambo χωρίς έλεγχο για τυχόν προβλήματα (που έχει). Το module δεν δίνει το μήνα/έτος στις url που απαιτείται ώστε να ξεχωρίσει τους μήνες και να σου εμφανίσει το κατάλληλο blog. Δοκίμασε με κλασσικό link προς ενότητα ή κατηγορία περιεχομένου και όχι με το Module ή περίμενε το 2008...

Link που παράγει το module ανάλογα με το SEF
Χωρίς SEF (δουλεύει σωστά):
http://www.mysite.com/index.php?option=com_content&task=archivecategory&year=2007&month=11&module=1

Με standard SEF (δεν δουλεύει σωστά):
http://www.mysite.com/content/archivecategory/

Με το SEO PRO (elxis 2008, δουλεύει σωστά):
http://www.mysite.com/archive/200711/
Title: Re: Όγκος βάσης δεδομένων
Post by: rentasite on November 29, 2007, 22:07:37


Σ ευχαριστώ τακτικέ μου αναγνώστη  :D

Θα το δοκιμάσω και τώρα αλλά αναμένω και το 2008  :)
Title: Re: Όγκος βάσης δεδομένων
Post by: rentasite on November 29, 2007, 22:13:08


ΩΧΧΧΧΧΧ!!! Μου δημιουργεί την σελίδα αλλά μου παρουσιάζει τα θέματα σε στήλες των 2 και όχι 1 στήλη.

Αυτό τώρα από που αλλάζει;;;  :-\
Title: Re: Όγκος βάσης δεδομένων
Post by: datahell on November 29, 2007, 22:40:58
Από τις παραμέτρους του αντικειμένου μενού
Title: Re: Όγκος βάσης δεδομένων
Post by: rentasite on November 29, 2007, 22:42:28

Μα, είναι module (archive)  ???
Title: Re: Όγκος βάσης δεδομένων
Post by: datahell on November 29, 2007, 22:46:11
Α!, απλά αφαίρεσες το sef. Το module σου φορτώνει το Itemid της αρχικής σελίδας οπότε η εμφάνιση είναι αυτή της αρχικής σελίδας αφού δεν υπάρχει άλλο link προς το αρχείο... (Αυτά είναι προβλήματα του 2006, δεν υπάρχουν στο 2008)
Title: Re: Όγκος βάσης δεδομένων
Post by: rentasite on November 29, 2007, 22:49:04

H πρώτη μου σελίδα εμφανίζει τα θέματα σε 1 στήλη. Έτσι την έχω ορίσει. Την διαβάζει λάθος;
Title: Re: Όγκος βάσης δεδομένων
Post by: rentasite on November 29, 2007, 23:03:13

Λοιπόν βρήκα την εξής λύση. Την παραθέτω για να την έχουν και άλλοι.

Δεν το δημοσίευσα το Αρχείο θεμάτων ως module, αλλά ως Menu Item ( Blog - Content Section Archive) - Επέλεξα All Sections και φυσικά columns:1

Εμφανίζεται μια χαρά και μάλιστα πάνω πάνω, εμφανίζει και λίστα με τους μήνες και τα έτη (φίλτρο).

Ευχαριστώ.
Title: Re: Όγκος βάσης δεδομένων
Post by: datahell on November 29, 2007, 23:35:28
Ε, αυτό που σου είπα στην αρχή... Αφού έβαλες κανονικό σύνδεσμο μπορείς να ξανα-ενεργοποιήσεις το SEF. Αν δεν κάνω λάθος δουλεύει μια χαρά με αυτόν τον τρόπο. Δοκίμασέ το.
Title: Re: Όγκος βάσης δεδομένων
Post by: rentasite on November 30, 2007, 00:04:29

Ναι μια χαρά δουλεύει έτσι. Αν και με module εμφανιζόταν καλύτερα. Αλλά ας περιμένουμε το Elxis 2008.

και πάλι ευχαριστώ  :)
Title: Re: Όγκος βάσης δεδομένων
Post by: datahell on November 30, 2007, 00:30:47
Το connection.gr είναι από τα πρώτα site που θα ήθελα να δω με elxis 2008. Θα είναι super! Άντε μην σε χασομεράω, τρέχα γράψε κάνα άρθρο να διαβάσω αύριο το πρωϊ με τον καφέ μου  :D
Title: Re: Όγκος βάσης δεδομένων
Post by: rentasite on November 30, 2007, 00:33:23

Δεν θα είναι σίγουρα όμως το πρώτο που θα δοκιμάσω σε Elxis 2008. Θα παίξω σε κανένα άλλο test site που έχω και βλέπουμε  ;)  Ειδικά λόγω θέμα template. Αλλά ας μην βγούμε off topic :)

Καλό βράδυ!
Title: Re: Όγκος βάσης δεδομένων
Post by: ArXoS on January 03, 2008, 03:12:00
Γεια σας βρε παιδιά και καλή χρονιά  ;D

Πρώτη φορά μετά από τόσους μήνες με το elxis, και έπεσε το μάτι μου στα στατιστικά του admin panel και έμεινα με το στώμα ανοικτό ..
Πάνω από 1000 εγγραφές για πράγματα, που εμένα προσωπικά, με βολεύει να τα βλέπω από το cpanel .. Τα απενεργοποίησα λοιπόν, και διαπίστωσα και κάποια βελτίωση στο χρόνο φόρτωσης της σελίδας (με το κολπάκι που είχε παραθέσει κάποιος από εσάς σε άλλο τοπικ και εμφάνιζε το χρόνο φόρτωσης)

Η ερώτησή μου λοιπόν είναι στη βάση δεδομένων..
Όλες αυτές οι εγγραφές, τώρα που είναι απενεργοποιημένα τα στατιστικά, θα μπορούσαν να διαγραφούν μπας και ελαφρύνει λίγο η βάση? Που ακριβώς βρίσκονται? στο elx_stats_agents ? είναι ασφαλές να αδειάζεις αυτό το πίνακα ?
ευχαριστώ  :D
Title: Re: Όγκος βάσης δεδομένων
Post by: datahell on January 03, 2008, 10:02:37
Είναι ασφαλές να αδειάζεις τα στατιστικά, δεν παίζουν κανένα ρόλο πουθενά πέραν από τη δική σου πληροφόρηση. Να σου πω τη μαύρη αλήθεια τα στατιστικά είναι ίσως το μόνο πράγμα που δεν έχουμε ασχοληθεί καθόλου στο Elxis. Είναι σχεδόν όπως ήταν από το Mambo.....
Title: Re: Όγκος βάσης δεδομένων
Post by: ArXoS on January 03, 2008, 14:33:50
Σε ευχαριστώ datahell για την απάντηση  ;)
Για να μην γίνει κανένα λάθος, είναι ο πίνακας elx_stats_agents ?
Title: Re: Όγκος βάσης δεδομένων
Post by: datahell on January 03, 2008, 18:26:24
Ναι, αυτός είναι. Μπορείς να τον αδειάσεις άφοβα. Μην τον διαγράψεις!
Title: Re: Όγκος βάσης δεδομένων
Post by: babis1 on January 03, 2008, 21:48:38
καλη χρονια και απο εμενα......
εκανα και εγω σε 3 sites .......empty .......stats.....
και νομιζω ειναι λιγο πιο γρηγορα.......
αλλα για πιο λογο μπορει να ειναι πιο γρηγορο ενα site αδειαζοντας τον συγκεκριμενο πινακα,λογο μικροτερου ογκου δεδομενων στην database,η λογο bandwidth?
λεω και παλι δεν ειμαι σιγουρος αν ειναι πιο γρηγορα ....ετσι μου φαινετε εμενα.
Title: Re: Όγκος βάσης δεδομένων
Post by: ArXoS on January 09, 2008, 01:51:53
Κάτι τελευταίο βρε παιδιά  :D :D
Είναι όλα απενεργοποιημένα, άδειοι οι πίνακες, αλλά βλέπω από το admin panel στα Στατιστικά>Κείμενο αναζήτησης, πάνω από 1000 λείματα
Αυτά πως καθαρίζουν ? είναι του πίνακα elx_core_log_searches ?

Να αδειάσει και αυτός ? 1100 εγγραφές έχει  :o
Title: Re: Όγκος βάσης δεδομένων
Post by: rentasite on January 09, 2008, 02:33:45

Ναι. Αλλά οκ, μη μας πιάνει υστερία.

Εγώ άδειασα όλα τα προηγούμενα, εκτός από το log searches. Διαφορά στη ταχύτητα του site, μη σου πω ψέματα.... δεν είδα!!