Drive bender, storage spaces, DrivePool, soft raid
- Thread starter auteur
- Start date
Δοκίμασε κανεις Windows Server 2012? Έχουν βάλει αντίστοιχο Storage pool με το πρώτο WHS (και τα windows 8 το έχουν). Τον είχα βάλει για test και για 2-3 μέρες και δούλεψε μιά χαρά, απλά ξέχασα να τσεκάρω αν οι δίσκοι διαβάζονται σε άλλο PC (για την περίπτωση πχ που σκάσει καμιά motherboard).
Το storage spaces δεν έχει δυστυχώς σχέση με το drive extender που είχαν τα παλιά WHS.. εντελώς άλλο σύστημα.
Βασικό μειονέκτημα το εξής ένα: δεν μπορείς να αφαιρέσεις δίσκο από το pool, εκτός αν έχεις ορίσει redundancy σε όλα τα δεδομένα σου.
Οι δίσκοι πάντως διαβάζονται σε άλλο PC (θεωρητικά).
Βασικό μειονέκτημα το εξής ένα: δεν μπορείς να αφαιρέσεις δίσκο από το pool, εκτός αν έχεις ορίσει redundancy σε όλα τα δεδομένα σου.
Οι δίσκοι πάντως διαβάζονται σε άλλο PC (θεωρητικά).
Εμένα αυτό μου φαίνεται λειτουργικότερο. Βάζεις redundancy όπου θες εσύ και όχι σε όλα, οπότε γλυτώνεις τρελό χώρο. Τα 500GB πχ που είναι τα προσωπικά μου δεδομένα (φωτό, βίντεο, έγγραφα, μουσική), πάνε duplicate σε 3 δίσκους, ενώ όλα τα άλλα που τα ξαναβρίσκω όποτε θέλω από το net ή από τα δισκάκια μου, σε έναν, ή άντε κάποια επιλεκτικά σε δύο.
Και όταν λες δεν μπορείς να αφαιρέσεις, εννοείς δια της βίας, ή δεν έχει γενικά αφαίρεση από το pool? Γιατί δεν το δούλεψα αυτό και μου φαίνεται λίγο deaf να δουλεύει έτσι...
Και όταν λες δεν μπορείς να αφαιρέσεις, εννοείς δια της βίας, ή δεν έχει γενικά αφαίρεση από το pool? Γιατί δεν το δούλεψα αυτό και μου φαίνεται λίγο deaf να δουλεύει έτσι...
Δεν έχει δυνατότητα να του πεις "θέλω να αφαιρέσω τον τάδε δίσκο, άδειασέ τον ώστε να τον βγάλω". Πρέπει απλά να ξηλώσεις τον δίσκο, να βάλεις τον καινούργιο, και να το αφήσεις να κάνει heal. Αν όμως δεν έχεις duplication για κάποια δεδομένα, τα χάνεις...
Σε επίπεδο Powershell, το έχουν σαν εντολή, μήπως δεν το έχουν σε γραφικό περιβάλλον?
http://technet.microsoft.com/en-us/library/hh848697.aspx
http://technet.microsoft.com/en-us/library/hh848697.aspx
Browser
AVClub Fanatic
- 17 June 2006
- 10,573
Αρκετα πραγματα περι storage spaces βρηκα εδω
http://bariseris.wordpress.com/2012...paces-and-data-deduplication-hands-on-review/
http://bariseris.wordpress.com/2012...paces-and-data-deduplication-hands-on-review/
- 21 January 2007
- 21,629
χμμμμ...
Πόσο συχνό να είναι αυτό το φαινόμενο πια ?
Πόσες φορές το χρόνο?
Πόσες φορές στα τέσσερα χρόνια ? (ας υποθέσουμε το μέσο χρόνο ζωής που θα μείνει σταθερό το NAS/array)
IMHO κολλάτε σε λεπτομέρειες.
Και όπως λέει και ο Browser μπορείτε να αντικαταστήσετε το δίσκο για να τον αφαιρέσετε.
Re: Απάντηση: Drive bender, storage spaces, DrivePool, soft raid
Διαβάζοντας το πολύ ενδιαφέρον link που έβαλες, βλέπω ότι μπορεί να αφαιρέσεις δίσκο, απλά θα χρειαστεί 1-2 πράγματα σε επίπεδο powershell. Δεδομένου ότι αλλαγές δίσκων θα γίνονται όντως κάθε 1-2 χρόνια, ε, δεν το βρίσκω και τόσο δύστροπο το να ασχολείσαι 5-10 λεπτά παραπάνω. Έτσι κι αλλιώς λειτουργικό server είναι, το θέλει το administration του. Αν είναι να δυσανασχετείς με 5-10 λεπτά δουλειά, τότε άστο στην άκρη...
Διαβάζοντας το πολύ ενδιαφέρον link που έβαλες, βλέπω ότι μπορεί να αφαιρέσεις δίσκο, απλά θα χρειαστεί 1-2 πράγματα σε επίπεδο powershell. Δεδομένου ότι αλλαγές δίσκων θα γίνονται όντως κάθε 1-2 χρόνια, ε, δεν το βρίσκω και τόσο δύστροπο το να ασχολείσαι 5-10 λεπτά παραπάνω. Έτσι κι αλλιώς λειτουργικό server είναι, το θέλει το administration του. Αν είναι να δυσανασχετείς με 5-10 λεπτά δουλειά, τότε άστο στην άκρη...
Re: Απάντηση: Drive bender, storage spaces, DrivePool, soft raid
Server 2012-Επόμενη ερώτηση. Έστω ότι κάνω ένα storage pool και χρησιμοποιώ 3 δίσκους των 500gb. Τι storage pool φτιάχνει, JBOD, ή RAID-0?
Server 2012-Επόμενη ερώτηση. Έστω ότι κάνω ένα storage pool και χρησιμοποιώ 3 δίσκους των 500gb. Τι storage pool φτιάχνει, JBOD, ή RAID-0?
Re: Απάντηση: Drive bender, storage spaces, DrivePool, soft raid
Άκυρο, βρήκα την απάντηση μόνος μου, Raid-0 φτιάχνει, χοντρή χαζομάρα...
Φαντάζομαι δεν σε αφήνει να το κάνεις Jbod με τίποτα έ?
Άκυρο, βρήκα την απάντηση μόνος μου, Raid-0 φτιάχνει, χοντρή χαζομάρα...
Φαντάζομαι δεν σε αφήνει να το κάνεις Jbod με τίποτα έ?
Browser
AVClub Fanatic
- 17 June 2006
- 10,573
Παντως θελουν δουλεια ακομα τα storage spaces/
Εχω δυο μερες τωρα που προσπαθω να δω γιατι μου βγαζει εκτος ενα απο τα δυο virtual drive που ειναι σε ενα απο τα δυο spool που εχω φτιαξει. Σχεδον καθε φορα που εγραφα κατι μεσα σαυτο, μετα απο λιγο μου σταματουσε την αντιγραφη κι εβγαζε εκτος το vd με ενα μηνυμα ID50 με περιγραφη ntfs.
( το ενα spool εχει 7 δισκους 1 τερα κι ενα vd, και το αλλο 4 δισκους 3 τερα κι εναν 2 τερα κι εχει κι αυτο αλλο ενα vd. και τα δυο ειναι σε thin provisional)
Οσο και να εψαξα βρηκα καποιες ρυθμισεις περι sleep συσκευων κτλ, τα εκανα αλλα και παλι τιποτα.
Επισης βρηκα περιγραφες για ελλειψη τροφοδοσιας κτλ. Επειδη το ειχα και λιγο εννοια με 13 δισκους στο σερβερ, εβαλα και δευτερο τροφοδοτικο. Παλι τιποτα....
Με repair δεν του εκανε τιποτα. Αν το εβγαζα detach και μετα attach παλι, το εβλεπε και συνεχιζα. Πολυ σπαστικο.
Τελικα διαπιστωσα οτι οταν κανεις attach μεγαλο vd απο μεγαλο spool τρωει παρα πολυ μνημη. Με 2 spool & 2 vd η μνημη ηταν στο 50% (4bg ειναι εγκατεστημενα).
Στην αρχη της αντιγραφης και μετα απο λιγο η μνημη καρφωνεται στο 100% και μετα απο λιγο βγαζει εκτος το vd
Εβαλα λοιπον αλλα 4gb που ειχα σε αλλο πισι και ξαναδοκιμασα (8gb συνολο). Δεν ξερω αν ειναι , αλλα εγω θα το πω ως δια μαγειας γραφει κανονικα.
Επισης η εγγραφη ειναι αργη με ενα μεσο ορο στα 25MB/sec. Κακο αλλα δεν με καιει. Το διαβασμα δεν ειναι τοσο κακο. Εχει ενα μεσο ορο στα 75MB/sec.
Καμμια σχεση βεβαια με απλο spool και vd σε simple, κατι σα strip δηλαδη, που βαραγε κατοσταρια διαβασμα-γραψιμο.
Ειδωμεν......
Εχω δυο μερες τωρα που προσπαθω να δω γιατι μου βγαζει εκτος ενα απο τα δυο virtual drive που ειναι σε ενα απο τα δυο spool που εχω φτιαξει. Σχεδον καθε φορα που εγραφα κατι μεσα σαυτο, μετα απο λιγο μου σταματουσε την αντιγραφη κι εβγαζε εκτος το vd με ενα μηνυμα ID50 με περιγραφη ntfs.
( το ενα spool εχει 7 δισκους 1 τερα κι ενα vd, και το αλλο 4 δισκους 3 τερα κι εναν 2 τερα κι εχει κι αυτο αλλο ενα vd. και τα δυο ειναι σε thin provisional)
Οσο και να εψαξα βρηκα καποιες ρυθμισεις περι sleep συσκευων κτλ, τα εκανα αλλα και παλι τιποτα.
Επισης βρηκα περιγραφες για ελλειψη τροφοδοσιας κτλ. Επειδη το ειχα και λιγο εννοια με 13 δισκους στο σερβερ, εβαλα και δευτερο τροφοδοτικο. Παλι τιποτα....
Με repair δεν του εκανε τιποτα. Αν το εβγαζα detach και μετα attach παλι, το εβλεπε και συνεχιζα. Πολυ σπαστικο.
Τελικα διαπιστωσα οτι οταν κανεις attach μεγαλο vd απο μεγαλο spool τρωει παρα πολυ μνημη. Με 2 spool & 2 vd η μνημη ηταν στο 50% (4bg ειναι εγκατεστημενα).
Στην αρχη της αντιγραφης και μετα απο λιγο η μνημη καρφωνεται στο 100% και μετα απο λιγο βγαζει εκτος το vd
Εβαλα λοιπον αλλα 4gb που ειχα σε αλλο πισι και ξαναδοκιμασα (8gb συνολο). Δεν ξερω αν ειναι , αλλα εγω θα το πω ως δια μαγειας γραφει κανονικα.
Επισης η εγγραφη ειναι αργη με ενα μεσο ορο στα 25MB/sec. Κακο αλλα δεν με καιει. Το διαβασμα δεν ειναι τοσο κακο. Εχει ενα μεσο ορο στα 75MB/sec.
Καμμια σχεση βεβαια με απλο spool και vd σε simple, κατι σα strip δηλαδη, που βαραγε κατοσταρια διαβασμα-γραψιμο.
Ειδωμεν......
Re: Απάντηση: Drive bender, storage spaces, DrivePool, soft raid
Δεν θέλω Raid 5, τρώει χώρο. Χύμα δίσκους θέλω. Για την ακρίβεια έχω 3 δίσκους των 500gb και 2 των 2ΤΒ. Θέλω να κάνω ένα vd με parity των 500gb που θα φυλάει φωτογραφίες, docs, pdf, camcorder clip κλπ και όλος ο υπόλοιπος χώρος να είναι τελείως χύμα, για ταινίες και σειρές. Δεν θέλω όμως ο υπόλοιπος χώρος να είναι stripped. Δεν με πειράζει να χάσω ταινίες κλπ, αλλά δεν υπάρχει και λόγος αν χαλάσει ο ένας 2TB να χάσω και αυτές του άλλου 2TB.
Πολύ πιθανόν να κάνω ένα pool με τους 3 500άρηδες και οι άλλοι 2ΤΒ να μείνουν εκτός, μονοι τους...
Δεν θέλω Raid 5, τρώει χώρο. Χύμα δίσκους θέλω. Για την ακρίβεια έχω 3 δίσκους των 500gb και 2 των 2ΤΒ. Θέλω να κάνω ένα vd με parity των 500gb που θα φυλάει φωτογραφίες, docs, pdf, camcorder clip κλπ και όλος ο υπόλοιπος χώρος να είναι τελείως χύμα, για ταινίες και σειρές. Δεν θέλω όμως ο υπόλοιπος χώρος να είναι stripped. Δεν με πειράζει να χάσω ταινίες κλπ, αλλά δεν υπάρχει και λόγος αν χαλάσει ο ένας 2TB να χάσω και αυτές του άλλου 2TB.
Πολύ πιθανόν να κάνω ένα pool με τους 3 500άρηδες και οι άλλοι 2ΤΒ να μείνουν εκτός, μονοι τους...
Re: Απάντηση: Drive bender, storage spaces, DrivePool, soft raid
Χτές έστησα ένα Win8 για να παίξω με τα Storage spaces. Κατόπιν εγκατέστησα 3 δίσκους στο pool, από 150 έως 250GB. Το μόνο που δεν με άφησε να κάνω, ήταν όταν είχα 2 δίσκους σε single mode και θέλησα να ξηλώσω τον έναν (όχι δια της βίας, με retire και remove), δεν με άφηνε, παρά ζητούσε να βάλω νέο δίσκο για να στείλει εκεί τα δεδομένα, παρόλο που τα δεδομένα αυτά ήταν ελάχιστα, 2 ταινίες των 10gb, όταν ο άλλος δίσκος του pool είχε πάνω από 200gb ελεύθερα.
Γενικά το σύστημα έχει ένα θέμα με την αντικατάσταση δίσκων, προτιμάει η διαδικασία να γίνεται με ταυτόχρονη εγκατάσταση νέου δίσκου στο pool, πράγμα που για να λέμε και την αλήθεια, είναι το συνηθέστερο στην λειτουργία των file server (μόλις το pool ψιλογεμίσει, προσθέτεις νέο δίσκο, μεταφέρονται τα δεδομένα και μετά αφαιρείς τον παλιό). Πρόβλημα υπάρχει όταν πχ δεν έχεις ελεύθερες θύρες SATA για να προσθέσεις νέο δίσκο, αν δεν βγει πρώτα ο παλιός (περιπτώσεις home server με απλές motherboard). Σε parity pool σκασίλα σου για την διαδικασία, ξηλώνεις τον παλιό δίσκο και δια της βίας αν θες, κουμπώνεις τον νέο και αφήνεις το pool να ξανακάνει το νέο parity.
Δεν μου άρεσε που τους single drives τους κάνει Raid-0. Αν βάλω πχ στον server 4 δίσκους των 2TB για τις ταινίες μου σε single mode, ή τους αφήνω εκτός pool μομονωμένους, ή τους κάνω pool και χάνω όλα τα δεδομένα αν βγει off ο ένας από τους τρεις. Θέμα υπάρχει και με την κατανάλωση, καθότι όταν το παραπάνω pool κληθεί να στείλει μιά ταινία προς το media player/HTPC, θα δουλεύουν άσκοπα 4 δίσκοι για να στέλνουν ούτε 4-5 mB/sec προς το δίκτυο. Και αντιοικονομικό και τζάμπα φθορά να ξυπνάνε και οι 4 δίσκοι χωρίς λόγο (μια και η παραπάνω ταινία θα είναι σωσμένη σε κομμάτια των 256mB σε όλους τους δίσκους).
Τέλος, όπως και τα πρώτα βήματα του WHS, διάβασα και για περιπτώσεις που κατέρευσε το pool μετά από restart, πράμα που λόγω ιδιαίτερης λογικής της αποθήκευσης των data στα storage spaces (slabs των 256ΜΒ), σημαίνει ότι οι δίσκοι δεν διαβάζονται σε άλλο pc, ώστε να μπορέσεις να πάρεις τα data εκ των υστέρων. Επίσης διαβάζω για θέματα με το parity, αν βάλεις δίσκους διαφορετικού μεγέθους, μόλις γεμίσει ο μικρότερος δίσκος από τους 3, βγαίνει offline έως ότου προσθέσεις νέο δίσκο για να αρχίσει να γράφει εκεί.
Συμπέρασμα, αφήνουμε για λίγο καιρό ακόμα τα Storage Spaces στους γενναίους, μέχρι να διορθώσει η MS τα θέματά του...
Χτές έστησα ένα Win8 για να παίξω με τα Storage spaces. Κατόπιν εγκατέστησα 3 δίσκους στο pool, από 150 έως 250GB. Το μόνο που δεν με άφησε να κάνω, ήταν όταν είχα 2 δίσκους σε single mode και θέλησα να ξηλώσω τον έναν (όχι δια της βίας, με retire και remove), δεν με άφηνε, παρά ζητούσε να βάλω νέο δίσκο για να στείλει εκεί τα δεδομένα, παρόλο που τα δεδομένα αυτά ήταν ελάχιστα, 2 ταινίες των 10gb, όταν ο άλλος δίσκος του pool είχε πάνω από 200gb ελεύθερα.
Γενικά το σύστημα έχει ένα θέμα με την αντικατάσταση δίσκων, προτιμάει η διαδικασία να γίνεται με ταυτόχρονη εγκατάσταση νέου δίσκου στο pool, πράγμα που για να λέμε και την αλήθεια, είναι το συνηθέστερο στην λειτουργία των file server (μόλις το pool ψιλογεμίσει, προσθέτεις νέο δίσκο, μεταφέρονται τα δεδομένα και μετά αφαιρείς τον παλιό). Πρόβλημα υπάρχει όταν πχ δεν έχεις ελεύθερες θύρες SATA για να προσθέσεις νέο δίσκο, αν δεν βγει πρώτα ο παλιός (περιπτώσεις home server με απλές motherboard). Σε parity pool σκασίλα σου για την διαδικασία, ξηλώνεις τον παλιό δίσκο και δια της βίας αν θες, κουμπώνεις τον νέο και αφήνεις το pool να ξανακάνει το νέο parity.
Δεν μου άρεσε που τους single drives τους κάνει Raid-0. Αν βάλω πχ στον server 4 δίσκους των 2TB για τις ταινίες μου σε single mode, ή τους αφήνω εκτός pool μομονωμένους, ή τους κάνω pool και χάνω όλα τα δεδομένα αν βγει off ο ένας από τους τρεις. Θέμα υπάρχει και με την κατανάλωση, καθότι όταν το παραπάνω pool κληθεί να στείλει μιά ταινία προς το media player/HTPC, θα δουλεύουν άσκοπα 4 δίσκοι για να στέλνουν ούτε 4-5 mB/sec προς το δίκτυο. Και αντιοικονομικό και τζάμπα φθορά να ξυπνάνε και οι 4 δίσκοι χωρίς λόγο (μια και η παραπάνω ταινία θα είναι σωσμένη σε κομμάτια των 256mB σε όλους τους δίσκους).
Τέλος, όπως και τα πρώτα βήματα του WHS, διάβασα και για περιπτώσεις που κατέρευσε το pool μετά από restart, πράμα που λόγω ιδιαίτερης λογικής της αποθήκευσης των data στα storage spaces (slabs των 256ΜΒ), σημαίνει ότι οι δίσκοι δεν διαβάζονται σε άλλο pc, ώστε να μπορέσεις να πάρεις τα data εκ των υστέρων. Επίσης διαβάζω για θέματα με το parity, αν βάλεις δίσκους διαφορετικού μεγέθους, μόλις γεμίσει ο μικρότερος δίσκος από τους 3, βγαίνει offline έως ότου προσθέσεις νέο δίσκο για να αρχίσει να γράφει εκεί.
Συμπέρασμα, αφήνουμε για λίγο καιρό ακόμα τα Storage Spaces στους γενναίους, μέχρι να διορθώσει η MS τα θέματά του...
Browser
AVClub Fanatic
- 17 June 2006
- 10,573
Aλλο ψιλοκουλο με τα storage spaces.
Αν για καποιο λογο δημιουργηθει καποιο προβλημα μια φορα, κι ας διορθωθει μετα, το συστημα βαζει ολα τα vd σε manual attach και καθε φορα που κανεις ρισταρτ το σερβερ
πρεπει να κανεις χειροκινητα attach το vd.
Για να μην συμβαινει αυτο, πρεπει να δωσεις απο το powershell το παρακατω ...
Set-VirtualDisk -FriendlyName mydiskName -IsManualAttach $False
Απλα το βαζω μηπως και καποιος το χρειαστει !
Αν για καποιο λογο δημιουργηθει καποιο προβλημα μια φορα, κι ας διορθωθει μετα, το συστημα βαζει ολα τα vd σε manual attach και καθε φορα που κανεις ρισταρτ το σερβερ
πρεπει να κανεις χειροκινητα attach το vd.
Για να μην συμβαινει αυτο, πρεπει να δωσεις απο το powershell το παρακατω ...
Set-VirtualDisk -FriendlyName mydiskName -IsManualAttach $False
Απλα το βαζω μηπως και καποιος το χρειαστει !
Κρατούσα έναν 500άρη δίσκο για 2ο στο desktop, να μην τρώει ζόρι με χαζομάρες ο system 128GB SSD (παιχνίδια, cache του photoshop, κλπ). Σήμερα μου ήρθε φλασιά ότι μπορώ να τρέξω τα παιχνίδια απευθείας από network mapped drive, το δοκίμασα και μάλιστα το Assasin's Creed 3 έπαιξε χωρίς τα σκαλώματα που έκανε ο δίσκος όταν διάβαζε μέσα στο παιχνίδι. Οπότε θα πάει κι αυτός ο 500άρης στον server, να κάνει παρέα με τους υπόλοιπους 3. Θα φτιάξω μιά τετράδα που θα έχει 200GB σε raid-0 για τον παραπάνω λόγο και τα υπόλοιπα 1200GB σε raid-5 να κρατάνε ότι ευαίσθητα αρχεία έχω (photos, camcorder, κλπ).
Το αναφέρω γιατί μέχρι σήμερα ούτε μου περνούσε από το μυαλό μέχρι σήμερα να τρέχω εφαρμογές από τον server, όπου με το Raid0 θα χτυπάω άνετα ελπίζω και 120mb/sec (το όριο του gigabit lan) σε σχέση με τα 50-60 που έπιανε ο τοπικός δίσκος, συν το ότι δεν θα πηγαίνουν χαμένα τα GB στο desktop (2-3 παιχνίδια σε 500άρη δίσκο).
Το αναφέρω γιατί μέχρι σήμερα ούτε μου περνούσε από το μυαλό μέχρι σήμερα να τρέχω εφαρμογές από τον server, όπου με το Raid0 θα χτυπάω άνετα ελπίζω και 120mb/sec (το όριο του gigabit lan) σε σχέση με τα 50-60 που έπιανε ο τοπικός δίσκος, συν το ότι δεν θα πηγαίνουν χαμένα τα GB στο desktop (2-3 παιχνίδια σε 500άρη δίσκο).
Έστησα τον Server 2012, μου βγήκε το λάδι να στρώσω τα storage spaces, ο Jmicron controller της motherboard δεν μπόρεσε να βάλει τους δίσκους που είχε πάνω του στο pool, άσε που αν ήταν ίδιοι τους έδινε κοινό ID και ο server έβλεπε ένα δίσκο αντί για δύο, τρελά ευαίσθητη η διαδικασία, έχανε virtual disks με την επανεκκίνηση και έπρεπε να τα σβήσω και να τα ξαναστήσω και γενικά η όλη διαδικασία δεν έδινε πολύ εμπιστοσύνη για το αν θα τα ξαναβρείς τα δεδομένα σου άμα κλείσει και ξανανοίξει το μηχάνημα. Τα ευαίσθητα δεδομένα μπήκαν και σε έναν ανεξάρτητο δίσκο εκτός μηχανήματος, να έχω το κεφάλι μου ήσυχο.
Βολικότατα τα virtual disks, αλλά λίγο ασταθή για server. Θα φάει 5-10 μέρες συνεχή ζορισμένη χρήση και θα δω αν θα το κρατήσω έτσι ή θα ξαναπάω σε Server 2008 με τους δίσκους σε mirror και stripe μέσω των controller.
Από ταχύτητες μου δίνει 115DL/90UL στο stripped και 115DL/40-70UL στο Parity.
Βολικότατα τα virtual disks, αλλά λίγο ασταθή για server. Θα φάει 5-10 μέρες συνεχή ζορισμένη χρήση και θα δω αν θα το κρατήσω έτσι ή θα ξαναπάω σε Server 2008 με τους δίσκους σε mirror και stripe μέσω των controller.
Από ταχύτητες μου δίνει 115DL/90UL στο stripped και 115DL/40-70UL στο Parity.
- 21 January 2007
- 21,629
