Unraid Home Server

[P_M_]

Καλησπέρα
Υπάρχει εύκολος οδηγός για το rsync μεταξύ του unraid και synology ή μεταξύ 2 unraid?
όσους είδα με μπέρδεψαν ποιο πολύ.

 

[teodor_ch]

Έχω καιρό που έτρεχα rsync daemon στον unraid server και δε θυμάμαι ακριβώς τί έκανα.

Ορίστε το rsync.conf μου

cat /boot/custom/etc/rsyncd.conf
uid = nobody
gid = users
use chroot = no
max connections = 4
pid file = /var/run/rsyncd.pid
timeout = 3600
#hosts allow = 192.168.4.3
#hosts deny = *

[Photos]
path = /mnt/user/Photos
comment = /mnt/user/Photos Collection
read only = TRUE

και στο go αρχείο για να τρέξει ο daemon στο boot

cat /boot/config/go
#!/bin/bash
# Start the Management Utility -p 8080,8443
/usr/local/sbin/emhttp &

rsync --daemon --config=/boot/custom/etc/rsyncd.conf

ΥΓ. η πρώτη γραμμή με το cat είναι για να δείς τα Path μου

 

[teodor_ch]

Για πιο εύκολα υπάρχει το
https://www.resilio.com/

και είναι διαθέσιμο και στις δύο πλατφόρμες και είναι και γρήγορο.
Το μόνο αρνητικό ότι είναι closed source.

 

[P_M_]

Σε ευχαριστώ πολύ η δυσκολία μου ήταν να καταλάβω πως να συντάξω το conf αρχείο για να είναι σωστό. Όλο μου έβγαζε λάθη και δεν ήξερα τι να διορθώσω.
το δοκίμασα το resilio αλλά δεν μου χρειάζονταν όλα τα χαρακτιριστικά του.
το μόνο που θέλω είναι συνχρονισμός κάποιων φακέλων μεταξύ όλων των αποθηκευτικών που έχω σαν μέτρο ασφαλείας, και να περνάνε οι αλλάγές που κάνω σε κάποια αρχεία χωρίς να κάθομαι να το κάνω εγώ ένα ένα σε κάθε ένα αρχείο και σε κάθε ένα φάκελο.

Τελικά το κατάφερα μέσω του πακέτου Community Applications https://lime-technology.com/forums/topic/38582-plug-in-community-applications/ εγκαθιστώντας και το CA User Scripts https://lime-technology.com/forums/topic/48286-plugin-ca-user-scripts/.
Σε αφήνει να δημιουργήσεις ένα script και μετά το βάζεις αυτόματα σε cron job χωρίς να έχεις γνώσεις.
οπότε συνέταξα μια εντολή rsync με τις παραμέτρους που ήθελα και το κάνει σε καθημερινή βάση συνχρονίζοντας μόνο τα αρχεία που έχουν αλλάξει.

 

[teodor_ch]

Γίνεται και με τον τρόπο που το έκανες

 

[auteur]

σε περιπτωση που εχουμε ξεχάσει τα password τι μπορουμε να κανουμε;
το βλεπω απο τα share αλλα ειχα να μπω κανα 3 μηνο και δεν θυμαμαι το password για το interface του...
και για καποιο λογο δεν λειτουργει το αυτοματο login που γινοταν με το safari και τον chrome..

εντωμεταξυ τα share του UNRAID τα βλέπω κανονικα απο το synology στο οποιο εχω κανει remote folder.

 

[auteur]

https://lime-technology.com/forums/topic/56805-password-lost/

υπάρχει κατι πιο απλό απο το παραπάνω;
φαντάζομαι οτι θα χάσω μονο τους users και τα remote shares, χωρίς να χάσω δεδομένα..

 

[auteur]

λίγο που εψαξα τις κάρτες αυτες που προτείνει ειναι ~100 αλλα λογικά δεν θα θελει 2;
μια για το unraid και μια ακόμα στο κεντρικό μας pc/nas;

Αλλα και πάλι, για αντιγραφές απο το pc/nas στο unRAID, το bottleneck, δεν θα ειναι το χαμηλό write speed του unraid (~40Mb/sec);
οποτε τι κερδίζουμε; μονο την γρήγορη αντιγραφή 10Gbit απο το unRAID στο pc/nas;
και μήπως οι μηχανικοί, απλοί δίσκοι δεν υποστηρίζουν τέτοιες ταχύτητες;

 

[teodor_ch]

Αυτά είναι για όσους δουλεύουν SSDs (πολλούς) είτε σαν cache είτε ακόμα και σαν array.

Για να βλέπεις το βίντεο δε σου χρειάζονται μάλλον (χωρίς παρεξήγηση).

Για να το πάς λίγο παρακάτω χωρίς πολλές υπερβολές,
μπορείς να βάλεις μία κάρτα με 2/4 1000άρες πόρτες και αν το υποστηρίζει και το switch σου να κάνεις link aggregation.

Προσωπικά έχω σκοπό να βάλω έξτρα ethernet ports αλλά για να στήσω ένα firewall σε virtual machine.

 

[auteur]

Αυτά είναι για όσους δουλεύουν SSDs (πολλούς) είτε σαν cache είτε ακόμα και σαν array.

Για να βλέπεις το βίντεο δε σου χρειάζονται μάλλον (χωρίς παρεξήγηση).

Για να το πάς λίγο παρακάτω χωρίς πολλές υπερβολές,
μπορείς να βάλεις μία κάρτα με 2/4 1000άρες πόρτες και αν το υποστηρίζει και το switch σου να κάνεις link aggregation.

Προσωπικά έχω σκοπό να βάλω έξτρα ethernet ports αλλά για να στήσω ένα firewall σε virtual machine.

Το μόνο που με ενδιαφέρει είναι το γρήγορο copy/paste μέσω των pc/nas.

Το link aggregate δεν έχει κανένα όφελος για ενα user, αλλά για εταιρίες με πολλούς users όπου αυξάνει το συνολικό bandwidth.

 

[teodor_ch]

Το μόνο που με ενδιαφέρει είναι το γρήγορο copy/paste μέσω των pc/nas.

Το link aggregate δεν έχει κανένα όφελος για ενα user, αλλά για εταιρίες με πολλούς users όπου αυξάνει το συνολικό bandwidth.

Έχεις δηλαδή κορεσμό του 1Gbit
δε σου φτάνουν τα 2,3,4Gbit του link aggregation
και κοιτάς τα 10Gbit?

Απαντάω πάλι μόνος γιατί δίνεις την απάντηση με την αρχική απορία σου.

ΟΧΙ!

Αφού βλέπεις μόνο <50Mb/sec βάλε ένα ssd cache drive και αν τερματίσεις το Gbit ~100-125ΜΒ/sec κοιτάς να αναβαθμίσεις τη διασύνδεση.

Για 10Gbit θα αλλάξεις switch και κάρτες δικτύου όπου αλλού θες 10Gbit

 

[auteur]

Έχεις δηλαδή κορεσμό του 1Gbit
δε σου φτάνουν τα 2,3,4Gbit του link aggregation
και κοιτάς τα 10Gbit?

Απαντάω πάλι μόνος γιατί δίνεις την απάντηση με την αρχική απορία σου.

ΟΧΙ!

Αφού βλέπεις μόνο <50Mb/sec βάλε ένα ssd cache drive και αν τερματίσεις το Gbit ~100-125ΜΒ/sec κοιτάς να αναβαθμίσεις τη διασύνδεση.

Για 10Gbit θα αλλάξεις switch και κάρτες δικτύου όπου αλλού θες 10Gbit

Το link aggregate μη το λαμβάνεις υπόψη γιατί τα 2, 3, 4Gbit δεν έχουν κανένα πλεονέκτημα όταν κάνεις μια αντιγραφή αλλά μόνο όταν είναι πολλοί χρήστες και εκτελούν ταυτόχρονες αντιγραφές. Δηλαδή για οικιακή χρήση που είναι 1 χρήστης δεν έχει καμία απολύτως χρησιμότητα.

Στα άλλα έχεις δίκιο, και το κόστος για να έχεις 10Gb και ξεφεύγει κυρίως λόγο του ότι δεν μπορείς να έχεις απλούς μηχανικούς δίσκους και αναγκάστηκα πρέπει να έχουμε SSD που ακόμα είναι πανάκριβοι για μεγάλες χωρητικότητες.

τελος για να βάλουμε SSD cache drive θα πρεπει να ειναι αρκετά μεγαλύτερος απο αυτα που πάμε να κανουμε copy/paste.
αν πχ πας να μετακινήσεις ενα φακελο 1Tb, ο SSD cache drive δεν πρέπει να ειναι μεγαλύτερος του 1TB;
αλλιως θα πρέπει να τα αντιγράφουμε τμηματικά.. αυτός ειναι ο μόνος λόγο που δεν έχω προσθέσει ενα απλο 256/512Gb SSD cache drive.

 

[avpap]

Θεωρώ ότι, ακόμα και μην λαμβάνοντας υπόψιν το κόστος, σε unraid το 10gbe δεν έχει νόημα λόγω του περιορισμού στo write speed

 

[teodor_ch]

Το link aggregate μη το λαμβάνεις υπόψη γιατί τα 2, 3, 4Gbit δεν έχουν κανένα πλεονέκτημα όταν κάνεις μια αντιγραφή αλλά μόνο όταν είναι πολλοί χρήστες και εκτελούν ταυτόχρονες αντιγραφές. Δηλαδή για οικιακή χρήση που είναι 1 χρήστης δεν έχει καμία απολύτως χρησιμότητα.

Robocopy multi-threaded copy/move
http://www.demartek.com/Reports_Free/RMWTUG_2011-03_Robocopy_multithread_Testing_Dennis_Martin_a.pdf

Δεν το έχω δοκιμάσει αλλά αφού

Takes advantage of SMB 2.1

θα πρέπει να δουλεύει

τελος για να βάλουμε SSD cache drive θα πρεπει να ειναι αρκετά μεγαλύτερος απο αυτα που πάμε να κανουμε copy/paste.
αν πχ πας να μετακινήσεις ενα φακελο 1Tb, ο SSD cache drive δεν πρέπει να ειναι μεγαλύτερος του 1TB;
αλλιως θα πρέπει να τα αντιγράφουμε τμηματικά.. αυτός ειναι ο μόνος λόγο που δεν έχω προσθέσει ενα απλο 256/512Gb SSD cache drive.

Δεν είναι ανάγκη.
Θα αντιγράψει στον cache στην αρχή και όταν γεμίσει θα τον παρακάμψει.

Η αγορά του ssd σου θα πρέπει να είναι ανάλογη του κόστους/συχνότητα αντιγραφών/μέγεθος αντιγραφών κλπ κλπ
Εσύ θα καθορίσεις τί σου χρειάζεται.

Προσωπικά έχω ένα μηχανικό 500άρη σαν cache και εκεί έχω όλα μου τα appdata και τα VM vdisks.

Αντιγράφω συχνά φωτογραφίες/βίντεο απο τη dSLR που δεν είναι πολλά GByte και μου είναι υπερ-αρκετός

 

[auteur]

Θεωρώ ότι, ακόμα και μην λαμβάνοντας υπόψιν το κόστος, σε unraid το 10gbe δεν έχει νόημα λόγω του περιορισμού στo write speed

και εγώ εκεί καταλήγω.
ισως ομως αλλάξω τον SSD στο laptop (256Gb SSD samsung evo) που έχω, με μεγαλύτερο (500GB) και βάλω τον 256Gb στο unRAID ως SSD cache drive.

τι γίνεται ομως στην περίπτωση που κάνω copy στο unRAID ενα φάκελο που ειναι 1Tb;

 

[avpap]

Απάντησε ακριβώς ο teodor. Ιδανικά δεν αντιγράφεις περισσότερα από την χωρητικότητα του cache ανά κύκλο αδειασματος του ssd. Προσωπικά έχω στον ssd τα torrent που seedαρω,το docker.img και τα apps.

 

[auteur]

Robocopy multi-threaded copy/move
http://www.demartek.com/Reports_Free/RMWTUG_2011-03_Robocopy_multithread_Testing_Dennis_Martin_a.pdf

Δεν το έχω δοκιμάσει αλλά αφού


θα πρέπει να δουλεύει




Δεν είναι ανάγκη.
Θα αντιγράψει στον cache στην αρχή και όταν γεμίσει θα τον παρακάμψει.

Η αγορά του ssd σου θα πρέπει να είναι ανάλογη του κόστους/συχνότητα αντιγραφών/μέγεθος αντιγραφών κλπ κλπ
Εσύ θα καθορίσεις τί σου χρειάζεται.

Προσωπικά έχω ένα μηχανικό 500άρη σαν cache και εκεί έχω όλα μου τα appdata και τα VM vdisks.

Αντιγράφω συχνά φωτογραφίες/βίντεο απο τη dSLR που δεν είναι πολλά GByte και μου είναι υπερ-αρκετός

Ενδιαφέρον το robocopy αλλα οι αντιγραφές γινονται απο synology nas ή απο mac και οχι windows.
οποτε μαλλον δεν μας κάνει.

οταν λες τον παρακάμπει;
πχ αν στο unRAID εχουμε 256GB SSD cache drive και θέλουμε να αντιγραψουμε 1TB,
θα γράψει τα πρώτα 256GB στον SSD και τα υπολοιπα 744GB απευθείας στο pool του unRAID;

 

[avpap]

Ναι.

 

[auteur]

Απάντησε ακριβώς ο teodor. Ιδανικά δεν αντιγράφεις περισσότερα από την χωρητικότητα του cache ανά κύκλο αδειασματος του ssd. Προσωπικά έχω στον ssd τα torrent που seedαρω,το docker.img και τα apps.

ενδιαφέρον αυτό.
μαλλον θα το κάνω και εγώ οταν μετακινήσω το unRAID σε αλλο hardware, γιατι τώρα δεν έχω ελεύθερη SATA.
Για να γίνει αυτο ομως, θα πρεπει να πάρω μεγαλύτερο κουτί, μητρική και SATA controller.

 

[teodor_ch]

σκέψου ότι το Mount point /mnt/user/test
σου δείχνει ταυτόχρονα

/mnt/disk1/test
/mnt/diskx/test
/mnt/cache/test


και το λειτουργικό αποφασίζει όταν στέλνεις στο /mnt/user/test
πού θα πάνε