Ajutor configuratie NAS - switch - PC pt viteza mare de back up

Buna ziua

Am nevoie sa fac zilnic back up la un fisier de 800gb - 1 Tb.
Dureaza f mult pe actuala configuratie care este un NAS Synology vechi de 5 ani si o retea gigabit.
Vreau sa stiu ce viteze maxime se pot obtine pe retea, dc ajuta link agregation, dc conteaza ce fel de raid e 5 sau 10.
Care ar fi configuratia ideala?
Si dc da atunci cam care ar fi castigul de timp. In ziua de azi incepe seara si termina noaptea.
Adica din ce arata acum merge cu 60 -70 MBs.  Se pot obtine viteze de 250MBs? Si dc da, NAS-ul va scrie cu aceasta viteza?
Daca nu, exista vreun nas care se poate lega pe usb 3 unde teoretic vitezele sunt mult mai mari?
Sper ca m-am facut inteles. Multumesc.

In general esti limitat la viteza de criere a HDD-ului, cele pt NAS sunt in general mai lente. Ca sa castigi ceva viteza poti merge pe RAID10. Ar trebui sa il poata copia in cateva ore, peste noapte.

Prin retea Gb in cel mai fericit caz vei putea scrie cu appx. 100MB/s. Abia apoi te poti gandi mai departe la o configuratie RAID  care te-ar avantaja la scriere. La ce anume vrei sa faci backup? ce tip de echipament?

Depinde foarte mult si daca sunt multe fisiere mici.
Recomand compresie inainte

don_King, on 23 iunie 2020 - 11:33, said:

ca sa faca raid 10 ii trebuie 4 HDD-uri, nu cred ca ii convine sa blocheze atatea hdd-uri intr-un NAS.
solutia e sa inlocuiesti hdd-ul cu ceva mai rapid sau eventual sa inlocuiesti NAS-ul cu totul, ca ala limiteaza cel mai tare la viteza.

In primul rand cred ca ai o politica de backup gresita ; m-as mira ca tot volumul de date de 800 GB sa fie nou in fiecare zi deci un plan de backup full o data la sfarsit de saptamana (sau chiar la 2 saptamani ) plus backup incremental sau diferential (alegerea depinde de cum vrei sa faci restore-ul in caz de nevoie ) intre backup-urile full ar trebui sa reduca considerabil volumul de trafic necesar .
Daca e o baza de date ai nevoie de un utilitar backup DB aware ( care sa faca commit la transactional logs ) ; daca in schimb e intr-adevar un singur fisier f mare ( desi ma indoiesc ) te-ar ajuta un utilitar backup care sa faca dedup la client (sa nu mai trimiti atat de multe date pe retea )

In ceea ce priveste varianta cea mai performanta si mai putin costisitoare pt. un utilizator final as spune ca un NAS QNAP ca TS-453BT3; ai 2 porturi Eth gigabit + 1port Eth 10 Gig via placa PCIE inclusa , 4 x 3,5 Inch HDD bays pt. un RAID 5 ( echilibru bun performanta + redundanta) , 2 x M2 SATA pt SSD caching , posibilitate expansiune RAM pana la 8 GB oficial ( 16 GB neoficial ) pt. multe servicii pornite concurent . Poti face o conexiune directa intre PC-ul cu volumul mare de date ( cumperi o placa 10 Gig ) si interfata NAS-ului 10 Gig iar  ceilalti clienti ii poti deservi via celelalte 2 interfete gigabit conectate la un switch ( cu optiunea de teaming daca switch-ul e compatibil LAG/LACP) . Daca bugetul iti permite atunci poti lua direct switch 10 Gig si nu mai e nevoie de conexiune directa PC-NAS .
Variante usor mai ieftine ar fi tot de la QNAP seria x53D (253D sau 453D) cu performante pe retea in functie de numarul de harduri (evident 4 HDD > 2 HDD) ; ulterior daca chiar ai nevoie de mai multa performanta poti adauga si acestora placa de expansiune PCIE care adauga port 10 Gig eth+ 2 porturi M2 SATA SSD pt. caching . Si aici ai optiunea de conexiune directa PC-NAS (doar ca de data asta ai nevoie de placa NBaseT in PC cu suport 2,5 Gb/s pt. porturile integrate ale NAS-ului) sau mai profi via switch cu porturi NBaseT 2,5/5 Gb/s

HDD-urile mecanice actuale ( fii atent la WD-urile RED noi cu tehnologie SMR care nu sunt OK pt. functii NAS ) sunt capabile de ~200 MB/s scriere secventiala ( HDD-urile mai mari cu 256 MB cache) un singur disk si mai mult de atat in matrici RAID (in exemplele date ~300 MB/s RAID 1 pe 253D si ~500 MB/s erau cu SSD-uri dar si cu HDD-uri depasesti 200 MB/s la scriere secventiala)

Schimba nas-ul + tot lan-ul. Treci pe 802.3bz minim dar de preferat direct pe 10Gbps: switch/nas/PC.
Zilnic, la 1 Tb, ai nevoie de scule, nu petarde.
LACP nu te ajuta (link aggregation) fiind un SINGUR fisier.
Ddpv al stocarii, poti alege hdd-uri din gama enterprise (both ends). Poti avea up to 1.5 Gbit/s.

Sfatul de mai sus pleaca de la doleanta intiatorului:

Quote

rex, on 23 iunie 2020 - 11:52, said:

nu blocheaza nimic, pentru asta sunt facute hdd-urile - eu am 4 harduri in nas-ul de acasa pe care tin pozele din vacante...

on-topic, 250 MB/s, slabe sanse sa atingi. si eu zic ca e gresita politica de backup, e contra-productiv sa faci backup la un fisier de 1 TB zilnic.acolo trebuie sa schimbi ceva prima data.

exista o varianta mai buna decat RAID 10 si anume RAID 5: are si performanta ridicata si rezistenta la caderea unui hdd.

Intreaba-te urmatoarele chestii:
1. Cat dureaza sa fac backup la fisierul ala acum si cat ar dura daca si sursa si target-ul ar avea retea 10Gbit?
2. Cat dureaza sa il restaurez in aceleasi conditii ca mai sus?
3. Cate fisiere de 1TB trebuie sa stochezi pe NAS?

4. Ce se intampla cat timp nimic nu merge, ca eu ma ocup cu restaurarea?
5. Ce se intampla daca crapa NAS-ul sau trebuie sa faci backup/restaurare in timp ce face rebuild la RAID.

Functie de punctele 1-3 iti poti raspunde ce capacitate si ce retea e necesara plus cata "teava" iti poate da sursa backupului. Poti sa ai si mama NAS-ului, daca aplicatia la care tu faci backup are 2 discuri in RAID 1 tot prost o sa mearga, ca nu are de unde sa "curga" informatia.

Punctele 4 si 5 iti spun cam ce capacitate de procesare si ce numar de discuri sunt necesare pentru NAS-ul tau.

Daca la 4-5 raspunsul e "ma cauta seful cu barda, se inchide firma, plecam toti acasa si aplicam pentru somaj" solutia nu e un NAS Synology.

Functie de cat de bun tehnic esti si/sau cat de repede vrei sa inveti, ar fi sa cumperi un server refurbished cu doua surse, cu macar un Xeon Quad Core si minim 8 bay-uri de disc si le populezi cu discuri mici si rapide.
Cu double parity, empiric, la 8 discuri, te poti astepta la o latime de banda de vreo 200MB/s cu 30% read.

Edited by danX, 23 June 2020 - 13:09.

rex, on 23 iunie 2020 - 13:04, said:

Si RAID 5 si RAID 10 au aceeasi toleranta, daca pica un disc merg mai departe. RAID 5 are beneficiul capacitatii utile mai mari (N-1 fata de N/2 la RAID 10), dar vine cu probleme mari la reconstruirea matricii RAID, in special la discuri de capacitate mare. Si daca nu se foloseste controller RAID hardware demoleaza procesorul NAS-ului la Rebuild.

Exact, daca ai fișiere huge si s-a busit un disc, stai cu morcovul cateva zile până se reconstruiește matricea, iar daca a mai picat un disc intre timp... Adio.

La cat de mari sunt discurile, nici nu mai merita luata in cosiderare varianta cu raid 5.

@adelin ... nu e dracu' chiar asa de negru .
Nu va dura zile rebuild-ul matricii ; ore bune pana spre o zi posibil in functie de capacitate insa nu zile .
Fiecare tip RAID vine cu beneficiile si dezavantajele lui individuale ; pt. multi consumatori casnici e mai greu de digerat injumatatirea capacitatii (RAID 0+1 / 10 / 6 ) vs. dezavantajul real dar mai rar de a avea un rebuild/resilver RAID 5 dar cu avantajul de a avea 50% capacitate in plus ( pt. 4 disk-uri )

Nu e nevoie sa ti se buseasca un disc la rebuild, e suficient sa ai unrecoverable error. Ceea ce, la discuri de capacitate mare, statistic, se poate intampla. Eu am patit-o de vreo 2 ori si sa vezi bucurie cand ai de copiat din tape.
Ideea e nu sa privesti cata capacitate bruta ai, ci cata capacitate utila protejata ai.

Acasa folosesc RAID 1 cu 2 discuri de 3TB in Qnap. Si sincronizare cu object storage in cloud. Si OneDrive. Doar pentru fisierele esentiale (vreo 600GB).

Edited by danX, 23 June 2020 - 18:45.