Sistem back up firma

Am servere backup Solaris, RAID-Z, de 24TB vizibil 12TB. Plus inca 2 servere de backup mai "modeste", cu diferite RAID-uri mai normale (5 si 6 , controlere hardware). Necazul e ca toti cei 7TB sunt folositi zilnic iar volumul de date creste enorm, si nici nu stiu care din date se vor modifica din cei 7 TB. LA ora actuala "acopar" max 1 saptamana pentru problema cu propagarea fisierelor corupte, dar ce fac in cazul in care trebuie sa extind acesta perioada ? Investitii in hardware nou sau mai sunt si solutii mai ieftine ?

Ai vreo metoda sa deduplici.comprimi backup-urile? Care e retention policy-ul? La cat timp faci full backup si cate full backup-uri tii acum? Fara investitii in hardware nu stiu in ce masura scapi.

La ce jucarii ai tu acolo vad doua variante, fara sa cresti semnificativ numarul de discuri:
1. banda ultrium LTO, cu ce capacitate iti permiti. Costa de la cateva sute (controller + banda LTO 4 SH) pana la cateva mii (controller si banda LTO 6 noua).
2. Compresie si/sau deduplicare cu un appliance dedicat. DataDomain e o solutie foarte faina, capabil de rate mari de deduplicare cand e vorba de backup, mai ales ca se face si inline. Aici e cel mai simplu, il adaugi in retea si publici volumul direct catre serverul de backup.

Pot sa le comprim dar din pacate Solarisul e atat de ciudat incat folosesc softuri aditionale pentru verificarea integritatii fisierelor. Daca le comprim nu mai reusesc sa le verific. Fac backup incremental 2 zile pe saptamana,  pe un server care automat e sincronizat din ora in ora pe o magistrala gigabit cu alt server in mirror. In restul de zile se face backup tot incremental din lipsa de spatiu dar pe alte servere. Sunt programate in asa fel incat cea mai veche copie sa aiba 7 zile cu week-end cu tot.
Deduplicarea e inutila, nu am 2 fisierele la fel...

Banda e o solutie, dar preturile sunt mari.....

Edited by bumpocbum, 21 January 2015 - 23:04.

Deduplicarea te ajuta si daca nu ai fisiere la fel. Compara datele la nivel mai mic de atat. La capacitatile pe care le ai acolo cred ca e momentul sa treci la ceva profi, neincropit. 7 TB de date in backup e enorm.

Multam de sfat, dar profi-ul ala costa al naibii de mult, nu mai zic de licente si alte minuni.

Nimic nu e gratis pe lumea asta, si ca sa faci backup corect, coerent si restaurabil trebuie a pretty penny sau multa munca de implementare si mentenanta + suport.
Intotdeauna m-am intrebat cati din cei care spun ca fac backup au reusit o restaurare full fara probleme.

danX, on 21 ianuarie 2015 - 23:02, said:

Poate pentru deceniul trecut, pentru asta e entry-level. Eu am 7TB "reali" conectati la tableta (vezi pe threadul de surface) cu deduplication "hacked" (date cu 1-2TB in plus). Apropo deduplication-ul de windows server ZBOARA pe Windows 8, spre deosebire de cel din ZFS unde daca n-ai (multe) zeci de GB RAM pentru citiva TB de date iti vine sa te impusti.

Unul dintre hard discurile promitatoare este cel de archival de la Seagate (nu va luati de archival ala, nu este vreun "read-only", e un hdd normal cu rpm 5400 si cu timp de acces nu extraordinar), rated pentru uz 24/7 inclusiv in vibratii de datacenter, cu MTBF enorm si cu pret bun (200 si ceva, dolari sau euro in functie de continent, pentru 8 TB).

danX, on 21 ianuarie 2015 - 23:02, said:

7TB de date in backup si ziua de astazi nu mai sunt wow. depinde de cat de mare e firma si cat de dependenta e de infrastructura it.

aeon, on 20 ianuarie 2015 - 13:29, said:

pentru astfel de cazuri extreme (deobicei team inbox) exista access la un terminal server atasat la un network storage array, format din cateva zeci de ssd, enterprise grade ,unde iti poti copia/reloca pst si integra cu outlook + indexa

totusi astfel de cazuri sunt rare datorita modului de lucru. exista un sistem pdm/plm + sistem de arhivare foarte complex in care se salveaza deobicei tot ce tine de un produs/serviciu oferit, de la idee la stadiul de eol

eu am momentan aprox 264K mailuri acumulate in aproximativ un an, in doua pst care ocupa 5.9GB -> ai folosit functia de compactare/consolidare a fisierelor pst? eu am simntit o crestere de performanta dupa indexare concomitent cu o reducere a dimensiunii considerabile.

"network storage array,format din cateva zeci de ssd"
hihi, cred discutam de sume care depasesc bugetul IT al unei firme mici pe cativa ani

pai da dar aici vorbim si de o medie de 150-300 de utilizatori care calaresc serverul acela.

la o firma mica merge si o solutie mai ieftina si dimensionata corespunzator.

7 TB de date nu sunt mult, poate doar cele 10 milioane de fisiere ( sau mai multe) care ocupa aceasta capacitate , mai ales ca Solarisul face indexarea la 3 milioane fisiere pentru a "descoperi" unde s-a modificat 1 bit de informatie intr-un fisier si automat sa il replice  in ....1-2 min, viteza de copiere atingand 1000 Mbps‎ in replicare (atata poate placa de retea). Serverele (2 buc) au costat impreuna 14 mii euro si lucreaza in mirror perfect sincronizate. Sunt costuri mari pentru a atinge viteze mari. Daca mai fac si socoteala ca util sunt per total 24 TB din cei 48 TB nu e chiar ieftin. Plus discurile de spare. Testat de mine la 2 discuri din matricea RAID-Z de 24 TB picate se reface informatia impecabil, discurile hot spare intrand automat.  Daca nu era atat de "aiurea" Solarisul cred ca ii faceam reclama peste tot.... Net superior fata de vitezele atinse pe RAID-urile hardware dedicate, si cu sisteme win....
Pentru incheiere mai am si un un sistem de replicare pe servere Windows, indexarea a 3 mil fisiere ( RAID 5 HW) si copierea tot pe magistrala GB  a 30GB de date modificate dureaza undeva la 1h si 30 min. Cum naiba face Solarisul aceeasi treaba in 2 min e un mister pentru mine....
Am verificat acum, doar 8 GB memorie (RAM) pentru fiecare server.

Edited by bumpocbum, 22 January 2015 - 20:51.

7 TB pentru filme acasa nu e mult. 7TB pentru backup-uri, fara sa faci arhivare, e mult.

Pentru o organizatie nu exista limite predefinite, depinde ce faci, poti sa te descurci cu yahoo si dropbox free sau poti sa generezi zeci de PB (de care sa mai ai si nevoie!) pe an.

aeon, on 20 ianuarie 2015 - 13:29, said:

Pentru arhivare email exista solutii dedicate http://en.wikipedia....rchive_software .