Sistem back up firma

Sper ca raid software-software nu struto-camila de-asta HP, nu de alta dar "proprietary software components" presupun ca nu ruleaza pe "orice masina" :-)

Deja s-a ajuns la 5 pagini !!! Si cand te gandesti ca initiatorul topicului nu dorea decit o idee cum sa-si salveze niste fisiere .
@initiator , cumpara-le dom'le niste stick-uri de memorie pe usb si cand termina programul fiecare salveaza datele pe stick-ul propriu.
Deja vad ca s-a ajuns la discutii de back-up pentru fabrici si uzine ,milioane de euro.....!!

Edited by ndor, 21 January 2015 - 12:43.

 danX, on 21 ianuarie 2015 - 09:39, said:

Ma intreb ce investii ar trebui facute ca sa nu plece userul cu pst-ul in care are 2 ppt-uri si 3 bancuri... Oricum e foarte complicat sa blochezi un user care are acces la net sa nu scoata macar un .doc... @ADM ce RAID software folosesti, eu am opensolaris/zfs. Cu RAID hardware level 5 de 2 ori s-a dus naibii matricea cu date cu tot, la rebuild.  Controler de calitate destul de scump (de firma...) .

Edited by bumpocbum, 21 January 2015 - 14:25.

 ndor, on 21 ianuarie 2015 - 12:42, said:

Si deja de vreo 3 pagini nu a mai dat pe-aici.
Cred ca l-ati speriat...

 bumpocbum, on 21 ianuarie 2015 - 14:18, said:

Ca sa previi asa ceva ai nevoie de cateva chestii:
- administrarea endpoint-urilor (statii, tablete, telefoane) din retea inclusiv la nivel de porturi USB si mobile device management.
- administrarea userilor prin LDAP si ABSOLUT nici un utilizator nu are drepturi de admin in afara de adminul IT. Si poate CIO/CFO/CEO/patron, daca e cazul;
- monitorizare analiza trafic pana la layer 7 daca e cazul si interceptarea tuturor pachetelor care trec prin retea, in/out.
- integrare cu aplicatiile folosite pentru a monitoriza: atasamentele emailurilor, datele trimise in corpul mailului, transferul de fisiere, etc.
- Interzicerea utilizarii si imposibilitatea instalarii aplicatiilor care permit trafic de fisiere pe port 80 cu server extern, anonimizatoare de trafic si VPN: TeamViewer, Skype, Yahoo Messenger, XXX VNC, Hamachi, etc.

Astfel poti dormi relativ linistit si un rau voitor poate fura date doar daca face poze la ecran.

 danX, on 21 ianuarie 2015 - 14:56, said:

Asta daca nu te face adminul cum s-a intimplat la NSA.

Ok....
Salut. Pana la urma cred ca voi face varianta asta. Un pc cu 2 hdd in raid mirroring legat la retea. Dar imi va trebui un soft care sa ma ajute sa fac gestionarea a ce salvez.
Hai sa dau un exemplu concret. Pe fiecare laptop vreau ca tot ce se salveaza pe partitia d: si de asemenea ce se modifica sa se salveze automat(instant sau o data pe zi) pe server. Se poate asa ceva?
Daca da cam ce ar trebui ar trebui sa cumpar? si de unde? nu ar strica niste linkuri. atat partea hardware cat si softul. si daca exista si soft gratis cu atat mai bine. Dupa ce leg unit centr la retea oare ma descurc sa configurez softul sa faca ce vreau eu? Multumesc.

Pai vezi ca ai avut cateva variante.
Linux, Samba si Amanda sau Bacula.

Daca pentru administrarea generala a serverului gasesti Webmin, consola grafica pentru software de backup free - mai greu. Dar manualele de comenzi sunt disponibile si cu un minim de cunostinte cred ca le-ai putea invata repede.

Edited by danX, 21 January 2015 - 16:20.

Dar de ce nu faci sa lucreze direct pe server ?

O solutie ar fi sa pui in fiecare laptop in Task scheduler sa ruleze la ora al care vrei tu o comanda batch de genul:

xcopy d:\numefolder s:\numefolder2 /D /E /C /R /H /I /K /Y

Unde numefolder e numele folderului de pe partitia D pe care il vrei copiat s:\ e partitia shared pe server, numefolder2 e folderul unde vrei sa copiezi

Aici gasesti parametrii ptr xcopy: http://www.microsoft...y.mspx?mfr=true

Practic linia data mai sus copiaza tot ce nu exista si tot ce exista dar este mai nou - modificat.

Asta e ptr XP, in 7 exista si alte posibilitati cu PowerShell, in afara de xcopy.

Am citit despre xcopy dupa ce am vazut acum. Pare super. Pai in acest caz imi trebuie doar o unitate centrala cu 2 harduri care sa fie in oglinda tot ce se scrie pe unul. Aici toate calculatoarele au win 7 pe ele dar banuiesc ca merge comanda si in win7 nu?

 danX, on 21 ianuarie 2015 - 14:56, said:

Ce scrii tu aici deja trece in sfera BigBrother care implica costuri foarte mari. Iar pentru analiza pe layer 7 deja trebuie sa fii fan Linux, sau echipamente gen FortiGate sau mai sus.

Pentru initiator, cauta Uranium Backup, partea de free acopera tot ce te intereseaza. Iar pentru partea de hardware 2 hdd in SATA3 mirror Raid cred ca e mai mult decat suficient. Totusi ai grija cum programezi backup-ul deoarece  o corupere de date pe statii se va propaga si in backup. Asa ca obligatoriu si ceva snapshot-uri pe 2-3 zile.  Pentru solutii "pe bani" poti incerca Symantec Backup Exec.
PS: partea de date esentiala se va face  periodic si pe suport optic !!!!!

Edited by bumpocbum, 21 January 2015 - 17:48.

Bun...acum daca ai luat hotararea logica...eu iti recomand asa:
pe server pui samba. Toti monteaza pe D un share din samba. Prin urmare, toata lumea o sa salveze direct pe server. Daca nu discutam de fisiere cu dimensiuni de 200-300 Mb...nu o sa simte diferenta.
pe server...faci raid cu mdadm (vezi ca-l poti configura sa-ti trimita mail cand un hdd crapa).
Pe server, faci 3 raid-uri:
md0: 200 Mb (/boot unde se tin doar fisierele de boot, aka kernel, initrd, grub)
md1. 5Gb (10...ca nu se stie) pe care-l montezi ca root (aka / ).
md2. Restul de spatiu si pui peste un lvm (logical volume manager). O sa-ti permita ca pe viitor, poate mai adaugi un RAID 1 pe care-l bagi in lvm...si poti sa-ti redimensionezi partitia etc.
md2 il montezi in /mnt/storage.
in mnt/storage faci doua foldere:
/mnt/storage/backup (pentru backup incremental la /mnt/storage/share)
/mnt/storage/share...asta-l pui la dispozitia user-ilor.

cu rsync (daca ma prinzi intr-o zi in care sunt si dragut...o sa-ti trimit un script)...faci backup incremental in /mnt/storage/backup.
script-ul in bagi in cron si sa-ti ruleze zilnic la ora 5:00 dimineata.
Pastrezi backup-urile 60 zile (le faci cu hard link...prin urmare, urmatoarele backupuri or sa abia dimensiunea doar a continutului diferit......ma rog...citeste despre hard link si o sa inteleg, de exemplu, ai un fisier de 1Gb pe data de 1 aprilie, pe data de 2 aprilie fisierul nu s-a modificat, prin urmare o sa-l gassti si in/backup/1 si in backup/2...dar o sa fie acelasi fisier...prin urmare, o sa ocupe pe disc ambele fisiere 1Gb...nu 2 )

 bumpocbum, on 21 ianuarie 2015 - 17:42, said:

Ideea era ca exista solutii pentru orice buzunar, bugetul e dat de raspunsul la simpla intrebare pe care trebuie sa si-o puna orice patron/CEO: Cat ma costa daca pierd/mi se fura datele esentiale ale companiei. Daca raspunsul e "milioane" sau "faliment" banii investiti in asa ceva nu mai sunt atat de multi. Backup-ul, securitatea si replicarea sunt chestii pe care le faci dar la care nu iti doresti niciodata sa apelezi.

OnTopic: Suportul pe mediu optic e useless pe termen mai lung, DVD-urile sau Bluray-urile moderne se cojesc dupa 2-3 ani. Daca vrei sa tii datele ani buni si arhivele pana la 10 ani exista o singura solutie: banda magnetica. Unitati se pot cumpara SH la bani decenti, la fel si controllere. Iar pe un LTO4 poti pune linistit 400GB pe care sa ii poti citi si peste 5-7 ani.

E hai sa nu exageram cu mediile optice, eu am inca primele cd-uri scrise de mine (jumatatea anilor '90) si primele dvd-uri (inceputurile anilor 2000) si merg, in general.

Oricum nu recomand (si nu am mai luat dvd-uri din august 2007) pentru ca dimensiunea e mica dar de mers (in general) merg. Ca sa fie treaba rea nu sint 100% sigure, chiar alea KODAK archival (care zice ca au fost "testate" 100-200-300 !!!!! ani - cu ceva small print, evident...) precum si Traxdata archival something - tot asa - mai au cite un sector necitibil. Dar cojit dupa 2-3 ani - NU, chiar la cele mai ieftine.

Oricum arhivarea datelor digitale pe termen lung nu e mare chestie, doar ca lumea nu intelege ca nu e un produs anume ci un proces, trebuie pur si simplu sa copiezi datele inainte sa se distruga.

Edited by f300, 21 January 2015 - 20:15.

 danX, on 21 ianuarie 2015 - 20:05, said:

Uite cum e cu suportul optic. In 97 am inceput sa fac backup-uri pe cd-uri (cate 3 copii pentru fiecare pachet de date) . La inceputul lui 2013 in urma coruperii datelor care s-au propagat in toate serverele de backup, inclusiv in snapshot-uri, (am fost in concediu si nimeni nu a bagat de seama) am fost nevoit sa scot de la "naftalina" suporturile optice pentru a reface toata arhiva. In total au fost peste 250 de cd-uri, DVD-uri, Blu-Ray-uri. Un singur DVD a fost corupt, dar avand inca 2 identice nu au fost probleme la recuperare. Volumul total a fost de ceva TB de date, pe care i-am refacut INTEGRAL, pana la ultimul bit de informatie.  In 97 primul cd a fost scris cu o unitate externa pe SCSI, un Yamaha daca mai tin bine minte cu softul GEAR, unitate pe care firma a dat peste 1000$ (una mie) la vremea respectiva. Banda magnetica nu am folosit din cauza costurilor ridicate. In plus de asta nu am incredere in informatiile stocate pe medii magnetice.... Din 97 pana acum au trecut ceva ani....

Edited by bumpocbum, 21 January 2015 - 21:26.

Acum ca tot suntem la capitolul backup de fisiere pun si eu o intrebare. Cum fac sa ma feresc de fisiere corupte ? Adica mai detaliat, pe serverul central am fisierul 1.doc. Acest fisier il mai am pe 3 servere de back-up programate pentru zile diferite. In situatia in care fisierul 1.doc se modifica, de catre utilizator intr-o saptamana se actualizeaza si backup-rile, totul e ok. Problema apare in momentul in care fisierul se corupe din diverse cauze, sau e alterat de un virus. Sistemul incremental simte ca fisierul e modificat si il propaga in backup-uri, in acest fel devenind inutil dupa 1 saptamana in care imi pierd si ultima versiune valida. Precizez ca volumul total de de date este undeva la 7-8 TB de date, cam 3 mil de fisiere, oricare din ele se poate modifica de catre utilizatori la un moment dat.

Edited by bumpocbum, 21 January 2015 - 21:58.

Vezi semnatura mea...

maresti perioada in care se tin backup-urile.
iar cand vorbim de backup-uri...te gandesti la 3-4 ori spatiul de stocare necesar.
Concret...la una bucata firma am 55 Gb fisiere utile...iar back-up-ul la ele (pe 6 luni) are aprox 170 gb. Dar adevarat, marea majoritate sunt fisiere doc/pdf/xls...si nu toate se modifica zilnic.
la 7-8 Tb de date iti recomand un sistem cu raid 6 (ai doua discuri de paritate). Si poti sa faci un raid mare de 20Tb (7 hdd-uri de 4 Tb)...pe care sa-ti pui back-up-ul.
Iar la cantitatea asta de date, situatia se complica, dintr-un motiv simplu: de regula placile de baza au 4-6 porturi sata. Tu o sa ai nevoie de 8 porturi.
Mai mult, in situatia asta, iti recomand ca OS-ul sa nu fie pe raid-ul mare de date. Daca nu ai multe servicii, cu log-uri multe etc...poti pune OS-ul pe un flash (daca-i linux, un flash de 4Gb este suficient). Iar /var il pui sau in ram, sau reduci cantitatea de log generata (sau o stochezi pe un alt hdd). flash-ul usb nu trebuie sa fie rapid. VIteza lui o sa conteze doar la timpul de boot al sistemului.
Inca o sugestie, nu's daca din aia 7Tb date sunt toti vitali...prin urmare, poti sa faci foldere separate la care sa faci backup.
Eu la o firma am rezolvat spatiu relativ usor (si acolo aveam vo 2Tb de date)...un script ce ruleaza noaptea, cauta dupa fisierele *.mp3, *.mp4, *.avi, *.mkv etc...si le sterge ...au ramas vo 100Gb de date

ATENTIE, RAID 6 este mare consumator de CPU, prin urmare, un single core vechi nu o sa-ti faca fata  daca o sa ai retea gigabit (samba consuma cpu, calculul raid-ului etc).