NAS 80TB

Salutare,
Asi dori sa-mi fac un NAS pentru o biblioteca de filme.
Nu prea stiu exact de unde sa incep, avand in vedere ca n-am mai facut asa ceva niciodata.

Planul e sa iau 8 hdd-uri de 10TB (WD NAS RED) si sa le pun RAID 5 sau sa folosesc Storage Spaces ?

Primadata asi lua 2 harduri de 10tb si tot la doua luni asi adauga la ele cate 10tb, sau pentru RAID 5 nu se poate asa ?

Ce carcasa HOTSWAP ar fi cea mai buna ?
M-am gandit la asta : https://www.amazon.c....3db65d3cf&th=1
Dar e cam mica si are doar un ventilator.

Pentru 80tb asi avea nevoie de 80+ GB de RAM ?

La freeNAS am inteles ca ai nevoie de 1gb RAM pentru fiecare TB

NAS-ul nu ar fi folosit 24/7, doar cateva ore pe zi deci nu am nevoie de viteza mare sau performanta.

Orice sfaturi ar fi foarte binevenite.

Edited by Biodomes, 01 October 2017 - 16:17.

Nu ma pricep mai deloc, in profunzime, la NAS si/sau RAID.
Am doar citeva intrebari, sa zicem de bun simt.

1. Mai precis, ce fel de filme, pentru ce scop?
(asta e mai mult de curiozitate)

2. Ai nevoie neaparat de 70 TB sau chiar mai putin (vezi mai jos) ?

3. Nu merge linkul amazon

4. Ai bugetul suficient (care ar fi acesta)?

5. RAID5 cu 8 harduri de 10 Tb bucata inseamna 70 Tb, performanta sporita doar la citire, nu si la scriere.
http://www.raid-calc...om/default.aspx
In realitate, "vazuti" de sistemul de operare, 70 Tb inseamna 63.66 Tb.

6. 1 Gb de RAM /  1 Tb HDD la freenas este rezomandat pentru Small and Medium Business:
http://www.freenas.o...e-requirements/
Citi useri vei avea simultan ?

Edited by buyonevideo, 01 October 2017 - 19:02.

1. Marea majoritate is documentare, ii un hobby ce il am de +10 ani. Unii colecționează cărți, eu documentare.

2. Din start nu am nevoie de 70TB , si 20 is deajuns. Dar in 12-18 luni asi vrea sa ajung acolo.

3. https://www.amazon.c...tone Technology

sau acesta https://www.amazon.c...rds=nas hotswap

4. Inca nu, acum am 3500lei (adun de o vreme). Am crezut ca carcasa si componentele fara HDDuri o sa fie maxim 1500 lei, dar nu prea pare sa fie asa de 'ieftin'
    M-am uitat si la servere second dar is scumpe si alea si nu stiu daca merita.

5. Stiu, si 63.66 Tb ar fi ok

6. Doar unul.

Am mutat topicul pe aria dedicata.

1. Daca e NAS, trebuie sa ruleze si un OS. Te-ai gandit la asta?
2. Filmele cum vor fi accesate? Prin SAMBA local sau ti-ai dori acces la un media server.
3. 70 Gb costa muti bani, iar daca faci si RAID, preturile se dubleaza.

Intai trebuie sa spui exact la ce te astepti si cum il vei folosi.

1. Windows 10 de pe un flash drive
2. Nu voi avea nevoie de soft media server, le am eu organizate intr-o baza de date personalizata, care cred ca e mai buna decat orice alt media server soft ca si Kodi sau altele.
3. cu RAID 1 ar costa dublu, eu asi vrea freeNAS cu un hdd de redundanță

cost final estimat ~16,000 lei (in 18+ luni)

Ce vreau e sa am toate filmele intr-un singur loc, sa pot face search si browsing fara sa caut printre hardurile din sertare care nici nu stiu ce contin.

Edited by Biodomes, 01 October 2017 - 20:16.

Wow
Pe de o parte, este absolut de admirat pasiunea si dedicarea.
Pe de alta parte, partea practica este... destul de ametitoare ca sa zic asa.
Si pe de alta parte, partea financiara... nici nu mai zic

Daca acum pleci de la 20 Tb, in 12-18 luni ajungi la 70 (63), te vei opri acolo sau tot mereu va creste nevoia de spatiu de stocare ?!

Search si browsing.... dar NU vizualizare completa si imediata a unui film ?!
In cazul asta, metadata si thumbnails ar fi suficiente
Probabil ca vrei si vizualizare, am zis doar asa....

Mai am o curiozitate: scoti si ceva bani din aceste documentare ?!Adi
Adica iti trebuie pentru munca (cercetare & documentare), ai vreun blog/vlog.... ?!

Alte sugestii:
- recompresie la calitate mai mica = spatiu mai putin ocupat
- ceva online, platit, bineinteles, pentru asemenea cantitate... desi nu stiu la ce preturi ai ajunge

buyonevideo, on 02 octombrie 2017 - 08:54, said:

Probabil ca nu, tot timpul apar documentare noi.

Quote

Exact, de pe NAS le pun pe usb stick si ma uit la ele pe TV sau PC.

Quote

Nu, si nici nu vreau, ar fi ilegal.

Quote

Corect.

Quote

Am avut un site unde erau toate documentarele organizate pe categorii, dar nu ma e online ca nu merita sa platesc serverul mai ales ca nu multi au fost interesati de site.
Acum il am pe server virtual si tot mai adaug la baza de date. Pest 80 de categorii si peste 120 de tags, deci e foarte practic pentru browsing.

Quote

Nici vorba, prefer video HD raw cu calitate lossless decat un SD rip, mai ales pentru documentarele de natura, cele de Attenborough etc

Quote

Cloud storage ar costa exponential mai mult, dar si daca n-ar costa mai mult, tot vreau sa le am la mine.

Quote

Unii cheltuie pe vacante in strainatate, tv 4k , masini scumpe etc. eu prefer sa-mi iau cateva harduri.

Edited by Biodomes, 02 October 2017 - 11:09.

Wow WOW
Din nou, este de admirat pasiunea.
Dar, iti recomand cu incredere sa apelezi la cineva care se pricepe si sa gasesti o solutie optima pentru tine.

Din ce spui tu acolo, ca NU vrei vizualizare direct din NAS, hmmmmm...... pai o sa cheltui vreo 4000 euro pentru o baza de date (??) ..... mai smechera (??).
Si o comoditate de citeva minute - adica cit ar dura sa bagi un hard in calculator - exista si aici hotswap.
Atit.

Zici ca vrei doar cautare, FARA vizualizare (sper ca am inteles bine).
Pai, cautarea se face DIRECT in fisierele video ?
Nu prea, ca nu prea ai cum asa ceva. Sau, poate, cum ziceam, niste thumbnails extrase la 1-10-30 de secunde....
Cautarea se face cum faci acum, in categorii si tags.
Deci...... de ce ai nevoie de NAS pentru asa ceva ?!

Eu folosesc WhereIsIt, am in el colectia de 726 727 de DVD-uri, discurile sint in rafturi in spatele meu.
Poate ca tu ai nevoie doar de o solutie de stocare, nu neaparat "live", adica sa functioneze non-stop.
Oricum, zici ca folosesti NAS "doar cateva ore pe zi" - restul timpului ar fi oprit ?

Mai departe, zici ca tot va creste colectia.
Pai, in acest caz, iti trebuie un NAS expandabil bine de tot.
Din cele 2 modele de mai sus, unul are 8, celalalt 12 bay-uri pentru harduri.
Probabil ambele variante cad, vor deveni insuficiente, dupa cum spui tu, in vreo 18-22 de luni.
Dupa aia ce faci, schimbi hardurile (exista mai mari de 10 Tb ?! sint de 12 si 16 Tb, din cite gasesc eu) sau NAS-ul ?!

Si acum sectiunea de curiozitate: dupa ce vizionezi documentarele, pentru cercetare & documentare.... hmmm.... ce faci cu acea informatie ?
Doar strict pentru cultura ta generala?
Sau scrii vreun articol/lucrare.... whatever...

Chiar reusesti sa vezi diferenta vizuala, fara sa cauti asta in mod special, dintre o captura video "originala" si una comprimata (decent, nu la maxim) ?!
Eu am stat citiva ani de zile si m-am uitat la filme 720p pe un tv de 46" 1080p si n-am avut nici o problema.
Acum, parca parca, daca sint putin atent la calitate si nu la actiunea filmului, mi se pare ca unul de 720p este putin mai blurat, mai neclare anumire contururi in anumite scene.

Edited by buyonevideo, 02 October 2017 - 15:16.

Quote

Da o sa mai mai interesez in cateva locuri inainte sa ma apuc sa cheltui. Pacat ca aici numai noi doi vorbim

Quote

Nu e vorba de comoditate, ci de accesabilitate. La peste 100k de fisiere, credema ca nu gasesti nimic daca le ai pe 20+ harduri in sertare. Plus daca vreau sa le vad pe toate si sa nu pierd datele am nevoie de RAID 5 sau Parity (Storage Spaces)

Quote

Pe site-ul meu fac Browsing cand is interesat de un anumit subiect (de ex Arhitectura) si odata ce am gasit titlul, il caut cu Search in NAS.

in loc de WhereIsIt o sa vreau sa folosesc Everything The program works as a search engine for your files that gives you real-time as-you-type search results. No matter how much data you have, no matter how spread out it is and unorganized it is, by the time you finish typing its name, you will have found your file.
[ https://i.imgur.com/e5wx6tu.gif - Pentru incarcare in pagina (embed) Click aici ]
[ https://i.imgur.com/e5wx6tu.gif - Pentru incarcare in pagina (embed) Click aici ]
[ https://i.imgur.com/e5wx6tu.gif - Pentru incarcare in pagina (embed) Click aici ]

Quote

da

Quote

Cu Storage Spaces poti tot timpul sa maresti (usor) capacitatea de stocare. Tu te gandesti prea in viitor, stai sa ajung la 64tb )

Quote

Nu scriu vreun articol/lucrare dar am pus in practica multe lucruri care au fost inspirate din documentarele ce le-am vazut.

Quote

Nu tot timpul si depinde foarte mult de captura raw lossless si de tipul de encodare. Dar la unele filme merita absolut (dar sigur ca majoritate filmelor ce le am nu is raw, si nici n-ar merita asa un fisier mare)

btw asa arata interfata de browsing
[ https://i.imgur.com/ZZuPWBb.jpg - Pentru incarcare in pagina (embed) Click aici ]

Edited by Biodomes, 02 October 2017 - 20:28.

De banii aceia, nu mai bine cumperi filmele, si colectiezi bluray-urile?

ba da, cumpar si bluray-uri dar 99,99% din documentare nu apar pe bluray, si 90% din ele nu is nici pe DVD. Majoritatea is capturi TV.

Biodomes, on 02 octombrie 2017 - 20:26, said:

Cred ca nu ne intelegem pe subiectul acestei chestiuni.
Browse / Search, practic, nu au absolut nici o legatura cu fisierele video in sine.
Fisierele video intra in chestiune abia cind faci vizionare.
Deci, pot sa fie aceste fisiere video oriunde: pe hard in sertar, in NAS, online in Tanganika.
Cind faci cautare, fisiere video nu sint accesate absolut deloc.

Biodomes, on 02 octombrie 2017 - 20:26, said:

Nu la asta m-am referit, ci la faptul ca cele 2 NAS au sloturi fizice pentru 8 sau 12 harduri.
Deci, cind le ocupi pe toate, ori schimbi NAS, ori schimbi hardurile cu unele mai mari.
Iar asta, dupa cum spui tu, se va intimpla foarte repede, in aprox. 2 ani.

Biodomes, on 02 octombrie 2017 - 20:26, said:

Chiar arata foarte misto, destul de bine organizata.
Deci, cum ziceam mai sus, punctele cheie pentru tine, din cite vad eu, ar fi cautarea si siguranta datelor.
Pe mine asta ma duce cu gindul la o solutie doar de stocare pura, nicidecum la NAS, care se axeaza si pe accesarea datelor (vizionare video, in cazul tau).

Ce vrea el e deja complex din multe puncte de vedere si e complex din pct de vedere financiar.

Eu inteleg asta:
- spatiu mare/urias de stocare
- redundanta minima (ceea ce e aberant).
Vezi aici un Calculator RAID.
- e anacronic sa le scoti de pe unitatea de stocare pe USB, ca sa te uiti la TV.
Acum exista SmartTV sau Android Boxes. Poti rula un media server sau Plex.
- pretul ajunge sa fie piperat, dar plateste clientul.

Mergand pe HDD-uri de 10TB, 1 buc ~ 2000 lei.
Daca folosesti 4 HDD = 40Gb, cu redundanta minima RAID 5 => 30 Gb disponibili.
Daca folosesti 9 HD de 10Tb, vei avea 80 Gb Date si 10 Gb redundanta RAID 5.

Asadar, ai nevoie de o unitate care sa mearga cu minim 10 HDD-uri.

DiskStation DS1817+

Maximum Internal Raw Capacity 80 TB (10 TB drive x 8)

Pret = 5200 lei (chiar decent)
+ 8HDD * 2000 lei = 21 200 lei ~ 4600 eur pt o solutie care merge, usor de utilizat si teoretic fara mari dureri de cap.

Folosind RAID5 sau SHR ai avea la 70Tb storage si 10 Tb redundanta.

Nu uita sa adaugi un UPS APC in ecuatie.

Pe RAID nu voi merge, ca din ce am citit e recomandat doar pentru mult mai multe harduri, eu o sa am maxim 16 intr-un NAS

Synology e mult prea scump, pot (sper) sa fac NAS-ul (fara harduri) mult sub 5200lei, si o sa fie custom, deci daca se strica ceva pot sa inlocuiesc.

Eu is tentat sa merg cu Storage Spaces si cu carcasa asta :
https://www.emag.ro/...b/pd/DKDDK7BBM/

Quote

Daca ma gandesc in timp cat o sa coste, nici nu ma apuc. Inca nici vorba sa am atatia bani, dar in fiecare luna pun deoparte din salar si tot o sa mai iau cate un HDD. Anul viitor o sa apar si de 20TB.

Incap 16 HDD-uri de 3,5'' deci o sa am loc pentru upgrade in timp.

La componente inca ma documentez, ce placa de baza, procesor si daca merita/am nevoie de RAM ECC

Quote

costul mare o sa fie hardurile, atunci de ce sa nu le fac un NAS in care sa fie toate accessible deodata si fara riscul de a pierde informatie.

Quote

minima dar sigura, de ex cu Storage Spaces si Parity de 1 drive o sa pierd mai mult spatiu pentru redundanta fata de un RAID 5. Se poate face si Parity cu 2 drives, poate intr-un viitor ideal.

Cu cat aceste sisteme devin mai complexe, e de dorit sa ai redundanta.
Baga un ochi ca sa intelegi ce insemna RAID.

Cu cat ai mai mult spatiu ocupat, iar redundanta e mai mica, cu atat timpul de refacere a unei matrici RAID e mai mare si sansele de reusita scad, pentru ca apar probleme.

Ce spui tu cu 1 HDD parity check, este de fapt RAID 5!
Ideal ar fi sa ai o placa RAID hardware care sa faca asta, dar costa mult.

Alternativ poti merge pe RAID software, dar nicidecum cu un stick pe care ai Windows.
Recomand un mic SSD cu OS-ul.

Ai nevoie de un linux robust si bine configurat.

Pe langa acea carcasa (ce probabil va face ca un avion), mai ai nevoie de niste chestii:

1. Placa de baza capabila, cu 16 porturi SATA
1.1 Procesor
2. O sursa capabila.
3. Mult RAM, in fct de OS-ul folosit si alegerea sistemului de fisiere.

Cred ca alegerea Synology este ieftina pt ce ofera.

Adm eu vorbesc de Storage spaces Parity, e cu totul altceva fata de RAID 5 unde cum zici tu, ai nevoie de un RAID controler scump si refacere matrici ia o vesnicie la marimile astea.

Uitate si tu la video-ul asta, tipul explica foarte bine de ce Storage Spaces e mai recomandat :

[ https://www.youtube-nocookie.com/embed/15XP2WqyFIw?feature=oembed - Pentru incarcare in pagina (embed) Click aici ]

Quote

atata timp cat raceste hardurile, nu ma deranjeaza zgomotul

Biodomes, on 03 octombrie 2017 - 09:54, said:

Storage Spaces doar lucreaza cu discuri de capacitati diferite. In rest nu rezolva paritatea altfel decat un RAID hardware, e doar soft.

Edited by neagu_laurentiu, 03 October 2017 - 09:56.

La Storage Spaces poti modifica oricand marimea matricei, cu RAID am inteles ca ia mult mai mult timp.
Is novice la asta deci sa ma corectati daca gresesc.

Edited by Biodomes, 03 October 2017 - 09:59.