Cum citim disk-urile JBOD?

Detin un N.A.S. ZyXEL NSA320 in care am instalat doua HDD-uri. Nu am optat pentru RAID, ci pentru JBOD fara optiunea "expand", deoarece nu toate datele de pe cele doua HDD-uri sunt cu adevarat importante, asa ca nu avea rost sa limitez spatiul. Pentru datele mai importante de pe un HDD am efectuat backup pe celalalt HDD (ceea ce s-ar putea dovedi a fi nu tocmai util).

In cazul meu, toretic ar trebui sa pot accesa oricare HDD in mod independent de pe orice computer cu Linux, adica daca pateste ceva unul dintre HDD-uri, atunci ar trebui sa pot accesa informatiile de pe celalalt.
Daca as fi optat pentru "expand" (termen utilizat de Zyxel), aceasta optiune ar fi creat o singura partitie pe ambele HDD-uri care ar fi fost vazute ca un singur HDD de capacitate mai mare si care prezinta avantajul cresterii vitezei de accesare (de exemplu, un fisier este fragmentat si scris/ citit pe/ de pe ambele HDD-uri simultan), in schimb prezinta dezavantajul imposibilitatii recuperarii datelor in situatia unei defectiuni.

Iar practic, din ce am citit, situatia nu ar fi tocmai fericita nici in primul caz (adica daca a fost instalat cel de-al doilea HDD dupa primul si nu ambele simultan), chiar in situatia in care s-a optat pentru JBOD fara "spanning", "striping" etc., deoarece JBOD in acceptiunea celor de la Zyxel nu inseamna o independenta totala a celor doua HDD-uri, felul in care este partitionat fiecare HDD fiind nestandard...
Asa ca de ceva vreme ma framanta intrebarea: "Cum recuperez datele daca mi se strica unul dintre HDD-uri sau se defecteaza N.A.S.-ul?"

Adresasem mai demult o intrebare de acest gen si la alt topic: http://forum.softped.../#entry14938978
(Link-ul din postul respectiv este catre un screenshot cu outputul comenzii "fdisk -l".)

Se pare ca este extrem de rar discutata o asemenea problema: fie din cauza faptului ca majoritatea dintre noi nu am avut de-a face cu astfel de situatii, fie din cauza ca majoritatea opteaza pentru RAID si prea putini isi fac griji privind recuperarea datelelor respective de pe disk-uri in JBOD, fie datorita faptului ca cei care au experienta in astfel de probleme pastreaza solutiile doar pentru ei...

O solutie posibila la problema expusa mai sus am gasit pe ubuntuforums.org in threadul Reading NAS JBOD drives.
Reproduc partea semnificativa a discutiei:

Quote

Quote

Despre JBOD: Non-RAID drive architectures, "Just A Bunch Of Disks" (JBOD).
Despre mdadm: http://en.wikipedia.org/wiki/Mdadm

Sper sa va fie si voua informatia de folos in situatia in care aveti nevoie sa recuperati datele de pe un astfel de HDD!

Cred ca se confunda serios lucrurile iar sfatul cu lasat automount-ul lu' Ubuntu sa-si faca de cap poate sa fie pagubos (desi poate sa fie si functional) dar nu contine mare informatie.

JBOD pe romaneste inseamna ca (in linux) kernelul o sa vada discurile ca niste block device-uri (adica la fel ca orice stick, hard disc intern sau extern, etc). Cum e organizata informatia logic e o cu totul alta poveste si total independenta de JBOD. In cazul de fata e evident ca NAS-ul pune un header RAID astfel incit device-ul e shiftat si nu poti monta (de fapt nici vedea ok nimic cu fdisk -l). Asta e caracteristic versiunilor mai noi de RAID: https://raid.wiki.ke...erblock_formats (a se observa ca e cea mai de incredere informatie pe care o puteti gasi, direct de la kernel.org).

Fara prea mare bla-bla in practica comenzile interesante sint:

mdadm --examine device (device-ul normal, nu md0, etc)

mdadm -A (eventual cu --force, vorbim de alt sistem curat nu NAS-ul care se crizeaza probabil si cine stie ce mai ruleaza in background) ar trebui sa iti faca un device pe care sa poti sa-l montezi direct (si probabil asta face si automount-ul din ubuntu, dar nu m-as baza pe el daca tin la date)

Pentru avansati:

In cel mai rau caz trebuie gasit offsetul la care incepe cu adevarat partitia ta si creat un nou device care sa inceapa cu acel offset (calculat din mdadm --examine si/sau informatia de la kernel.org si/sau obtinut prin examinarea directa a device-ului, fie manual fie cu un program care gaseste "inceputurile" de filesystemuri cunoscute, http://www.cgsecurit...g/wiki/TestDisk e o varianta dar mai era una "clasica ce imi scapa momentan). Odata aflata valoarea se face un device cu:

losetup -f -o offset /dev/sdx (sdx fiind device-ul tau raw)

Pe care o sa il poti monta direct dupa aia.

Astfel de discutii apar destul de rar, deoarece in general numai in mediul enterprise vorbesti de RAID in general sau JBOD. JBOD e o metoda extrem de rar folosita, la fel ca si RAID-0 (standalone).
Scopul final este sa oferi High Availability (HA) si daca tie iti crapa JBOD-ul sau un RAID-0 pana faci restore din backup, plangi si evident nu ai cum sa mai vorbesti de HA.
Acestea sunt solutii in general folosite de home users, care daca isi pierd colectia de filme full HD, tuturor li se rupe, inclusiv celor care sufera pierderea. De ce? pai n-are RDS-ul 1Gbps cu ~10E/luna degeaba...
Oricine tine la datele sale are un backup, daca nu macar un raid1/5 setat si cand pica un disk din raid, n-ai decat sa-l inlocuiesti si pana acum o singura data in ~10 ani de "experienta" in IT am vazut un raid distrus complet si asta din cauza erorii umane.

JBOD este interpretat si aplicat in multe feluri. f300 a sesizat corect faptul ca N.A.S.-ul creeaza, de fapt, un fel de RAID si de aici problemele. Practic este un fel de combinatie intre JBOD si RAID 0 utilizata de catre ZyXel intr-o maniera "custom" pe care nu o documenteaza si nici nu ofera solutii pentru recuperarea datelor.
Daca as fi stiut de la inceput cum stau lucrurile, atunci as fi optat pentru RAID 1, chiar daca aceasta insemna sacrificarea unui HDD (amandoua fiind de cate 2TB, acelasi model). Acum este prea tarziu sa o fac, deoarece nu am unde sa mut provizoriu aproape 4TB de date.
O singura solutie definitiva de recuperare a datelor, 100% sigura pentru toate situatiile nu pare sa existe. In plus de aceasta, pentru a nu risca pierderea definitiva a datelor ar trebui operat pe o copie a partitilor, ceea ce presupune existenta unui alt HDD de cel putin aceeasi capacitate...

@Huza
Exact. JBOD este o solutie pentru home useri. Din pacate majoritatea home userilor nu isi permit sacrificarea banilor pentru HDD-uri de capacitate mare pe care sa le foloseasca doar pentru backup. Cine opteaza pentru un ZyXel ieftin este putin probabil sa opteze pentru RAID 1 sau superior, asa ca cel mai probabil va sfarsi cu dispunerea HDD-urilor ca JBOD. Totusi nu cred sa fie majoritatea home userilor care opteaza pentru JBOD indiferenti fata de necesitatea recuperarii datelor, oricat de performanta ar fi conexiunea la Internet oferita de ISP, deoarece nu poti avea garantia ca vei recupera toate colectiile de carti, filme, seriale TV, muzica, software etc. adunate de-a lungul a cativa ani. Mai curand exista alte explicatii pentru 'optimismul' cu care majoritatea trateaza posibilitatea nefericita a pierderii datelor...

Edited by _-_, 11 November 2014 - 10:38.

Am mai gasit o discutie similara celei expuse in primul post pe forums.linuxmint.com: Cannot see my JBOD / HDD.

Reproduc partea semnificativa din discutie:

catweazel wrote:

Quote

jonas-e wrote:

Quote

Edited by _-_, 11 November 2014 - 10:53.

cand montezi 2 diskuri pe un controler RAID initial toate sunt JBOD-uri (adica o adunatura de discuri fara o logica aparte)
Sunt listate de catre controler ca JBOD_uri pentru ca inca nu au o logica RAID asignata.
De ce ZyXEL nu aplica reguli generale nu imi este cunoscut sau nu am inteles eu de ce au ales aceasta metoda aparte de semnare a discului.

Nu prea se vorbeste de JBOD-uri pentru ca este cel mai jos nivel de prezenta a unui disc instalat pe un contoler cu capabilitati RAID.
Backup se tine pe alt device fizic, independent de locatia originala.

Edited by Mihai_3, 11 November 2014 - 11:04.

Pentru a clarifica (sper complet) - termenul de JBOD este folosit aici relativ impropriu, doar ca o eticheta in GUI care sa sugereze ca discul respectiv e independent (ca structura logica nu e cea cu o partitie normala e nerelevant).

In mod normal JBOD inseamna ceva de genul asta:

[ http://www.aberdeeninc.com/abcatg/IMCATG/JBODv2.jpg - Pentru incarcare in pagina (embed) Click aici ]

Pe care il legi la un calculator (sau contine deja in interior "un calculator") si discurile sint prezentate ca discuri simple pur si simplu (/dev/sda, /dev/sdb, etc). Cu diferite interfete, chiar si USB (desi mai rar), SCSI si fiber channel pentru alea mai scumpe, mai nou daisy-chain SATA pentru cele vag consumer, etc. Dar ideea e ca dupa ce ai suportul potrivit in kernel discurile respective se vad fiecare ca un disc normal, fara sa existe vreun controller RAID care sa-ti faca din n discuri unul singur. Ce vrei tu sa faci cu ele e la alegerea ta.

Alegerea termenului de JBOD la NAS-ul ala e cu atit mai nefericita cu cit e un rahatel de arm board cu niste interfete SATA (probabil exact doua daca n-are si vreuna externa). Fizic e la fel de JBOD cum sint jbod hard discurile dintr-un desktop oarecare, ai o placa cu doua SATA si cu doua discuri.

Un disk sau mai multe capata denumirea de JBOD doar si numai doar daca aceste discuri sau el singur este montat pe un controler cu capabilitati RAID. (via mainboard sau controler pe port PCI...etc)

Daca un PC normal are mai multe porturi pe mainboard dar contolerul nu are capabilitati RAID ajutate de obicei de definitii specifice si setari in BIOS atunci nu este JBOD este este pur si simplu un disk normal.
Daca se face un RAID software pe aceasta placa aia este cu totul alta mancare de peste si nu o discutam aici.

Edited by Mihai_3, 11 November 2014 - 15:56.

Mihai_3, on 11 noiembrie 2014 - 15:54, said:

Nu este adevarat. Toate sculele mai putin capabile (=relativ ieftine, dar nu va ginditi la minuni) de genul celei din poza de mai sus NU au absolut nici o capabilitate RAID, iti arata discurile ca n block devices (unde n e exact numarul de discuri).

Daca iei o scula mai scumpa ce stie si RAID poti sa o folosesti SI CA JBOD, daca ai una "basic" poate DOAR JBOD si asa se si cheama (JBOD enclosure).

Chiar si daca ar fi asa oricum e nerelevant pentru cazul de fata. JBOD in cazul asta e doar eticheta pe care s-au gindit sa o puna in interfata web pentru optiunea respectiva.

Edited by f300, 11 November 2014 - 16:07.

ZyXEL NSA320 (modelul pe care il detin eu) este un N.A.S. ieftin. Cu toate acestea are capabilitati RAID (doar RAID 0 si RAID 1) + JBOD (cu sau fara optiunea "expand") realizabile, din cate citisem eu pe diverse site-uri inainte de a-l achizitiona, prin intermediul unui controller RAID (hardware). Acum observ ca nu apare in specificatiile modelului, insa cu siguranta era vorba de un controller hardware, nu software.

f300 scuza-ma ce nu este adevarat ?!?! ....afirmatia mea definea cand un disk este JBOD

eu in afimatia mea citata de tine NU ma refeream la modelul din poza prezentata de tine.

_-_, on 11 noiembrie 2014 - 16:23, said:

Nu cred (pot sa ma insel dar nu cred). Tu de ce esti sigur?
In primul rind e relativ ciudat un controller hardware pentru numai doua discuri (pentru ca nu are de calculat nimic, asa cum are la variantele mai complicate).
Dar mai important din cite imi dau seama NAS-ul tau are un SoC Marvell 88F6281 - poti sa iei specificatiile de aici: http://www.marvell.c...ssors/kirkwood/
Nu e nimic special, nu zice de nici un RAID, doar de doua porturi SATA, absolut normale.

Cred ca are un Serial ATA/300 RAID Controller
iar acestea au prin definitie doar 0, 1 si JBOD

Deci DA este hardware.

Edited by Mihai_3, 11 November 2014 - 17:01.

Crezutul ca si crezutul dar imi spui si mie unde se ascunde in documentul ala cu "Hardware Specifications" controllerul ala si unde spune ce moduri suporta? Nu de alta dar in 140 pagini super-detaliate ar putea sa-l aminteasca macar undeva, dar n-o fac.

Pai am observat si eu ca nu apare la specificatiile hardware (am scris si mai sus). Totusi, cu siguranta are un controller, dar mai limitat, deoarece nu suporta decat RAID 0, RAID 1 si JBOD. Culmea este ca la o cautare pe Google nu am mai regasit nicio precizare in acest sens. Am gasit doar anumite referiri la un model apropiat, NSA325 (un succesor al lui NSA320) cum ca ar fi dotat cu "RAID onboard" sau "Fake-RAID", dar nu scrie nici ca ar fi "software RAID".

Nu vorbim de aceleasi specificatii. Eu vorbesc de cele de la SoC care sint extrem de detaliate (ma refer la sute de pagini), atit software cit si hardware, iti spun exact care sint pinii, ce comenzi trebuie sa dai, etc. In baza astora poti sa iei cipul si sa iti faci propria scula cum vrei tu, sa expui ce porturi vrei tu (audio, SD, 2xgigabit ethernet, etc).
Daca nu este acolo atunci nu este.
Si repet, controller hardware pentru doua discuri e relativ absurd, RAID-0 si RAID-1 nu fac decit sa distribuie cumva aceiasi biti, lucru extrem de simplu de realizat cu transfer DMA normal. Nivelele superioare, DA, necesita procesare suplimentara pentru ca ce ai de scris pe (unele dintre) discuri NU este ceea ce ai deja undeva in memorie, ci rezultatul unor calcule.

Putine NAS-uri au controller hardware raid... majoritatea ruleaza diferite solutii custom bazate pe linux si evident software raid.
Cum dracu sa ai pretentia de la o scula de 200$ sa aiba hardware raid cand un controller raid hw e 3-400$?

Huza, on 11 noiembrie 2014 - 22:56, said:

Mai rau, daca vorbim in dolari 89.99$ cu transport inclus la amazon (si in mod sigur se poate intotdeauna si citiva dolari mai ieftin ca amazonul e ieftin dar nu absolut cel mai ieftin).