[enpera]

Idézet: Jahno - Dátum: 2012. 02. 18. 21:07

Úgy rá vagytok izgulva erre a hotswapra, mint ha nem is tudom mik mennének odahaza.

Én simán jól vagyok hotswap nélkül. Az elmélet az, hogy lenne benne 2 vinyó, aztán pedig 4. Swap csak akkor lenne, ha megmurdal valami, de az meg akkor nem lenne hot.

Elkezdem olvasni a FreeNas leírását, mert meg kell értenem, hogy meg tudom-e csinálni vagy teljesen esélytelen-e. Ez fontos kritéria a döntésben.

[FõDudu]

Idézet: enpera - Dátum: 2012. 02. 18. 21:20

Én simán jól vagyok hotswap nélkül. Az elmélet az, hogy lenne benne 2 vinyó, aztán pedig 4. Swap csak akkor lenne, ha megmurdal valami, de az meg akkor nem lenne hot.

Elkezdem olvasni a FreeNas leírását, mert meg kell értenem, hogy meg tudom-e csinálni vagy teljesen esélytelen-e. Ez fontos kritéria a döntésben.

Otthonra valoban nem kell hotswap.
A freenas telepitese kb valasztgatos linux telepites (menus).
Sima liba. Nem kell raid kartya - jo eros proci es jo sok ram. Meg faxa gigabit lan.
Tenyleg jo gigabit lan kell - nekem az egyik HP desktop eldobta magat parszaz gigabajt atmasolasa utan - siman tulmelegedett az alaplapi gigabites halozati vezerlo. Aztan ventivel fujatva visszajott. De azt a lant nem lehet ilyenre hasznalni.

Telepitesnel a trukk, hogy felesleges a tarolokkal egyutt telepiteni.
En is siman telepitettem USB kulcsra. Aztan az elso bootnal beallitgattam a halozati dolgokat, majd a masodiknal a vinyokat is hozzaadtam.
Inkabb telepiteni kell USB kulcsra (es legyen az USB kulcsbol masolat).

Az egyetlen problema amibe freenassal belefutottam az a kern.maxfiles limit volt. Van valami kernel fuggo fajl darabszam limit amit nekem a probakepp raakasztott 70db IP kamera tullepett. De azok egy konyvtar ala letrehoznak 1000 masikat es mindegyikbe raknak 1000 fajlt. Szoval az a 70 kamera kb 1 het utan kiakasztotta a BSD kernelt. De ez otthon nem fordulhat elo - ilyen darabszamok nem fordulnak elo hacsak valaki a fel eletet nem 1kb-os txt fajlokban tartja leirva....


http://www.freebsd.o...nel-limits.html

[FõDudu]

Idézet: enpera - Dátum: 2012. 02. 18. 21:20

Én simán jól vagyok hotswap nélkül. Az elmélet az, hogy lenne benne 2 vinyó, aztán pedig 4. Swap csak akkor lenne, ha megmurdal valami, de az meg akkor nem lenne hot.

Elkezdem olvasni a FreeNas leírását, mert meg kell értenem, hogy meg tudom-e csinálni vagy teljesen esélytelen-e. Ez fontos kritéria a döntésben.

Telepits fel egy Vmware-t a gepedre, azon probald ki a Freenas telepiteset. Ha ott sikerul beallitgatnod amit szeretnel, akkor a vason is menni fog.

[Szabcsi]

FreeNAS-ból ott a konyhakész USB image, nem kell azon telepíteni semmit, beállításokat meg lehet exportálni, ha pendrive megmurdel (eddig még nem fordult elő) néhány perc alatt vissza lehet állítani mindent egy másikra...

[Jahno]

Idézet: FõDudu - Dátum: 2012. 02. 18. 21:41

nekem az egyik HP desktop eldobta magat parszaz gigabajt atmasolasa utan - siman tulmelegedett az alaplapi gigabites halozati vezerlo. Aztan ventivel fujatva visszajott. De azt a lant nem lehet ilyenre hasznalni.

Ez sem lehet állandó axióa, én terákat másolok kb. bármin, celeronos Acer laptop, Dell, Toshiba, HP kocka, gagyi Fusi, szerver, desktop, lófasz. USB-s megosztott vinyóról vinyóra, több gépről lanra, akár wifin keresztül, amit el bírsz képzelni. Eddig max. SMC occsó switch dobta el magát, vagy az USB vinyó dokkolója. USB után vettem kicsit drágábban, de egy időben lanon erre mentek a céges backupok is, minden egy időben, aztán nem baj ha lassú, majd befejezi. Lant nekem még soha semmi nem dobta el, oszt mióta videózunk, azóta 1-1 meló termése kitesz több terát, én meg csak aggódok a backup miatt, mert elég vicces mikor felmásoljuk kártyáról, az megy vissza másik kamerába, de ha elszáll, akkor élő koncertet elég nehéz megismételni, az biztos. Erről élő vágás, helyben utómunka, satöbbi.

[Jahno]

Idézet: FõDudu - Dátum: 2012. 02. 18. 21:41

De ez otthon nem fordulhat elo - ilyen darabszamok nem fordulnak elo hacsak valaki a fel eletet nem 1kb-os txt fajlokban tartja leirva....

Mennyi az annyi? Kamera meg lófasz, ezeknek a filerendszerét sosem értettem. Lehet nem is akarom tudni Céges forráskódos szerveren valami 4millió file van jó 100 gigán, az a nem egyszerű. Sajátom minnyá megmérem.

[Jahno]

Idézet: FõDudu - Dátum: 2012. 02. 18. 21:42

Telepits fel egy Vmware-t a gepedre, azon probald ki a Freenas telepiteset.

Megy alatta? Én pár varázslatot már próbáltam, de vmware alatt az ilyenek mindig beugattak.

[Jahno]

Nahh, megszámoltam, 5 terán van 1.2millió file itthoni szerveren. Az jó-e?

[Szabcsi]

Idézet: Jahno - Dátum: 2012. 02. 18. 23:17

Megy alatta? Én pár varázslatot már próbáltam, de vmware alatt az ilyenek mindig beugattak.

Megy.

[FõDudu]

Idézet: Jahno - Dátum: 2012. 02. 18. 23:29

Nahh, megszámoltam, 5 terán van 1.2millió file itthoni szerveren. Az jó-e?

Szerintem itt tobb volt a gondot okozo szam.

Ez a 70 kamera 2-3MB-os Jpeg fajlokat general.
6-25fps kozotti beallitassal. Nyilvan nem mentenek nonstop (motion detected recordig). De azert kurvasok fajl keletkezik.

Egy kameranal a fo konyvtar alatt csinal alkonyvtarakat es azok ala 1000-ig megint alkonyvtarakat (amibe 1000 File megy).
Azaz a kamera fo konyvtaraban 1 bejegyzes 1M fajl. Es van amikor van mondjuk 20 ilyen bejegyzes egy kamera fo konyvtaraban.
Szorozva hetvennel. Szoval akar milliardnyi is lehet.

Azt tudom, hogy egyszer nekialltam SSH-n torolni oket. A Midnight commanderben kb 3 napig ment a torles (ugy, hogy akkor az adott szerverre nem volt kamera konfigolva).

Azota ha torolni kell (ami nem gyakori, mert a kamerak maguk tartjak karban a konyvtarukat) inkabb eldobom a komplett particiot

Meglepo, hogy a ZFS sokkal jobban birta a kamerak veletlenszeru irasat (random write) mint barmelyik mas file rendszer. Altalaban a szervereken a load fel megy az egig - ZFS-nel meg siman elvitt egy szerver 70 kamerat Amig a falj korlat be nem baszott). Akkor visszatoltottem a kamerak eredeti konfigjat es mentenek a meglevo szerverekre. Normal file szerverbol 4 birja el a 70 kamerat (Dual Xeon procis 8 giga ramos Raid5 diszk alrendszeres szerverek linux xfs fajlrendszerrel).

Szerkesztette: FõDudu 2012. 02. 19. 00:18 -kor

[Szabcsi]

Hát nálunk a ZFS csak (L2)ARC/ZIL on SSD segedelemmel tud gyorsabb lenni az XFS-nél, ha nagy mennyiségű aprólékkal etetjük, ahogy én tapasztaltam, egyéb esetben alulmarad, de nem is ezért tartjuk...

[FõDudu]

Idézet: Szabcsi - Dátum: 2012. 02. 19. 01:34

Hát nálunk a ZFS csak (L2)ARC/ZIL on SSD segedelemmel tud gyorsabb lenni az XFS-nél, ha nagy mennyiségű aprólékkal etetjük, ahogy én tapasztaltam, egyéb esetben alulmarad, de nem is ezért tartjuk...

Sebesseget nem mertem, egyaltalan a hosszu tavu mukodes volt a feltetel.
Random write eseten (sok random write) a zfs mukodott, a tobbi file rendszer azonban az egekbe emelkedo load miatt szepen elerhetetlen szerverhez vezetett.
Meg jo, hogy minden kameraban van 4GB sd is.

[enpera]

Nyomozok itt közben. Találtam a QNAP fórumán érdekességet.

fórum

Idézet

Re: ZFS support coming ?
by Moogle Stiltzkin » Fri Feb 17, 2012 2:38 am

AlexMorbo makes a good point about software issues, which need to be resolved by making a firmware flavor using freebsd like FREENAS 8, in order to add in ZFS file system support.

The current firmware uses linux which is fine, but for those of us who want ZFS, our only option is to resort to FREENAS 8 and build our own DIY.


Scillonian also makes another good point regarding hardware issues. The current QNAP offerings regarding cpu and ram is not as good as DIY solutions built using FREENAS, and hardware parts purchased separately to put together a high performance NAS with ZFS, deduplication and a whole bunch of other features.


Cpu i see that QNAP has improved a bit with their x59 line which introduced Atom cpus. Sadly that isn't sufficient for ZFS. However QNAP's more newer X79 range added Intel I3's which was a bit better. The only better cpu they have in their arsenal is the Xeon which is only available on 2 of their x79 rack servers.

RAM is the major sore point preventing zfs from being feasible from being on the QNAP. it's especially more important if you enable/us deduplication :X


So before we can even start thinking of adding zfs to qnap, they need to rectify the software and especially hardware issues preventing this from happening.

QNAP also needs to make their NAS more price competitive against DIY solutions. Yes the QNAP has a nice box and firmware aesthetic, but hardware wise where it matters e.g. cpu, ram etc, diy seems to win in cost effectiveness.

i've been reminded by support that the main feature is as a storage device, rather than the software apps. if that is so, then ZFS should be on the main agenda as it's the current best solution for a storage file system that has data integrity as a priority and was even given the thumbs up by Cern in their research findings.

I understand that there is a licensing issue preventing it from being added to the linux main kernel, but then what about freebsd ? Their apparently using it for FREENAS which is based on freebsd, so it must be okay then to use it under a qnap freebsd firmware ? (this is my guess).



i think qnap still has some relevance for good support for non tech savy people such as myself, being easy to configure, and especially useful are qpkgs to install applications, although truthfully i only used less than a dozen qpkgs namely, transmission, mumble, phpymadmin, wordpress ....

freenas on the otherhand has more cost effectiveness for building a DIY NAS with parts that outperform a qnap, but at a way cheaper price tag. They even have a firmware for it called the FREENAS which gives a similar feel to the QNAP, Synology guis we are familiar with.

The only problem is, getting the right mix of hardware parts to avoid any issues, and also setting up the configurations properly. This will take some research online to know what hardware to get, and how to set it up properly. But there are IT savy people that enjoy and don't mind doing that leg work, to save money at the same time as well as get a superior file system aka ZFS to handle their digital storage needs.

But newbies i feel would resort to QNAP, synology and those other brands which have a much easier setup and comes with good support.


PS: zfs recommendation is to have 1gb of ram for every 1tb of hard drive space. So if i had 6 drives 2tb each, that would be 12tb. So at minimum i would need 12gig of ram in order to make use of deduplication ..... but according to online discussions, the requirements actually require more than the official recommendation .....

and keep in mind that my 659 Pro II comes only with 512mb of ddr3, and i believe the max memory i can upgrade it to is 4gig of DDR3. That is no where near the amount of ram i would need to be able to use deduplication on zfs.

Ezek szerint kész NAS-on nem igazán muzsikál a ZFS, valamint vannak licensz problémák is. Épített NAS-on már könnyebb, de 8 giga ram alatt csak töredékét tudja a rendszer annak mint amire ténylegesen képes lenne. Akkor nyomoznom kell olyan Mini ITX lapot, amin mondjuk dualcore Atom van és tud minimum 8 giga ramot.

Csak úgy bájdövéj: mennyit eszik egy ilyen dualcore Atom, ha hajtva van, valamint van a házban még egy 400W-os jó hatásfokú ATX táp is? 40W alatt vagy inkább több?

[Szabcsi]

Idézet: FõDudu - Dátum: 2012. 02. 19. 08:54

Sebesseget nem mertem, egyaltalan a hosszu tavu mukodes volt a feltetel.
Random write eseten (sok random write) a zfs mukodott, a tobbi file rendszer azonban az egekbe emelkedo load miatt szepen elerhetetlen szerverhez vezetett.
Meg jo, hogy minden kameraban van 4GB sd is.

Többi flie renszer? Nem csak XFS-ről volt szó? Nem tudom volt-e rajta bármi hangolva, de ahogy írod RAID5 tömbön csücsült, ott azért el tud fáradni ilyen esetben ha pl a write barriers/journal placement defaulton van hagyva...

[Szabcsi]

Idézet: enpera - Dátum: 2012. 02. 19. 11:03

Akkor nyomoznom kell olyan Mini ITX lapot, amin mondjuk dualcore Atom van és tud minimum 8 giga ramot.

Erre ott a microserver, nem fogyaszt sokat, szépen elketyeg 8GB RAM-mal Freenas8/ZFS konfiggal is, mondjuk ezt az egészet csak a ZFS miatt kicsit túlzásnak érzem, de ha van rá lehetőség akkor miért is ne...

[xclusiv]

Idézet: enpera - Dátum: 2012. 02. 19. 11:03

Ezek szerint kész NAS-on nem igazán muzsikál a ZFS, valamint vannak licensz problémák is.

Hát ha karcsú a nas akkor karcsú, licensz problémák pedig azért vannak, mert a linux kernel GPL-es, míg a zfs gondolom nem, és a 2 licensz egymással nem igazán fér össze. Ez otthoni használatnál nem para, terjesztésnél/fejlesztésnél annál inkább.

Idézet

Épített NAS-on már könnyebb, de 8 giga ram alatt csak töredékét tudja a rendszer annak mint amire ténylegesen képes lenne. Akkor nyomoznom kell olyan Mini ITX lapot, amin mondjuk dualcore Atom van és tud minimum 8 giga ramot.

És ki is használnád azt, amire képes lenne? Mert a ZFS-s a Sun nem otthoni NAS-ra találta ki, bár néhány funkciója oda is kényelmessé teszi.
Pl. a deduplikáció, az cégnél nagyon jó, mert ha van 100 user-ed aki kapja email-ben ugyanazokat az 5 megás csatolmányokat, akkor nagyon nem mindegy, hogy 1000 ilyen levélnél 5 gigát vagy 500 gigát használsz el erre, de ennek otthon nincs sok értelme szerintem, vagy legalábbis simán meg lehet nélküle lenni.
A másik a nagy cache, ami szintén jó cégnél, ahol ugyanazzal az adattal sokan és sokszor buziznak, és terhermentesíti a nagyságrendekkel lassabb storage backend-et, és eltünteti annak a késleltetését. De otthon milyen is a workload? Tolsz rá cuccot, akkor az a lényeg hogy a lemezre kikerüljön és pont, majd egyszer talán hozzányúlsz, vagy nem, de ennyi. Vagy nézel valami filmet, hallgatsz zenét, akármi, itt szerintem pont elég az cache-nek, amit minden valamire való OS/FS ilyesmire használ, erre szerintem 1 giga bőven sok.

Idézet

Csak úgy bájdövéj: mennyit eszik egy ilyen dualcore Atom, ha hajtva van, valamint van a házban még egy 400W-os jó hatásfokú ATX táp is? 40W alatt vagy inkább több?

Miért tennél alá 400-as tápot? 100W-ot nem eszik meg peak-ben a cucc, csak az a lényeg, hogy jó minőségű legyen.

[enpera]

Idézet: xclusiv - Dátum: 2012. 02. 19. 12:41

Hát ha karcsú a nas akkor karcsú, licensz problémák pedig azért vannak, mert a linux kernel GPL-es, míg a zfs gondolom nem, és a 2 licensz egymással nem igazán fér össze. Ez otthoni használatnál nem para, terjesztésnél/fejlesztésnél annál inkább.


És ki is használnád azt, amire képes lenne? Mert a ZFS-s a Sun nem otthoni NAS-ra találta ki, bár néhány funkciója oda is kényelmessé teszi.
Pl. a deduplikáció, az cégnél nagyon jó, mert ha van 100 user-ed aki kapja email-ben ugyanazokat az 5 megás csatolmányokat, akkor nagyon nem mindegy, hogy 1000 ilyen levélnél 5 gigát vagy 500 gigát használsz el erre, de ennek otthon nincs sok értelme szerintem, vagy legalábbis simán meg lehet nélküle lenni.
A másik a nagy cache, ami szintén jó cégnél, ahol ugyanazzal az adattal sokan és sokszor buziznak, és terhermentesíti a nagyságrendekkel lassabb storage backend-et, és eltünteti annak a késleltetését. De otthon milyen is a workload? Tolsz rá cuccot, akkor az a lényeg hogy a lemezre kikerüljön és pont, majd egyszer talán hozzányúlsz, vagy nem, de ennyi. Vagy nézel valami filmet, hallgatsz zenét, akármi, itt szerintem pont elég az cache-nek, amit minden valamire való OS/FS ilyesmire használ, erre szerintem 1 giga bőven sok.


Miért tennél alá 400-as tápot? 100W-ot nem eszik meg peak-ben a cucc, csak az a lényeg, hogy jó minőségű legyen.

Volt egy összeállítás egy francia oldalról, ott 400-as táp szerepelt. Csodálkoztam is, mert régen még 2005 körül egy CAD munkára épített gépben volt ekkora. Találtam 180W-os FSP tápot. FSP180-50PLA a neve. Elvileg ez is bele kell férjen a kis Mini ITX házba.

A ZFS nagyon tetszik, mint technológia, de be kell lássam, hogy töredékét sem használnám ki a tudásának. Sem rendszergazda nem vagyok, sem IT-építész. Egy tipikus "boldog amatőr", aki szeretne egy otthoni központi tárat létesíteni, aztán egyszerű grafikus felületen bekonfigurálni. Kellene filmre, zenére, doksikra. Legyen backup notiról, valamint a fontos fájlokat lássam mondjuk egy megosztott "N:"-meghajtón. Nem lenne kvótázás, felhasználó csak én és asszony, nem lenne komoly webserver, FTP csak esetleg. Viszont ha látom mobilról a fájlokat az nem árt, ha nagyon csendes az csak előny. Ha a sebesség nem asztronómikus az sem baj, mert ráérek igazából. Gigabites netet is építenék mellé, a mostani routert lecserélném valami gigabitesre.

Szóval azt látom, hogy bár nagyon érdekes a ZFS, de egyre jobban elsodródom az eredeti ötlettől, hogy egyszerű és kezelhető NAS-t válasszak. Ahogy olvasom a Dlágaszágok topikban annyira nem egyszerű ez Microserver sem, még egy SAP specialista is küzd vele. Akkor én úgy néznék ki mint disznó a jégen kábé...

Még gondolkodom ezen elég sokat, úgy látom

[enpera]

Érdekes lehet...

[xclusiv]

Idézet: enpera - Dátum: 2012. 02. 19. 13:19

Volt egy összeállítás egy francia oldalról, ott 400-as táp szerepelt. Csodálkoztam is, mert régen még 2005 körül egy CAD munkára épített gépben volt ekkora. Találtam 180W-os FSP tápot. FSP180-50PLA a neve. Elvileg ez is bele kell férjen a kis Mini ITX házba.

Ja, a sokszáz Watt mánia se mai már, a dell a p4 időkben simán kihozott desktop gépeket 150W táppal.
Ma a HP komolyabb szerverekbe tesz 700W-os tápot, pedig abba mehet 2 proci olyan 100W TDP környékén, párszáz giga ram és tucatnyi hdd (akár 15k RPM-es), meg egy pár pci-e kártya, meg csillió ventillátor. Aztán ehhez nézd a 400W otthonit
A microserver nekem 150W táppal jött, 2 HDD-vel minimálisan seed-elve (szigorúan csakis linux cd image-eket ) evett somogyis műszer szerint 35W-ot...

Idézet

A ZFS nagyon tetszik, mint technológia, de be kell lássam, hogy töredékét sem használnám ki a tudásának. Sem rendszergazda nem vagyok, sem IT-építész.

Engem is izgat, lehet kipróbálom, ez a nexentastor izgat. Bár még rengeteget kell utána olvasnom, de amíg a vinyóárak lemennek van kis időm

Idézet

Egy tipikus "boldog amatőr", aki szeretne egy otthoni központi tárat létesíteni, aztán egyszerű grafikus felületen bekonfigurálni. Kellene filmre, zenére, doksikra. Legyen backup notiról, valamint a fontos fájlokat lássam mondjuk egy megosztott "N:"-meghajtón. Nem lenne kvótázás, felhasználó csak én és asszony, nem lenne komoly webserver, FTP csak esetleg. Viszont ha látom mobilról a fájlokat az nem árt, ha nagyon csendes az csak előny. Ha a sebesség nem asztronómikus az sem baj, mert ráérek igazából. Gigabites netet is építenék mellé, a mostani routert lecserélném valami gigabitesre.

Én még mindig azt mondom, hogy microserver. A mobilos részét még át kell gondolni, de ezen kívül erre szinte minden alkalmas. A hangja, hát fassetuggya, engem éjjel alvás közben zavart (fejemtől 2 méterre), de halkítottam rajta, azóta nem mondom, hogy hangtalan, de bőven vállalható.

Idézet

Szóval azt látom, hogy bár nagyon érdekes a ZFS, de egyre jobban elsodródom az eredeti ötlettől, hogy egyszerű és kezelhető NAS-t válasszak. Ahogy olvasom a Dlágaszágok topikban annyira nem egyszerű ez Microserver sem, még egy SAP specialista is küzd vele. Akkor én úgy néznék ki mint disznó a jégen kábé...

Az SAP specialista pedig valszeg nem rendszergazda szakember, nem tudom mit is szenved, benézek majd oda is.
Félni nem kell tőle, virtualbox ingyenes, letöltesz egy freenas/openfiler/akármi célszerszámot, tolsz alá néhány 10 gigás virtuális lemezt és eljátszol vele akár notin is. Ha így sikerül akkor valszeg élesben is menni fog, ha pedig nem akkor tudsz kérdezni.

Szerkesztette: xclusiv 2012. 02. 19. 23:05 -kor

[Bujdy]

Idézet: FõDudu - Dátum: 2012. 02. 18. 10:10

http://blog.xorp.hu/...-es-nexentastor
Szerintem barmelyik pistike osszekalapalja ez alapjan

En a fenti leirast nem probaltam - nekem jelenleg egy desktop gepben levo ZFS tomb ketyeg Freenas-on.
Azonban a nexentara nem sokan panaszkodnak...

Na, azért ne kiabáljuk el!
Nekem pl. nem sikerül, mert képtelen vagyok normális boot USB kulcsot csinálni. Viszont, ha pl. Jahno vállalná, hogy megcsinálja, akkor annak örülnék. Csak nem lehet neki privit küldeni, a telefont meg nem vette fel!