Jak osiągnąć prędkość zapisu 200MB/s na dysku twardym z RAID i PCIe?

Thu Feb 22, 2007 9:16 pm   

Witam grupowiczow,

Zaczynam wgryzac sie w prolem i mam prosbe do Panstwa o wstepne
ukierunkowanie w jaki sposob probowac problem rozwiazac.

Chcialbym zapisywac ciagle dane z predkoscia 200MB/s (200 megabajtów) na
dyski twarde. Chcialbym uzyc do tego jakiegos kontrolera RAID.

Co byloby latwiejsze ... zrobic karte do kompa i probowac pchac to do kompa
poprzez PciExpress i potem RAIDEM, czy moze sa jakies inne sposoby np. fpga
i jakies ipcore, ktore pozwalaloby na wyslanie danych do RAID.

Danych bedzie dosc sporo i nie wchodzi w gre zapisywanie do pamieci a
pozniej na dysk.

Za wszelkie sugestie bylbym bardzo wdzieczny.

pozdrawiam
Marcin

Thu Feb 22, 2007 9:41 pm   

Marcin Lipinski napisał(a):

- 2 dyski 200GB seagate 7200.10 (zapis prostopadly) raid0 - read max
130MB/s, srednio 114MB/s, minimalnie 70MB/s (na koncu pojemnosci
- 4 dyski 80GB seagate 7200.10 raid5 - read max 240MB/s, srednio
200MB/s, minimalnie 160MB/s na koncu pojemnosci.
Tylko ze to sa dane _read_ a ciebie interesuje zapis - bedzie pewnie
conajmniej o 20-30% wolniejszy
Kres możliwości tego czipu to chyba 6 albo 8 dyskow, zapiety jest wprost
do czipsetu wiec wydajnosc raczej nie bedzie problemem.

--
| Bartlomiej Kuzniewski
| sibi@drut.org GG:23319 tel +48 696455098 http://drut.org/
| http://www.allegro.pl/show_user_auctions.php?uid=338173

Thu Feb 22, 2007 10:48 pm   

Może ktoś zaproponuje coś innego ....

P.S. Podzielisz się, co tak naprawdę chcesz zapisywać z taką prędkością ...
bo jakoś nic mi do głowy nie przychodzi ... będziemi Ci wdzięczni za
poszerzenie naszej skromnej wiedzy ... 60 sekund - 1,2 GB ------- Matko ....
do czego toto ????????

Exploris.

Thu Feb 22, 2007 11:10 pm   

60 sekund to 12GB .... duzo, bardzo duzo danych, moze je kompresowac w locie
??

Thu Feb 22, 2007 11:17 pm   

Marcin Lipinski napisał(a):

wlasnie 200MB/s i jakas macierz clariion, fas, xp (hp), shark (ibm).
www.emc.com
www.netapp.com


--
Krzysztof Kuźmicki
http://kuzmicki.net/

Fri Feb 23, 2007 8:46 am   

Użytkownik "Exploris" <exploris@***NO SPAM***autograf.pl> napisał w
wiadomości news:erl343$1pi$1@news.onet.pl...

Kamera do zdjec w zwolnionym tempe?

--
ivaldir

Fri Feb 23, 2007 9:45 am   

"Marcin Lipinski" <lipciu.usun@wp.pl> wrote in message
news:erkttm$4eg$1@news.task.gda.pl...

IMO najlepsze bedzie PC jak juz to zostalo wspomniane do tego wydajny
kontroler RAID na PCI-E np HighPoint RocketRAID 2322 + macierz 6 - 8
dyskow w RAID 0

alternatywne kontrolery to:

http://www.intel.com/design/servers/raid/srcsas18e/index.htm
http://www.promise.com/product/product_detail_eng.asp?segment=RAID%205%20HBAs&product_id=172
http://www.promise.com/product/product_detail_eng.asp?segment=RAID%205%20HBAs&product_id=167

musisz pamietac ze jeden lane na PCI-E to 150MB czyli potrzebujesz
kontroler co najmniej z 2 LANE'ami - ale lepiej zainwestowac ciut wiecej
i brac taki na 4 albo 8 - do tego kilka dyskow pamietajace ze na koncu
dysk ma ok 60% wydajnosci z poczatku - powiedzmy ze jednej dysk bedzie
mial pod koniec ok 40MB czyli rozsadnie co najmniej 5 dyskow a by miec
pewnosc ze sie nic nie powali to bralbym 6 - 8

Do tego Linux i za niewielkie pieniadze mozna sie cieszyc przywoita
wydajnoscia...

(naprawde za 3000$ trudno trafic cos taniej i do tego z oprogramowaniem
niezlej jakosci gotowe do odpalenia)

Fri Feb 23, 2007 10:55 am   

A co jest źródłem danych?


Strip na przynajmniej 6 dysków.
Biblioteka zewnętrzna scsi z dyskami sata.
Wydatek minimum 2000zł za sam kontroler.
Zapytaj na p.c.o.l.sprzet o szczegóły.


zyga
--
warning!
http://zarzecki.com

Fri Feb 23, 2007 12:10 pm   

On Thu, 22 Feb 2007 21:16:56 +0100, Marcin Lipinski wrote:

To na pewno nie bedzie latwe :-)


To ma byc zewnetrzny strumien ?
Moze jednak niezalezny kontroler/rozdzielacz - czarna skrzynka z
interfejsami do kilku dyskow .. pamieci buforowe obawiam sie beda
musialy byc.

J.

Fri Feb 23, 2007 2:23 pm   

mzoe FPGA i kilka HDD podpietych bezposrednio i ladowac im surowe dane - to
sie da prosto zrobic.
Potem w zwolnionym tepie, np przez USB2.0 czytac porzadkujac w locie.

z daleka te dane trzeba slac?
bo moze karta 10G ethernet jako link

zapis do pamieci moze byc przydatny jako maly bufor gdyby te w HDD sie nie
wyrabialy

wszystko zalezy do czego to ma byc.

Czy wszystkie dane sa interesujace?
moze na poczatku dac tryger, ktory bedzie wstepnie je sortowal, odrzucajac
np 90 % tych co nie niosa uzytecznych informacji

np z detektora czastek wychodzi np. 400,000 kanalow, kazdy nadaje 40 lub 80
MB/s w sposob ciagly, przez kilka miesiecy.
1 stopien redukuje strumien 10x, zaimlementowany jest w ASICu przy samym
detektorze, dalej linkami optycznymi dane leca dalej.
nastepny , majac duzo mniej danych sortuje te poprzednie i szuka w nich
ciekawych zdarzen, redukujac strumien nastepne 100x. Zaimpelementowany jest
w FPGA (kilkaset tys Stratixow) nastepny stopien to klaster 1500 PCtow
polaczonych siecia 10Gbit. Redukuje dane 100...1000-krotnie i zapisuje na
HDD.

A detektorow jest kilkadziesiat

Fri Feb 23, 2007 3:13 pm   

Tfu! fibre channel

zyga
--
warning!
http://zarzecki.com

Fri Feb 23, 2007 6:10 pm   

Tak, kompresowac 200MB/s. Sun robi takie serwery z 48 procesorami...

m.


--
Marcin Lukasik, marcin na milea kropka pl
http://milea.pl -- sieci bezprzewodowe

``Be who you are and say what you feel, because those who mind don't matter
and those who matter don't mind.''

Fri Feb 23, 2007 6:28 pm   

Greg(G.Kasprowicz) napisał(a):


Tak po za tematem: to Ty robiłeś kamery do "Pi of the Sky"? :-)

--
Filip.

Fri Feb 23, 2007 7:00 pm   

Martin Lukasik wrote:


po pierwsze: jak oszacowałeś moc obliczeniową nie mając założeń o
złożoności algorytmu?
RLE zrobisz na FPGA dla realnie dowolnej przepustowości, która w nie
wejdzie i wyjdzie, kodowanie Huffmana przy stałym słowniku też. Nie
wiadomo, co jest w danych, może już tyle dać zysk nawet
kilkunastokrotny.
--
Marek Lewandowski
ICQ#/GG#: ask per mail. mail: locust[X]poczta/onet/pl
my gallery: http://www.pbase.com/mareklew
my kind-of-a-blog: http://lockaphoto.stufftoread.com

Fri Feb 23, 2007 7:35 pm   

"Marek Lewandowski" <locust@poczta.onet.pl> wrote in message
news:erna44$6u7$1@inews.gazeta.pl...


albo ujemny