Goto page 1, 2 Next
Andrzej W.
Guest
Wed Feb 09, 2011 11:28 am
Witam,
Muszę w urządzeniu zaimplementować bazę danych.
Procesor to ARM9 Atmel AT91SAM9260 (200 MHz), 128 MB Flash, 64 MB SDRAM
i karta SD 32GB.
O systemie operacyjnym wiem tyle: "Customized Linux kernel based on
2.6.24 version" z systemem plików JFFS2.
Zadaniem bazy jest zbieranie danych napływających z prędkością ok.
300B/s oraz replikowanie się po łączu GPRS do centrali.
Bardzo rzadko trzeba będzie odpowiedzieć też na jakieś zapytanie
przeglądające pewnie całą bazę. Wielkość bazy to kilka miesięcy czyli 1G
rekordów, lub 5GB danych.
Czy możecie mi doradzić w co się nie pchać w takiej konfiguracji?
Jaką bazę i mechanizm replikacji wybrać, by mieć pewność, że będzie to
działać poprzez GPRS, czyli łącze, które częściej znika niż jest dostępne.
--
Pozdrawiam,
Andrzej
Rysio
Guest
Wed Feb 09, 2011 1:20 pm
W dniu 2011-02-09 11:28, Andrzej W. pisze:
Quote:
Witam,
Muszę w urządzeniu zaimplementować bazę danych.
Procesor to ARM9 Atmel AT91SAM9260 (200 MHz), 128 MB Flash, 64 MB SDRAM
i karta SD 32GB.
O systemie operacyjnym wiem tyle: "Customized Linux kernel based on
2.6.24 version" z systemem plików JFFS2.
Zadaniem bazy jest zbieranie danych napływających z prędkością ok.
300B/s oraz replikowanie się po łączu GPRS do centrali.
Bardzo rzadko trzeba będzie odpowiedzieć też na jakieś zapytanie
przeglądające pewnie całą bazę. Wielkość bazy to kilka miesięcy czyli 1G
rekordów, lub 5GB danych.
Czy możecie mi doradzić w co się nie pchać w takiej konfiguracji?
Jaką bazę i mechanizm replikacji wybrać, by mieć pewność, że będzie to
działać poprzez GPRS, czyli łącze, które częściej znika niż jest dostępne.
Zaczal bym od szukania SDK do tego sprzeta. Polecam denx
www.denx.de
ptoki
Guest
Wed Feb 09, 2011 4:20 pm
On 9 Lut, 11:28, "Andrzej W." <awa_wp.a_to_wytn...@wp.pl> wrote:
Quote:
Witam,
Muszę w urządzeniu zaimplementować bazę danych.
Procesor to ARM9 Atmel AT91SAM9260 (200 MHz), 128 MB Flash, 64 MB SDRAM
i karta SD 32GB.
O systemie operacyjnym wiem tyle: "Customized Linux kernel based on
2.6.24 version" z systemem plików JFFS2.
Zadaniem bazy jest zbieranie danych napływających z prędkością ok.
300B/s oraz replikowanie się po łączu GPRS do centrali.
Bardzo rzadko trzeba będzie odpowiedzieć też na jakieś zapytanie
przeglądające pewnie całą bazę. Wielkość bazy to kilka miesięcy czyli 1G
rekordów, lub 5GB danych.
Czy możecie mi doradzić w co się nie pchać w takiej konfiguracji?
Jaką bazę i mechanizm replikacji wybrać, by mieć pewność, że będzie to
działać poprzez GPRS, czyli łącze, które częściej znika niż jest dostępne.
Pytanie troche nie na te grupe ale zasugeruje albo uzycie sqlite albo
mysql.
Zrozumialem ze tam bedzie prawie zwykly linux wiec i binarki bazy czy
biblioteki beda dostepne "z pudelka".
Nie napisales wiele na temat tego co ta baza bedzie robic ani jaki
rodzaj danych bedzie przesylany.
Cala baza ma sie replikowac po gprs?
Jesli dane zbierane beda liczbowe to moze zobacz czy rrd ci podpasuje.
Andrzej W.
Guest
Wed Feb 09, 2011 9:32 pm
W dniu 2011-02-09 13:20, Rysio pisze:
Quote:
Zaczal bym od szukania SDK do tego sprzeta. Polecam denx
www.denx.de
Cytat z FAQ producenta:
"Telit provides, free of charge, a complete Development Environment
working under Microsoft Windows XP. The Environment consists of
different Open Source Software: coLinux, Xming and Eclipse IDE. "
--
Pozdrawiam,
Andrzej
Andrzej W.
Guest
Wed Feb 09, 2011 9:57 pm
W dniu 2011-02-09 15:20, ptoki pisze:
Quote:
Pytanie troche nie na te grupe ale zasugeruje albo uzycie sqlite albo
mysql.
Zastanawiam się czy to nie za mocne na moje potrzeby.
Quote:
Zrozumialem ze tam bedzie prawie zwykly linux wiec i binarki bazy czy
biblioteki beda dostepne "z pudelka".
Z binarkami na ARM9 to nie wiem czy będzie tak łatwo, ale myślę, że da
się skompilować.
Quote:
Nie napisales wiele na temat tego co ta baza bedzie robic ani jaki
rodzaj danych bedzie przesylany.
Masz rację, nie za dużo napisałem.
Urządzenie ma czytywać dane z maksymalnie 30 czujników raz na sekundę.
Będzie tego więc ok. 30 słów (30x16 bitów) na sekundę.
Rekordy w bazie nie będą edytowane, tylko co jakiś czas usuwane (FIFO).
Indeksy raczej nie są potrzebne, dane są zapisywane zgodnie z czasem ich
powstania. Zamiast indeksów planuję dodatkowe bazy w których będę
zapisywał wartość średnią, maksymalną i minimalną np. co minutę i co
godzinę. Pozwoli to generować lokalnie wykresy bez konieczności
przeglądania całej bazy danych.
Quote:
Cala baza ma sie replikowac po gprs?
Replikacja to właściwie nie w pełni trafne określenie.
Po nawiązaniu połączenia urządzenie ma wysyłać wszystkie nowe dane do
centralnego serwera. Transmisja musi być w pełni odporna na zaniki
łączności.
--
Pozdrawiam,
Andrzej
Cezar
Guest
Wed Feb 09, 2011 10:25 pm
On 09/02/2011 22:13, Ronald Kuczek wrote:
Quote:
W dniu 09.02.2011 11:28, Andrzej W. pisze:
Czy możecie mi doradzić w co się nie pchać w takiej konfiguracji?
Jaką bazę i mechanizm replikacji wybrać, by mieć pewność, że będzie to
działać poprzez GPRS, czyli łącze, które częściej znika niż jest dostępne.
Jeśli to linuks i da się na tym postawić mysql to bym spróbował.
Mechanizm replikacji dobrze udokumentowany i równie dobrze działający.
ale przy slabym polaczeniu nie liczyl bym na replikacje mysql, zwlasza
gdy zerwie polaczenie podczas replikacji rekordu.
moze lokalnie cos w stylu rrdtool a replikacje zrobic za pomaca message
queue (dowolnego typu)
c.
Michoo
Guest
Wed Feb 09, 2011 10:50 pm
W dniu 09.02.2011 21:57, Andrzej W. pisze:
Quote:
W dniu 2011-02-09 15:20, ptoki pisze:
Nie napisales wiele na temat tego co ta baza bedzie robic ani jaki
rodzaj danych bedzie przesylany.
Masz rację, nie za dużo napisałem.
Urządzenie ma czytywać dane z maksymalnie 30 czujników raz na sekundę.
Będzie tego więc ok. 30 słów (30x16 bitów) na sekundę.
Rekordy w bazie nie będą edytowane, tylko co jakiś czas usuwane (FIFO).
To może skoro dane mają określony rozmiar to jeden duży plik zawierający
na początku opis w którym rekordzie "zaczyna się" baza a potem kolejne
wpisy?
Quote:
Indeksy raczej nie są potrzebne, dane są zapisywane zgodnie z czasem ich
powstania. Zamiast indeksów planuję dodatkowe bazy w których będę
zapisywał wartość średnią, maksymalną i minimalną np. co minutę i co
godzinę. Pozwoli to generować lokalnie wykresy bez konieczności
przeglądania całej bazy danych.
proponuję się przyjrzeć RRDtools
Quote:
Cala baza ma sie replikowac po gprs?
Replikacja to właściwie nie w pełni trafne określenie.
Po nawiązaniu połączenia urządzenie ma wysyłać wszystkie nowe dane do
centralnego serwera. Transmisja musi być w pełni odporna na zaniki
łączności.
rsync?
--
Pozdrawiam
Michoo
4CX250
Guest
Wed Feb 09, 2011 10:56 pm
Użytkownik "Andrzej W." <awa_wp.a_to_wytnij.@wp.pl> napisał w
wiadomości news:iiuvg0$3f3$1@mx1.internetia.pl...
Quote:
Rekordy w bazie nie będą edytowane, tylko co jakiś czas usuwane
(FIFO).
Indeksy raczej nie są potrzebne, dane są zapisywane zgodnie z czasem
ich
powstania.
A jaki długi okres kolekcji planujesz?
Po jednym dniu z samych tylko 30tu czujników będziesz miał już ponad
5MB do przesunięcia co sekundę w FIFO. Po 7 dniach 35MB co sekundę. Ja
bym zdefiniował bazę o jakiejś zadanej z góry wielkości i rekordy
umieszczał według indeksu "chodzącego" w kółko.
Marek
Ronald Kuczek
Guest
Wed Feb 09, 2011 11:13 pm
W dniu 09.02.2011 11:28, Andrzej W. pisze:
Quote:
Czy możecie mi doradzić w co się nie pchać w takiej konfiguracji?
Jaką bazę i mechanizm replikacji wybrać, by mieć pewność, że będzie to
działać poprzez GPRS, czyli łącze, które częściej znika niż jest dostępne.
Jeśli to linuks i da się na tym postawić mysql to bym spróbował.
Mechanizm replikacji dobrze udokumentowany i równie dobrze działający.
RK
Daniel Podlejski
Guest
Wed Feb 09, 2011 11:19 pm
Andrzej W. napisał:
Quote:
Masz rację, nie za dużo napisałem.
Urządzenie ma czytywać dane z maksymalnie 30 czujników raz na sekundę.
Będzie tego więc ok. 30 słów (30x16 bitów) na sekundę.
Rekordy w bazie nie będą edytowane, tylko co jakiś czas usuwane (FIFO).
Indeksy raczej nie są potrzebne, dane są zapisywane zgodnie z czasem ich
powstania. Zamiast indeksów planuję dodatkowe bazy w których będę
zapisywał wartość średnią, maksymalną i minimalną np. co minutę i co
godzinę. Pozwoli to generować lokalnie wykresy bez konieczności
przeglądania całej bazy danych.
RRD -
http://oss.oetiker.ch/rrdtool/
[ FUT: pl.comp.os.linux ]
--
Daniel Podlejski
Andrzej W.
Guest
Wed Feb 09, 2011 11:35 pm
W dniu 2011-02-09 22:56, 4CX250 pisze:
Quote:
A jaki długi okres kolekcji planujesz?
Do sześciu miesięcy minimum.
Przy czym dane mogą być wcześniej usuwane na żądanie centrali.
Z tym FIFO, to chodziło mi o to, że nie można usunąć rekordu ze środka
bazy. Można tylko usuwać rekordy od pierwszej pozycji do ntej.
--
Pozdrawiam,
Andrzej
Rysio
Guest
Wed Feb 09, 2011 11:52 pm
W dniu 2011-02-09 23:35, Andrzej W. pisze:
Quote:
W dniu 2011-02-09 22:56, 4CX250 pisze:
A jaki długi okres kolekcji planujesz?
Do sześciu miesięcy minimum.
Przy czym dane mogą być wcześniej usuwane na żądanie centrali.
Z tym FIFO, to chodziło mi o to, że nie można usunąć rekordu ze środka
bazy. Można tylko usuwać rekordy od pierwszej pozycji do ntej.
Jak masz zamiar kompilowac binarki ?
W.P.
Guest
Thu Feb 10, 2011 5:01 pm
Użytkownik Ronald Kuczek napisał:
Quote:
W dniu 09.02.2011 11:28, Andrzej W. pisze:
Czy możecie mi doradzić w co się nie pchać w takiej konfiguracji?
Jaką bazę i mechanizm replikacji wybrać, by mieć pewność, że będzie to
działać poprzez GPRS, czyli łącze, które częściej znika niż jest dostępne.
Jeśli to linuks i da się na tym postawić mysql to bym spróbował.
Mechanizm replikacji dobrze udokumentowany i równie dobrze działający.
Hmm, patrzyłeś na specyfikację sprzętu?
"ARM9 Atmel AT91SAM9260 (200 MHz), 128 MB Flash, 64 MB SDRAM"
jak się zachowa ta baza na tym? Szeczególnie mało RAMu.
W.P.
ptoki
Guest
Thu Feb 10, 2011 9:26 pm
On 10 Lut, 17:01, "W.P." <laure...@wp.pl> wrote:
Quote:
Użytkownik Ronald Kuczek napisał:> W dniu 09.02.2011 11:28, Andrzej W.. pisze:
Czy możecie mi doradzić w co się nie pchać w takiej konfiguracji?
Jaką bazę i mechanizm replikacji wybrać, by mieć pewność, że będzie to
działać poprzez GPRS, czyli łącze, które częściej znika niż jest dostępne.
Jeśli to linuks i da się na tym postawić mysql to bym spróbował.
Mechanizm replikacji dobrze udokumentowany i równie dobrze działający.
Hmm, patrzyłeś na specyfikację sprzętu?
"ARM9 Atmel AT91SAM9260 (200 MHz), 128 MB Flash, 64 MB SDRAM"
jak się zachowa ta baza na tym? Szeczególnie mało RAMu.
W.P.
Dobrze bedzie. Zobacz sobei cos co nazywa sie zaurus. Tam pelne GUI na
X ach dziala dosyc dobrze razem z programami na tym.
Nie panikujmy.
ptoki
Guest
Thu Feb 10, 2011 9:35 pm
On 9 Lut, 21:57, "Andrzej W." <awa_wp.a_to_wytn...@wp.pl> wrote:
Quote:
W dniu 2011-02-09 15:20, ptoki pisze:
Pytanie troche nie na te grupe ale zasugeruje albo uzycie sqlite albo
mysql.
Zastanawiam si czy to nie za mocne na moje potrzeby.
Bedzie w sam raz jesli jest to pojedyncze urzadzenie.
Masz ten komfort ze mozesz skupic sie na wysokim poziomie czyli nie
pisac w asemblerze odkrywajac kolo od nowa albo uzywajac cudzych
bibliotek (co tez powoduje czesciowe odkrywanie kola). Jesli sie da to
uruchom na tym tego linuxa i wrzuc tam baze.
Binarki ma np. ubuntu i debian. Nie pisze juz o binarkach starszych
armow (np zaurus czy inna nokia i takie tam).
Quote:
Zrozumialem ze tam bedzie prawie zwykly linux wiec i binarki bazy czy
biblioteki beda dostepne "z pudelka".
Z binarkami na ARM9 to nie wiem czy b dzie tak atwo, ale my l , e da
si skompilowa .
nie musza byc na arm9 starsze tez pojda bez problemow (raczej bo pewny
nie jestem).
Quote:
Nie napisales wiele na temat tego co ta baza bedzie robic ani jaki
rodzaj danych bedzie przesylany.
Masz racj , nie za du o napisa em.
Urz dzenie ma czytywa dane z maksymalnie 30 czujnik w raz na sekund .
B dzie tego wi c ok. 30 s w (30x16 bit w) na sekund .
Rekordy w bazie nie b d edytowane, tylko co jaki czas usuwane (FIFO).
Mysql sie do tego nada. Co prawda bardziej do tego jest rrd ale mysql
ma pewne zalety.
Quote:
Indeksy raczej nie s potrzebne, dane s zapisywane zgodnie z czasem ich
powstania. Zamiast indeks w planuj dodatkowe bazy w kt rych b d
zapisywa warto redni , maksymaln i minimaln np. co minut i co
godzin . Pozwoli to generowa lokalnie wykresy bez konieczno ci
przegl dania ca ej bazy danych.
Tym bardziej rrd ale przemysl moze zbudowanie calosci tak ze ten arm
tylko bedzie zbieral dane i ewentualnie jakies wykresy generowal z
nich na zadanie. A kasowanie i zarzadzanie baza zrob zdalnie. I sie
normalnie podpinaj do tego mysql-a.
Quote:
Cala baza ma sie replikowac po gprs?
Replikacja to w a ciwie nie w pe ni trafne okre lenie.
Po nawi zaniu po czenia urz dzenie ma wysy a wszystkie nowe dane do
centralnego serwera. Transmisja musi by w pe ni odporna na zaniki
czno ci.
Zarzadzanie zdalne zrobi ci to bez problemu.
Ale jesli chcesz mozesz to wszystko zakodowac w C na poziomie samego
arm-a :)
Ja bym poszedl droga wysoko poziomowa bo to daje szybszy rezultat.
Ale jak nie chcesz bazy to bez problemu rrd ci tez da rade. Poczytaj o
funkcjach agregujacych w nim i jak dziala. Tylko wez pod uwage ze rrd
moze (nie musi) dosyc mocno obciazac flash.
W przypadku mysql-a mozna to obejsc kasujac dane pozno wtedy fifo
bedzie dosyc dlugie.
Goto page 1, 2 Next