select * from depesz;

nowy system replikacyjny do postgresa i nie tylko!

enterprisedb, firma której przedstawiać chyba nie muszę, od wczoraj oferuje swoje rozwiązanie replikacyjne: EnterpriseDB Replication Server.

co to i co potrafi?

na pierwszy rzut oka to co slony:

asynchronicznie
master + multi-slave

do tego niby jakieś narządka tylko replication console.

diabeł (a w tym przypadku raczej anioł) tkwi w szczegółach.

po pierwsze – do rzeczonego silnika replikacyjnego jest coś o nazwie: “Database Pooling Connection Framework". z tego co zrozumiałem z jednozdaniowego opisu, wynika, że zarządza to rozrzucaniem zapytań po bazach master/slave. i to w sposób w miarę inteligentny – wykrywając zapytania modyfikujące?!

po drugie – ten silnik replikacyjny pozwala replikować między postgresem i enterprisedb – co jest oczywiste, bo enterprisedb to też postgres. ale potrafi też replikować z/na oracle'a!

jest to o tyle dodatkowo ciekawe, że enterprisedb (firma) oferuje też pakiet do postgresa dla zachowania dużej kompatybilności zapytań. idea jest taka, że zapytania z oracle'a, działają na postgresie (a dokładniej na enterprisedb).

czyli całośc pozwala na zrobienie live migracji na postgresa a potem przepięcie aplikacji klienckich, albo ich część, na bazę która jest sporo tańsza!
całość pewnie będzie trochę kosztowała, ale może się okazać interesującą alternatywą dla slony'ego w zastosowaniach bardziej komercyjnych.

nowa zabawka – część trzecia, ostatnia

dostałem informację ile kosztowały te maszynki.

starsza, w/g ceny z 27 lipca 2005 – około $8300 (podaję ceny w dolarach, bo maszyny były kupowane w różnych krajach, od różnych dostawców).

nowa – (w/g ceny z 22 czerwca 2006) – około $55700.

czyli starsza jest 6.7 raza tańsza niż nowsza, a daje wydajność (w/g testów) na poziomie 6.1 raza wolniej niż nowsza.

czyli teoretycznie starsza jest lepsza.

ale z drugiej strony – są zadania których starsza w ogóle nie zrobi, gdyż ma tylko 4 giga ramu i mało dysków. za większe pieniądze dostaliśmy sporo szybszą maszynę, która potrafi robić też rzeczy które są fizycznie nieosiągalne dla tańszej (no chyba, żeby ją rozbudować, ale to też koszt).

reasumując – maszynka (nowa) jest w/g mnie całkowicie warta swojej ceny i mogę każdemu polecić taką konfigurację.

blogi polityków – zmiana postrzegania sieci?

jakiś czas temu antyradio (a może to była inna stacja) testowało czy politycy odpowiadają na emaile. generalnie – nie. w dodatku część pewnie nawet do nich nie zagląda, bo w kilku przypadkach dostali komunikat o przepełnieniu skrzynki.

czyli zasadniczo internet był mocno olewany.

ale ostatnio się to zmienia.

najpierw dowiedziałem się, że nasz były premier i obecny prezydent warszawy (p.o. prezydenta, czy jakoś tak) – kazimierz marcinkiewicz ma bloga. no cóż. on zawsze był “medialny".

potem się okazało, że bloga zaczął prowadzić mahmoud ahmadinejad – prezydent iranu. blog jest pisany w ichniejszym języku (perski/farsi), ale jest też tłumaczony na angielski.

potem się okazało, że blog prezydenta iranu pełni też inną rolę – gościom którzy wchodzą tam z ip które są wpisane jako należące do izraela, poza standardową zawartościa jest wysyłany trojan. ot. taki drobny “żarcik".

a dziś dowiedziałem się, że angela merkel, kanclerz niemiec ma swój vlog! na wypadek jakbyscie nie byli na bieżąco z nowym sieciowym słownictwem – vlog to video-blog, czyli blog gdzie zamiast wpisów są filmy.

jestem zszokowany. czy to ma oznaczać, że politycy zaczynają rozumieć znaczenie sieci? tzn. ja wiem, że każdy polityk ma gdzieś w hasłach “internet dla wszystkich", ale to taka kiełbasa wyborcza. a tu się okazuje, że (część z nich) idzie z postępem i rozszerza metody dostępu do ludzi. super. ciekawe kiedy to zadziała w drugą stronę i będzie można u nas, w polsce, załatwić coś administracyjnego emailem czy stroną webową. ale to pewnie nie za mojego życia.

nowy zakup googlea

google kupił firmę neven vision.

czym się firma zajmuje? na blogu googla jest mocno ogólnikowo, że rozpoznawaniem obrazu. strona firmy neven vision już nie działa. jest tylko informacja, że google ich przejął. i nic więcej.

ale cóż to dla mnie. chwila poszukania i oto:

Neven Vision's computer vision technology is the fastest in the industry and represents leading accomplishments in this field. Several U.S. patents have been granted to Neven Vision for its unique inventions. U.S. government and independent observers have recognized the underlying technology as most advanced with respect to accuracy, speed and efficiency.

The core building blocks of the company's vision-enabled products and services are our patented face and object recognition engines. Below is a simple representation of how each of these engines work.

Faces in an image are automatically detected by a robust face finder component that determines the position and size of the face in real world conditions (varying illumination, pose and expression).
A second processing stage determines the position of local features on the face, called “landmark finding�?.
Then a Gabor Wavelet transformation takes place to compute the “face-template�? from the local features by extracting the template from an image that contains the essential, condensed facial information needed to determine a person's identity (a “face-template�? is only about 1kByte in size; min <350bytes max 1.6KBytes). Two templates are then compared to yield a similarity. Templates belonging to the same person produce high similarity while templates from different persons produce low similarities.

Neven Vision's object recognition technology is based on a local feature approach:

Objects are recognized by identifying characteristic points of an object, deriving feature vectors from the texture in the vicinity of the characteristic points.
These feature vectors are then compared to a database of known objects to establish matching correspondences between the current object and the objects contained in the database.
If a sufficient number of local feature correspondences are found, a positive identification is accepted.

brzmi bardzo interesująco. o ile pamiętam oprogramowanie tego typu było używane także w systemach monitorowania lotnisk – do wyłapywania terrorystów.

raczej wątpię by google zaczął inwestować teraz w soft antyterrorystyczny, ale widzę interesującą możliwość – zapisujemy gdzieś jakieś zdjęcie np. wujka jurka. potem każde zdjęcie gdzie on się pojawia dostaje automatycznie taga “wujek jurek". to “gdzieś" jest oczywiste – picassa albums.

mam nadzieję, że technologia neven vision zostanie szybko zintegrowana z images.google.com dzięki czemu będę mógł szukać nie tylko po keywordach stron czy nazwach plików, ale po faktycznej zawartości obrazków.

nowe opterony

amd wypuścił własnie na rynek nową serię opteronów – “rev. f".

zmiany? całkiem spore: dodane sprzętowe “wsparcie" wirtualizacji, obsługa pamięci ddr2.

już w tej chwili wszyscy najwieksi zapowiedzieli wypuszczenie nowych serwerów z tymi chipami: hp, ibm, sun. za chwilę pewnie dołączy dell.

procesory te zawsze były moimi ulubionymi (do serwerów oczywiście) – i chyba nie tylko moimi. w/g badań rynku 25% światowego rynku serwerów “chodzi" na opteronach!

jedną z mniej technicznych, ale interesujących zmian, jest modyfikacja nazewnictwa. zamiast 3 cyfrowych, nowe opterony będą miały 4 cyfrowe oznaczenia z opcjonalnymi dodatkami: “he" lub “se". he – chipy o niskim zużyciu prądu – nie do końca wiem po co – w końcu chyba nikt nie robi laptopów z opteronami? se – “super ekstra" – zoptymalizowane pod względem wydajności. wyżej taktowane, ale zuzywające więcej prądu.

dokładny opis nazewnictwa jest oczywiście na stronach amd, ale tak skrótowo:

numer składa się z 4 cyfr: abcd
a – ile maksymalnie procesorów tego typu może razem działać. możliwe wartości: 1 – (chyba nikt na świecie tego nie używa), 2 (najpopularniejsze) i 8 (rzadziej spotykane, bo sporo droższe)

b – rodzaj gniazda. na razie wszystkie mają tam wartość “2".

cd – dwucyfrowa liczba. im więcej tym lepiej. odpowiada częstotliwości. wartość “10" oznacza 1.8 ghz. “skacze" co 2, i każdy kolejny skok to o 200 mhz więcej.

czyli np:

opteron 8216, to procesor działający w zestawach do 8 procesorów na raz, o częstotliwości 2.4 ghz.

modele – h.e – mają takie same parametry jak modele standardowe.

modele – s.e. są taktowane wyżej niż by na to wskazywał numer. np. 2220 se zamiast być taktowany 2.8, ma równe 3 ghz.

mniam. ciekawe kiedy dostanę takie cudo do potestowania 🙂

jak zainstalować oracle na linuksie xxx ?

stawianie oracle'a jakoś nigdy nie było łatwe i proste. dziś przez przypadek trafiłem na stronę zawierającą linki do howto jak postawić oracle'a na różnych linuksach. różne wersje oracle'a. i nie tylko baza danych jako taka, ale także dodatki – rac, developer suite, application server.
muszę przyznać, że wygląda bardzo smakowicie 🙂

nowa zabawka – c.d.

tak jak obiecałem – zrobiłem mocniejsze testy.

najpierw tylko takie info – jak pamiętacie poprzednio robiłem pgbencha -s 750. i na ustawieniach praktycznie “defaultowych" robił maksymalnie 830 tps. po dokonfigurowaniu robił (przy 100 połączeniach jednocześnie, czyli wtedy gdy poprzedni config robił 780-790) w zależności od nie wiem czego od 960 do 1070 tps'ów. całkiem ładnie.

potem zrobiłem bazę ze skalą pgbencha 7500. wielkość bazy – 120 giga, czas robienia pgbench -i – 150 minut.

ponieważ każdy test (każde concurrency) robię na czystej bazie, stwierdziłem, że robienie za każdym razem inicjalizacji po 150 minut odpada.

skopiowałem więc cały katalog $PGDATA na bok, i robiłem testy kopiując co test czysty katalog na miejsce “zużytego".

skrypt testujący:

#!/bin/bash -x<br />
export TOTAL_TRANS=1000000<br />
for C in 1 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 105 110 115 120 125 130 135 140 145 150 155 160 165 170 175 180 185 190 195 200<br />
do<br />
rm logs/* -f<br />
pg_ctl -w -l logs/x.log start<br />
TRANS=$[ $TOTAL_TRANS / $C ]<br />
pgbench -s 750 -c $C -t $TRANS -U pgdba -d bench 2> /dev/null > /home/pgdba/bench-$C.std<br />
pg_ctl -m immediate stop<br />
killall -9 postgres<br />
killall -9 postmaster<br />
killall -9 postgres<br />
killall -9 postmaster<br />
rm -rf /mnt/postgres/pgdba/data<br />
cp -a /mnt/postgres/pgdba/data.back /mnt/postgres/pgdba/data<br />
done

proste i miłe 🙂

wyniki wyglądają tak:

jest lepiej niż poprzednio – nie ma takiego spadku wydajności.

co interesujące – są skoki o amplitudzie około 50tps, ale wydaje mi się, że mogą one być spowodowane aktywnością poza-bazodanową (cron).
całość osięgnęła stabilną średnią około 640 tps. dla przypomnienia – przy wielkości bazy 4 razy większej niż ram. całkiem przyjemny wynik.

wybuchowe laptopy – ostatnie starcie

dell ogłosił największy recall (zna ktoś jakieś polskie określenie?) baterii – 4 miliony baterii idą do wymiany.

wymiana obejmuje baterie z tych modeli:

Latitude: D410, D500, D505, D510, D520, D600, D610, D620, D800, D810
Inspiron: 500M, 510M, 600M, 700M, 710M, 6000, 6400, 8500, 8600, 9100, 9200, 9300, 9400, E1505, E1705
Precision: M20, M60, M70, M90
XPS: XPS, XPS Gen2, XPS M170, XPS M1710

aby sprawdzić czy twoja bateria idzie do wymiany, obejrzyj naklejkę z numerem seryjnym baterii. znajdź na niej odpowiedni kod:

jeśli ten kod u ciebie to jeden z tych:

1K055
3K590
59474
6P922
C2603
C5339
C5340
C5446
C6269
C6270
D2961
D5555
D6024
D6025
F2100
F5132
GD785
H3191
JD616
JD617
KD494
M3006
RD857
TD349
U5867
U5882
W5915
X5308
X5329
X5332
X5333
X5875
X5877
Y1333
Y4500
Y5466

no to sprawdzaj szybciutko jak wymienić swoje “ognisko domowe" 🙂

sprzęt do testowania wydajności serwisów webowych

przez poniekąd przypadek trafiłem na stronę producenta interesującego rozwiązania sprzętowo/software'owego do testowania wydajności serwisów webowych.

możliwości wyglądają interesująco:

symuluje od 50 do ponad 2 milionów jednoczesnych użytkowników, korzystających z różnych adresów ip!
emuluje różne przeglądarki i różne “strategie" działania użytkowników
sprawdza odporność przed wirusami i atakami ddos
generuje gotowe, zintegrowane statystyki w postaci raportu eksportowalnego do np. pdf'a – którego można bezpośrednio już przekazać klientowi/szefowi.

eh. może mi ktoś kupi takie?

sprzętowa wirtualizacja wolna?

twórcy znanego oprogramowania wirtualizującego – vmware'a, opublikowali raport z którego wynika, że sprzętowa wirtualizacja jest często wolniejsza od software'owej!
raport wini za ten stan rzeczy fakt iż sprzętowa wirtualizacja musi używać “trapów" (pułapek?) aby wyłapać potencjalnie niebezpieczne operacje, podczas gdy software'owa wirtualizacja można użyć dużo “tańszego" sposobu – podmiany kodu.
muszę przyznać, że wynik mnie trochę zaskoczył – w końcu od zawsze rozwiązania hardware'owe były traktowane jako szybsze/lepsze.
przykładowy wynik testów jakie przeprowadzili – kompilacja kernela – bezpośrednio (bez wirtualizacji) trwała 263 sekundy. poprzez wirtualizację software'ową: 393 sekundy. poprzez wirtualizację “wspomaganą" sprzętowo – 484 sekundy!

jedno drobne ale – pozostaje kwestia czy można wierzyć vmware'owi w tym co mówi. w sumie są producentami softu wirtualizującego. choć z drugiej strony – ich soft będzie działał niezależnie od tego co jest szybsze…