Zgodnie z definicją klaster komputerowy to grupa jednostek połączonych ze sobą. Ma to na celu możliwość udostępniania w zasadzie jednego środowiska na które składa sie wiele maszyn.
Od zawsze chciałem mieć swój własny klaster – tak jak dzieci marzą o tym żeby być pielęgniarką, policjantem czy strażakiem jak chciałem być operatorem superkomputera 🙂 W końcu sobie go wybudowałem i wykorzystuje w codziennej pracy.
srodowisko które mamy to w zsadzie dwa klastry:
- Jeden to klaster oparty na proxmox składający sie z 10 nodów
- Drugi to bezdyskowy klaster typo BeoWolf
Klaster komputerowy Proxmox
To klaster zbudowany w celu jak najprostszego zarządzania 40 maszynami wirtualnymi (parawirtualizacja LXC) które wykorzystujemy na potrzeby projektu Blinked i parsowania danych dla SEO. Ponieważ crawle serwisów, sprawdzanie ich paramtetrów dla kiludziesięciu serwisów odbywa sie w trybie ciągłbym potrzeba zbudowania klastra w którym łatwo zarządzałoby się kontenerami była bardzo uzasadniona.
Parametry sprzętowe
- Łącznie mamy do dyspozycji 10 nodów opartych na krótkich serwerach dell R210
- Mamy do dyspozycji 64 wątki
- RAM: w zależności od czasu od 96 do 320 GB
- Pamięc dyskowa: 10 TB na zamych serwerach + zeewnetrzne storage
Parametry na dziejsze czasy nie są może porywające bo są juz koputery osobiste które maja więcej wątków, więcej ramu i więcej pamięci dyskowej natomiast najwazniejszą kwestią tutaj jest to że jednak operacje odbywają się na wielu maszynach. W przypadku jednej mocnej maszyny mogłaby sobie na nie poradzić z tak duża liczbą wątków.
Wazne też było w tym projekcie to żeby klaster był w miarę mobilny dlatego jest zbudowany na bazie szafy technicznej oraz dość energooszczędny. Te dwie rzeczy udało się pogodzić dzięki wspomnianej szafie, energooszczędnymi serwerami DELL oraz zarządzaniu włączaniem i wyłączaniem nodów. Poprzez proxmox i skrypty cały klaster potrafi chodzić mając włączonego jednego noda (bez kworum) co wymagało dość sporej gimnastyki z corsync ale z drugiej strony pozwala ma bardzo duże oczędności energii. Gdy nie ma potrzeby dużej mocy olbiczeniowej zadania realizuje jeden nody w klastrze, gdy zwiększa się obciążenie włączane są kolejne nody. Tak samo maszyny backupowe włączane są automatycznie tylko podczas tworzenia backupów
Do czego wykorzystujemy klaster PROXMOX
Tak jak wcześniej było napisane wykrzystujemy nasz klaster na potrzeby SEO (crawlowania serwisów), parsowania danych, wyciągania danych z róznych API, łączenia ich ze sobą.
Możliwości wykorzystania tego klastra komputerowego w zasadzie ogranicza tylko wyobraźnia
Klaster BeoWulf
O tym klastrze komputerowym był już artykuł na blogu: Moj własny diskless klaster typu beowulf. Jest to klaster diskless (nie posiada dysków – cały system ładowany jest przez sieć z klastra PROXMOX) typu BeoWulf. Klaster BeoWulf to nic innego jak klaster zbudowany z nastawieniem na jak największą moc obliczeniową zrobioną jak najniższym kosztem. Zamiast kupować kolejne nody i wydawać na nie majątek dosć fajny efekt można uzyskać wykorzystując starsze koputery w duzych ilościach.
Do niedawna nasz BeoWulf wyglądał tak:
Składał sie głównie z nodów Fujistu Siemens każdy z potężnym jednocorowym P4 3Ghz z HT i 4 GB RAM. Przy odpowniednio przykrojonej dystrbujci Linuxa (debian 9), braku dysków ten zestaw świetnie nadawał się do przetwarzania małych porcji danych w dużej ilości równocześnie.
Teraz jest w trakcie przbudowy i na ten czas wszystkie komputery w biurze mogą bootować z LAN i być częścią klastra BeoWulf ale już w krótce pojawi się jego zodyfikowana wersja bazująca na procesorach Intel i3 i Intel i5 o czym oczywiście będzie wpis na blogu
Artykuły o klastrach
- Kolekcja starych mikrokomputerów z lat 80 – Amiga, Commodore, Atari, Sinclar
Postanowiłem zrobić sobie pamiątkowe, zdjęcia mojej kolekcji jak ona teraz wygląda bo już niedługo częś„ z tych eksponatów trafi do nowych nabywców a ja będę żałował że… Dowiedz się więcej: Kolekcja starych mikrokomputerów z lat 80 – Amiga, Commodore, Atari, Sinclar - Sinclair QL – następca ZX spectrum – 40 lat później
Ostatnio w moje łapki wpadł takie niesamowity komputer który jest tak samo stary jak ja. Mowa o Sinclair QL czyli biznesowy następca ZX Spectrum, będący jednocześnie zabójcą… Dowiedz się więcej: Sinclair QL – następca ZX spectrum – 40 lat później - Klaster DRBD – NFS – czyli sieciowy RAID – DRBD Pacemaker HA Cluster na Debianie 8
Wysoko dostępny serwer plików DRBD Pacemaker HA Cluster na Debianie 8 Najlepszy sposób na zbudowanie wysokodostępnego serwera plików dość niskim kosztem to użycie dwóch komputerów, sprzęgnięcie ich… Dowiedz się więcej: Klaster DRBD – NFS – czyli sieciowy RAID – DRBD Pacemaker HA Cluster na Debianie 8 - Komputer HP Compaq 6005 AMD sempron
Komputer HP 6005 z procesorem AMD sempron na pokładzie. CPU: AMD Athlon II X2 3 Ghz, dwa rdzenieRAM: Brak (max 8 GB)Grafika: AMD HD 4200 Komputer sprawny… Dowiedz się więcej: Komputer HP Compaq 6005 AMD sempron - Black Friday
Black Friday jak co roku to dzień mega wyprzedaży, rabaty okazje itp. My w ten dzień po prostu pozbywamy sie zbędnej elektroniki która zalega nam w biurze.… Dowiedz się więcej: Black Friday - SERWERY: 2xDELL 2950, 2xIBM x3550
Laboratorium do testów, nie używanie produkcyjnie od 3 lat, tylko do testów, wszystkie komputery sprawne w bardzo dobrym stanie W skład laboratorium wchodzą: DELL PowerEdge 2950 CPU:… Dowiedz się więcej: SERWERY: 2xDELL 2950, 2xIBM x3550 - Komputery Dell gx270 gx150 gx60
Dell OptiPlex GX60 CPU: Celeron 2 GHzHDD: BrakGrafika: Intel Extreme GraphicsProducent: DellRAM: Brak Dell OptiPlex GX150 CPU: Intel Pentium III 1 GHz, Socket 370Chipset: Intel 815ERAM: SDRAM… Dowiedz się więcej: Komputery Dell gx270 gx150 gx60 - LG Flatron PLAZMA 42″ cale monitor VGA
Jeden z najciekawszych monitorów jakie powstały to plazmowy LG flatron 42 cale. Gigantyczny monitor wyposażony w wejście VGA oraz własny wzmacniacz kolumn to na prawdę gratka dla… Dowiedz się więcej: LG Flatron PLAZMA 42″ cale monitor VGA - Monitor LCD NEC LCD1501
Monitor LCD firmy NEC 15 cali, VGA max rozdzielczość 1024×768px. W 100% sprawny - Półki Rack 1U LinkBasic
Półki Rack LinkBasic 3 półki były zamontowane w szafie, reszta leżała i nigdy nie była zamonotowana Wysokość: 1U Głębokość półki: 350mm Mocowanie czteropunktowe Kolor: czarny Producent: LinkBasic… Dowiedz się więcej: Półki Rack 1U LinkBasic