PENTAX@PL Strona Główna » Gdzie... » Hyde Park » Klastry, plastry, xeony i inne farmazony
 

szpajchel  Dołączył: 20 Kwi 2006
Klastry, plastry, xeony i inne farmazony
Od razu uprzedzam, że nie chodzi o komputer do obróbki plików RAW ani filmów z DSLR :-P

Urzekła mnie ta historia:
http://www.mscs.mu.edu/~cstruble/slayer/
W skrócie - 4 jednostki z wielordzeniowymi procesorami zamknięte w akwarium, albo raczej terrarium. I do tego nocne oświetlenie ;-)
Chyba takie coś jest mi potrzebne do pracy.
Dla uproszczenia przyjmijmy, że chodzi o 4 x 2 rdzenie. Czyli 8 węzłów. I na tym Linux.
Ale skoro 8=8, to równie dobrze mogło by być 2 x 4 rdzenie. Dalej 8 węzłów, ale tylko 2 płyty i ogólnie mniej elementów do złożenia. A wczoraj sobie przypomniałem, że kiedyś były płyty dwuprocesorowe. I są nadal, czyli teoretycznie można by coś takiego skompresować do poziomu Dual Quad cośtamcośtam. Taki Xeon na ten przykład. Czyli zamiast zabawy z pleksi, śrubami, zasilaczami itd, wszystko wsadzić do obudowy pasującej wymiarami i możliwościami wentylacji/chłodzenia do takiej dwuprocesorowej płyty.

I tu rodzi się pytanie, gdzie jest haczyk:?: Jest na pewno, tylko nie wiem gdzie... Pomijam sprawę awarii sprzętu, ceny itp. Chodzi mi o to, czy da np. się korzystać z dobrodziejstw MPI, czy też zarezerwować dla każdego rdzenia odpowiednia ilość pamięci, wskazać palcem, który rdzeń ma coś zrobić. Kwestia fikuśnych nazw dla rdzeni jest chwilowo nieistotna :mrgreen: . Sprawa jest pilna a ja muszę się na jakąś koncepcję zdecydować.
 
ClicoFantastico  Dołączył: 14 Paź 2006
Re: Klastry, plastry, xeony i inne farmazony
szpajchel napisał/a:

Chodzi mi o to, czy da np. się korzystać z dobrodziejstw MPI, czy też zarezerwować dla każdego rdzenia odpowiednia ilość pamięci, wskazać palcem, który rdzeń ma coś zrobić.


Da się, ale soft musi to wspierać. Zależy co chcesz osiągnąć i jaki soft chcesz na tym odpalać ? Z pudełka czy coś własnego piszesz ?
 

SeizeThePicture  Dołączył: 07 Lis 2009
Re: Klastry, plastry, xeony i inne farmazony
szpajchel napisał/a:
Czyli 8 węzłów.


Będę się upierał przy WĄTKACH.
 
ClicoFantastico  Dołączył: 14 Paź 2006
Re: Klastry, plastry, xeony i inne farmazony
SeizeThePicture napisał/a:
szpajchel napisał/a:
Czyli 8 węzłów.


Będę się upierał przy WĄTKACH.


Właśnie, 4 x 2 rdzenie to będą 4 węzły klasta, a 2 x 4 rdzenie to 2 węzły. SeizeThePicture, z tymi wątkami to nie do końca, bo przecież wątków może być dowolnie dużo odpalonych, no chyba że miałeś na myśli że 8 na raz może działać, to tak.

[ Dodano: 2010-01-06, 15:28 ]
szpajchel napisał/a:
A wczoraj sobie przypomniałem, że kiedyś były płyty dwuprocesorowe. I są nadal, czyli teoretycznie można by coś takiego skompresować do poziomu Dual Quad cośtamcośtam. Taki Xeon na ten przykład. Czyli zamiast zabawy z pleksi, śrubami, zasilaczami itd, wszystko wsadzić do obudowy pasującej wymiarami i możliwościami wentylacji/chłodzenia do takiej dwuprocesorowej płyty.


Przeczytałem jeszcze raz i dopiero teraz zajarzyłem o co Ci chodzi :-) . Czyli chcesz 2 czterordzeniowe procesory na jednej płycie, czyli de facto pojedynczy 8 rdzeniowy komp ? No to bardzo dobrze. Tu żadne oprogramowanie klastowe nie będzie potrzebne, żadne MPI. OS będzie widział wszystkie 8 rdzeni i wystarczy że program będzie wielowątkowy i nic więcej nie musisz robić, OS ładnie rozdzieli robotę między rdzenie. Mam sporo takich 8 rdzeniowych maszyn w pracy i działa to bez problemu (systemy Linux i FreeBSD).
 

szpajchel  Dołączył: 20 Kwi 2006
Zagalopowałem się z tymi 8 węzłami, chodziło mi o rdzenie.

Programy będą z pudełka + jakieś skrypty w pythonie. Z wielowątkowością to jest póki co krucho, program na którym mi najbardziej zależy od ładnych paru lat miał być wielowątkowy. A nie jest. W innych przypadkach pomaga zainstalowanie LAM/MPI i jakieś czary mary. Najgorszy akceptowalny scenariusz, to uruchamianie różnych zadań w tym samym programie w osobnych wątkach.

[ Dodano: 2010-01-06, 16:23 ]
ClicoFantastico napisał/a:
Czyli chcesz 2 czterordzeniowe procesory na jednej płycie, czyli de facto pojedynczy 8 rdzeniowy komp ?

Tak.

[ Dodano: 2010-01-06, 23:24 ]
Troszkę lepiej z wielowątkowością. Znalazłem coś co działa na różnych systemach operacyjnych i można zadać liczbę rdzeni. I nawet ma interfejs graficzny.
 

aflinta  Dołączył: 01 Lip 2007
Są jeszcze procesory 6 rdzeniowe, a niedługo pojawią się 8 i 12 rdzeniowe (oczywiście mowa o x86) :)
 

lRem  Dołączył: 07 Lip 2007
Re: Klastry, plastry, xeony i inne farmazony
SeizeThePicture napisał/a:
szpajchel napisał/a:
Czyli 8 węzłów.


Będę się upierał przy WĄTKACH.


Wątkach sprzętowych? Ale może ich być w tym przypadku 16 (Nehalemy mają po 2 wątki sprzętowe na rdzeń).

Wracając do oryginalnego pytania: nie ma haczyka. Nawet lepiej jest mieć wszystko na jednej płycie (ze względu na wydajność, bo w razie awarii jeden problem kładzie Ci cały interes). Problemem z reguły jest cena zestawu.
 

szpajchel  Dołączył: 20 Kwi 2006
aflinta napisał/a:
Są jeszcze procesory 6 rdzeniowe, a niedługo pojawią się 8 i 12 rdzeniowe (oczywiście mowa o x86) :)

I to jest dobra wiadomość. :mrgreen:

[ Dodano: 2010-06-28, 16:17 ]
No i mnie pokarało. Muszę coś wybrać.

[ Dodano: 2010-06-29, 17:20 ]
Nie wiedziałem, że są nawet w Polsce do kupienia gotowe rozwiązania.
I płyty czteroprocesorowe:
http://www.allegro.pl/ite...teron_8356.html

Nawet obudowa mi pasuje do tego, co mam w pracy - mam z tej serii, tylko mniejszą.

[ Dodano: 2011-11-15, 23:07 ]
UPDATE: Sprzęt już mam, teraz będę się gimnastykował z linuksami.
 

szpajchel  Dołączył: 20 Kwi 2006
Wszystko chodzi jak należy, tylko zachciało mi się kontrolować linuksową stację roboczą zdalnie. No i się zaczęło. Chyba robię coś nie tak z tunelowaniem SSH. Do terminalu loguję się bez problemu, ale VNC jakoś mi nie idzie, a próbowałem już z różnymi serwerami i klientami po obydwu stronach tunelu. W sumie to nie muszę mieć okienek, bo i tak najbardziej zależy mi na programach bez interfejsu graficznego. Ale jak do licha podpiąć się z domu do tty w pracy (po zalogowaniu i uruchomieniu właściwego programu) :?: :-(
Póki co,
Cytat
man screen
nie pomaga w uzyskaniu odpowiedzi.
 

mkotarba  Dołączył: 16 Lip 2010
1. klasycznie uzywając programu nohup.
Jeżeli zadanie/program jest typu wsadowego to uruchamiamy program przy użyciu komendy nohup oraz koniecznie w tle np.
$ nohup moj_program &
lub jeżeli moj_program ma produkować wyniki
$ nohup moj_program > wynik.out 2>wynik.err &
lub jeżeli moj_program ma produkować wyniki możemy logować błędy w jednym pliku, wtedy przekierowujemy wyjście błędów na wyjście programu
$ nohup moj_program > wynik.out 2>&1 &
Po zamknięciu terminala moj_program wykonuje się w tle. Do wyników możemy się dostać używając ssh/putty. Stan wykonania programu możemy ustalić analizujac plik wynikowy nohup.out lub wynik.out Nie znam możliwości przejęcia sesji programu (nie jest on już związany z żadnym terminalem).
ps -ef|grep moj_program możemy sprawdzić czy się nam zakończył.

2. używając programu screen
Powyższa metoda nie sprawdza się, jeżeli mamy pracować interaktywnie. Jeżeli jednak chcemy tak pracować to wtedy używamy programu: screen
$ screen
Otrzymujemy shell wraz z zmiennymi środowiskowymi i w nim uruchamiamy moj_program
Po wyjściu z terminala możemy w każdej chwili wrócić do naszego uruchomionego programu używając ssh/putty oraz uruchamiając screen w trybie:
$ screen -DR
 

szpajchel  Dołączył: 20 Kwi 2006
mkotarba napisał/a:
$ screen -DR

No i działa, jak należy. Jest interakcja, jest dobrze. Wielkie dzięki!

Odpowiedz
[X]
Wyświetl posty z ostatnich:
Skocz do:
Nie możesz pisać nowych tematów
Nie możesz odpowiadać w tematach
Nie możesz zmieniać swoich postów
Nie możesz usuwać swoich postów
Nie możesz głosować w ankietach
Dodaj temat do Ulubionych
Wersja do druku

Powered by phpBB modified by Przemo © 2003 phpBB Group
Theme created by opiszon, powered with Bootstrap and VanillaJS.
Strona używa plików cookie. Jeśli nie zgadzasz się na to, zablokuj możliwość korzystania z cookie w swojej przeglądarce.
my.pentax.org.pl