MPI

Vícejádrové procesory přináší možnost provádět paralelní výpočty i na běžných počítačích. Implementace aplikací využívajících paralelní výpočty je netriviální záležitostí. Cílem předmětu je proto seznámit studenty teoreticky i prakticky se současně používanými softwarovými technologiemi pro zápis paralelních algoritmů, naučit studenty ladit paralelní programy a v neposlední řadě naučit studenty ladit výkon paralelních programů.
jonny
Matfyz(ák|ačka) level II
Příspěvky: 53
Registrován: 14. 12. 2006 17:14

MPI

Příspěvek od jonny »

Ahoj funguje vam to MPI? Ja jsem zkousel pustit ten skript, vsiml jsem si, ze tam byly nejaky chyby, ale pak to napsalo ze to skoncilo succesfuly, kdyz pustim demony, tak mi taky bezi (je treba nastavit HOSTNAME=parlab-master) - v mpitrace jsou videt, ale kdyz chci pustit i uplne trivialni programek tak se mi nepusti a vytvori se mi mpd2_logfile s radkama "close failed: [Errno 10] No child processes"
Funguje vam to?
127.0.0.1, C6H12O6 127.0.0.1
Uživatelský avatar
Necroman
Supermatfyz(ák|ačka)
Příspěvky: 459
Registrován: 20. 1. 2005 19:46
Typ studia: Informatika Mgr.
Bydliště: Louny / kolej Jednota, Praha
Kontaktovat uživatele:

Re: MPI

Příspěvek od Necroman »

Mam par dotazu na MPI, zacal jsem s tim pozde a motam se v kruzich:

Dotaz na prostredi: kam mam umistit dany spustileny soubor pri spusteni a kam soubory na workery?

Da se zjistit, ktere z tech 80 uzlu lezi na spolecnem stroji a pokud ano, mohou pracovat nad spolecnymi / sdilenymi daty? Tj ze by kus matice dostal jeden proces a podelil se o ni s dalsimi na tom stroji?
Je mozne v ukolu pouzivat i vlakna/TBB? Ze bych treba spustil na kazdem workeru jen jednu instanci, ktera by uz pomoci TBB zatizila dalsi jadra?

Diky za odpovedi.
WANTED:
Dead or Alive
^-^
( ^ )
Schroedinger's Cat
Uživatelský avatar
Soptik
Matfyz(ák|ačka) level I
Příspěvky: 25
Registrován: 25. 12. 2004 12:15
Typ studia: Informatika Mgr.
Bydliště: Praha, Uhříněves
Kontaktovat uživatele:

Re: MPI

Příspěvek od Soptik »

Necroman píše:Dotaz na prostredi: kam mam umistit dany spustileny soubor pri spusteni a kam soubory na workery?
musis to mit ve sdilenem adresari pro vsechny. tj /mnt/home/stud_.../
Necroman píše:Da se zjistit, ktere z tech 80 uzlu lezi na spolecnem stroji a pokud ano, mohou pracovat nad spolecnymi / sdilenymi daty? Tj ze by kus matice dostal jeden proces a podelil se o ni s dalsimi na tom stroji?
Muzes to odhadnout pomoci moduleni ranku vuci poctu stanic v mpd.hosts (11). Ale stejne se ke spolecne pameti budes tezko dostavat. Radej obecne.
Necroman píše:Je mozne v ukolu pouzivat i vlakna/TBB?
Tohle nam striktne zakazali

Ja osobne uz v tom mam pres tyden intenzivni prace a porad mi to nepocita :( Takze rezignuju na vcasne odevzdani ve prospech ctvrtecni zkousky u Antocha. Doufam, ze bude posunut termin, nebo alespon rozumne podminky pro pozdni odevzdani.
Uživatelský avatar
Necroman
Supermatfyz(ák|ačka)
Příspěvky: 459
Registrován: 20. 1. 2005 19:46
Typ studia: Informatika Mgr.
Bydliště: Louny / kolej Jednota, Praha
Kontaktovat uživatele:

Re: MPI

Příspěvek od Necroman »

Tak mam po dni prace hotovou prvni verzi, ktera "zvlada" medium a large matice, zatim jen primocare, tj:

Bcast velikosti matic
Bcast cela matice Btransponova vsem
Scatter cast radku matice A kazdemu zvlast
Gather podmatice C do spolecneho

Rychlosti na 16 procesorech odpovidaji casem cca zrychleni 5-7x proti serial.

Akorat narazim na problem, ze vysledky obcas nesedi (pustim 2x po sobe a ruzny vysledny soubor, lisi se cca v 100bajtech na 2 MB). Asi nejake race condition a prepinani kontextu, divne. Fakt nevim, kde by to mohlo vznikat :shock:
WANTED:
Dead or Alive
^-^
( ^ )
Schroedinger's Cat
qk_

Re: MPI

Příspěvek od qk_ »

No, ja se priznam, ze to uz mam hotovy. Chodi to OK, akorat...
1) delal sem to v dobe kdy sem myslel ze se vysledna matice nejvejde do pameti, proto to je celkem pomaly
2) pri testovani doma, sem to omezil na 500kb Ramky a celkem slusne to s tim chodi :)..takze muzu pocitat i na velmi ruznorodym clustery, v podstate muj algoritmus funguje i na velmi heterogennim clusteru, coz se zase podepisuje na vykonu
3) primarni ukol bylo at to chodi, takze i to je znat na vykonu.
takze secteno u huge, mam horsi vysledek na 88 procikach nez s TBB, hlavne kvuli tomu, ze jeden master nestiha posilat data ze souboru.
weetya
Matfyz(ák|ačka) level I
Příspěvky: 8
Registrován: 23. 4. 2007 21:21

Re: MPI

Příspěvek od weetya »

Já mám momentálně problém se spuštěním mpd.
mpdboot -n 11 -r ssh mi vynadá že se nemůže připojit na w02 (nebo jak to vyjde na toho prvního).
ani mpdcleanup nepomáhá.

Přes ssh se můžu normálně přihlásit na w01-w10 bez hesla.
Je to divné, ješte před pár dny mi to fungovalo.

Zkoušel jsem psát Dokulilovi, ale zatím mi neodpověděl.

Neměl jste někdo podobný problém?
qk_

Re: MPI

Příspěvek od qk_ »

weetya píše:Já mám momentálně problém se spuštěním mpd.
mpdboot -n 11 -r ssh mi vynadá že se nemůže připojit na w02 (nebo jak to vyjde na toho prvního).
ani mpdcleanup nepomáhá.

Přes ssh se můžu normálně přihlásit na w01-w10 bez hesla.
Je to divné, ješte před pár dny mi to fungovalo.

Zkoušel jsem psát Dokulilovi, ale zatím mi neodpověděl.

Neměl jste někdo podobný problém?
Mel po nejakym nepovedenym restartu se neodstranili z tmp subory mpd a proto se to tak tvari, staci ty soubory smazat. (nejlepe pres ssh s commandem)

Edit:ty tmp soubory jsu pouze na workerech, ne na masteru
weetya
Matfyz(ák|ačka) level I
Příspěvky: 8
Registrován: 23. 4. 2007 21:21

Re: MPI

Příspěvek od weetya »

qk_ píše: Mel po nejakym nepovedenym restartu se neodstranili z tmp subory mpd a proto se to tak tvari, staci ty soubory smazat. (nejlepe pres ssh s commandem)
Díky, bylo to přesně tím.
jonny
Matfyz(ák|ačka) level II
Příspěvky: 53
Registrován: 14. 12. 2006 17:14

Re: MPI

Příspěvek od jonny »

Jde vam pripojit se na parlab? Je mozny, ze jsem ho shodil :oops: :?
127.0.0.1, C6H12O6 127.0.0.1
Návštěvník

Re: MPI

Příspěvek od Návštěvník »

Tak parlab uz zase bezi... Snad mu to chvili vydrzi.
Uživatelský avatar
Soptik
Matfyz(ák|ačka) level I
Příspěvky: 25
Registrován: 25. 12. 2004 12:15
Typ studia: Informatika Mgr.
Bydliště: Praha, Uhříněves
Kontaktovat uživatele:

Re: MPI

Příspěvek od Soptik »

akorat stud_02 stale vytezuje workery, i kdyz uz nema ridici proces...
Uživatelský avatar
Necroman
Supermatfyz(ák|ačka)
Příspěvky: 459
Registrován: 20. 1. 2005 19:46
Typ studia: Informatika Mgr.
Bydliště: Louny / kolej Jednota, Praha
Kontaktovat uživatele:

Re: MPI

Příspěvek od Necroman »

Pristup na server zacal az tak v pul jedne. Jak jsem zacal ladit novou verzi, zjistuji, ze mi to neposila zpravy a nevim proc. Nejaky deadlock asi.
Nestiham, holt to dopisu jindy s tim, ze to snad pujde uznat za minimalni zrychleni. :roll:
Trochu mi to pripomina OSy a ladeni, ble.
WANTED:
Dead or Alive
^-^
( ^ )
Schroedinger's Cat
Uživatelský avatar
Soptik
Matfyz(ák|ačka) level I
Příspěvky: 25
Registrován: 25. 12. 2004 12:15
Typ studia: Informatika Mgr.
Bydliště: Praha, Uhříněves
Kontaktovat uživatele:

zombici na workerech

Příspěvek od Soptik »

Ahoj, mam obecnou prosbu na vsechny vyvojare na parlabu. Kdyz testujete nejaky svuj programek, zvlaste pak s pouzitim gdb, tak po padu zustavaji na workerech aktivni zombici. Ti pocitaji jako divi, ale nemaji komu dat vysledek. Zabijejte po sobe a udrzujte stroje pouzitelne i ostatnimi. Muzete zkusit treba nasledujici target do Makefilu (NAME nahradte nazvem sve binarky). Dik

Kód: Vybrat vše

cleanup :
     mpdcleanup -f mpd.hosts --all -r ssh  --clean="pkill $(NAME); " 2>/dev/null
jonny
Matfyz(ák|ačka) level II
Příspěvky: 53
Registrován: 14. 12. 2006 17:14

Re: MPI

Příspěvek od jonny »

Tak jsem se dovedel, ze MPI ma na parlabu natvrdo nastaveny limit na velikost zpravy 4MB. Tak kdyby vam neco zahadne nefungovalo, tak to muze byt tim.

Jeste jsem se dovedel, ze se v pohode da ladit doma na visual studiu. Kdyz si stahnete a nainstalujete cluster pack SDK

http://www.microsoft.com/downloads/deta ... laylang=en

tak pak muzete pomoci navodu

http://www.microsoft.com/downloads/than ... layLang=en

zprovoznit i ladeni ve VS se vsim vsudy. To by mohlo zamezit dalsimu zhrouceni parlabu :)
127.0.0.1, C6H12O6 127.0.0.1
Uživatelský avatar
Necroman
Supermatfyz(ák|ačka)
Příspěvky: 459
Registrován: 20. 1. 2005 19:46
Typ studia: Informatika Mgr.
Bydliště: Louny / kolej Jednota, Praha
Kontaktovat uživatele:

Re: MPI

Příspěvek od Necroman »

jonny píše:Tak jsem se dovedel, ze MPI ma na parlabu natvrdo nastaveny limit na velikost zpravy 4MB. Tak kdyby vam neco zahadne nefungovalo, tak to muze byt tim.
Ja tusil, ze posilat ty ctvrt gigovy soubory nebude nejlepsi napad :-D
WANTED:
Dead or Alive
^-^
( ^ )
Schroedinger's Cat
Odpovědět

Zpět na „NPRG042 Programování v paralelním prostředí“