MPI

Vícejádrové procesory přináší možnost provádět paralelní výpočty i na běžných počítačích. Implementace aplikací využívajících paralelní výpočty je netriviální záležitostí. Cílem předmětu je proto seznámit studenty teoreticky i prakticky se současně používanými softwarovými technologiemi pro zápis paralelních algoritmů, naučit studenty ladit paralelní programy a v neposlední řadě naučit studenty ladit výkon paralelních programů.

MPI

Příspěvekod jonny » 3. 5. 2008 17:20

Ahoj funguje vam to MPI? Ja jsem zkousel pustit ten skript, vsiml jsem si, ze tam byly nejaky chyby, ale pak to napsalo ze to skoncilo succesfuly, kdyz pustim demony, tak mi taky bezi (je treba nastavit HOSTNAME=parlab-master) - v mpitrace jsou videt, ale kdyz chci pustit i uplne trivialni programek tak se mi nepusti a vytvori se mi mpd2_logfile s radkama "close failed: [Errno 10] No child processes"
Funguje vam to?
127.0.0.1, C6H12O6 127.0.0.1
jonny
Matfyz(ák|ačka) level II
 
Příspěvky: 53
Registrován: 14. 12. 2006 17:14

Re: MPI

Příspěvekod Necroman » 20. 5. 2008 17:46

Mam par dotazu na MPI, zacal jsem s tim pozde a motam se v kruzich:

Dotaz na prostredi: kam mam umistit dany spustileny soubor pri spusteni a kam soubory na workery?

Da se zjistit, ktere z tech 80 uzlu lezi na spolecnem stroji a pokud ano, mohou pracovat nad spolecnymi / sdilenymi daty? Tj ze by kus matice dostal jeden proces a podelil se o ni s dalsimi na tom stroji?
Je mozne v ukolu pouzivat i vlakna/TBB? Ze bych treba spustil na kazdem workeru jen jednu instanci, ktera by uz pomoci TBB zatizila dalsi jadra?

Diky za odpovedi.
WANTED:
Dead or Alive
^-^
( ^ )
Schroedinger's Cat
Uživatelský avatar
Necroman
Supermatfyz(ák|ačka)
 
Příspěvky: 459
Registrován: 20. 1. 2005 19:46
Bydliště: Louny / kolej Jednota, Praha
Typ studia: Informatika Mgr.
Login do SIS: suchm4am

Re: MPI

Příspěvekod Soptik » 20. 5. 2008 23:04

Necroman píše:Dotaz na prostredi: kam mam umistit dany spustileny soubor pri spusteni a kam soubory na workery?

musis to mit ve sdilenem adresari pro vsechny. tj /mnt/home/stud_.../
Necroman píše:Da se zjistit, ktere z tech 80 uzlu lezi na spolecnem stroji a pokud ano, mohou pracovat nad spolecnymi / sdilenymi daty? Tj ze by kus matice dostal jeden proces a podelil se o ni s dalsimi na tom stroji?

Muzes to odhadnout pomoci moduleni ranku vuci poctu stanic v mpd.hosts (11). Ale stejne se ke spolecne pameti budes tezko dostavat. Radej obecne.
Necroman píše:Je mozne v ukolu pouzivat i vlakna/TBB?

Tohle nam striktne zakazali

Ja osobne uz v tom mam pres tyden intenzivni prace a porad mi to nepocita :( Takze rezignuju na vcasne odevzdani ve prospech ctvrtecni zkousky u Antocha. Doufam, ze bude posunut termin, nebo alespon rozumne podminky pro pozdni odevzdani.
Uživatelský avatar
Soptik
Matfyz(ák|ačka) level I
 
Příspěvky: 25
Registrován: 25. 12. 2004 12:15
Bydliště: Praha, Uhříněves
Typ studia: Informatika Mgr.

Re: MPI

Příspěvekod Necroman » 21. 5. 2008 00:31

Tak mam po dni prace hotovou prvni verzi, ktera "zvlada" medium a large matice, zatim jen primocare, tj:

Bcast velikosti matic
Bcast cela matice Btransponova vsem
Scatter cast radku matice A kazdemu zvlast
Gather podmatice C do spolecneho

Rychlosti na 16 procesorech odpovidaji casem cca zrychleni 5-7x proti serial.

Akorat narazim na problem, ze vysledky obcas nesedi (pustim 2x po sobe a ruzny vysledny soubor, lisi se cca v 100bajtech na 2 MB). Asi nejake race condition a prepinani kontextu, divne. Fakt nevim, kde by to mohlo vznikat :shock:
WANTED:
Dead or Alive
^-^
( ^ )
Schroedinger's Cat
Uživatelský avatar
Necroman
Supermatfyz(ák|ačka)
 
Příspěvky: 459
Registrován: 20. 1. 2005 19:46
Bydliště: Louny / kolej Jednota, Praha
Typ studia: Informatika Mgr.
Login do SIS: suchm4am

Re: MPI

Příspěvekod qk_ » 21. 5. 2008 08:46

No, ja se priznam, ze to uz mam hotovy. Chodi to OK, akorat...
1) delal sem to v dobe kdy sem myslel ze se vysledna matice nejvejde do pameti, proto to je celkem pomaly
2) pri testovani doma, sem to omezil na 500kb Ramky a celkem slusne to s tim chodi :)..takze muzu pocitat i na velmi ruznorodym clustery, v podstate muj algoritmus funguje i na velmi heterogennim clusteru, coz se zase podepisuje na vykonu
3) primarni ukol bylo at to chodi, takze i to je znat na vykonu.
takze secteno u huge, mam horsi vysledek na 88 procikach nez s TBB, hlavne kvuli tomu, ze jeden master nestiha posilat data ze souboru.
qk_
 

Re: MPI

Příspěvekod weetya » 21. 5. 2008 13:26

Já mám momentálně problém se spuštěním mpd.
mpdboot -n 11 -r ssh mi vynadá že se nemůže připojit na w02 (nebo jak to vyjde na toho prvního).
ani mpdcleanup nepomáhá.

Přes ssh se můžu normálně přihlásit na w01-w10 bez hesla.
Je to divné, ješte před pár dny mi to fungovalo.

Zkoušel jsem psát Dokulilovi, ale zatím mi neodpověděl.

Neměl jste někdo podobný problém?
weetya
Matfyz(ák|ačka) level I
 
Příspěvky: 8
Registrován: 23. 4. 2007 20:21

Re: MPI

Příspěvekod qk_ » 21. 5. 2008 13:54

weetya píše:Já mám momentálně problém se spuštěním mpd.
mpdboot -n 11 -r ssh mi vynadá že se nemůže připojit na w02 (nebo jak to vyjde na toho prvního).
ani mpdcleanup nepomáhá.

Přes ssh se můžu normálně přihlásit na w01-w10 bez hesla.
Je to divné, ješte před pár dny mi to fungovalo.

Zkoušel jsem psát Dokulilovi, ale zatím mi neodpověděl.

Neměl jste někdo podobný problém?


Mel po nejakym nepovedenym restartu se neodstranili z tmp subory mpd a proto se to tak tvari, staci ty soubory smazat. (nejlepe pres ssh s commandem)

Edit:ty tmp soubory jsu pouze na workerech, ne na masteru
qk_
 

Re: MPI

Příspěvekod weetya » 21. 5. 2008 15:34

qk_ píše:
Mel po nejakym nepovedenym restartu se neodstranili z tmp subory mpd a proto se to tak tvari, staci ty soubory smazat. (nejlepe pres ssh s commandem)


Díky, bylo to přesně tím.
weetya
Matfyz(ák|ačka) level I
 
Příspěvky: 8
Registrován: 23. 4. 2007 20:21

Re: MPI

Příspěvekod jonny » 21. 5. 2008 22:48

Jde vam pripojit se na parlab? Je mozny, ze jsem ho shodil :oops: :?
127.0.0.1, C6H12O6 127.0.0.1
jonny
Matfyz(ák|ačka) level II
 
Příspěvky: 53
Registrován: 14. 12. 2006 17:14

Re: MPI

Příspěvekod Návštěvník » 21. 5. 2008 23:14

Tak parlab uz zase bezi... Snad mu to chvili vydrzi.
Návštěvník
 

Re: MPI

Příspěvekod Soptik » 21. 5. 2008 23:17

akorat stud_02 stale vytezuje workery, i kdyz uz nema ridici proces...
Uživatelský avatar
Soptik
Matfyz(ák|ačka) level I
 
Příspěvky: 25
Registrován: 25. 12. 2004 12:15
Bydliště: Praha, Uhříněves
Typ studia: Informatika Mgr.

Re: MPI

Příspěvekod Necroman » 22. 5. 2008 00:30

Pristup na server zacal az tak v pul jedne. Jak jsem zacal ladit novou verzi, zjistuji, ze mi to neposila zpravy a nevim proc. Nejaky deadlock asi.
Nestiham, holt to dopisu jindy s tim, ze to snad pujde uznat za minimalni zrychleni. :roll:
Trochu mi to pripomina OSy a ladeni, ble.
WANTED:
Dead or Alive
^-^
( ^ )
Schroedinger's Cat
Uživatelský avatar
Necroman
Supermatfyz(ák|ačka)
 
Příspěvky: 459
Registrován: 20. 1. 2005 19:46
Bydliště: Louny / kolej Jednota, Praha
Typ studia: Informatika Mgr.
Login do SIS: suchm4am

zombici na workerech

Příspěvekod Soptik » 22. 5. 2008 17:02

Ahoj, mam obecnou prosbu na vsechny vyvojare na parlabu. Kdyz testujete nejaky svuj programek, zvlaste pak s pouzitim gdb, tak po padu zustavaji na workerech aktivni zombici. Ti pocitaji jako divi, ale nemaji komu dat vysledek. Zabijejte po sobe a udrzujte stroje pouzitelne i ostatnimi. Muzete zkusit treba nasledujici target do Makefilu (NAME nahradte nazvem sve binarky). Dik
Kód: Vybrat vše
cleanup :
     mpdcleanup -f mpd.hosts --all -r ssh  --clean="pkill $(NAME); " 2>/dev/null
Uživatelský avatar
Soptik
Matfyz(ák|ačka) level I
 
Příspěvky: 25
Registrován: 25. 12. 2004 12:15
Bydliště: Praha, Uhříněves
Typ studia: Informatika Mgr.

Re: MPI

Příspěvekod jonny » 23. 5. 2008 00:32

Tak jsem se dovedel, ze MPI ma na parlabu natvrdo nastaveny limit na velikost zpravy 4MB. Tak kdyby vam neco zahadne nefungovalo, tak to muze byt tim.

Jeste jsem se dovedel, ze se v pohode da ladit doma na visual studiu. Kdyz si stahnete a nainstalujete cluster pack SDK

http://www.microsoft.com/downloads/deta ... laylang=en

tak pak muzete pomoci navodu

http://www.microsoft.com/downloads/than ... layLang=en

zprovoznit i ladeni ve VS se vsim vsudy. To by mohlo zamezit dalsimu zhrouceni parlabu :)
127.0.0.1, C6H12O6 127.0.0.1
jonny
Matfyz(ák|ačka) level II
 
Příspěvky: 53
Registrován: 14. 12. 2006 17:14

Re: MPI

Příspěvekod Necroman » 23. 5. 2008 05:49

jonny píše:Tak jsem se dovedel, ze MPI ma na parlabu natvrdo nastaveny limit na velikost zpravy 4MB. Tak kdyby vam neco zahadne nefungovalo, tak to muze byt tim.

Ja tusil, ze posilat ty ctvrt gigovy soubory nebude nejlepsi napad :-D
WANTED:
Dead or Alive
^-^
( ^ )
Schroedinger's Cat
Uživatelský avatar
Necroman
Supermatfyz(ák|ačka)
 
Příspěvky: 459
Registrován: 20. 1. 2005 19:46
Bydliště: Louny / kolej Jednota, Praha
Typ studia: Informatika Mgr.
Login do SIS: suchm4am

Další

Zpět na NPRG042 Programování v paralelním prostředí

Kdo je online

Uživatelé procházející toto fórum: Žádní registrovaní uživatelé a 1 návštěvník

cron