MPI

Odeslat odpověď

Smajlíci
:D :) :( :o :shock: :? 8) :lol: :x :P :oops: :cry: :evil: :twisted: :roll: :wink: :!: :?: :idea: :arrow: :| :mrgreen:

BBCode je zapnutý
[img] je zapnutý
[flash] je vypnutý
[url] je zapnuté
Smajlíci jsou zapnutí

Přehled tématu
   

Rozšířit náhled Přehled tématu: MPI

Re: MPI

od jonny » 23. 5. 2008 13:13

No nevim. Ted jsem to zkousel a 256M zpravy to klidne broadcastuje... Tak ty moje broadcasty asi nefungujou z jinyho duvodu :(

Re: MPI

od Necroman » 23. 5. 2008 06:49

jonny píše:Tak jsem se dovedel, ze MPI ma na parlabu natvrdo nastaveny limit na velikost zpravy 4MB. Tak kdyby vam neco zahadne nefungovalo, tak to muze byt tim.
Ja tusil, ze posilat ty ctvrt gigovy soubory nebude nejlepsi napad :-D

Re: MPI

od jonny » 23. 5. 2008 01:32

Tak jsem se dovedel, ze MPI ma na parlabu natvrdo nastaveny limit na velikost zpravy 4MB. Tak kdyby vam neco zahadne nefungovalo, tak to muze byt tim.

Jeste jsem se dovedel, ze se v pohode da ladit doma na visual studiu. Kdyz si stahnete a nainstalujete cluster pack SDK

http://www.microsoft.com/downloads/deta ... laylang=en

tak pak muzete pomoci navodu

http://www.microsoft.com/downloads/than ... layLang=en

zprovoznit i ladeni ve VS se vsim vsudy. To by mohlo zamezit dalsimu zhrouceni parlabu :)

zombici na workerech

od Soptik » 22. 5. 2008 18:02

Ahoj, mam obecnou prosbu na vsechny vyvojare na parlabu. Kdyz testujete nejaky svuj programek, zvlaste pak s pouzitim gdb, tak po padu zustavaji na workerech aktivni zombici. Ti pocitaji jako divi, ale nemaji komu dat vysledek. Zabijejte po sobe a udrzujte stroje pouzitelne i ostatnimi. Muzete zkusit treba nasledujici target do Makefilu (NAME nahradte nazvem sve binarky). Dik

Kód: Vybrat vše

cleanup :
     mpdcleanup -f mpd.hosts --all -r ssh  --clean="pkill $(NAME); " 2>/dev/null

Re: MPI

od Necroman » 22. 5. 2008 01:30

Pristup na server zacal az tak v pul jedne. Jak jsem zacal ladit novou verzi, zjistuji, ze mi to neposila zpravy a nevim proc. Nejaky deadlock asi.
Nestiham, holt to dopisu jindy s tim, ze to snad pujde uznat za minimalni zrychleni. :roll:
Trochu mi to pripomina OSy a ladeni, ble.

Re: MPI

od Soptik » 22. 5. 2008 00:17

akorat stud_02 stale vytezuje workery, i kdyz uz nema ridici proces...

Re: MPI

od Návštěvník » 22. 5. 2008 00:14

Tak parlab uz zase bezi... Snad mu to chvili vydrzi.

Re: MPI

od jonny » 21. 5. 2008 23:48

Jde vam pripojit se na parlab? Je mozny, ze jsem ho shodil :oops: :?

Re: MPI

od weetya » 21. 5. 2008 16:34

qk_ píše: Mel po nejakym nepovedenym restartu se neodstranili z tmp subory mpd a proto se to tak tvari, staci ty soubory smazat. (nejlepe pres ssh s commandem)
Díky, bylo to přesně tím.

Re: MPI

od qk_ » 21. 5. 2008 14:54

weetya píše:Já mám momentálně problém se spuštěním mpd.
mpdboot -n 11 -r ssh mi vynadá že se nemůže připojit na w02 (nebo jak to vyjde na toho prvního).
ani mpdcleanup nepomáhá.

Přes ssh se můžu normálně přihlásit na w01-w10 bez hesla.
Je to divné, ješte před pár dny mi to fungovalo.

Zkoušel jsem psát Dokulilovi, ale zatím mi neodpověděl.

Neměl jste někdo podobný problém?
Mel po nejakym nepovedenym restartu se neodstranili z tmp subory mpd a proto se to tak tvari, staci ty soubory smazat. (nejlepe pres ssh s commandem)

Edit:ty tmp soubory jsu pouze na workerech, ne na masteru

Re: MPI

od weetya » 21. 5. 2008 14:26

Já mám momentálně problém se spuštěním mpd.
mpdboot -n 11 -r ssh mi vynadá že se nemůže připojit na w02 (nebo jak to vyjde na toho prvního).
ani mpdcleanup nepomáhá.

Přes ssh se můžu normálně přihlásit na w01-w10 bez hesla.
Je to divné, ješte před pár dny mi to fungovalo.

Zkoušel jsem psát Dokulilovi, ale zatím mi neodpověděl.

Neměl jste někdo podobný problém?

Re: MPI

od qk_ » 21. 5. 2008 09:46

No, ja se priznam, ze to uz mam hotovy. Chodi to OK, akorat...
1) delal sem to v dobe kdy sem myslel ze se vysledna matice nejvejde do pameti, proto to je celkem pomaly
2) pri testovani doma, sem to omezil na 500kb Ramky a celkem slusne to s tim chodi :)..takze muzu pocitat i na velmi ruznorodym clustery, v podstate muj algoritmus funguje i na velmi heterogennim clusteru, coz se zase podepisuje na vykonu
3) primarni ukol bylo at to chodi, takze i to je znat na vykonu.
takze secteno u huge, mam horsi vysledek na 88 procikach nez s TBB, hlavne kvuli tomu, ze jeden master nestiha posilat data ze souboru.

Re: MPI

od Necroman » 21. 5. 2008 01:31

Tak mam po dni prace hotovou prvni verzi, ktera "zvlada" medium a large matice, zatim jen primocare, tj:

Bcast velikosti matic
Bcast cela matice Btransponova vsem
Scatter cast radku matice A kazdemu zvlast
Gather podmatice C do spolecneho

Rychlosti na 16 procesorech odpovidaji casem cca zrychleni 5-7x proti serial.

Akorat narazim na problem, ze vysledky obcas nesedi (pustim 2x po sobe a ruzny vysledny soubor, lisi se cca v 100bajtech na 2 MB). Asi nejake race condition a prepinani kontextu, divne. Fakt nevim, kde by to mohlo vznikat :shock:

Re: MPI

od Soptik » 21. 5. 2008 00:04

Necroman píše:Dotaz na prostredi: kam mam umistit dany spustileny soubor pri spusteni a kam soubory na workery?
musis to mit ve sdilenem adresari pro vsechny. tj /mnt/home/stud_.../
Necroman píše:Da se zjistit, ktere z tech 80 uzlu lezi na spolecnem stroji a pokud ano, mohou pracovat nad spolecnymi / sdilenymi daty? Tj ze by kus matice dostal jeden proces a podelil se o ni s dalsimi na tom stroji?
Muzes to odhadnout pomoci moduleni ranku vuci poctu stanic v mpd.hosts (11). Ale stejne se ke spolecne pameti budes tezko dostavat. Radej obecne.
Necroman píše:Je mozne v ukolu pouzivat i vlakna/TBB?
Tohle nam striktne zakazali

Ja osobne uz v tom mam pres tyden intenzivni prace a porad mi to nepocita :( Takze rezignuju na vcasne odevzdani ve prospech ctvrtecni zkousky u Antocha. Doufam, ze bude posunut termin, nebo alespon rozumne podminky pro pozdni odevzdani.

Re: MPI

od Necroman » 20. 5. 2008 18:46

Mam par dotazu na MPI, zacal jsem s tim pozde a motam se v kruzich:

Dotaz na prostredi: kam mam umistit dany spustileny soubor pri spusteni a kam soubory na workery?

Da se zjistit, ktere z tech 80 uzlu lezi na spolecnem stroji a pokud ano, mohou pracovat nad spolecnymi / sdilenymi daty? Tj ze by kus matice dostal jeden proces a podelil se o ni s dalsimi na tom stroji?
Je mozne v ukolu pouzivat i vlakna/TBB? Ze bych treba spustil na kazdem workeru jen jednu instanci, ktera by uz pomoci TBB zatizila dalsi jadra?

Diky za odpovedi.

Nahoru