Archive

Posts Tagged ‘MPI’

Assignment 5 (CS427) – Game of Life

April 6, 2010 Leave a comment

ข้อกำหนดของโปรแกรม

  1. จำนวนโปรเซสทั้งหมดจะต้องมีจำนวนเท่ากับ (N/K)^2 + 1
  2. ค่าของความกว้างของบอร์ด(N) และขนาดของTile(K) จะต้องมีค่าอย่างน้อย 1 และ ค่าของ N จะต้องหารด้วย k ลงตัวเสมอ
  3. ค่าการสุ่มความน่าจะเป็นในการมีชีวิตของแต่ละเซลจะต้องมีค่าอยู่ระหว่าง [0, 100] เท่านั้น

การคอมไพล์โปรแกรมและการใช้งาน

  1. คอมไพล์โปรแกรมด้วยคำสั่ง mpicc -o Game_of_Life Game_of_Life.c จะได้ไฟล์โปรแกรมชื่อ Game_of_Life
  2. รันโปรแกรมด้วยคำสั่ง mpirun –np processnum Game_of_Life โดยจะต้องกำหนดจำนวนโปรเซสให้ถูกต้องตามข้อกำหนด
  3. โปรแกรมจะถามถึงค่าของ ความกว้างของบอร์ด(N) ขนาดของTile(K) จำนวนหน่วยเวลา(t) ต้องการอ่านค่าเริ่มต้นจากไฟล์หรือสุ่มจากโปรแกรม ถ้าเลือกอ่านค่าจากไฟล์จะต้องกำหนดชื่อไฟล์ด้วย หากเลือกสุ่มจากโปรแกรมจะต้องกำหนดค่าความน่าจะเป็นในการที่แต่ละช่องจะมีชีวิตด้วย และ ต้องการเซฟไฟล์ Immediate หรือไม่  ซึ่งจะต้องกรอกให้สอดคล้องกับจำนวนโปรเซสที่กำหนดไว้ หากข้อมูลที่กรอกไม่สอดคล้องหรือไม่ถูกต้องได้แก่
  • ค่า N หรือ k ไม่ใช่เลขจำนวนเต็มบวก
  • N หาร k ได้ไม่ลงตัว
  • จำนวนโปรเซสไม่ถูกต้อง
  • ไม่พบไฟล์ที่ต้องการอ่าน

เมื่อพบเงื่อนไขดังกล่าวโปรแกรมจะจบการทันงานโดนทันที ซึ่งจะต้องเริ่มทำการรันโปรแกรมใหม่

การออกแบบโปรแกรมและขั้นตอนการทำงาน

การทำงานของโปรแกรมจะใช้จำนวนโปรเซสเท่ากับจำนวนของ Tile ทั้งหมดบวกด้วย 1 เนื่องจากจะใช้โปรเซส 0 ในการติดต่อกับผู้ใช้ เขียนข้อมูลลงไฟล์ สุ่มค่าเริ่มต้น และใช้โปรเซสที่เหลือทั้งหมดในการคำนวนค่าของแต่ละ Tile ที่ได้รับมอบหมาย

1. โปรเซส 0 จะจองพื้นที่บอร์ดขนาด N x N เพื่อรับข้อมูลจากไฟล์หรือสุ่มขึ้น ส่วนโปรเซสอื่นทั้งหมดจะทำการจองบอร์ดย่อยขนาด (K + 2) x (K + 2) ซึ่งจะสร้างขอบเพิ่มให้กับแต่ละ Tile ในทุกด้านเพื่อใช้ในการคำนวน โดยบอร์ดย่อยที่สร้างขึ้นจะสร้างขึ้นเป็นจำนวน 2 บอร์ดเพื่อใช้ในการคำนวน จากนั้นส่งค่าของ N, k, t ไปยังทุกโปรเซสด้วยคำสั่ง MPI_Bcast()

2. จากนั้นโปรเซส 0 จะแบ่งบอร์ดเป็น Tile และส่งไปให้แต่ละโปรเซสเรียงตามลำดับจากซ้ายไปทางขวาและขึ้นแถวใหม่จนครบดังภาพที่ 1

ภาพที่ 1

3. โปรเซสอื่นทั้งหมดจะรับมาเก็บไว้ที่ตรงกลางของบอร์ดย่อยที่มีความยาวมากกว่าขนาดของ Tile อยู่ 2 ดังภาพที่ 2

ภาพที่ 2

4. ส่งข้อมูลระหว่างแต่ละโปรเซสเพื่อคำนวนเวลาถัดไปของแต่ละ Tile ด้วยการตรวจสอบว่าแต่ละโปรเซสจะต้องส่งค่าไปยังโปรเซสใดบ้าง และรับค่ามาจากโปรเซสที่ส่งค่าไปหาเสมอ

  • โปรเซสที่มี Tile ที่ไม่ได้อยู่ขอบบนและไม่ได้อยู่ขอบซ้าย ให้ส่งและรับข้อมูลจากโปรเซสที่มี Tile อยู่ด้านซ้ายบน ดังลูกศรสีแดงในภาพที่ 3 โดยคำนวนจากโปรเซสที่ตรงกับเงื่อนไข (rank-1)%c != 0 && (rank-1)/c > 0 โดยจะส่งเฉพาะข้อมูลที่อยู่ในแถวที่สองและหลักที่สองจำนวน 1 ค่าเท่านั้น ดังภาพที่ 4
  • โปรเซสที่มี Tile ที่ไม่ได้อยู่ขอบล่างและไม่ได้อยู่ขอบขวา ให้ส่งและรับข้อมูลจากโปรเซสที่มี Tile อยู่ด้านขวาล่าง ดังลูกศรสีเหลืองในภาพที่ 3 โดยคำนวนจากโปรเซสที่ตรงกับเงื่อนไข rank%c != 0 && (rank-1)/c < c-1 โดยจะส่งเฉพาะข้อมูลที่อยู่ในแถวรองสุดท้ายและหลักรองสุดท้ายจำนวน 1 ค่าเท่านั้น ดังภาพที่ 4
  • โปรเซสที่มี Tile ที่ไม่ได้อยู่ขอบบน ให้ส่งและรับข้อมูลจากโปรเซสที่มี Tile อยู่ด้านบน ดังลูกศรสีส้มในภาพที่ 3 โดยคำนวนจากโปรเซสที่ตรงกับเงื่อนไข (rank-1)/c > 0 โดยจะส่งเฉพาะข้อมูลในแถวที่สอง ตั้งแต่หลักที่สองจนถึงหลักรองสุดท้ายรวมทั้งสิ้น k ค่า ดังภาพที่ 5
  • โปรเซสที่มี Tile ที่ไม่ได้อยู่ขอบล่าง ให้ส่งและรับข้อมูลจากโปรเซสที่มี Tile อยู่ด้านล่าง ดังลูกศรสีม่วงในภาพที่ 3 โดยคำนวนจากโปรเซสที่ตรงกับเงื่อนไข (rank-1)/c < c-1 โดยจะส่งเฉพาะข้อมูลในแถวรองสุดท้าย ตั้งแต่หลักที่สองจนถึงหลักรองสุดท้ายรวมทั้งสิ้น k ค่า ดังภาพที่ 5
  • โปรเซสที่มี Tile ที่ไม่ได้อยู่ขอบบนและไม่ได้อยู่ขอบขวา ให้ส่งและรับข้อมูลจากโปรเซสที่มี Tile อยู่ด้านขวาบน ดังลูกศรสีเขียวในภาพที่ 3 โดยคำนวนจากโปรเซสที่ตรงกับเงื่อนไข (rank-1)/c > 0 && rank%c !=0 โดยจะส่งเฉพาะข้อมูลที่อยู่ในแถวที่สองและหลักรองสุดท้ายจำนวน 1 ค่าเท่านั้น ดังภาพที่ 6
  • โปรเซสที่มี Tile ที่ไม่ได้อยู่ขอบล่างและไม่ได้อยู่ขอบซ้าย ให้ส่งและรับข้อมูลจากโปรเซสที่มี Tile อยู่ด้านซ้ายล่าง ดังลูกศรสีน้ำเงินในภาพที่ 3 โดยคำนวนจากโปรเซสที่ตรงกับเงื่อนไข (rank-1)/c < c-1 && (rank-1)%c != 0 โดยจะส่งเฉพาะข้อมูลที่อยู่ในแถวรองสุดท้ายและหลักที่สองจำนวน 1 ค่าเท่านั้น ดังภาพที่ 6
  • โปรเซสที่มี Tile ที่ไม่ได้อยู่ขอบขวา ให้ส่งและรับข้อมูลจากโปรเซสที่มี Tile อยู่ด้านขวา ดังลูกศรสีฟ้าในภาพที่ 3 โดยคำนวนจากโปรเซสที่ตรงกับเงื่อนไข rank%c !=0 โดยจะส่งเฉพาะข้อมูลในหลักรองสุดท้าย ตั้งแต่แถวที่สองจนถึงแถวรองสุดท้ายรวมทั้งสิ้น k ค่า ดังภาพที่ 7
  • โปรเซสที่มี Tile ที่ไม่ได้อยู่ขอบซ้าย ให้ส่งและรับข้อมูลจากโปรเซสที่มี Tile อยู่ด้านซ้าย ดังลูกศรสีดำในภาพที่ 3 โดยคำนวนจากโปรเซสที่ตรงกับเงื่อนไข (rank-1)%c != 0 โดยจะส่งเฉพาะข้อมูลในหลักที่สอง ตั้งแต่แถวที่สองจนถึงแถวรองสุดท้ายรวมทั้งสิ้น k ค่า ดังภาพที่ 7

หมายเหตุ: rank เป็นหมายเลขของโปรเซส, c เป็นจำนวนเต็มบวกที่ได้มาจาก N/k

ภาพที่ 3

ภาพที่ 4 ภาพที่ 5
ภาพที่ 6 ภาพที่ 7

MPI Defined Type ที่ใช้

MPI_Subboard_type : บอร์ดย่อยที่ได้จากการแบ่งเป็น Tile ของบอร์ดใหญ่เพื่อส่งจากโปรเซส 0 ไปยังโปรเซสอื่น
MPI_Type_vector(K, K, N, MPI_INT, &MPI_Subboard_type);

MPI_Subboard_type2 : บอร์ดย่อยที่ใช้ในการประมวลผลของแต่ละโปรเซส และรับส่งบอร์ดย่อยกับโปรเซส 0
MPI_Type_vector(K, K, K+2, MPI_INT, &MPI_Subboard_type2);

MPI_Boardrow_type : แถวของบอร์ดย่อยที่ใช้ในการส่งระหว่าง Tile ที่อยู่ด้านล่างและบน
MPI_Type_contiguous(K, MPI_INT, &MPI_Boardrow_type);

MPI_Boardcol_type : หลักของบอร์ดย่อยที่ใช้ในการส่งข้อมูลระหว่าง Tile ที่อยู่ด้านซ้ายและขวา
MPI_Type_vector(K, 1, K+2, MPI_INT, &MPI_Boardcol_type);

ตัวอย่างการใช้งานแบบอ่านค่าจากไฟล์

$ mpirun –np 5 Game_of_Life
Enter board size (N): 6
Enter tile size (K): 3
Enter time step (t): 2
Do you want to save immediate file (yes/no): yes
Read board from file (yes/no – if no board is initialize by random): yes
Enter input file name : inputboard2.txt

inputboard2.txt Board.Immediate Board.output
XX-XX-
—XXX
—-XX
X-X-X-
-X-X-X
XXX—
t = 0
XX-XX-
—XXX
—-XX
X-X-X-
-X-X-X
XXX—t = 1
–XX-X
–X—
——
-XX—
—XX-
XXX—t = 2
–XX–
–XX–
-XX—
–XX–
X–X–
-XXX–
–XX–
–XX–
-XX—
–XX–
X–X–
-XXX–

ตัวอย่างการใช้งานแบบสุ่มความน่าจะเป็นของการมีชีวิต

$ mpirun –np 5 Game_of_Life
Enter board size (N): 6
Enter tile size (K): 3
Enter time step (t): 8
Do you want to save immediate file (yes/no): no
Read board from file (yes/no – if no board is initialize by random): no
Random life cell probability (0-100): 60

RandomBoard.input Board.output
X-XX-X
-X–XX
-X—X
XX-XXX
–XXX-
XX-X-X
——
——
——
-XX—
X–X–
-XX—

ดาวน์โหลด : ซอร์สโค้ด, ตัวอย่าง input 1, ตัวอย่าง input 2

Advertisements

การใช้งาน MPI บน Microsoft Visual Studio 2008

March 13, 2010 Leave a comment

วิธีนี้ใช้ได้กับโปรแกรม Microsoft Visual Studio 2008 เพื่อเอาไว้ทดสอบการเขียนโปรแกรม MPI บนวินโดวส์

1. ก่อนอื่นทำการดาวน์โหลด HPC Pack 2008 SDK จากลิงค์ http://www.microsoft.com/downloads/details.aspx?FamilyID=12887DA1-9410-4A59-B903-693116BFD30E&displaylang=en และติดตั้งโปรแกรม

2. เปิดโปรแกรม Microsoft Visual Studio 2008 สร้างโปรเจคใหม่ โดยเลือกที่ Visual C++ >> Win32 และเลือกรูปแบบโปรเจคเป็น Win32 Console Application ใส่ชื่อของโปรเจคที่ต้องการที่ช่อง Name ด้านล่าง



3. เมื่อเลือกที่ Win32 Console Application แล้วกด OK จะปรากฏหน้าต่างใหม่ขี้น ให้กดปุ่ม Next > และเลือกเช็ค Precompiled header ออก แล้วจึงกด Finish



4. หลังจากสร้างโปรเจคเสร็จแล้ว ให้คลิกขวาที่โปรเจคและเลือกที่ Properties  เลือกเมนูในส่วนของ Configuration Properties >> C/C++ >> General และเพิ่มพาธของที่อยู่เฮดเดอร์ไฟล์ โดยปกติแล้วจะอยู่ที่ C:\Program Files\Microsoft HPC Pack 2008 SDK\Include ในช่อง Additional Include Directories



5. เลือกเมนู Configuration Properties >> Linker >> General และใส่พาธของที่อยู่ไลบรารี ซึ่งปกติจะอยู่ที่ C:\Program Files\Microsoft HPC Pack 2008 SDK\Lib\i386 ในช่อง Additional Library Directories



6. เลือกเมนู Configuration Properties >> Linker >> Input  และพิมพ์ msmpi.lib ในช่อง Additional Dependencies



7. เลือกเมนู Configuration Properties >> Linker > System และในช่อง SubSystem ให้เลือกเป็น Console(/SUBSYSTEM:CONSOLE)



8. ทดสอบโปรแกรมโดยพิมพ์โค้ดดังต่อไปนี้

#include <stdio.h>
#include <mpi.h> 

int main(int argc, char* argv[])
{
	int rank, size;

	MPI_Init(&argc, &argv);
	MPI_Comm_size(MPI_COMM_WORLD, &size);
	MPI_Comm_rank(MPI_COMM_WORLD, &rank);

	if(rank==0){
		printf("Hello Kitty form root\n");
	}
	else{
		printf("Hello Kitty from rank %d\n", rank);
	}

	MPI_Finalize();

	return 0;
}

9. Build โปรแกรมด้วย Build >> Build Solution แล้วรันโปรแกรมด้วยการออกคำสั่ง mpiexec -n 10 programname.exe (อยู่ในโฟลเดอร์ Debug หลังจาก build เสร็จ) จะได้ผลลัพท์ดังนี้

ข้อควรระวัง : ทุกครั้งที่ใช้ฟังก์ชัน printf() ต้องเพิ่มคำสั่ง fflush (stdout); ตามไปด้วยเสมอ (เป็นบัคที่มาจากการ Implement MPI ของ Microsoft)

แหล่งข้อมูลเพิ่มเติม

http://blogs.msdn.com/risman/archive/2009/01/04/ms-mpi-with-visual-studio-2008.aspx

http://www.cs.utah.edu/~delisi/vsmpi/

http://www.oerc.ox.ac.uk/resources/wcc/support/documentation/sub-documentation/mpi

Assignment 4 (CS427) – Use hpccluster and MPI programming

February 9, 2010 Leave a comment

ขั้นตอนการติดต่อเครื่อง hpccluster และคำสั่งพื้นฐาน

1. เมื่อเริ่มต้นติดต่อไปยังเครื่อง hpccluster.cs.tu.ac.th เป็นครั้งแรก ระบบจะถามถึง passphrase ที่ต้องการใช้ และตำแหน่งที่เก็บ passphrase เพื่อใช้ในการเข้ารหัส private key

2. ใช้คำสั่ง $ ssh-agent /bin/sh เพื่อให้สามารถสั่งงาน compute-node โดยที่ไม่จำเป็นจะต้องกรอก passphrase เข้าไปใหม่ และใช้คำสั่ง $ ssh-add เพื่อให้ private-key ถูกโหลดขึ้นไปยังหน่วยความจำ เมื่อเรียกโปรแกรมนี้ โปรแกรมจะถามถึง passphrase เพื่อใช้ในการถอดรหัส ให้กรอก passphrase ตามที่ได้ตั้งไว้

3. ใช้คำสั่ง $ cluster-fork uptime เพื่อแสดงว่าเครื่อง compute-node ใดบ้างที่ทำงานอยู่และมี workload เป็นอย่างไร ซึ่งเมื่อทำการ Redirect ออกมาเป็นไฟล์ด้วยคำสั่ง $ cluster-frok uptime > output และทำการโหลดไฟล์มายังเครื่องด้วยโปรแกรมจะได้ไฟล์ที่มีข้อมูลดังนี้

compute-0-14: down
compute-0-17:  21:04:52 up 30 days, 12:14,  0 users,  load average: 0.00, 0.00, 0.00

compute-0-20:  21:04:52 up 30 days, 12:15,  0 users,  load average: 0.00, 0.00, 0.00

compute-0-28: down
compute-0-29:  21:04:55 up 30 days, 12:14,  0 users,  load average: 0.00, 0.00, 0.00

compute-0-30:  21:04:55 up 30 days, 12:15,  0 users,  load average: 0.15, 0.08, 0.01

compute-0-31:  21:04:56 up 30 days, 12:15,  0 users,  load average: 0.00, 0.00, 0.00

compute-0-32: down

MPI Programming

1. คัดลอกโฟลเดอร์ของไฟล์โปรแกรม MPI ตัวอย่างโดยใช้คำสั่ง $ cp -r /opt/mpich/gnu/examples /home/cs4270904/examples ทำการคอมไพล์โปรแกรม cpi.c ด้วยคำสั่ง $ mpicc cpi.c –o cpi โดยจะได้ executable file ชื่อว่า cpi

2. ออกคำสั่ง $ lamboot เพื่อสร้าง LAM runtime system และออกคำสั่ง $ lamnodes เพื่อตรวจสอบว่ามีเครื่องใดอยู่ใน LAM runtime system ซึ่งควรจะมีเพียงเครื่องเดียว เนื่องจากยังไม่ได้กำหนดเครื่องอื่นเพิ่มเติม

3. รันโปรแกรม cpi ด้วยคำสั่ง $ mpirun –np 1 cpi โดยที่ –np1 หมายถึงให้รันโปรแกรมโดยใช้ 1 โพรเซส จะได้ผลลัพท์คือ

ทดสอบด้วยการเพิ่มจำนวนโพรเซสที่ใช้รันเป็น 4 และ 8 ตามลำดับ

โปรแกรม cpi ทำหน้าที่หาค่า Pi ซึ่งจากการทดสอบพบว่ายิ่งเพิ่มจำนวนโพรเซสก็จะใช้เวลาในการทำงานเพิ่มขึ้น เนื่องจากยังกำหนดให้ประมวลผลบนเครื่องเดียว และยิ่งเพิ่มจำนวนโพรเซสก็จะยิ่งได้ค่า Pi ที่แม่นยำขึ้น (Error ลดน้อยลง)

4. และเมื่อทดสอบการใช้งานแล้วให้ออกคำสั่ง $ lamhalt เพื่อปิด LAM runtime system

5. เพื่อที่จะรันโปรแกรมด้วยการใช้เครื่องหลายเครื่องช่วยกันประมวลผล จะต้องทำการสร้าง hostfile ที่จะระบุชื่อของเครื่องทั้งหมดที่จะใช้งาน (ดูเครื่องที่ปัจจุบันสามารถใช้งานได้จากคำสั่ง cluster-fork uptime) ซึ่งในที่นี้จะตั้งชื่อไฟล์ว่า machine จะเปิดระบบ LAM runtime system ใหม่โดยใช้คำสั่ง $ lamboot machines เพื่อให้เริ่มต้นการทำงานโดยมีเครื่องภายในไฟล์ machines เป็นเครื่อง cluster ที่จะร่วมกันทำงาน ไฟล์ machine ที่ใช้ เป็นดังนี้

hpccluster
compute-0-17
compute-0-20
compute-0-29
compute-0-30
compute-0-31

6. จากนั้นใช้คำสั่ง $ lamnodes เพื่อดูเครื่องทั้งหมดที่ทำงานอยู่

7. ทดสอบการรันโปรแกรม cpi อีกครั้ง ซึ่งแตกต่างจากเดิมในส่วนที่ครั้งนี้จะใช้เครื่องหลายเครื่องช่วยในการประมวลผลโดยออกคำสั่งคือ $ mpirun n1-5 –np 4 cpi ซึ่งหมายถึงให้ใช้เครื่อง n1 ถึง n5 ในการประมวลผล (ไม่ใช้เครื่อง hpscluster เป็น front node) และใช้โพรเซสจำนวนทั้งหมด 4 โพรเซส ได้ผลลัพท์คือ

และทดลองใช้ 8 โพรเซส

ผลลัพธ์ที่ได้คือทั้งการใช้ 4 และ 8 โพรเซสบนเครื่องที่มีจำนวนมากขึ้นจะทำให้สามารถประมวลผลได้เร็วขึ้น

8. คัดลอกโปรแกรม Master/slave จากเว็บ http://www.mcs.anl.gov/research/projects/mpi/tutorial/mpiexmpl/src2/io/C/main.html และเซฟไฟล์ด้วยชื่อ io.c จากนั้นทำการอัพโหลดขึ้นไปยังเครื่อง Server โดยโปรแกรมนี้มีการทำงานคือจะส่งข้อความจากโพรเซสที่เป็น Slave มายังโพรเซสที่เป็น Master และทำการแสดงผลออกทางหน้าจอ

9. คอมไพล์โปรแกรมด้วยคำสั่ง $ mpicc io.c –o io และทดสอบรันด้วยการใช้ 4 โพรเซส ซึ่งจะมีโพรเซสที่เป็น Master 1 โพรเซส และ Slave อีก 3 โพรเซส

Categories: Parallel Programming Tags: , ,