• Home
  • 사이트맵
  • English

사용자지원

자주하는질문(FAQ)

홈 > 사용자지원 > 자주하는질문(FAQ)

데이터 목록
번호 구분 제목
69 TACHYON_프로그래밍 Tachyon에서 MPI의 MPMD(Multiple Program Multiple Data) 모드로 작업을 실행하기 위해서는 어떻게 해야 되나요?
● - 현재 mvapich에서는 MPMD 모드를 지원하지 않고 있습니다.
- OpenMPI의 경우 아래 방법으로 MPMD로 실행하실 수 있습니다.
1) mpirun -np 1 -host tachyon189 ./ProcA.x: -np 1 -host tachyon190 ./ProcB.x
2) mpirun -app ./applic_files
※applic_files의 내용
-np 1 -host tachyon189 ./ProcA.x
-np 1 -host tachyon190 ./ProcB.x

● 단 디버깅 노드에서 테스트용으로 실행하실 수 있으나 SGE를 통해 컴퓨팅 노드로 작업을 올릴 실 순 없습니다.(host와 cpu개수를 SGE가 설정하기 때문, $NSLOTS, $TMPDIR/machines..) 계산 노드에서 작업을 하실 때는 두 프로그램(ProcA.x ProcB.x)를 합쳐서 코딩하시기 바랍니다.
68 TACHYON_프로그래밍 OpenMP를 사용한 프로그램에서 “(S) Branching out of a structured block is not allowed.”와 같은 에러 메시지가 나타납니다.
● OpenMP 구문에서 루프 내 stop, goto(fortran), break(c) 등을 이용해서 루프 밖으로 빠져나올 수 없습니다. 이 때 위와 같은 에러가 발생합니다.
67 TACHYON_프로그래밍 OpenMP에서 Random number(rand(), irand(), 등) 사용시 performance가 줄어듭니다.
● fortran과 c언어의 내부 난수 발생기는 multithread 환경의 application에서는 불안정합니다.여러 스레드가 static 변수에 동시에 접근함으로 인해 프로그램의 안정적인 공유자원 접근에 문제가 발생할 수 있습니다.
ACML, MKL과 같은 라이브러리 내 난수 발생기를 사용함으로써 이 문제를 해결할 수 있습니다.
66 TACHYON_작업실행 대규모 파일 I/O 성능 향상을 위한 방법은 어떤게 있나요?
● tachyon시스템의 경우 Lustre 파일시스템(/work01, /work02, /home01)에서 수백 MB 이상의 파일에 대해 I/O를 수행하는 경우 다음과 같은 striping 설정을 통해 I/O 성능을 향상할 수 있습니다.
이는 일반적인POSIX I/O 뿐만 아니라 MPI-IO, parallel HDF5 or parallel NetCDF등을 통한 application에서의 병렬 I/O 수행시에도 마찬가지로 영향을 끼칩니다.
실행 명령은 “lfs setstripe < directory_name > -s < number1 > -c < number2 >“ 와 같은 형태입니다.
이의 적용여부는 lfs getstripe < directory_name >을 통해 확인할 수 있습니다.
lustre 파일시스템의 현재 구성은 /work01의 경우 stripe size(“-s”)는 2MB이고 stripe count(“-c”)는 2이며,
대부분의 경우 이 default 값을 사용하는 것이 타당할 것으로 보이며,
잘못 조정을 할 경우 성능 저하가 일어날 수도 있습니다.
아래의 예는 /work01/$LOGNAME에 tmpdir를 만들었을 때 default stripe count/size값을 확인하는 방법과 이를 4MB의 stripe size와 4개의 stipe count를 사용하도록 변경하는 경우입니다.
이와 같이 구성할 경우 추후 해당 디렉토리에 큰 파일을 만들면 4MB 단위로 4개의 Lustre OSTs(Objective Storage Target: Lustre 병렬 I/O 서버의 기본 storage단위)에 분산되어 저장이 되게 됩니다.

------------------------------------------------------------------------
[tyhong@tachyonc ~]$ cd /work01/tyhong
[tyhong@tachyonc tyhong]$ mkdir tmpdir
[tyhong@tachyonc tyhong]$ lfs getstripe tmpdir
… …
tmpdir
stripe_count: 2 stripe_size: 2097152 stripe_offset: -1

[tyhong@tachyonc tyhong]$ lfs setstripe tmpdir -s 4m -c 4
[tyhong@tachyonc tyhong]$ lfs getstripe tmpdir
… …
tmpdir
stripe_count: 4 stripe_size: 4194304 stripe_offset: -1
------------------------------------------------------------------------

Tachyon uses the Lustre file system which allows users to set file striping at the file or directory level.
File striping will give some enhancement of I/O performance especially when users use large files(~ over hundreds MB file) for serial/parallel IO by accessing with POSIX, MPI-IO, parallel HDF5 or parallel NetCDF.
/work01 on Tachyon is by default set with 2 stripe count and 2 MB stipe size.
In most cases this default values give the reasonable I/O performance.
However users can check/changed this values by the method shown above.
In this example, a newly made file in tmpdir wll be striped into 4 OST's(Object Storage Targets: which are essentially a set of parallel IO servers’ Disk Array) with 4MB stripe size. 
65 TACHYON_작업실행 배타적인 노드 할당을 통해 batch 작업 실행할 수 있습니까?
● tachyon시스템의 경우 normal 큐에서 작업을 실행할 경우 다음과 같은 방법으로 배타적인 노드 할당을 할 수 있습니다. 이와 같은 방법으로 실행 할 경우 해당 노드에는 이 작업 실행되는 동안에는 다른 batch 작업은 실행 될 수 없습니다.
이를 위해서는 간단히 job script에서 “#$ -l exclusive=value”(아래 참조)를 추가를 해주면 됩니다.
value 는 16/[pe의 노드당 프로세스수] 으로 결정됩니다.
가령 “#$ -pe mpi_8cpu”를 통해 노드당 프로세스을 8개를 사용하고자 할 경우 16/8=2 이므로 value는 2가 됩니다.

● 아래의 예제 스크립트는 노드당 8개의 프로세스(혹은 CPU Cores)을 사용하여
총 24개의 프로세스를 가진 MPI작업을 배타적인 노드 할당의 형태로 실행하는 예입니다.
------------------------------------------------------------------------
#!/bin/bash
#$ -V
#$ -cwd
#$ -N test
#$ -pe mpi_8cpu 24
#$ -q normal
#$ -R yes
#$ -o $JOB_NAME.o$JOB_ID -j y
#$ -l normal
#$ -l h_rt=01:00:00
#$ -l exclusive=2
mpirun -machinefile $TMPDIR/machines -np $NSLOTS ./cpi.exe
------------------------------------------------------------------------

To run users’ batch job on the “exclusive” nodes of normal queue,
users are recommended to insert ““#$ -l exclusive=value” in batch script.
value can be decided by a rule, value=16/processes_per_node.
In a way of running a job like this, other jobs are not allowed to run the same nodes on which the “exclusive” jobs are running. 
64 TACHYON_작업실행 OOMMF를 사용하려고 하는데 SGE의 job-script를 어떻게 설정해 줘야 하나요?
● 아래 script를 참고하세요.
#!/bin/bash
#$ -V
#$ -cwd
#$ -N OOMMF_S
#$ -pe openmp 4
#$ -q long
#$ -R yes
#$ -l h_rt=168:00:00
#$ -M [email]
#$ -m e export OOMMF_THREADS=4
/usr/bin/tclsh /[oommf directory]/oommf.tcl oxsil -thread 4 +fg -pause 0 [file]
63 TACHYON_작업실행 NAMD를 돌릴 경우 charmrun을 사용하게 되는 데 이 경우 $machinefile의 형태가 SGE의 기본 포맷과 다릅니다. 이 경우 수행 방법은 어떻게 되나요?
● 아래의 예제 파일을 참조하시기 바랍니다.
이는 machinefile의 format을 적절히 charmrun에 맞게 변경합니다.
#!/bin/sh
#$ -V
#$ -cwd
#$ -N TEST
#$ -pe mpi_fu 32
#$ -q long
#$ -R yes
#$ -l h_rt=00:10:00

PREFIX="host"
PREFIX_NPS="+p"
FOREWORD="group main"
CURRENTDIR=`pwd`
SRCFILE=$TMPDIR/machines
TARGET=$CURRENTDIR/nodelist

[ -f $TARGET ] && rm -f $TARGET

echo $FOREWORD > $TARGET
sed -e "s/^/$PREFIX /g" $SRCFILE >> $TARGET
cat $TARGET

NPS="$PREFIX_NPS$NSLOTS"
echo $NPS
sleep 5
~/namd2/charmrun ++nodelist $TARGET $NPS ./namd2 ./fr3633.namd > ./fr3633.log
cleanipcs
exit 0 
62 TACHYON_작업실행 “Host key verification failed. Timeout during client startup.” 과 같은 에러가 뜨는 이유는 무엇인가요?
● 해당 계산노드가 문제가 있는 경우에 발생합니다.
이 경우 관리자에게 알려주시기 바랍니다
61 TACHYON_작업실행 “Disconnecting: Bad packet length 1830260420. Child exited abnormally! Killing remote processes...DONE”과 같은 에러 메시자가 뜨는 이유는 무엇인가요?
● 계산노드의 nscd(name service cache daemon)이 비정상적으로 동작할 경우 발생합니다.
이 경우 관리자에게 알려주시기 바랍니다. 
60 TACHYON_작업실행 application 실행시 다음과 같은 에러 발생후 종료합니다. “libibverbs: Warning: RLIMIT_MEMLOCK is 32768 bytes. This will severely limit memory registrations.” 어떤 이유입니까?
● 계산노드의 SGE의 agent인 sgeexecd 비정상적으로 동작할 경우 발생합니다.
이 경우 관리자에게 알려주시기 바랍니다. 
콘텐츠 만족도 조사

퀵메뉴

  • 사용안내
  • 슈퍼컴퓨팅 서비스
  • 슈퍼컴퓨팅 교육
  • PLSI
  • EDISON
  • 연구망
본문 처음으로 바로가기

KISITI 슈퍼컴퓨팅센터 대전광역시 유성구 과학로 335 한국과학기술정보연구원 문의 080-041-1991 / FAX 042-869-0569

Copyrightⓒ2012 KISTI SUPERCOMPUTION CENTER ALL RIGHTS RESERVED.

관련사이트 바로가기