[YARN] ApplicationMaster 알아보기

 

- 목차

 

 

ApplicationMaster ?

Application Master 는 Yarn Client 에 의해서 요청된 Application 을 생성하고 관리하는 역할을 수행합니다.

Application Master 는 실행할 Application 마다 하나씩 생성이 되는데요.

A 라는 Job 을 실행하기 위해서 YARN 에게 요청하게 되면, YARN 의 ResourceManager 는 이 실행 요청을 받고,

Application Master 를 먼저 생성합니다.

그리고 Application Master 는 A Job 의 실행과 관리를 책임지게 됩니다.

아래 그림처럼 YARN Client 의 Job 실행 요청을 수행하기 위해서

제일 먼저 Resource Manager 는 Application Master 를 생성합니다.

 

이제 Application Master 의 동작 방식을 좀 더 상세히 설명해보겠습니다.

Application Master 는 흔히 표현하는 Driver Program 을 의미합니다.

MapReduce 의 Main Class 나 Spark 의 Driver Program 이 Application Master 가 됩니다.

Application Master 가 실행되면서 데이터 처리에 필요한 CPU Core 의 수, 메모리 사용량에 대한 요청을 Resource Manager 에게 전합니다.

그리고 Resource Manager 는 Application Master 가 Task 들을 실행하기 위한 자원 요청을 확인합니다.

( NodeManager 의 자원이 여유로운지 확인합니다. )

ResourceManager 는 Scheduler 를 통해서 Task 들의 실행을 계획하고, Task 들을 스케줄링하게 됩니다.