Yarn이란

Hadoop Yarn이란 무엇인가?

Hadoop 1.0의 구조와 YARN의 등장 이유

Hadoop Yarn의 구성 요소

리소스 매니저(Resource Manager)

• 클러스터 전체의 자원을 관리하고, 애플리케이션의 요청에 따라 자원을 할당하는 중앙 집중식 컴포넌트입니다. 리소스 매니저는 스케줄러(Scheduler)와 애플리케이션 매니저(Application Manager)라는 두 가지 서브 컴포넌트로 구성됩니다.

• YARN 클러스터의 Master 서버로 하나 또는 이중화를 위해 두개의 서버에만 실행됨

• 클러스터 전체의 리소스를 관리

• YARN 클러스터의 리소스를 사용하고자 하는 다른 플랫롬으로부터 요청을 받아 리소스 할당(스케줄링)

• Resource Manager는 Resource Allocation에 대한 최상위 권위자로, 어디에 자원을 할당할지 결정하여 Cluster들의 활용을 최적화시킨다. 또한 일에 대한 처리 요청을 받으면, Request들의 일부를 해당하는 Node Manager로 전달한다. 이러한 역할을 수행하는 Resource Manager는 크게 2가지로 구성되는데, Scheduler와 Applications Manager이다.
1) Scheduler
Scheduler는 Capacities(용량), Queue(대기줄) 등의 제한조건에 따라 실행중인 다양한 Applications들에 자원을 할당한다. Resource Manager의 Scheduler는 Application의 상태를 추적하거나 모니터링하지 않는, 순수한 Scheduler이다. 또한 순수한 스케줄러이기 때문에 Hardware failures나 Application failures에 의한 재시작 역시 보장하지 않으며, Application들의 자원 요구에 기반하여 Scheduling 기능을 수행한다. 이것은 메모리, CPU, 디스크, 네트워크와 같은 요소들을 포함하는 (resource) Container를 기반으로 작동한다.
또한 Scheduler는 Plug-in Policy를 사용하는데, 현재는 Capacity Scheduler와 Fair Scheduler를 플러그인으로 사용한다. Capacity Scheduler는 Larger Cluster를 여러 사용자가 함께 사용하는 Multi-tenancy를 구현하여 할당된 용량의 제한하에 적시에 Application들에 응용을 할당할 수 있게 해준다. Fair Scheduler는 YARN으로 하여금 Larger Cluster들이 공평하게 자원을 공유할 수 있게 해준다.
2) Applications Manager
Applications Manager는 Job의 제출을 수락하고, Application Master를 실행하기 위한 첫번째 컨테이너를 설정하고 실패 시 Application Master의 Container를 재시작하게 해준다. Application Master는 Scheduler를 통해 적합한 Container를 선정하고, 그것을 Tracking하고 진행 상황을 모니터링하는 역할을 수행한다.

노드 매니저(Node Manager)

• 각 노드에서 실행되는 에이전트로, 리소스 매니저와 통신하면서 노드의 자원 상태를 보고하고, 할당된 자원에 따라 컨테이너(Container)를 생성하고 관리하는 역할을 합니다. 컨테이너는 애플리케이션의 실행 단위로, CPU, 메모리, 디스크, 네트워크 등의 자원을 포함합니다.

• YARN 클러스터의 Worker 서버로 ResourceManager를 제외한 모든 서버에 실행

• 사용자가 요청한 프로그램을 실행하는 Container를 fork 시키고 Container를 모니터링 Container 장애 상황 또는 Container가 요청한 리소스보다 많이 사용하고 있는지 감시(요청한 리소스보다 많이 사용하면 해당 Container를 kill 시킴)

• Node Manager는 개별 노드들을 관리하고 주어진 노드에서 사용자의 작업 및 Work Flow를 관리한다. Node Manger는 Resource Manager에 등록되며 노드의 상태를 판별하기 위한 heartbeats를 전송한다. 그 중에서 Node Manager의 가장 중요한 임무는 Resource Manager을 통해 할당받은 Container를 관리하는 것이다. Container의 자원 사용량을 감시하고, 이를 Resource Manager로 보내는데, 문제가 발생한 경우 Resource Manager로부터 Container를 Kill하라는 명령을 받아 수행하기도 한다.

Application Master

• 개별적인 응용에서 필요로 하는 자원과 Job에 대한 lifecycle을 관리한다. 이것은 Node Manager와 함께 작동하며, 작업의 실행을 모니터링한다.

• Application단위로 존재하는 Application Master는 Resource Manager와 함께 자원을 협상하고, Task를 모니터링하고 실행하기 위해 Node Manager와 함께 작동한다.

• 여기서 말하는 Application은 프레임워크에 제출된 단일 작업을 의미하며, 각각의 단일 작업은 고유한 Application Master를 지니게 된다. Application Master는 클러스터에서 응용의 실행을 조정하고 오류를 관리한다. 또한 Node Manager와 함께 작동하여 Task를 실행시키고 모니터링하며 Resource Manger를 통해 자원을 협상한다. 자원을 협상한 후에는 Resource Manager로부터 적당한 Resource(conatiner)를 할당받고 그것들의 상태를 추적하고 모니터링한다. 한번 Application Master가 실행되면 주기적으로 Resource Manager에 heartbeats를 전송하여 상태를 확인시켜주고, 자원의 요구사항을 갱신한다.

YARN을 이용한 클러스터 자원 공유

• 50대, 50대 설치한 경우 특정 시점에 MapReduce 작업만 수행되고 Spark 작업이 수행되지 않으면 50대의 자원은 낭비

• 100대에 MapReduce, Spark 모두 설치한 경우 각 클러스터가 메모리를 모두 사용하도록 구성되면 두 작업이 동시에 수행되면 작업은 Fail 각 서버의 메모리를 50%씩 나누어 쓰게 구성하면 MapReduce 작업만 수행되거나 Spark 작업만 수행되면 자원 낭비

• 100대에 YARN 만 설치

• MapReduce 작업 실행 시점에 100대의 서버에서 각 서버의 모든 자원을 활용하여 작업 실행

• 이 상태에서 Spark 작업을 실행하면 YARN은 50대의 서버에서 실행되던 MapReduce Task를 강제 종료시키고 Spark에 작업에 리소스를 할당

Hadoop Yarn에서 애플리케이션 실행 절차

• 클라이언트가 리소스 매니저에게 애플리케이션 제출 요청을 보냅니다.

• 리소스 매니저는 애플리케이션 아이디를 생성하고, 애플리케이션 마스터(Application Master)를 실행할 노드를 선택합니다.

• 애플리케이션 마스터는 애플리케이션의 조정자로, 애플리케이션의 실행 상태를 모니터링하고, 필요한 자원을 요청하고, 컨테이너를 할당받아 애플리케이션 로직을 실행합니다.

• 애플리케이션 마스터는 스케줄러에게 자신의 자원 요구사항을 보내고, 스케줄러는 이를 바탕으로 컨테이너를 할당합니다.

• 애플리케이션 마스터는 할당받은 컨테이너에 대한 정보를 받고, 각 컨테이너에게 작업을 할당합니다.

• 각 컨테이너는 노드 매니저의 관리 하에 작업을 수행하고, 결과를 애플리케이션 마스터에게 보냅니다.

Hadoop Yarn의 장점

• 자원 관리와 작업 스케줄링을 분리하여, 더 유연하고 확장성 있는 아키텍처를 제공합니다. 리소스 매니저는 클러스터 전체의 자원을 효율적으로 관리하고, 애플리케이션 마스터는 애플리케이션 별로 자신의 로직을 수행할 수 있습니다.

• 맵리듀스 외에도 다양한 종류의 분산 애플리케이션을 지원합니다. 예를 들어, 스파크(Spark), 플링크(Flink), 스톰(Storm), 테즈(Tez) 등의 프레임워크를 Yarn 위에서 실행할 수 있습니다.

• 컨테이너라는 추상화 단위를 통해, 다양한 자원 요소(CPU, 메모리, 디스크, 네트워크 등)를 고려하여 자원을 할당할 수 있습니다. 또한, 노드 레이블(Node Label)이나 노드 속성(Node Attribute) 등의 기능을 통해, 특정 조건에 맞는 노드에만 자원을 할당할 수 있습니다.

• 리소스 예약 시스템(Reservation System)이라는 컴포넌트를 통해, 중요한 작업에 대해 자원을 미리 예약하고 보장받을 수 있습니다. 예약 시스템은 작업의 자원 프로파일과 시간 제약 조건을 고려하여 자원을 예약하고, 스케줄러에게 동적으로 지시하여 예약된 자원을 할당합니다.(^1^)

Hadoop Yarn의 단점

• 복잡한 아키텍처와 컴포넌트로 인해, 구성과 관리가 어렵습니다. 예를 들어, 리소스 매니저와 애플리케이션 마스터 간의 통신 오버헤드가 발생하거나, 스케줄러의 정책과 파라미터를 적절하게 설정하는 것이 쉽지 않습니다.

• 맵리듀스와 호환성을 유지하기 위해, 맵리듀스 작업을 실행할 때에도 애플리케이션 마스터가 필요합니다. 이는 맵리듀스 작업에 대한 자원 낭비와 성능 저하를 초래할 수 있습니다.

• 다양한 종류의 애플리케이션을 지원하기 위해, 일반화된 인터페이스와 프로토콜을 사용합니다. 이는 특정 애플리케이션에 최

Hadoop Yarn의 활용 사례

• 실시간 스트리밍 데이터 처리: 스파크 스트리밍(Spark Streaming)이나 플링크 스트리밍(Flink Streaming)과 같은 프레임워크를 Yarn 위에서 실행하여, 실시간으로 발생하는 대량의 데이터를 처리할 수 있습니다. 예를 들어, 웹 로그 분석, 사기 탐지, 센서 데이터 처리 등의 작업을 수행할 수 있습니다.

• 대화형 SQL 쿼리: 임팔라(Impala)나 프레스토(Presto)와 같은 프레임워크를 Yarn 위에서 실행하여, HDFS나 Hive에 저장된 데이터에 대해 대화형 SQL 쿼리를 수행할 수 있습니다. 예를 들어, 비즈니스 인텔리전스(BI)나 데이터 탐색 등의 작업을 수행할 수 있습니다.

• 머신러닝과 딥러닝: 테즈(Tez)나 스파크(Spark)와 같은 프레임워크를 Yarn 위에서 실행하여, 머신러닝과 딥러닝 알고리즘을 구현하고 실행할 수 있습니다. 예를 들어, 추천 시스템, 이미지 인식, 자연어 처리 등의 작업을 수행할 수 있습니다.

YARN 무엇에 쓰는 물건인고? | Popit

Hadoop 을 처음 접하시는 분들은 HDFS에 대해서는 쉽게 이해하지만 YARN에 대해서는 개념을 잡기 어려워하시는 분들이 있습니다. 그 이유는 Hadoop하면 MapReduce를 많이 떠 올리시는데 MapReduce 따로 YARN 따로 있기 때문에 오는 혼선이 아닌가 생각합니다. 이 글에서는 YARN에 대한 간단한 개념 설명과 YARN에서 MapReduce를 사용하기 환경 설정은 어떻게 해야 하는지에 대해 설펴 보겠습니다.

https://www.popit.kr/what-is-hadoop-yarn/

YARN 과 MapReduce

• 하나의 Hadoop 클러스터는 다수의 서버로 구성되어 많은 컴퓨팅 리소스를 가지고 있는데 이것을 하나의 컴퓨팅 플랫폼(MapReduce) 에만 할당하는 것은 비효율적이다.
• MapReduce 이외에 Spark, Strom 등과 같은 다른 컴퓨팅 플랫폼이 출현하였고 이들을 사용하고자 하는 요구사항도 늘어 났음

• 여러 개의 컴퓨팅 플랫폼을 동시에 실행할 경우 각 서버의 리소스(주로 메모리)가 부족하여 정상적으로 수행되던 작업들이 다른 작업에 의해 문제가 발생하게 된다.
• MapReduce 이외에 다른 클러스터를 구성할 경우 클러스터 전체의 사용 효율이 떨어지는 경우가 많음

전통적인 MapReduce 시스템 구성

• MapReduce라는 프로그램 모델을 추상화시킨 라이브러리
• Mapper, Reducer 등 클래스로 별도 main() 메소드로 제공되는 클래스는 없음

• 분산된 서버에 사용자가 만든 MapReduce 프로그램을 실행시키는 Runtime 환경
• JobTracker, TaskTracker, TaskRunner 등과 같이 분산된 서버에 클러스터 환경을 구성
• 사용자의 MapReduce 프로그램을 이들 환경에서 실행시키고, 서버 장애 발생 시 수행되던 작업을 다른 서버에 재시작 시키는 등의 역할을 수행
• MapReduce 프로그램을 위한 중간 단계 데이터의 이동(Shuffle), 이동된 데이터의 정렬(Sort) 등의 작업을 수행

• MapReduce runtime 환경에 사용자가 만든 프로그램의 실행을 지원하는 라이브러리
• JobClient, JobConf 등 클래스과 유틸리티 클래스
• 사용자가 만든 main() 내에서 JobTracker로 작업을 실행하게 요청하거나 작업의 상태 정보 등을 확인하기 위한 유틸리티 클래스

1. MapReduce 클러스터 실행
한번 실행된 클러스터는 특별한 문제가 없으면 재시작 되지 않으며 여러 MapReduce 작업이 실행되어 있는 클러스터를 이용

2. 사용자가 Mapper, Reducer 클래스를 개발

3. MapReduce 작업에서 사용하는 Mapper Reducer 클래스에 대한 지정(1번에서 만든), 입력, 출력 디렉토리 설정, 작업 관련 다양한 옵션을 지정하는 Driver 프로그램 개발(Driver 프로그램이 자바의 main() 메소드를 가지고 있음)

4. 사용자가 만든 Driver 프로그램 실행
Hadoop에서 제공해주는 명령어인 bin/mapred 명령어는 클래스패스 등을 설정해주는 부가 기능만 제공하며 실제 메인 클래스는 사용자가 만든 Driver 클래스

5. Driver 프로그램 내에서는 Job 클래스를 이용하여 JobTracker에 작업 실행 요청

6. JobTracker는 해당 작업의 환경 설정 정보와 입력 데이터의 HDFS 서버의 위치, TaskTracker의 상태 정보를 이용하여 작업 스케줄링

7. TaskTracker는 자신에게 할당된 Task를 JobTracker에서 가져와 실행

8. TaskTracker가 Task 실행 시 TaskTrasker의 쓰레드로 실행하지 않고 별도의 프로세스로 fork 시켜서 실행
Fork 시에는 main() 메소드를 포함하고 있는 클래스가 있어야 하는데 이때 사용되는 클래스가 MapRunner, ReduceRunner로 별도의 프로세스로 실행된 후 입력 데이터를 읽어 사용자가 개발한 map(), reduce() 함수를 호출해준다(MapReduce가 계속 변화되었기 때문에 MapRunner, ReduceRunner라는 클래스명은 정확하지 않을 수 있습니다.).

9. Reduce는 Map 결과를 받기 위해 각가의 TaskTrasker로 Map Task의 결과 정보를 요청하여 이 데이터를 로컬 파일로 저장

10. Reduce Task는 로컬에 저장된 Map 결과를 정렬한 후 reduce() 함수 실행

11. 각 Task 가 종료될 때 마다 TaskTrakcer는 다음 Task를 JobTraker로 부터 가져와서 실행

12. JobTracker는 특정 서버(TaskTracker) 장애시 또는 특정 Task 장애시 재 스케줄링 수행

YARN에서 MapReduce 동작

1. 기존 MapReduce 프로그램과 동일하게 Mapper, Reducer, Driver 클래스 작성

2. Driver 클래스 실행
main 프로그램이기 때문에 bin/mapred 명령어를 이용하여 실행

3. Driver 클래스내에서 Job 클래스를 이용하여 MapReduce작업을 요청하는 것이 아니라 MapReduce 클러스터를 구성하는 작업을 먼저 수행
기존 MapReduce는 한번 구성된 클러스터를 영구적으로 사용하지만 YARN 환경에서는 Job 별로 클러스터를 구성

4. MapReduce 클러스터를 구성하기 위해서는 기존의 JobTracker 역할을 수행하는 Master가 필요 이를 위해 YARN의 ResourceManager에게 리소스 요청
YARN에서는 각각의 컴퓨팅 클러스터를 Application이라고 하며 Application을 실행하기 위해 필요한 Master 서버를 ApplicationMaster 라고 한다. 따라서 기존의 JobTracker는 YARN 입장에서 보면 MapReduce 프로그램을 실행하기 위한 ApplicationMaster가 된다.
MapReduce의 Driver 프로그램은 내부적으로 MapReduce 클러스터 구성을 위해 ApplicationMaster를 먼저 요청한다. ApplicationMaster는 보통 1개로 구성되기 때문에 1개만 요청한다.

5. YARN의 ResourceManager는 요청받은 ApplicationMaster를 자신이 관리하는 클러스터(여러개의 NodeManager) 중 하나의 서버를 선택하여 ApplicationMaster(JobTracker 역할)를 실행하고 이 서버를 클라이언트에게 알려준다.
ApplicationMaster는 각 컴퓨팅 플랫폼별로 다른데 MapReduce에 사용되는 ApplicationMaster는 MRAppMaster 이며  YARN 패키지가 아닌 MapReduce 패키지내에 존재한다.

6. 클라이언트는 ResourceManager로 부터 받은 ApplicationMaster 서버에 MapReduce 작업 요청을 한다.

7. MRAppMaster는 작업 요청을 받으면 사용자가 실행한 MapReduce 작업에 필요한 리소스를 다시 ResourceManager에게 요청한다.

8. ResourceManager는 요청받은 리소스에 대해 NodeManager를 지정하고 Container를 실행한 후 Container 목록을 MRAppMaster에 준다.

9. NodeManager에 의해 실행된 MapReduce Task를 위한 Container는 MRAppMaster와 통신을 하며 기존 방식의 JobTracker/TaskTracker에서 처리했던 방식과 유사한 방법으로 Task를 실행한다.
이 과정에서 MRAppMaster의 재활용, Task를 위해 실행된 Container의 재활용 등은 MapReduce와 YARN의 버전업에 따라 처리 방식이 조금씩 다르다.

YARN에서 MapReduce를 위한 환경 설정

yarn-site.xml

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>8000</value>
</property>

<property>
  <name>yarn.scheduler.minimum-allocation-mb</name>
  <value>512</value>
</property>
<property>
  <name>yarn.scheduler.maximum-allocation-mb</name>
  <value>2048</value>
</property>

<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

mapred-site.xml

Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=1536, maxMemory=512

<property>
  <name>yarn.app.mapreduce.am.resource.mb</name>
  <value>512</value>
</property>

<property>
  <name>mapreduce.map.memory.mb</name>
  <value>512</value>
</property>
<property>
  <name>mapreduce.reduce.memory.mb</name>
  <value>512</value>
</property>

Current usage: 700 MB of 1 GB physical memory used;
2.2 GB of 2.1 GB virtual memory used. Killing container.

• Container 는 1GB 까지 사용 가능한데 실제로는 700 MB 사용 있음. 여기는 문제가 안됨

• YARN은 Physical 메모리 뿐만 아니라 Virtual Memory 사용도 체크하는데 Virtual Memory의 제한 값은 Container 메모리 사이즈의 2.1 배이다. 따라서 위 메시지는 1GB Container는 2.1GB 까지 사용 가능한데 2.2GB 사용했기 때문에 이를 초과해서 발생한 문제이다.

<property>
  <name>yarn.nodemanager.vmem-check-enable</name>
  <value>false</value>
</property>
<property>
  <name>yarn.nodemanager.vmem-pmem-ratio</name>
  <value>2.1</value>
</property>

• https://issues.apache.org/jira/browse/YARN-4714

<property>
  <name>yarn.app.mapreduce.am.resource.mb</name>
  <value>1024</value>
</property>
<property>
  <name>yarn.app.mapreduce.am.command-opts</name>
  <value>-Xmx768m</value>
</property>
<property>
  <name>mapreduce.map.memory.mb</name>
  <value>1024</value>
</property>
<property>
  <name>mapreduce.reduce.memory.mb</name>
  <value>1024</value>
</property>
<property>
  <name>mapreduce.map.java.opts</name>
  <value>-Xmx768m</value>
</property>
<property>
  <name>mapreduce.reduce.java.opts</name>
  <value>-Xmx768m</value>
</property>

글을 마치며