[싹틔움] 11/17 개발일지 EC2 에 Redis, Kafka, elasticsearch 띄우고 연결하기

💡 목표

우리의 프로젝트에 쓰인 Redis, Kafka, elasticsearch 를 EC2 에 띄워서 메인 서버와 연결시켜야했다.

---

기존 메인 서버에 Docker compose 를 설치해서 메인 서버와 함께 Redis, Kafka, elasticsearch 를 실행시키고자 했다.

🌱 Docker compose 설치

sudo su

관리자 모드 실행

 

apt-get update

인스턴스 패키지 목록 업데이트

 

sudo curl -L "https://github.com/docker/compose/releases/download/v2.20.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

Docker compose 바이너리 다운로드

 

chmod +x /usr/local/bin/docker-compose

다운로드한 Docker compose 바이너리에 실행 권한을 추가했다.

---

🌱 t2.micro 에서는 무리

nano .docker-compose.yml

docker-compose 파일을 만들어서 기존에 로컬에서 작성했던 docker-compose 를 그대로 복사해서 가져온 다음

docker-compose up 을 통해서 실행시키니까

 

서버가 죽었다.

 

git bash 창이 느려지고 응답이 없고 해서 모니터링 해보니 CPU 사용량이 100% 로 과부하가 걸렸다.

이를 해결하기 위해 인스턴스를 중지하고 재부팅해서 다시 시작했다.

 

아무래도 기존 docker-compose 파일에 적용되어있던 redis, kafka, elasticsearch 를 나눠서 각 각의 EC2 에서 관리할 필요가 있어보인다.

 

기존 EC2 에서는

 

# 중지된 모든 컨테이너 삭제
sudo docker container prune -f

# 사용하지 않는 모든 이미지 삭제
sudo docker image prune -a -f

# 사용하지 않는 모든 볼륨 삭제
sudo docker volume prune -f

# 사용하지 않는 모든 네트워크 삭제
sudo docker network prune -f

 

명령어를 통해 공간을 다시 확보해줬다.

 

df -h

해당 명령어로 남은 용량을 확인할 수 있다.

---

🌱 새로운 인스턴스 t2.micro 에서 Elastic search 설치 시도

이 오류는 Elasticsearch가 시작할 때 사용하는 JVM 메모리가 너무 많아서 시스템에서 할당할 수 없다는 것을 의미한다.

Elasticsearch는 기본적으로 상당한 양의 메모리를 요구하기 때문에 더 큰 용량의 인스턴스가 필요했다.

오류 분석

• 오류 메시지에서 Native memory allocation (mmap) failed to map 2147483648 bytes라고 나오는 부분을 보면, Elasticsearch가 2GB의 메모리를 할당하려고 시도했으나, 시스템에서 할당할 수 없다는 것
• 이 문제는 메모리 부족이거나 ES_JAVA_OPTS에 설정된 메모리 크기가 시스템의 메모리 용량을 초과했을 때 발생

docker-compose.yml

version: '3'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.17.0
    container_name: elasticsearch
    environment:
      - node.name=es01
      - discovery.type=single-node
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms1g -Xmx1g"  # 메모리 할당을 1GB로 설정
      - xpack.security.enabled=false
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - es-data:/usr/share/elasticsearch/data  # Elasticsearch 데이터 저장
    ports:
      - "9200:9200"  # HTTP 포트
      - "9300:9300"  # Transport 포트
    networks:
      - es_network

volumes:
  es-data:  # Elasticsearch 데이터 저장용 Volume

networks:
  es_network:  # 커스텀 네트워크 설정
    driver: bridge

 

1. docker-compose 파일을 만들어서 elasticsearch 메모리 할당을 1GB 로 설정했다.

2. t2.medium 으로 인스턴스 유형 변경했다.

---

🌱 Kafka docker-compose 설정

version: "3.8"

services:
  zookeeper:
    image: confluentinc/cp-zookeeper:latest
    environment:
      ZOOKEEPER_SERVER_ID: 1
      ZOOKEEPER_CLIENT_PORT: 2181
    ports:
      - "22181:2181"

  kafka1:
    image: confluentinc/cp-kafka:latest
    depends_on:
      - zookeeper
    ports:
      - "19092:19092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: 'zookeeper:2181'
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka1:9092,EXTERNAL://172.31.40.10:19092
      KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL

  kafka2:
    image: confluentinc/cp-kafka:latest
    depends_on:
      - zookeeper
    ports:
      - "19093:19093"
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_ZOOKEEPER_CONNECT: 'zookeeper:2181'
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka2:9093,EXTERNAL://172.31.40.10:19093
      KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL

  kafka3:
    image: confluentinc/cp-kafka:latest
    depends_on:
      - zookeeper
    ports:
      - "19094:19094"
    environment:
      KAFKA_BROKER_ID: 3
      KAFKA_ZOOKEEPER_CONNECT: 'zookeeper:2181'
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka3:9094,EXTERNAL://172.31.40.10:19094
      KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL

 

Kafka 인스턴스에서는 위처럼 docker-compose.yml 파일을 생성해주었는데,

 

기존에 EXTERNAL 부분에서 로컬 환경의 docker-compose 파일을 그대로 가져왔다 보니 localhost 로 되어있었다.

 

그래서 이를 kafka 인스턴스의 프라이빗  ip 로 설정해주었다.

---

🌱 EC2 들 간에 PORT 연결

위처럼 내 서비스를 위한 EC2 들을 띄워줬다.

이를 연결하기 위해서 컨테이너를 띄운 포트를 인바운드 규칙에서 열어줘야한다.

 

Kafka 인스턴스 적용 보안 그룹 규칙

 

위는 Kafka 인스턴스에 적용된 보안 그룹 규칙이다.

위처럼 Redis 와 elastic search 도 마찬가지로 열어주면 된다.

Notification 은 8082 포트로 열어놨기 때문에 마찬가지로 적용시켜주면 되었다.