반응형

빅데이터 4

실시간 채팅 구현] kafka 적용기 -1 (kafka를 redis 대용으로 사용가능한가?)

이번에 팀 프로젝트로 실시간 채팅 서비스를 웹앱으로 구현하기로 하였는데 실시간 채팅 서비스 구현은 나도 처음인지라 어떠한 기술을 도입하는게 안정적인 서비스를 고민하던 차에 kafka와 redis를 이용하여 채팅 서비스를 구현하기로 하였는데 팀원들과 카프카 및 레디스에 대해서 논의하다가 다음과 같은 궁금증이 생겼다.1. 애초에 내가 생각하던 카프카 및 레디스의 역할1) 카프카- 실시간 채팅 서비스를 구현할 때, 웹소켓을 이용해서 채팅을 한다면 채팅 내역들을 추후 백업 등을 할 때 필요하므로 영구적으로 DB에 저장해야한다고 판단하였다.- 실시간 채팅 시 메세지를 DB에 저장을 할 때, 메세지 건마다 DB로 insert문을 날려야 하니 DB 입장에서는 병목현상이 발생할 수도 있고, 만약 DB가 중간에 뻗는다면..

빅데이터/kafka 2025.05.27

[elk] elasticsearch & kibana 비밀번호 변경

이번에 도커 컴포즈를 통해서 elk를 서버에 설치하는데 문제가 발생하였다.기존에 받은 elk의 docker compose 에서 비밀번호를 env에서 관리하였는데, 각각의 elk 폴더의 Dockerfile에서 해당 비밀번호 환경변수를 관리하고 있어서 단순히 메인 폴더에서 env에 내가 원하는 비밀번호로 변경을 한 후 docker compose up -d 를 쳤다.그러나 kibana에서는 계속 아래와 같은 에러 로그를 보이면서 elasticsearch와 연결이 안되는 것이었다.2025-04-12T08:55:55.320+00:00][ERROR][elasticsearch-service] Unable to retrieve version information from Elasticsearch nodes. conne..

빅데이터/ELK 2025.04.12

엘라스틱서치 로컬 설치 과정

필자는 mac m1 환경에서 엘라스틱서치를 로컬에 설치하는 과정을 작성하고자 합니다. 아래 과정을 따라하기 전 mac에서 homebrew를 먼저 설치를 한 후에 진행하시길 바랍니다. 1. github에서 elasticsearch 및 arirang clone $ git clone https://github.com/apache/lucene.git $ git clone https://github.com/elastic/elasticsearch.git 2. 깃허브 master 경로설정 $ /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 3. jenv 설치 $ brew install je..

빅데이터/ELK 2022.07.24

엘라스틱 기본 쿼리

1. index 생성 및 도큐먼트 생성 - 도큐먼트 생성 시, 해당 인덱스가 없을 경우에는 자동으로 인덱스를 생성하면서 도큐먼트를 인덱싱함. PUT index2/_doc/1 { "name" : "rhksdud23000", "age" : 32, "gender" : "male" } 2. 인덱스 확인 GET index2 // 결과값 { "index2" : { "aliases" : { }, "mappings" : { "properties" : { "age" : { "type" : "long" }, "country" : { "type" : "text", "fields" : { "keyword" : { "type" : "keyword", "ignore_above" : 256 } } }, "gender" : { "t..

빅데이터/ELK 2022.06.03
반응형