카프카(Kafka)란? 카프카(Kafka)는 파이프라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 설계된 고성능 분산 이벤트 스트리밍 플랫폼이다. Pub-Sub 모델의 메시지 큐 형태로 동작하며 분산환경에 특화되어 있다. 카프카의 탄생 배경 비즈니스 소셜 네트워크 서비스인 링크드인(linked-in)에서 개발했다. 다음은 카프카 개발 전 링크드인의 데이터 처리 시스템이다. 1. 기존 데이터 시스템의 문제점 각 애플리케이션과 DB가 end to end로 연결되어 있고(각 파이프라인이 파편화 되어있음), 요구사항이 늘어남에 따라 데이터 시스템 복잡도가 높아지면서 다음과 같은 문제가 발생하게 되었다. 1. 시스템 복잡도 증가 (Complexity) 통합된 전송 영역이 없어 데이터 흐름..

RDBMS와 NoSQL? RDBMS란 테이블을 통해 정형화된 데이터를 저장하고, 테이블끼리 관계를 맺을 수 있다. 또한 제약 조건을 통해 데이터의 중복을 피할 수 있다. 테이블끼리 관계를 맺을 수 있으니 경우에 따라 테이블을 나누어 데이터를 관리할 수 있고 데이터를 조회해 올 때 'JOIN'을 사용해 나누어져 있는 테이블의 데이터를 불러올 수 있다. 제약 조건을 통해 데이터 중복을 막을 수 있으며 이는 데이터를 수정해야 할 때 수많은 데이터를 찾아 수정해야 하는 번거로움을 줄여줍니다. NoSQL란 NoSQL은 비관계형 데이터 저장소 역할을 한다. 기존 RDBMS은 scale-up(수직적 확장)을 해야 하는 한계가 있다. NoSQL은 수평적 확장을 손 쉽게 할 수 있어 많은 데이터를 저장하고 분산 처리를 ..

JWT 란? JWT(JSON Web Token)은 약자대로 JSON 객체를 이용해서 토큰 자체에 여러 정보를 담을 수 있고 토큰을 이용해 인증 처리할 수 있는 것을 말한다. JWT 구조 JWT 구조는 3가지로 분류할 수 있다. header header는 signature를 해싱하기 위한 알고리즘 정보를 담는 공간이다. payload payload는 서버와 클라이언트가 주고받을 수 있는 정보(시스템에 사용되는 정보)를 담을 수 있는 공간이다. signature signature는 해당 Token의 유효성을 검증하기 위한 정보 공간이다. 이 signature를 통해 해당 Token이 유효한지 체크하게 된다. JWT 검증 방법 이제부터 JWT가 어떻게 해당 토큰이 유효한 것인지 알아보겠다. eyJhbGciOi..

JWT 토근이 무엇이고 왜 필요한가 JWT 토큰은 유저의 신원이나 권한을 결정하는 정보를 담고 있는 데이터 조각이다. JWT 토큰을 사용해서 클라이언트와 서버는 안전하게 통신한다. 왜냐하면 JWT 토큰 인증방식은 비밀키(개인키 or 대칭키)로 암호화를 하기 때문이다. 하지만 탈취당했을 때 문제가 발생한다. JWT 토큰을 탈취한 사람은 마치 신뢰할 만한 사람인 것처럼 인증을 통과할 수 있기 때문이다.심지어 본 주인인 클라이언트와 탈취한 사람을 서버는 구분할 수 없다. 따라서 유효기간을 두어야하는 것이다. 그런데 유효기간을 짧게 두면 사용자가 로그인을 자주 해야 하므로 사용자 경험적으로 좋지 않고, 유효기간을 길게 두면보안상 탈취 위험에서 벗어날 수 없다. 해결법은 유효기간이 다른 JWT 토큰 2개(Acce..

Elasticsearch는 Apache Lucene 기반의 Java 오픈 소스 분산 검색 엔진이다. Elasticsearch를 통해 방대한 양의 데이터를 신속하게(≒ 실시간) 저장, 검색, 분석을 수행할 수 있다. Elasticsearch는 검색 엔진으로 단독으로 사용되기도 하며, ELK(Elasticsearch / Logstash / Kibana) 스택으로 사용되기도 한다. 이러한 Elasticsearch는 대규모 로그 파일 관리나 실시간 검색 서비스 등과 같이 대용량 데이터를 빠르게 처리해야 하는 경우 유용하게 사용될 수 있다. 데이터 저장 방법(RDBMS와 차이점) RDB는 정규화된 스키마에 따라 데이터를 구조화하지만, Elasticsearch는 JSON 문서 형태로 비정형 데이터도 저장하고 인덱싱..

직렬화라는 용어에 대해서 들어만 보고 공부해본 적이 없기에 이번 기회에 정리하게 되었다. public interface Serializable { } Serializable의 인터페이스를 보면 메소드가 하나도 없는 것을 볼 수 있다. 아무런 구현해야 할 메소드도 없는 이 인터페이스가 왜 있는걸까 개발을 하다보면 아래와 같은 경우가 존재한다. 생성한 객체를 파일로 저장할 일이 있을 수도 있다. 저장한 객체를 읽을 일이 생길 수 있다. 다른 서버에서 생성한 객체를 받을 일도 생길 수 있다. 이럴 때 꼭 필요한 것이 Serialization 이다. 우리가 만든 클래스가 파일을 읽거나 쓸 수 있도록 하거나, 다른 서버로 보내거나 받을 수 있도록 하려면 반드시 이 인터페이스를 구현해야 한다. Serializabl..

Spring관련 공부를 하다가 HTTP Status Code 제어 파트가 나왔다. 좋은 REST API를 설계하는 방법 중 하나는 서버로부터 적절한 상태코드를 반환시키는 것이다. 때문에 그에 대해 더 알고싶어서 찾아보게 되었다. 이 글은 POST 201 상태코드에 대한 내용을 정리하였고, 차차 ResponseEntity를 이용한 상태코드 관리법을 더 정리할 예정이다. (HTTP 상태 코드란?) UserController에서 새로운 user를 저장하는 코드를 가지고 왔다. @PostMapping("/users") public void createUser(@RequestBody User user) { User savedUser = service.save(user); } Post를 사용하고, http요청의 본..

HTTP 상태 코드? HTTP 응답 상태 코드는 특정 HTTP 요청이 성공적으로 완료되었는지 알려준다. 응답은 5개의 그룹으로 나누어진다. 분류 1xx (Informational) : 정보 2xx (Successful) : 성공 3xx (Redirection) : 리다이렉션 완료 4xx (Client Error) : 요청 오류(클라이언트 오류) 5xx (Server Error) : 서버 오류 모든 상태 코드에 대한 내용 1xx (Informational) : 정보 요청을 받았으며 프로세스를 계속 진행한다. 상태 코드 요약 설명 100 Continue 클라이언트가 서버로 보낸 요청에 문제가 없으니 다음 요청을 이어서 보내도 된다는 것을 의미/ 이미 요청이 완료되었다면, 이 응답은 무시해도 된다. 2xx (..