한빛출판네트워크

카프카는 2011년 미국 링크드인에서 출시되어 2021년 아파치 재단의 인큐베이션 프로젝트로 시작해 "아파치 카프카"라는 이름으로 출시되었다고 한다. 이는 대규모 메시징 시스템을 구현하기 위한 오픈소스 소프트웨어인데, 현재에는 다양한 기능들이 추가되어 데이터 로드, 데이터 처리를 위한 기능들을 포함하여 통합적인 데이터 처리 플랫폼으로 변모하고 있다고 한다. 

내가 제일 궁금했던 것은 카프카를 이용하여 데이터 파이프라인을 구축하는 방법이였는데, 이 책의 6장에서 카프카를 이용한 데이터 파이프라인의 구성 요소부터 시작해 7장의 카프카 커넥트로 데이터 허브를 구축하는 방법까지 보고나서 데이터 허브 아키텍쳐를 어떻게 응용해야 할지에 대한 감이 잡혔다. 또한 Part 1 에서는 아파치 카프카에 대한 기본 개념들을 담고 있고, Part 2 에서는 아파치 카프카의 적용 사례, 카프카 커넥트로 데이터 허브 구축하기, 스트림 처리 등 실전 문제들을 자세히 다루고 있기 때문에 아파치 카프카를 입문하려는 사람들에게 제격인 책이다. 

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다. 

실전 아파치 카프카

- 애플리케이션 개발부터 파이프라인, 사물인터넷 데이터 허브 구축까지 -

안녕하세요. 율리시스SS입니다.

오늘 소개시켜드릴 도서는 '실전 아파치 카프카'입니다. 

아파치 카프카는 분산 메시징 시스템으로 해당 책은 처음 아파치 카프카를 입문하는 분들께 추천을 드리는 도서 입니다.

자바API를 활용한 애플리케이션 개발부터 사물인터넷까지 간략하게 적용하는 방법을 배우는데 아파치 카프카를 처음 듣거나, 한번 들어보았는데 어떻게 사용해야 하는지 이해가 안갈 때 처음 배울때 좋은 책이라고 생각됩니다.

​

| 아파치 카프카를 처음 접할때 굉장히 어려웠습니다. 이게 뭐지 뭘 배워야 하지 라는 생각을 먼저 하게 되었는데요.

지금도 아파치 카프카를 이용해 프로젝트를 해본적은 없지만 회사에서도 회사분들이 카프카 얘기가 조금씩 들리는것으로 보아 해당 책으로 아파치 카프카를 배워봐야 겠다는 생각이 들었습니다.

​

​

​

​

| 전반적인 개념은 해당 책으로도 충분히 이해가 가능했습니다. 물론 쉽게 설명을 했다고는 생각되지만 그래도 어려운건 마찬가지네요.

아파치 카프카의 개념부터 탄생 배경, 그리고 어떤 방식으로 구현되는가에 대해서 조금 알수 있게 되었습니다.

환경 구축부터 친절하게 애플리케이션 개발까지 도와주는 책으로 그림이 많아서 이해가 조금 더 쉽게 되었습니다.

​

​

​

​

| 요즘에 들어서 방대한 데이터로 인해 아파치 카프카가 조금 더 인기를 끌게 된것 같은데요.

한빛미디어에서는 초급용이라고는 했지만 개인적으로는 중급용정도 될것 같습니다. 책을 읽어도 어렵기는 하네요;;;

하지만 전체적으로 그림을 이용한 흐름을 통해 이해를 시켜주기 때문에 머리가 좋은 여러분들께서는 이해가 쉽지 않을까 싶네요.

​

아파치 카프카에 대한 기본서가 많이 없는만큼 카프카에 대해서 이해하고 살짝 사용해 보고 싶은 분들께 괜찮은것 같습니다.

​

​

​

< 한빛미디어 아파치 카프카 도서 보러가기 >

​

​

한빛미디어로부터 제공받아 작성하였지만

제공 측의 간섭 없이 필자가 느낀 점 그대로 작성하였습니다.

​

작성일 : 2021년 04월 16일

최종 수정일 : 2021년 04월 16일

* 오류 수정은 블로그에서만 합니다.

* 블로그 : http://blog.naver.com/adg0609

CopyRightⓒ.2021.율리시스SS.All Rights Reserved

분산 메시징 시스템을 대표하는 kafka를 블로그 글이나, 메뉴얼로만 보다가 책으로 보니까 보는 관점이 다른 것 같다.

블로그나 메뉴얼에서는 하나 하나 따라하거나 국지적인 부분만 보게 되는 반면,

책에서는 전체적인 구조를 조망할 수 있게 설명을 해주는 것으로 느껴졌다.

그 동안 보았던 글들이 이제야 제자리를 찾아 정리가 되는 느낌이다.

​

카프카를 도입하려고 한다면 한 번쯤 읽어 보는게 좋을 것 같다.

읽으면서 아쉬움은 책 자체 빅데이터 관련 책들이 그렇지만, 실습하기 어렵다는 점이다.

제대로 실습하려면 PC가 여러대 거나 virtualbox로 가상 머신이라도 여러개 설치해야 하는데,

이런 환경을 만들기가 너무 귀찮다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다"

작년 새로 입사하신 과장님 한 분이 카프카와 관련된 세미나를 짧게 30분정도 컨퍼런스를 하신적이 있으셨다.

이름만 얼핏 들어봤지 처음 보는 내용이였기 때문에 30분이라는 짧으 시간으로는 어떤 내용인지 이해하기가

너무 어려웠었다. 

그러던 중 한빛 미디어를 통해서 '실전 아파치 카프카'라는 책을 읽을 기회가 생겼다. 

(당시 과장님이 참고 하셨던 책도 기억으로는 실전 아파치 카프카였다)

비록 회사에서 해당 내용을 가지고 업무를 하고 있지 않아서 실무에 바로 적용해보기 어렵지만 그래도 예전에 이해하지 못했던 개념들을 이해하는 시간을 갖자는 생각으로 접근하였다.

내용이 내게는 다소 어렵게 늦겨져 한번에 다 이해하기는 어려웠지만 그래도 그림을 통한 설명과 예제 코드들을 따라하고 여러번 리마인드 시켜주는 내용 구성으로 차츰 차츰 이해할 수 있었다.

(물론 한번 읽는 걸로는 개념들을 100% 이해하기는 힘들었다...ㅠㅠ)

접근 방식 자체가 실무에 바로 쓰겠다가 아닌 개념과 내용들을 이해하는게 목적이었기 때문에 설정을 따라해보고 적용하는 부분들은 눈으로만 넘어가보았지만 상세하게 많은 내용들을 다루고 있었기 때문에 실제 따라서 해보았다고 해도 큰 문제가 없었을 것으로 보였다.

그래도 완전히 이해가 될 때까지 다시 읽어봐야겠다!!!

【아파치 카프카 그 시작을 알리는 책】

 요즘은 바야흐로 빅데이터 시대라고 해도 과언이 아니다. 아니, 정확히는 몇년 전부터 이미 우리는 광활한 빅데이터라는 세상 속에서 살아가고 있다. 이런 시대에 예나 지금이나 가장 중요한게 있었으니 바로 이런 광활한 데이터를 체계적으로 관리하는 방법일 것이다. 여기에 더불어 IT 시대에는 이런 광활한 데이터를 이용한 서비스의안정적인 서비스를 체계적으로 관리하고 보장할 수 있는 기술은 과히 필수라 해도 과언이 아닐 것이다. 그래서오늘 블로거가 리뷰하게 될 도서는 이러한 시대의 흐름과 정서를 반영한 훌륭한 기술인 '아파치 카프카'와 관련된 도서를 리뷰하고자 한다. (참으로 오랜만에 리뷰를 하는것이여서 상당히 긴장된다.)

【어떤 독자를 위한 책인가】

 '실전 아파치 카프카'는 분산 메시지 방식 + 체계적인 빅 데이터를 관리하기에 훌륭한 기술이다. 더욱이 자바 기반의 다양한 예제가 오픈 소스로 이미 공개되어있고 국내에도 다양한 커뮤니티가 이미 구성되어있다. 그렇기에 안정적인 메시징 큐잉 방식과 더불어 스케일 아웃이 가능한 기술을 필요로하는 서비스를 개발하려는 사람들에게는과히 필수 기술이라 할 수 있다. 더욱이 이번에 출간된 '실전아파치 카프카'는 아파치 카프카의 기원부터 시작하여 사용사례, 그리고실제적인 서비스 아키텍처 설계와 구현론, 그외 부가적인 기능들 추가를 통해 아파치 카프카를 모르는 사람도위 도서를 충분히 학습함으로써 모든 서비스에 응용할 수 있는 카프카의 전신이 되는 기초 지식을 잘 제공하고 있다.

【책의 구성】 '실전 아파치 카프카'책의 구성은 어떠한가.

 이 책은 솔직히 카프카만을 위한 책이 아니다. 블로거가 느끼기에는 이 책은 메시징 큐잉 분산 처리 시스템을 사용하려는 모든 사람이 읽어보면 좋은 그런 내용들로가득 차있다. (물론 주제는 카프카에 관한 내용이 중심이지만 블로거의 시각으로 봤을 때, 이 내용들은 모든 분산 처리 시스템에 근간이 되는 설명들로 이루어져있다.) 아~ 서두가 길었으니 책의 구성 설명으로 돌아가도록 하겠다. '실전 아파치카프카'는 카프카란 무엇인지에서 시작하여 탄생 배경, 이를이용한 서비스, 개발 환경 구축, 카프카에서 다루는 스르림처리부터 데이터 허브 설계, 구축에 이르기까지 거의 카프카의 시작과 끝 그 모든 것을 다루고 있다는책이라고 봐도 과언이 아니다. 더욱이 위 서는 자바로 수록된 다양한 예제와 실습 자료들을 제공하고 있기때문에 어느정도 자바 언어에 대한 특징을 잘 이해하고 있고 스프링과 같은 프레임워크를 사용해본 경험이 조금이라도 있다면 쉽게 책을 따라갈 수 있는구성으로 이루어져있다. 특히 마지막 11장에서 다루는 '카프카 능숙하게 사용하기' 는 카프카를 사용할 때 알아야할 내용들을잘 정리해두어 학습한 후 알차게 마무리지었다는 강한 여운을 남겼다. 특히 책 중간 중간 볼드체로 키워드등을 강조함으로써 카프카 관련 기술에서 사용하는 (혹은 카프카에서만 사용하는) 용어들을 잘 정리하였고 책 마지막에도 언제든 쉽게 참고할 수 있게 인덱스를 정리해둔 점 역시 독자가 책을 통해충분히 많은 지식을 얻어 갈 수 있길 바라는 저자의 많은 배려를 느낄 수 있는 그런 책이였다.

【실전 아파치 카프카를 읽으며…….】

 솔직히 분산 큐잉 메시지 시스템이라고 하면 많은 사람들이 데이터나 저장할때쓰이는 플렛폼이구나 라고 생각하기 쉬운것 같다. 블로거가 멘토링 하는 대다수의 멘티들 역시 그렇게 생각하는친구들이 적지 않았으니 말이다. 하지만 스케일이 커지고 중앙 집권적인 서비스를 구현해야할 때, 카프카만큼 진가를 발휘하는 기술을 아직까지 본 블로거는 본적이 없는듯 싶다.그만큼 카프카를 잘 알아두면 매력적인 개발자인 동시에 훌륭한 대규모 서비스를 지탱할 수 있는 기술일 가졌음을 입증하는 것이라 생각된다. 더욱이 카프카는 오픈 소스 프로젝트이기에 카프카와 관련된 시스템을 서비스에 맞게 튜닝하는 것 역시 가능하며 (물론 능력만 된다면 카프카 프로젝트에 참여할 수 있는 기회도 있다.!) 이를튜닝한 프로젝트를 다양한 곳에 기부하는 것 역시 가능하다. 그렇기에 카프카를 모르는 개발자들도 꼭 이책이 아니더라도 카프카를 알아 가길 희망해본다.

예전에 프로젝트에서 카프카를 사용했었다.

그 때에는 간단하게 MSA구조에서 다른 App간의 메시지를 주고 받는 형태로 개발했었다.

이 책을 미리 봤었다면 좀 더 여러방면으로 활용할 수 있었겠다는 생각이 들만큼 많은 예제를 제공하고 있다.

또한 이런 예제를 통해서 내가 생각하지 못한 방면에서 카프카를 활용해 봐야겠다.

다음 프로젝트에는 좀 더 카프카를 적극적으로 활용해서 많은 스트림 데이터를 처리해야겠다.

카프카를 잘 모르거나, 간단하게만 아는 분들에게는 이 책을 통해서 많은 활용도를 익힐 수 있는 기회가 될 것이다.

얼마 전, 한빛미디어에 이 책이 출간되었다는 소식을 들었다. 사실 카프카가 어떤 기술인지 전혀 배경지식이 없는 상황이었지만, 역시 모르는 기술에 대한 호기심을 멈출 수 없었다. 

이 책은 서문에서 이렇게 이야기 한다.

'이 책은 카프카의 기본과 그 실현 가능한 것이 무엇인지 알고 싶은 사람, 특히 카프카를 처음 다루는 기술자를 위한 입문서다. 카프카는 개념이 단순한 반면, 매우 유연한 동작을 설정할 수 있거나 더 높은 성능을 제공할 수 있도록 만들어져 있다. 따라서 여러 시스템에서 다양한 쓰임새를하고 있다.'

카프카는 2011년 미국 링크드인에서 출시 된 후, 2012년 아파치 재단을 통해 키워져 '아파치 카프카'라는 이름으로 출시되었다. 초기에는 메시징 시스템의 기능 중심이었으나 이후에는 데이터 로드, 데이터 처리를 위한 기능을 포함한 통합적인 데이터 처리 플랫폼으로 변모했다.

각 장에서는 카프카의 개발동기, 기술, 요구사양 소개 부터 클러스터 구축방법과 테스트 환경 구축 방법을 설명한다. 그리고 독자가 구현가능한 예제를 통해 이해를 돕는다. 

책은 카프카에 초보를 타겟으로 구성되어 있다. 관련 업계 혹은 SW 관련 종사자라면 무리없이 소화할 수 있을 것으로 생각된다. 

"실전 아파치 카프카" 

분산 메시징 플랫폼으로서의 카프카의 기본 개념부터, 데이터 허브, 스트림 처리, 사물 인터넷 적용 사례등을 다루고 있다. 

카프카의 출현 배경, 기본 구조및 동작 , 카프카 클러스터 구축, 카프카 Connect와 Streams에 의한 데이터 파이프라인 구축,

구조화된 스트림 처리및 스파크 연동, 사물 인터넷 툴인 MQTT와 연동하여  데이터 허브 구축 사례등 , 실무적 관점에서의 카프카 적용 사례도 다루고 있다. 4차 산업시대에 데이터 허브로서의 카프카의 활용및 가치는 아무리 강조해도 지나치지 않다. 

센서데이터 수집부터 분석에 이르기까지 진정으로 실시간 처리, 스케일 아웃, 영속성, 전달 보증을 구현한 분산 메시징 솔류션인 "실전 아파치 카프카"의 진가를 맛보고 싶은 엔지니어라면 , 한번 일독을 권한다.

Message Queue로서 많이 활용하고 있는 kafka에 설명한 책으로 입문자도 이해하기 쉽게 설명한 책입니다.

 우선, 카프카의 기본을 이해하기 위한 설명과 설치하는 부분을 알려준 후에 카프카를 이용한 여러 Application들을 만들고 적용한 사례들에 대해서 알려줍니다.

 이 책은 입문서지만 최대한 여러 분야에 대해서 적용하는 것을 소개해주고자 합니다. 책이 두꺼운 것은 아니지만 많은 내용을 다루고 있기에 자세한 것까지는 적혀 있지 않지만 입문자에게 자신의 관심분야와 접목할 수 있는 부분을 쉽게 찾을 수 있게 해줍니다.

 저도 로깅에 대해 관심이 있고 업무도 수행하고 있는데 제가 사용하고 있는 fluentd에 kafka를 설정하는 핵심부분이 나와 있어서 앞으로 kafka를 적용하게 될 경우에 도움이 될 것으로 보여집니다.

 이 책을 통해서 kafka에 대해서 알 수 있었고, 어떻게 활용할 수 있는지도 배울 수 있었습니다. 소개된 다른 사례들도 향후 kafka와 초기 설정을 할 때 사용될 것입니다.

책을 읽고나니 kafka에 대한 관심이 높아져서 오류나 장애가 발생하였을 때의 동작방식이나 대처 등에 대해서 중급서에 해당하는 서적을 구매하고자 하는 생각도 들었습니다.

Apache Kafka는 여러 대의 분산 서버에서 대량의 데이터를 처리하는 분산 메시징 시스템입니다. 

메시지를 받고, 받은 메시지를 다른 시스템이나 장치에 보내기 위해 사용합니다. 

높은 처리량과 실시간으로 대량의 데이터를 취급하기 위해 초점을 맞췄으나 이제는 기능과 신뢰성을 향상시켜 현재는 데이터가 들어오는 대로 순차 실행하는 플랫폼이 되고 있습니다. 

구글, 애플, 드롭박스, 넷플릭스, 골드만삭스, 트위터, 핀터레스트, 세일즈포스, 우버, 마이크로소프트 등이 카프카를 사용하고 있습니다. 

오픈소스인 카프카는 링크드인에서 개발했습니다. 링크드인 웹사이트에서 생성되는 로그를 처리하여 웹사이트 활동을 추적하는 것을 목적으로 개발했습니다. 링크드인에서 누군가의 프로필을 조회하거나 아티클을 보거나 특정 키워드로 검색하거나 혹은 광고를 클릭하는 등의 모든 행위가 낳는 로그들은 매우 방대했습니다. 우리는 이것을 빅데이터라고 부릅니다. ​

저 역시 카프카를 도입하고 안정화하기까지 메시지 유실도 겪고 브로커가 다운되는 많은 고난과 역경이 있었지만, 당시 국내에서는 트러블 슈팅 문서나 책이 없어 더 힘들었습니다. 하지만 이번에 만난 <실전 아파치 카프카>책은 당시 제가 겪었던 장애 원인들이 많이 기술된 책입니다. 

카프카를 처음 접하는 독자에게는 카프카에 대한 순차적인 이해를 돕고 실습으로 이어지며, 이미 카프카를 접해본 독자에겐 놓칠 수 있는 장애 포인트를 짚어주고 있습니다. 

​

이 책에서 가장 감명받았던 것은 Ack와 In-Sync Replica의 관계를 매우 중점적으로 다뤘다는 것입니다. 2장에서도 다루지만 마지막 11장에서 능숙하게 카프카를 다루기위해 알아야할 내용에서 다시 또 다룹니다. 저는 이 옵션으로 인해 많은 장애를 겪었고 당시에는 경험이 부족했기에 옵션에 대한 이해도가 부족했습니다. 이 책은 그점을 잘 표현하고 있어 매우 마음에 들었습니다.  

저는 감히 이 마지막 11장이 이 책의 핵심이라고 칭할 수 있습니다. 카프카 능숙하게 사용하기. 

이 11장 카프카 능숙하게 사용하기를 이해하고 숙지했다면 운영에서 카프카 안정성을 찾아나가는데 엄청난 기여를 할 것입니다. 앞서 언급한 내용을 다시 정리하면서 강조합니다. 

​

카프카를 사용해야하는 개발자라면 저는 이 책을 반드시 추천하고 싶습니다. 

API example을 온라인 상에도 많지만 일목요연하게 카프카를 이해하고 주요한 옵션에 대한 설명을 담고 있기 때문입니다. 



작년(2019)에 이미 서버개발시 테스트용으로 써볼 기회가 있어 반갑게 보았고 그때 당시에는 프로토타입 개발하느라 제대로 이해하지 못 한 상태로 사용했지만 함께 고려했던 메세지큐 들 중에서는 성능이 제일 좋았던 기억이 있다.

-

해당 기억을 가지고 [실전 아파치 카프카]를 봤는데 기존에 잘못 이해했던 부분, 알지 못했던 부분이 많았다는 것을 알았다

책 구성은 이렇다

구성 :

카프카가 만들어진 이유 --> 사용이유 --> 기본개념 --> 구축 --> 응용 --> 사례

대상 :

기본 개념이 없을 경우 처음부터 정독을 하면 좋을 듯 싶으며

경험자의 경우 사례, 능숙하게 사용하는 방법을 주요로 읽으면 좋을 것 같다.

카프카 기초 :

프로듀서 --(push)--> 브로커 --(pull)--> 컨슈머

- 메시지 : key:value 로 이루어진 카프카의 데이터 단위

- 프로듀서 : 데이터를 만들어 브로커에 메시지를 보내는 에플리케이션

- 브로커 : 메시지를 받고 전달해주는 카프카의 중심 서비스

- 컨슈머 : 브로커에서 메시지를 전달받는 에플리케이션

- 토픽 : 메시지 종류별로 관리하는 스토리지, 브로커에서 관리

아무래도 이전에 프로토타입으로만 쓰고 채택되지않아 거기서 멈췄었다.

다음번 아파치 카프카를 활용할 기회가 된다면 참고하기 좋은 책이 었다.



메세지 브로커, 분산 메세징 시스템에 최근 많은 관심을 가지고 있어 RabbitMQ, Celery, 그리고 이번 서적의 주제인 Aapache Kafka에 대해서 사용해보고 있다.
아래에서 소개할 서적을 받기 전까진 구글링하며 Quickstart를 보고 익히고, 도큐먼트와 여러 기술 블로그를 참고하곤 했다.

이번 3월에는 실전 아파치 카프카 서적을 통해 공부하게 되었다
이 책은 한빛미디어 리뷰어 활동으로 제공받아 읽을 수 있었다.
틈틈히 읽으며 따라해보고 있는데 리뷰도 써야하니 잠시 책의 중간지점에 멈춰 리뷰를 쓰게 되었다

나에게 있어서 이 책의 장점은 크게 3가지로 볼 수 있다.

1. 카프카를 써야하는 이유를 설명한다
2. 카프카 탄생 전에는 무엇을 사용했는지 열거하고 그 도구들과 차이점을 꼼꼼히 비교한다.
3. 책에 있는 코드를 따라 치는 전개

구글링에 의존해서 카프카를 익힐때에는 왜 이것을 사용해야 하는지, 다른 메세징 시스템이 있음에도 링크드인이 개발한 이유를 잘 모른 채로 그저 카프카가 재밌어보이고 신기해서 공부한 경향이 있었다.

그러나 이 책을 통해 카프카의 뿌리부터 배울 수 있게 되었다.

1장에서는 카프카의 사용방법이 아닌, 탄생 배경, 다른 메시징시스템과의 특징을 통해 어떠할 때 카프카를 써야하는지 알려준다.
2장에선 송수신, 파티셔닝, 레플리카 등의 카프카 기초지식에 대해 설명한다.

이후, 카프카 패키지를 설치하고 실행, 동작확인, 종료에 대한 내용을 다루며 카프카의 Java API를 이용한 어플리케이션 개발을 진행한다.

이외에도 Kafka Connect와 Kafka Streams, Apache Spark에 대해서 다루게 된다.

지금까지 국내 카프카 서적을 추천받을때에는
카프카, 데이터 플랫폼의 최강자, 오라일리의 카프카 핵심 가이드 를 받곤 했다.

(한글로 된 책이 별로 없어 카프카 국내 서적의 추천 목록이자 전체 목록이라고도 할 수 있겠다)

나와 같이 아파치 카프카, 분산 메세징 시스템에 관심이 있어 책을 알아보고 있다면
강력하게 실전 아파치 카프카를 추천해주고 싶다.

다른 서적과 비슷하게 가격대 있는 서적이지만 배움에 있어 충실한 값어치를 하는 것 같다.

책이 담고 있는 주된 내용은 카프카를 활용한 개발에 초점이 맞춰져 있고, 카프카 운영에 대한 부분은 빠져있다. 

이 책의 목차를 보면, 카프카의 개요 부터 시작하여 설치, 실전 카프카 사례, 데이터 파이프 라인 구축에 필요한 지식,데이터 허브 구축, 스트림 처리를 담고 있다. 

사실 카프카는 이미 많은 회사에서 쓰는 분산 메시지 시스템으로 표준이 되었다고 할 정도로 정말 많이 쓴다.

외국 회사는 정말 수 많은 회사들이 카프카를 기반으로 데이터 레이크, 데이터 허브를 구성 하고, 분산 메시지 허브 개념으로 많이 사용중인데, 사실 이렇다 할 기본서 같은게 별로 없었다. 

그런데, 이 책이 쉽게 가이드 하고 있다고 생각 한다.

물론, 부족한 부분은 사례쪽이 조금 아쉽긴 하다. 오히려 웹쪽에서 많이 쓰이는 패턴으로 구성을 한다면 더 좋지 않았을까? 싶기도 하다. 

시리즈로 나뉘어 데이터 허브에서의 카프카와 데이터 수집 관리 용도의 웹 어플리케이션 관점으로 나누어 보는 것도 난 좋았을 것이라 생각 했다. 

물론, 설명을 잘 하고 있어서 필요한 부분들은 도큐먼트나 다른 자료를 참고 하는게 좋아 보이긴 했다. 

특히, 1장에 설명이 참 좋았다. 

**카프카가 가진 특징과 왜 개발 되었는지? 알 수 있어서 이해하기가 쉬운 부분이 있었다.**

아무래도 링크드인이 추구하는 방향성이 기존에 없던 툴들의 특징이라, 링크드인은 자체 개발을 할 수 밖에 없었던 이유가 명확하게 드러나는 카프카의 특징과 일맥상통하는 설명이 카프카의 필요성을 정말 설명 하는 부분이었다. 

사실 내가 일하는 관점은 거의 로그 수집에 가깝고, 로그 활용에 주된 관점이 있다 보니 조금은 생소한 부분들이 많았다. 

스트림 처리 이런 것도 중요하지만, 내가 원하는 포인트는 카프카 성능 관리나 운영에 대한 포인트였다. 

그렇다 보니 전체적인 구성이 조금 아쉬웠으나, 카프카 개발에 대해 궁금 했던 입문서로는 추천 할 수 있는 책이다.

리뷰내용

- 책의 구성에 대해서 정말 신경을 많이 쓴게 느껴진 책이였다.

Kafka에 대해서 거의 입문자의 지식이였지만 읽는데 크게 문제가 없었으며, 왜 Kafka가 생겼는지, 어떤 방식으로 구성되어 있는지, 왜 그렇게 구성을 하였는지 이해가 잘 되었다.

기술서적은 보통 해당 기술에 대해서만 얘기를 하는데 반해 큰 그림과 구조를 볼 수 있게 책의 구성이 잡혀있어 생각보다 금방 읽었던 것 같다.

현업에서 메시지 처리나 통신에 대해서 문제를 겪었던 사람이라면 재미있고, 공감하면서 읽을 수 있을 것 같다.

또한 실습을 통해서 직접 구현하여 테스트를 해볼 수 있는 부분이 정말 마음에 속 들었다.

실제 환경을 구축하고 테스트를 진행해보니 확실히 설명이 부족한 부분이나 이해가 안되었던 부분들이 있었는데, 이 중 일부는 실습을 하면서 해소가 된 부분도 많았다.

내가 현업에서 사용할 일은 그렇게 많지 않을 것 같지만 Kafka란 기술의 탄생배경과 내용 등을 습득할 수 있어서 좋은 경험이였던 것 같다.

올해 다시 시작된 한빛 미디어의 "나는 리뷰어다" 에서 처음 받은 책은 바로 카프카 관련 책이다.

한번쯤 어떻게 사용하는 것인지 공부 해봐야지 라고만 생각을 하고 있었는데 이렇게 책을 읽어볼 기회가 생겼다.

메세지 큐를 사용하는 어플리케이션을 만들기 위해서 잠깐 찾아서 써본 이후로 한번도 손대지 않았는데 그게 벌써 2년이나 지났다. ^^;

지금 이 글을 쓰는 시점에서 이 책을 다 읽어보지는 못했다. (실습을 해봐야 하기에...)

카프카의 배경부터 시작부터 설치까지 과정이 워밍업이라고 한다면 그 이후부터는 실제 사례들 중심으로 구성 방법에 대해서 설명을 해주고 있다.

특히 카프카가 어떤 기능이 있고 어떤 용도로 쓰일수 있는지에 대해서 링크드인 사례를 보여준 부분은 재미있었다.

그리고 이 책의 장점이라고 할수 있는 부분은 바로 다음과 같은 내용들이다.

왼쪽 사진은 실제 카프카로 구현하는 방법에 대해서 설명을 해주고 있는 부분이다. 어떻게 구현 될수 있고 구현을 하기 위해서는 어떤 점을 생각해야 하는지 알려준다. 그리고 후반부에는 소스레벨, 실제 실행 로그들도 보여준다.

오른쪽 사진을 보면 네모 박스에 "스트림 처리란?" 이라고 써있고 해당 주제에 대한 설명을 해주고 있다. 이 부분은 책 중간중간에 계속 나온다. 카프카를 사용하기 위해서 필요한 기본 지식이면서 꼭 카프카를 쓰지 않더라도 알아야할 지식들이다. 이런 내용들이 내게는 꼭 필요했고 책을 이해하는데 많은 도움이 되었다.

책을 다 읽으려면 좀더 시간이 걸릴것 같긴 하지만 잘 배워서 직접 활용해 보면 좋을 것 같다는 생각을 많이 했다.

카프카의 원리를 이해하는데 도움이 된 책 입니다.

현 업무에서는 consumer로서 메시지를 받는 구조이고

카프카 클러스터를 운영/관리 하는 직무는 아니지만

현재도 사용 중에 있고

어떤 점 때문에 팀에서는 다른 MQ보다 카프카를 선택하게

되었으며 제가 얻을 수 있는 장점은 무엇인지 궁금하던 차에

책을 접했습니다.

주로 궁금했던것은 다음과 같은 질문들 입니다.

- 왜 카프카를 쓰는가?

- 어떤 문제를 해결하려고 설계되었는가?

- 이미 존재하는 메시지큐 들과 카프카의 차이가 무엇인가?

- 그래서 어떻게 쓰면 되는가?

카프카의 개발동기, 유사한 도구들과의 비교,

실제 사용방법들이 상세히 서술되어있었고

제가 궁금했던 부분들을 해결해 준 책입니다.

다른 책들과 비교는 해보지 못 했지만, 저의 니즈에 적합했던 좋은 책입니다.

이 책의 리뷰는 한빛미디어 ‘나는 리뷰어다’로 부터 책을 지원받아 작성된 글입니다.

한번쯤 카프카를 공부해보고 싶었는데 마침 리뷰할 수 있는 책 중에 실전 아파치 카프카 가 있어서 지원해서 읽어보게 되었다.

작성자의 경우 예전에 하이퍼레져 Fabric 의 구성요소 중 하나가 Kafka 로 되어 있어서 그 때 잠깐 Kafka 를 건드려 본 것 빼놓고는 정말 초보적인 지식밖에 없었다. 그렇기 때문에 이 리뷰글은 입문자 관점에서 적었다고 생각하면 좋을 것 같다.

일단 이 책에서 가장 마음에 들었던 부분은 아래 사진에도 나와 있듯이 실습을 함에 있어서 기본적은 모든 환경설정을 알려준다는 것이다. 일반적으로 개발 환경 실습을 할때는 “자바8 버전을 설치하세요”, “메이븐 최신을 설치하세요”, 등에 대해서 이야기하는데, 이 책에서는 하나하나 자세히 알려주기 때문에 실습을 함에 있어서 딱히 막힘없이 진행하 수 있었던 것 같다.

특히 카프카를 설치하 때 일단 실습을 쉽게 하기 위해서 confluent 플랫폼을 선택한 점도 눈에 띄는 것 같다. 물론, 뭔가를 개발함에 있어서 설치가 가장 어려운 부분에 속하지만, 작성자의 관점에서는 일단 카프카 자체가 어떻게 돌아가는지 궁금하기 때문에 환경 구성에 대해서는 자세히 설명하면서도 쉽게 설치해서 실습할 수 있도록 유도한 부분에 대해서는 긍정적으로 생각한다.

또한 카프카의 주요 사용 방법에 대해서 설명하고 이를 하나씩 실습을 통해서 설명해 주는 것도 좋았다. 그렇게 실습하면서 카프카를 언제 사용해야 하는지, 왜 카프카를 사용해야 하는지 조금은 납득할 수 있었던 것 같다.

다만 입문자가 아닌 사람의 관점에서는 너무 쉬운 기초적인 부분만 알려주는 것 아닌가? 하는 생각이 들 것 같다. 또한 이 책 자체가 입문 하는 사람의 위주로 쓰여서 그런지, 카프카 뿐 아니라 spark, MQTT 프로토콜 등의 기초적인 부분들을 알려준다. 어떻게 생각하면 이런 부분은 조금 카프카 자체를 알고 싶어 하는 사람 에게는 쓸데 없는 설명이 아니었을까 하는 생각도 들었다.

이러한 부분을 생각해 봤을 때 총 평은 예제와 함께 실습하는 것을 좋아하는 사람을 위한 카프카 입문서 이라고 평하고 싶다.

책의 1장은 모든 다른 여타 책과 동일하게 카프카의 역사, 카프카가 쓰이는 이유 및 유스케이이스에 대해서 설명해준다. 그 후에 카프카의 구성에 대해서 이야기 해주고, 곧바로 기본적인 카프카 설치하고 간단히 producer, consumer 를 만들어서 실습해본다.

그 후 2장에서는 1장에서 설명한 유스케이스들에 대해서 실습하는 시간을 가지게 된다. “데이터 허브로 사용하는 방법”, “스트리밍 처리하는 방법(로그 처리)”, “사물인터넷 처리하기” 의 크게 세가지로 구분해서 알려준다.

그 후 마지막장에서는 카프카를 운영할 때 주의할 점에 대해서 몇 가지 설명해주고 있으며, 부록에서는 앞에서 이야기하지 못한 몇가지 심화 개념에 대해서 설명해준다.

실습은 아래 사진과 같이 먼저 유스케이스에 대해서 설명한 후 이를 위한 환경 구축, 그 후에 카프카를 연결해서 개발해 나가는 식으로 진행이 된다. 총 실습과정은 대략 4~5 가지의 경우를 예시로 들고 있다.

작성자의 경우 사실, 현재 카프카를 쓰는 것은 오버엔지니어링이라고 생각해서 따로 공부한 적이 없었다. 하지만 진짜로 그럴까 하는 궁금증이 있었는데 이 책을 읽으면서 더 명확해진 것 같다. (실제로 오버엔지니어링임이 틀림없다.)

카프카를 사용하기 위해선느 일단 브로커가 5대 이상 필요하다는 것 자체가 트래픽이 없는 회사(현재 작성자는 창업 시작단계)에서는 돈만 많이 들고, 개발자 자체도 몇명 없는데 카프카까지 관리하려면 정말 힘들 것이다.

하지만 이런 판단을 하기 위해서는 어느 정도는 공부를 해보고 리서치를 해 본 후에 결정해야 한다고 생각한다. 그런 관점에서 보았을 때, 이 책을 한번 실습해보고 읽어보는 것이 카프카를 쓸지 안 쓸지 결정할 때 도움이 될 것으로 보인다.

또한 개인적으로는 책이 쉽게 쓰여 있어 입문자 입장에서는 재밌게 실습해볼 수 있었던 것 같다. (물론 어느정도의 리눅스 지식은 있어야 한다.) 다시 한번 카프카에 입문하고 싶다면 이 책을 정말 추천하고 싶다.

현재 사물인터넷을 활용한 디바이스 관련해서 프로젝트를 진행하고 있었습니다. 

기존의 블루투스나 NFC가 아닌 새로운 통신 기술을 시도하려고 하며, 

데이터 처리와 관련해서도 어떤 방법을 선택할까 고민하다가 이 책을 발견했습니다. 

아파치 카프카는 스트리밍 데이터 처리를 확장 가능성 높은 기술을 구현할 수 있게 한다는 것을 알게되었고,

이 책 10장에서 제가 필요한 '사물 인터넷' 파트가 나와서 5장까지 입문 개념을 익히고

원하는 부분으로 넘어와 예제를 따라 해보고 있습니다.

기초 개념부터 실전으로 바로 이어질 수 있게 만들어진 책이네요.  

카프카를 처음 접하시더라도 프로그래밍 기초지식과 리눅스 운영체제에 관해 경험이 있으신 분이라면 쉽게 이해하실 수 있을 것입니다.  

[한줄평]

도입부터 활용까지 한 권으로 끝내는 카프카 실전 가이드

[목차구성]

1부 도입 아파치 카프카

1장 아파치 카프카 개요

2장 카프카 기초

3장 카프카 설치

4장 자바 API를 사용하여 애플리케이션 만들기

2부 실전 아파치 카프카

5장 카프카 사례

6장 카프카를 이용한 데이터 파이프라인 구축에 필요한 사전 지식

7장 카프카와 Kafka Connect로 데이터 허브 구축하기

8장 스트림 처리 기본

9장 Structured Streaming에 의한 스트림 처리

10장 카프카로 구축하는 사물인터넷 데이터 허브

11장 카프카 능숙하게 사용하기

[이 책의 특징]

• 카프카 탄생 배경, 구조, 기본 동작

• 메시지 송수신 구조, 시스템 구성, 분산 메시징 구조

• 컨플루언트 플랫폼을 이용한 클러스터 구축

• 자바 API를 활용한 애플리케이션 개발

• 데이터 허브 아키텍처, Kafka Streams를 이용한 스트림 처리, 스파크 연동 방법

• 사물인터넷 적용 사례

[대상 독자]

• 카프카를 처음 배우고 싶은 서버 운영자

• 비동기 시스템을 개발하고 싶은 개발자

• 실시간 데이터 파이프라인을 구축하고 싶은 아키텍트

[서평]

클라우드 네이티브, 빅데이터, 인공지능, 블록체인, 마이크로 서비스등 컴퓨팅 아키텍처가 정말 빠르게 바뀌고 있다. 예전에는 서버/클라이언트 구조로 설계를 했는데 요즘은 비동기 메시징 프레임워크 기반으로 데이터를 주고 받는 형태로 바뀌고 있다.

하둡, 스파크, 카프카등 여러 플랫폼이 있는데 그중에서 카프카가 가장 핫하게 뜨고 있습니다. 이 책에서는 카프카를 처음 시작 하는 개발자를 위해서 가장 쉽게 입문 할수 있게 기초 개념 부터 확장성과 고가용성 특징을 활용해 시스템을 구현 하는 방법을 설명하고 있다. 

실무에서 카프카를 어떻게 활용하는지 다양한 예제를 통해 배울수 있다. 그리고 실무에서만 알수있는 노하우를 배울수 있어 처음 카프카를 시작하기에 많은 도움을 받을수 있을 것이라 생각합니다. 

카프카를 도입을 고민 하고 있다면 실전 아파치 카프카를 한번 읽어보시는 걸 추천 합니다.