로그 시각화 도구 그라파나(grafana) 후다닥 살펴보기

0
6031

ELK 스택 중 하나인 키바나(kibana)를 살펴보고 시계열 디비를 담당하고 있는 회사의 엔지니어와 협의를 해 본 결과 도입한 시계열 디비와 키바나를 연동하기 매우 어렵다는 결론을 내렸습니다. 이유는 키바나는 엘라스틱서치(elasticsearch)와만 연동되도록 구성되어 있기 때문에 도입한 시계열 디비를 사용하면 키바나를 사용할 수 없다고 합니다. 병행해서 로그를 2곳으로 동시에 보내야 한다고 하는데 그러면 도입한 시계열 디비가 의미가 없어지기 때문에 키바나를 포기했습니다.

키바나를 도입하려는 이유 중 하나는 시각화의 자율성을 확보하기 위함입니다. 대시보드를 만들 수 있는 기능이 있기 때문에 그것을 활용해서 새로운 수치를 생각보다 어렵지 않게 시각화를 할 수 있을 것 같았습니다. 그렇지만 키바나는 도입할 수 없기 때문에 대안을 찾아보았습니다. 그라파나(grafana)가 있군요. 키바나와 같은 성격인데 오픈소스 시각화 도구인 그라파나가 있었습니다. 라이브 데모 사이트에서 이렇게 저렇게 둘러보고 있습니다. 라이브 데모 주소는 여기 http://play.grafana.org/ 입니다.

대시보드 모습입니다. 이런 모습으로 흘러가는 로그의 수치를 시각화할 수 있는 것입니다. 도입한 디비도 시계열 디비이고, 아파치 로그를 중심으로 파이 그래프, 막대 그래프, 선 그래프 등을 주로 그리면 되기 때문에 큰 문제는 없어 보입니다. 다양한 플러그인도 있을 것이니 필요한 경우 찾아 적용할 수도 있겠지요.

그라파나에 로그 데이터를 저장하고 있는 시계열 디비를 직접 연동한 후 필요한 값들을 적용해서 대시보드를 만들면 좋을 것 같습니다. 내부 운영자들이 약간의 교육으로 원하는 시각화 그래프를 만들 수 있겠지라는 기대를 가지고 있습니다. 물론 교육을 한다고 해서 그들이 실제로 할 수 있을지까지는 장담하기 어렵지만 그런 기대를 가지고 도입해 보려는 것입니다. 안되면 할 수 있는 사람이 한땀한땀 시각화 시켜줘야겠지요.

데이터 프로젝트 중 프로토타입 격으로 적용하는 것이라서 큰 부담은 없습니다만, 이것을 활용해서 본격적인 데이터 프로젝트 레거시를 변경하려면 많은 고민이 뒤따를 것 같기도 합니다. 어쩌면 레거시와 신규 그라파나 대시보드를 듀얼로 운영해야 할 수도 있겠습니다. 현재 잘 돌아가는 레거시를 애써서 없앨 필요는 없거든요. 큰 문제만 없다면 불편하더라도 레거시와 신규 그라파나를 같이 운영해 보는 것도 선택지 중 하나입니다.

만들어진 그래프는 공유 옵션이 있어서 그래프에 접근하는 링크를 활용하거나, 외부 사이트에 임베드 코드를 넣어 그래프를 넣을 수 있습니다. 이 기능을 잘 활용하면 운영자가 보기 위해 만든 그래프를 일반 사용자 사이트에서도 적절하게 배열해서 활용할 수도 있겠습니다. 물론 그렇게 하는 것이 어떤 유용성을 줄 수 있을지는 고민해 봐야겠지만 기능상으로는 가능하다는 이야기입니다. 키바나를 포기하고, 그라파나를 도입하는 것을 잘 생각해 봐야겠습니다.

그라파나로 대시보드를 만드는 유튜브 동영상은 다음과 같습니다. 쉬엄쉬엄 슬슬 보면 사용할만 하다는 생각은 듭니다. 자빅스와도 연동해서 멋대가리 없는 자빅스의 대시보드를 그라파나로 멋지게 변신시킬 수도 있겠다는 생각도 들고 그러네요. 계속 탐색해 보면서 결정의 날의 기다려봐야겠습니다.

기술적으로 보유하고 있는 시계열 디비와 그라파나의 연동은 크게 어려움이 없다고 확답을 받았으니 로그를 수집하는 수집기와 저장에 대한 부분 등을 개발진들과 협의하는 일만 남았습니다. 연동 이슈는 결국 개발진이 해결해 주어야 하거든요. 이래저래 제가 개발영역을 사랑하지 않을 수 없습니다. 개발이 없으면 전 아무것도 아닌 기발자일 뿐이니까요.