타올라라 리눅스 성능카운터들이여 - Flame Graphs

LWN 이번주 Weekly 와 18일자 Daily New 에 등장한 Flame Graphs 라는

프로그램등의 성능카운터들을 일목요연하게...라기보다 아주 화려하고 롹기운충만하게

SVG (Scalable Vector Graphics) 로 만들어주는 독특한 툴을 소개하도록 하겠다.

커널이라는 녀석은 둘째치고 일반 프로그램들을 디버깅해 성능의 수치를 뽑아내고,

그 성능을 향상시키기 위한 포인트를 짚어내 접근하는 것은 어려운 일인건 두말하면 쳐맞는다.

특히 요즘처럼 Device 관련 모듈, 라이브러리들이 다양하게 발달되어 있고,

커널에서의 각종 성능카운터들도 이젠 서브시스템으로 나눠져 이벤트라고 할 정도로

풍부해지고 한눈에 살펴보기도 어려워 졌으므로 더더욱 눈빠지고 골치아파진 상황에선

텍스트만으로 뿌려진 성능측정 결과물들이야말로 점점 프로그래머들을 변태로 몰거나,

거리로 내모는 주범이 되고 있는 현실!!

< Kernel Event에 대한 Flame Graphs >

그러나 이 "Flame Graphs" 가 나온 뒤로 한시름 고민이 해결될것으로 보여진다.

최! 소! 한! 눈빠지게 카운터들을 찾기보다 좀 더 직관적으로 많은 양을 차지하는

이벤트들에 대해서 직관적인 접근을 도와주는데에는 확실하게 큰 도움이 될것이다.

< FireFox 에 대한 Perf Flame Graphs >

안타깝게도 이녀석들이 실제 멋있게 브라우져를 불바다로 만들어버리는 모습은

Tistory 에서 XML 의 업로드가 불가능해 내 블로그에서 직접 보여주는 것은 불가능하지만,

node.js 와 클라우드 서비스 진영쪽에서 유명한 Performance Engineer 인

"Brendan Gregg" 의 Blog 에서 SVG 그림들을 클릭해서 직접 보면,

꽤나 감동할 것이라고 장담해보겠...다람쥐~ 다람쥐~
( 반드시 클릭해 보라 그나저나 "그랙" 이라는 놈들은 다들 좀 뛰어난거냐? ㅡ.,ㅡ:: )

이녀석은 Perl 스크립트로 프로그래밍 되어 있고, 3단계의 과정을 통해

SVG 로 Rendering 을 구현해준다.

다운로드는 git 를 이용하면 되고 Perl 로 제작된 툴이라 컴파일은 필요 없다.

git clone https://github.com/brendangregg/FlameGraph.git

1. Data Capture ( Capture Stacks )

  - 다음 세가지 방법을 통해 Stack 의 자료들을 수집한다.

     Perf ( Kernel Base Event Trace Tool )

[mirr@Mirr-N FlameGraph]$ sudo perf record -a -g -p 1 sleep 60
[ perf record: Woken up 1 times to write data ]
[ perf record: Captured and wrote 0.493 MB perf.data (~21534 samples) ]
[mirr@Mirr-N FlameGraph]$

     STAP ( Kernel System Tap Debugging Tool )

[mirr@Mirr-N FlameGraph]$ sudo stap -s 32 -D MAXTRACE=100 -D MAXSTRINGLEN=4096 -D MAXMAPENTRIES=10240 -D MAXACTION=1000 -D STP_OVERLOAD_THRESHOLD=5000000000 --all-modules -ve 'global s; probe timer.profile { s[backtrace()] <<< 1; } probe end { foreach (i in s+) { print_stack(i); printf("\t%d\n", @count(s[i])); } } probe timer.s(60) { exit(); }' > stap.dataPass 1: parsed user script and 93 library script(s) using 208236virt/30512res/3044shr kb, in 140usr/10sys/501real ms.
Pass 2: analyzed script: 3 probe(s), 3 function(s), 0 embed(s), 1 global(s) using 209028virt/31816res/3300shr kb, in 0usr/10sys/33real ms.
Pass 3: translated to C into "/tmp/stapdr7Wfw/stap_03588c5c747120471bbc0122f9972d92_3517_src.c" using 518892virt/178072res/83636shr kb, in 3780usr/400sys/13359real ms.
Pass 4: compiled C into "stap_03588c5c747120471bbc0122f9972d92_3517.ko" in 9290usr/800sys/16043real ms.
Pass 5: starting run.
WARNING: no or bad debug frame hdr
WARNING: No binary search table for debug frame, doing slow linear search for xfs
WARNING: Unexpected DW_CFA_def_cfa_register
Pass 5: run completed in 10usr/530sys/61811real ms.
[mirr@Mirr-N FlameGraph]$

     Dtrace ( Dynamic Stack Trace Tool )

[mirr@Mirr-N FlameGraph]$ sudo dtrace -x ustackframes=100 -n 'profile-997 /PID == 12345/ { @[ustack()] = count(); } tick-60s { exit(0); }' -o out.user_stacks

사실 Dtrace 부분은 Fedora 쪽에서 사용법이 약간 달라 (버젼인가) 직접해보진 못했다.

2. Fold Stacks
  - Stack Data 들을 각 카운터 ( 이벤트 ) 별로 구분하여 라인별로 정리한다.
    Stackcollapse-perf.pl, Stackcollapse-stap.pl, Stackcollapse.pl
    세개로 나뉘어 각각 캡춰 데이타의 종류별로 정리를 해준다.

[mirr@Mirr-N FlameGraph]$ sudo ./stackcollapse-perf.pl perf.data > firefox-perf-folded
[mirr@Mirr-N FlameGraph]$

[mirr@Mirr-N FlameGraph]$ sudo ./stackcollapse-stap.pl stap.data > out.stap-folded
[mirr@Mirr-N FlameGraph]$

3. Generate Render Flame Graphs

  - flamegraphs.pl

[mirr@Mirr-N FlameGraph]$ ./flamegraph.pl out.stap-folded > stap.svg
[mirr@Mirr-N FlameGraph]$

## ext4 의 이벤트들만 골라서 그래프화 해준다.
[mirr@Mirr-N FlameGraph]$ grep ext4 out.perf-folded | ./flamegraph.pl > ext4.svg

이렇게 세단계를 거치면 SVG 파일을 만들어주며 경우에 따라서 fold 된 파일에서

필요한 내용만 grep 으로 뽑아 그래프로 그려주는 것도 가능하다.

< Ext4 관련 Event 들에 대한 Flame Graphs >

렌더링 된 Bar 들에 마우스를 가져다 놓으면 Sampling 개수와 차지하는 % 등도 나온다.

아쉽게도 oprofile 에 대한 불바다 툴은 지원되지 않지만, Oprofile 에 대해서

작업을 하고 있다고 하니 기대해 보는것도 좋을것 같다.

어떤 프로그램들이든, 서비스를 하게 되는 위치에 도달하게 되면, 반드시 부딪히게 되는

성능문제라는 폭풍과 절망의 벽이 있기 마련이다.

이 과정은 항상 어렵고 몸과 마음을 피폐하게 만들기까지도 하여 멘탈붕괴를 부르는

치명적이면서도 피할 수 없는 과정이기도 하다.

"Performance Engineer" 라는 지옥의 던젼을 스스로 찾아다니며 각종 디먼들을

물리치고, 미로를 풀어 지도를 만들고, 얻어지는 각종 금은보화들을 공유하고자 하는

이런 Fighting 넘치는 존재들이야말로, 도덕과 정의, 그리고 약자에 대한 배려가 사라진

IT 중간계에 새로운 희망을 자라게 할 정화의 불꽃 이 아닌가 싶다. (풉)

자! 이제 다 됐고... 핏자나 한조각 먹고 쉬어야지!!!

PS : 디버깅이랑 성능카운터 정말 어렵다.. 특히 Dtrace 완전 쩔어 ㅠㅠ

PS2 : 글을 정리하는 마지막까지 아쉬운 SVG 업로드 불가의 이 충격...Tistory 미어..ㅠㅠ