'2020/04'에 해당되는 글 2건

  1. 2020.04.06 :: eBPF vmcore Analysis (1)
  2. 2020.04.03 :: Cannot save vmcore to extra XFS when crash dump on OL/RHEL7
Skills/mY Technutz 2020. 4. 6. 16:35

Oracle Linux 7 의 RHCK 를 사용하는 고객인데, Crash dump 가 발생하여 분석을 요청했다.

그냥 넘어가려고 했는데 eBPF 를 사용중인 서버에서 발생한 이슈라 흥미를 갖고

한번 살펴보기로 했다.

재밌는건 위 bpftool 은 sosreport 를 수집할때 systemtab 에 의해 수행되는 명령이었다.

재현테스트를 테스트머신을 만들어 수행해 보았으나, 아무런 이상없이

정상적으로 수집되고, 값도 정상적이다.

또한 bpftool 명령이 설치되어 있지 않다면 sosreport 수행 시행되지 않는다.

현재 고객은 위에서 보다시피 seos 등 3rd party 모듈을 여럿 사용하고 있었고,

filesystem permission 등의 관리가 이루어지고 있었기 때문에,

보안모듈을 의심할 수 밖에 없는 상황이였다.

안타깝게도, eBPFOL/RHEL 7 에서 Technical Preview 로 제공되므로,

더 깊은 상태의 investigation 이나 패치는 제공되지 않는다.

보다 상위의 커널들 ( Kernel 4.x, UEK4/5 ) 에서는 security_ops 를 아예 제거했고,

기본적으로 보안체크를 거치지 않고 다른 방법으로 처리하고 있었기에

적용하기도 어려운 상태였다.

결국 임시방편으로 고객에게 3rd-party 솔루션에서 bpftool 를 사용하는지 확인 후,

사용하지 않고, 필요로 하지 않는다면,

해당 패키지를 삭제하고 사용하지 않도록 하라고 권고하였다.

해당 패키지 (bpftool) 삭제 후 현재까지 이상없이 잘 운영중으로 보인다.

** Notes : 사실 Herbert 나 Todd 등 유수한 개발자님들께서 Technical Preview 라 귀찮다고
             코어덤프 거들떠보지도 않으셔서 상당히 어렵게 확인함 ㅋ

posted by mirr

댓글을 달아 주세요

  1.  Addr  Edit/Del  Reply Favicon of https://cuzmall.com/스포츠-레저/조아캠프-캠핑테이블-120-전용.. BlogIcon 조아캠프

     

    2020.06.14 03:37

카테고리 없음 2020. 4. 3. 18:36

아주 따끈따끈한 이슈를 발견해서 포스팅한다.

고객이 OL7 에서 kdump 테스트를 수행하는중, ext4 등 다른 파일시스템으로 저장이 되는데

별도로 연결한 xfs 파일시스템에는 저장이 되지 않는다는 문의를 해왔다.

"그럴리가 있남? 뭔가 잘못한거겠지 흥칫뿡" 속으로 생각하며,

직접 테스트를 하는데... 저장이 안된다...

"뭐지?" 하면서 살펴보기 시작한다.

이건 레드햇에서도 아직 답이 안나온  따끈따끈한 워크어라운드인것 같다.

혹시라도 OL7 에서 별도의 XFS 에 덤프를 저장해야 하는 경우, 해당 워크어라운드를 적용하도록 하자.

당연히 기존 루트 파일시스템에 저장하는 경우는 fsck 가 앞서 수행되므로 상관없이 잘 된다.

물론 환경에 따라서 sleep time 의 값이 더 필요할 수 도 있을것 같은데,

대부분 5~10초면 무난하지 않을까 싶다.

posted by mirr

댓글을 달아 주세요