24.03.07 깃랩 복구 회고록

발단

저장 공간 의 부족

1. 기존의 사용하던 테스트 장비의 저장공간이 부족해짐
2. 깃랩이 다운됨
3. 자동으로 복구 시도를 하였으나 무한 재부팅이됨

원인

1. 저장공간이 부족해지면서 깃랩에서 자체내장된 DB인 Postgresql이 망가짐

   1. 로그를 확인해본 결과 처음엔 데이터베이스의 비밀번호 검증이 틀린줄 알았음

   

   Untitled

2. 그러나 자세히 읽어보니 레거시 저장소의 데이터가 마이그레이션 되지 않는다는 멘트 확인

3. postgresql 접속 시도를 하였으나 애초에 접속이 안됨

   1. 로그를 확인해보니 postmaster.pid가 접근이 안되거나 파일이 비어있어 크래쉬 발생

      

      스크린샷 2024-03-05 오후 2.45.18.png

결과

• postmaster.pid를 컨테이너에 접속해서 지우니 문제 해결

느낀점

• 텍스트, 로그 를 잘 읽어보자.
• 검색을 할때는 내가 처한 상황도 같이 적어서 검색하자
• 검색을 할때는 키워드 키워드 키워드 로 검색하면 더 좋다
  • e.g. docker gitlab postgresql → 해결법 발견