IL-0108 DFDS · 2020-11-04kubernetes
2020-11-04 DFDS 는 Alcide 워크숍을 하면서 운영 클러스터 Hellman 을 실습 환경으로 썼다. 팀은 13:13 에 admission 컨트롤러를 적용하면서 영향이 없을 거라고 여겼다. 실제로는 이 컨트롤러 때문에 주로 Deployment 의 생성과 수정이 타임아웃되었고, apiGroups 가 "", "apps", "batch", "extensions" 인 리소스도 마찬가지였다. 팀은 admission 컨트롤러가 느리게 응답한 것으로 보고 있다.
사용자 보고는 적용 뒤 1시간 28분이 지난 14:41 에 들어왔다. 배포 기능이 깨진 것을 잡을 스모크 테스트가 없었다. Alcide 는 곧 쓰지 않을 예정이라 팀 안에 아는 사람이 적었다. 이미 있던 것을 다시 적용할 뿐이라는 생각에 팀이 방심했다.
팀은 15:15 에 컨트롤러를 껐다 켜며 원인을 확인했고, 15:39 에 영구히 지웠다. 감지까지 88분, 복구까지 122분이 걸렸다.
2020-11-04 14:41 CET 에 사용자들이 쿠버네티스 클러스터 Hellman 에 배포할 때 타임아웃이 난다고 알려 왔다.
타임아웃은 주로 Deployment 를 만들거나 고칠 때 났다. apiGroups 가 "", "apps", "batch", "extensions" 인 리소스의 생성과 수정 요청도 같이 타임아웃되었다.
팀은 15:04 에 타임아웃을 확인했다. admission 컨트롤러가 늦게 응답한다고 의심했고, 15:15 에 Alcide admission 컨트롤러를 껐다 켜 보며 이 컨트롤러가 원인인지 확인했다.
원인 설정 변경
팀은 적용 1시간 28분 뒤인 14:41 CET 에 사용자들이 Hellman 에 배포할 때 타임아웃이 난다고 알려 와서 문제를 알았다. 이어 15:04 에 타임아웃을 확인했다.
새로 들이는 구성 요소는 샌드박스 클러스터에 적용한다. Alcide 를 완전히 걷어낼 때까지 팀은 이를 유지할 수 있는 지식을 갖춰야 한다.
같은 원인 · 공통 어드미션 웹훅, 쿠버네티스 API 서버
IL-0005 새 텔레메트리 서비스가 모든 노드에서 무거운 쿠버네티스 API 요청을 보내 대형 클러스터의 컨트롤 플레인이 무너졌고, DNS 기반 서비스 디스커버리가 깨져 OpenAI 의 모든 서비스가 멈췄다OpenAI · 2024같은 원인 · 공통 쿠버네티스 API 서버
IL-0118 쿠버네티스 네임스페이스 라벨을 전역으로 바꾸자 네트워크 계층이 메타데이터를 다시 계산하면서 가장 큰 GPU 클러스터들 가운데 세 곳의 컨트롤 플레인이 과부하에 빠졌고, ChatGPT 와 API 가 타임아웃과 503 오류를 냈다.OpenAI · 2024같은 원인 · 공통 쿠버네티스 API 서버
IL-0152 정비 작업 중 FRA1 내부 인프라 클러스터에 잘못된 설정이 들어가 그 위에서 돌던 DOKS 클러스터 200개의 컨트롤 플레인이 자동으로 삭제됐다.DigitalOcean · 2024같은 원인 · 공통 쿠버네티스 API 서버
IL-0068 익명 요청을 허용한 쿠버네티스 API 서버로 공격자가 들어와 RBAC 로 백도어를 만들고, DaemonSet 으로 Monero 채굴기를 모든 노드에 띄웠다.Aqua Security · 2023같은 원인 · 공통 쿠버네티스 API 서버
https://incidentlib-mcp.benchlet.com/mcpAPI 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.