인하드 DB 마이그레이션 작업때문에 일요일에 서버 들고 분당 IDC로 출근 했다.
프랑스전 축구 시작할 시간에 작업을 시작했다. 그 시간은 사용자가 거의 없을거라
판단 되었기 때문이다. 테스트를 수도 없이 했기때문에 성공 하리라 생각했고,
크게 부담없이 5시간만에 작업 완료 시켰다.
근데 사용자가 붙자마자 load average가 50까지 치솟았다.
Disk I/O 가 계속 치솟고 덕분에 CPU 8개가 모두 100%를 사용했다-_-;;
뭐 됐다 싶어 30분만에 DB를 내리고, 원인 파악에 들어갔다.
원인은 문제없던 테이블스페이스 하나가 갑자기 디스크를 막 읽고 쓰고 해대는 것이다.
급한 마음에 결국 예전 DB 서버로 돌려놓고 서비스는 다시 재개 되었지만, 10시간 동안이나 서비스가 죽어있었다. DB 이전 실패라는 공지를 보게 되니 쪽팔림이 그지 없다
하루가 물건너가고 내일 새벽에 다른 방법으로 재차 시도 준비중이다.
오전에 5분 테스트 해봤을때 정상적인 로드로 서비스 되는 것을 확인 했는데,
제발 내일 새벽에도 멀쩡하게 완료 되었음 좋겠다.
ps. 작업기간 내내 옆에 있어준 상윤군아 정말 고맙다
4일째... 6월21일 수요일 새벽 2시 58분.
2차 마이그레이션 작업 시작 2분전. 2시간 자고 와서 눈이 반쯤 감긴 상태. 절대 실수 없이 마무리 짓고 집에 가자. 아자!
짬날 때마다 블로그질 하고 있는 내가... 언제부터 이렇게 열심히 블로깅을 했지?-_-;
