대규모 환경 릴리스 성능 확보

Mattermost의 각 릴리스가 대규모 환경에서도 높은 성능 기준을 충족하도록, Mattermost 엔지니어링 팀은 철저한 부하 테스트를 수행하고 확장성을 염두에 두고 기능을 개발하며 데이터베이스 스키마 마이그레이션에 엄격한 지침을 적용합니다.

월간 릴리스 부하 테스트

매달 Mattermost 릴리스 후보는 배포 승인을 받기 전에, 실제 대규모 사용 패턴과 일치하는 시뮬레이션 데이터를 사용해 포괄적이고 성숙한 부하 테스트 도구로 부하 테스트를 거칩니다.

서로 다른 구성을 다루는 여러 테스트가 수천 명의 사용자와 수백만 건의 게시물을 갖춘 고가용성 Mattermost 배포 환경을 대상으로 실행됩니다. PostgreSQL과 MySQL 모두 테스트하지만, MySQL이 Mattermost v11에서 지원 종료되면 MySQL 테스트는 중단될 예정입니다.

부하 테스트는 평균 API 요청 시간, 데이터베이스 I/O, 메모리 사용량, 동시성, 초당 요청 수 등을 상세히 담은 보고서를 생성합니다. 릴리스 후보에 대한 이 성능 보고서는 직전 최신 안정 버전의 보고서와 비교됩니다. 편차가 발견되면 릴리스 후보가 최종 릴리스로 승격되기 전에 조사하고 해결합니다.

각 보고서는 분석 결과와 함께 공개 Developers: Performance 채널에 게시됩니다.

확장 가능한 기능과 시스템 개발

확장성은 새로운 기능과 시스템을 개발할 때 주요 고려 사항이며, 소프트웨어 설계 프로세스 초기부터 기술 사양에 포함됩니다.

구현 과정의 일부로 부하 테스트 에이전트가 해당 기능이나 시스템을 다루도록 업데이트됩니다. 그런 다음 부하 테스트를 실행하고 그 결과를 기준선과 비교합니다.

이후 코드 변경 사항은 최소 두 명의 개발자와 SDET/QA 분석가의 검토를 거쳐 병합됩니다.

병합되면 새 빌드가 생성되어 다음 날 Mattermost Community Server에 배포되며, 변경 사항이 릴리스 후보에 포함되기 전 3~4주 동안 성능에 미치는 영향을 모니터링합니다.

데이터베이스 스키마 변경

업그레이드 시 위험과 성능 영향을 줄이기 위해 데이터베이스 스키마 변경은 최소한으로 유지합니다. 스키마 변경이 필요한 경우 Mattermost는 마이그레이션 중과 그 이후의 위험과 성능 영향을 최소화하는 엄격한 마이그레이션 지침을 따릅니다.

더 복잡한 마이그레이션이 필요한 경우에는 상세한 분석을 수행하고 안내와 함께 공개합니다. 분석 사례로는 Mattermost v6.0 스키마 마이그레이션이 있습니다.

또한 모든 데이터베이스 스키마 변경은 월간 릴리스 프로세스의 일부로 부하 테스트를 거칩니다.

릴리스 이후 모니터링

Mattermost의 새 버전이 릴리스되면 여러 주에 걸쳐 Mattermost Cloud 고객에게 순차 배포됩니다. 배포 기간 동안 예기치 않은 변화가 있는지 성능과 오류율 지표를 모니터링합니다. 사용자에게 영향을 주는 변화가 관찰되면 릴리스를 되돌리고 편차를 조사하며, 수정 사항은 패치 릴리스로 제공됩니다.

아울러 Mattermost 채널, 사용자 포럼, 지원 티켓을 면밀히 모니터링해 문제 보고가 있는지 확인합니다. 접수된 보고는 조사하여 적절히 해결합니다.