2차 IP Warming에서 발송량을 2배씩 증분해 발생한 Error Rate 상승·IP Reputation 하락 문제를 3차부터 1.3배 증분으로 조정해 개선하고, 하드바운스율을 2%에서 0.2%로 낮춘 경험
문제 / 배경
2차 IP Warming 진행 시 빠르게 진행하기 위해 일별 발송량을 2배씩 증분해 발송했다. 초반 소량 발송 구간에서는 문제가 없었지만, 모수가 5~10만 건 수준으로 커지는 시점부터 Error Rate가 증가하고 IP Reputation이 떨어지는 문제가 발생했다.
또한 IP Reputation이 떨어지는 가장 큰 원인은 유효하지 않은 유저로 인한 하드바운스였다.
변경 내용
- 3차 IP Warming부터는 일별 발송량 증분 비율을 2배에서 1.3배로 낮춰 점진적으로 늘리는 방식으로 전환했다. (국내는 전체 발송 대상 모수(약 400만 건)가 커서 오래 걸리지만, 글로벌·일본은 모수가 크지 않아 상대적으로 빠르게 완료될 것으로 예상됨)
- 하드바운스를 줄이기 위해 이메일 수신동의 여부, 이메일 인증 여부, 최근 로그인 여부 등을 기준으로 발송 대상 유저를 정제하는 작업을 진행했다.
결과 / Before & After
- 발송량 증분 방식: 2배 증분(2차) → 1.3배 증분(3차)
- 반송률(하드바운스율): 2% → 0.2%
남은 문제
- 반송률을 0.2%까지 낮췄지만, 애초에 하드바운스 자체가 발생하지 않도록 인증된 유저에게만 발송하는 작업이 추가로 필요하다. (Braze 기준으로는 반송률 5% 미만이면 큰 문제가 없다고 하지만, 실제로는 1% 이상이면 영향을 주는 것으로 보인다.)
- 기존에 SES 블랙리스트 여부(SES 도입 이후인 2023-12-21부터), 이메일 주소 형식, MX 레코드 존재 여부 등 3가지 기준으로 유효하지 않은 이메일을 정화하는 작업을 진행했으나, 여전히 유효하지 않은 유저가 발생하고 있다.
다음 단계
- 서드파티 툴을 도입해 이메일 주소를 검증·정화하는 작업을 고려한다 (500만 개 이메일 주소 검증 비용: 5,390,000원).