backpressure는 downstream이 감당할 수 없는 요청이나 메시지가 계속 쌓이는 상황을 upstream에 알려 속도를 조절하는 개념입니다. 무작정 queue에 쌓으면 메모리가 터지거나 지연이 폭증할 수 있습니다. 그래서 생산자에게 천천히 보내라고 신호를 주거나, 일정 기준 이후에는 요청을 거절하거나, batch 크기와 concurrency를 조절합니다.
큐가 왜 답이 아닌지는 대기 시간이 어떻게 정해지는지를 보면 분명해집니다. 큐에 들어온 작업이 처리될 때까지 걸리는 시간은 대략 큐 길이 나누기 처리율입니다. 처리율은 그대로인데 큐만 길어지면 대기 시간이 그만큼 늘어납니다.
대기시간≈초당처리가능한작업수큐에쌓인작업수
초당 100개를 처리하는데 큐에 1만 개가 쌓여 있으면 지금 들어온 요청은 100초를 기다립니다. 그 사이 클라이언트는 타임아웃으로 포기하고 재시도하는데, 그 재시도가 다시 큐에 쌓입니다. 아무도 응답을 받지 못하면서 시스템은 계속 일하는 상태가 됩니다.
네트워크 장비에서 버퍼를 크게 잡았다가 지연이 폭증하는 현상을 bufferbloat이라고 부르는데, 원리가 같습니다. 버퍼는 문제를 없애는 게 아니라 문제가 드러나는 시점을 늦추고 그동안 지연을 키웁니다. 밀린다는 사실을 빨리 위로 알리는 편이 낫다는 것이 backpressure의 출발점입니다.
꼬리질문
답변 뒤에 이어질 수 있는 질문들을 하나씩 열어볼 수 있어요.
queue를 크게 만들면 backpressure가 필요 없나요?
아닙니다. queue는 순간적인 spike를 흡수할 뿐이고, 평균 유입량이 처리량보다 크면 결국 지연이나 메모리 문제가 납니다.
정확히 말하면 큐는 편차를 흡수하는 장치이지 처리량을 늘리는 장치가 아닙니다. 평균 유입이 평균 처리량보다 낮은데 순간적으로 몰릴 때만 큐가 그 차이를 메워줍니다. 평균 자체가 처리량을 넘으면 큐 길이는 시간에 비례해 무한히 늘어납니다. 큐를 키우는 건 터지는 시점을 미루는 것뿐입니다.
그래서 판단 기준은 '큐가 몇 개까지 쌓였나'가 아니라 '큐 길이가 줄어드는 구간이 있는가'입니다. 트래픽이 잦아들 때 큐가 비워지면 정상이고, 계속 우상향이면 큐 크기와 무관하게 처리 능력을 늘리거나 유입을 막아야 합니다.
backpressure와 rate limiting은 어떻게 다른가요?
rate limiting은 주로 외부 요청량을 제한하는 정책이고, backpressure는 내부 처리 능력에 맞춰 흐름을 조절하는 개념에 가깝습니다.
backpressure를 무시하면 어떤 장애가 날 수 있나요?
메모리 증가, queue 지연 폭증, timeout, retry storm, downstream 장애 전파가 생길 수 있습니다.
producer에게 어떻게 신호를 줄 수 있나요?
stream에서는 write 결과나 drain event, API에서는 429/503, queue에서는 lag metric이나 consumer offset으로 신호를 줄 수 있습니다.
Node.js stream이 이 신호를 API로 노출하는 방식이 가장 구체적인 예입니다. writable.write()는 내부 버퍼가 highWaterMark를 넘으면 false를 반환합니다. 이때 쓰기를 멈추고 drain 이벤트를 기다렸다가 재개하는 것이 규약입니다.
function write(stream, chunks) { for (const chunk of chunks) { // false면 버퍼가 찼다는 신호. 계속 쓰면 메모리에 쌓이기만 한다 if (!stream.write(chunk)) { stream.once("drain", () => write(stream, remaining(chunks, chunk))); return; } }}
false를 무시하고 계속 써도 에러는 나지 않습니다. 그냥 메모리에 계속 쌓입니다. 신호를 주는 쪽은 있는데 받는 쪽이 무시하면 backpressure가 성립하지 않는다는 걸 보여주는 예입니다. pipe()나 pipeline()을 쓰면 이 처리를 알아서 해주기 때문에 직접 write를 부르는 것보다 안전합니다.
프론트엔드에도 같은 구조가 있습니다. ReadableStream의 reader는 read()를 호출한 만큼만 데이터를 당겨오는 pull 방식이라, 소비하지 않으면 생산도 멈춥니다. 반대로 WebSocket의 onmessage는 서버가 보내는 대로 밀어넣는 push 방식이라 이런 제동 장치가 없습니다. 그래서 실시간 이벤트가 쏟아지는 화면에서는 받는 쪽에서 직접 조절해야 합니다.
버리는 전략도 backpressure인가요?
넓게 보면 시스템 보호 전략입니다. 중요도가 낮은 이벤트는 drop하거나 sampling하고, 중요한 작업은 지연시키는 식으로 정책을 나눌 수 있습니다.
엄밀히 나누면 둘은 다릅니다. backpressure는 생산자를 늦추는 것이고, 버리는 것은 load shedding입니다. 생산자를 늦출 수 없을 때 남는 선택지가 버리는 쪽입니다. 서버가 보내는 실시간 이벤트나 사용자의 스크롤 이벤트처럼 '천천히 보내달라'고 요청할 수 없는 경우가 여기에 해당합니다.
프론트엔드에서 이 상황이 자주 나옵니다. 소켓으로 초당 수십 개의 이벤트가 들어오는데 도착할 때마다 setState를 부르면 렌더링이 따라가지 못하고 화면이 밀립니다. 여기서 쓸 수 있는 방법이 몇 가지 있습니다.
합치기: 같은 대상에 대한 이벤트는 마지막 것만 남깁니다. 커서 위치나 진행률처럼 최신 값만 의미 있는 데이터에 맞습니다.
프레임 단위로 모으기: 들어오는 이벤트를 버퍼에 쌓아두고 requestAnimationFrame에서 한 번에 반영합니다. 렌더링 횟수가 화면 주사율을 넘지 않게 됩니다.
표본만 반영: 로그나 통계처럼 전수가 필요 없는 데이터는 일부만 처리합니다.
무엇을 버려도 되는지는 데이터 성격에 달려 있습니다. 위치나 상태 값처럼 최신 값이 이전 값을 대체하는 데이터는 중간을 버려도 되지만, 채팅 메시지나 주문처럼 누적되는 데이터는 버리면 안 됩니다. 이런 건 버리는 대신 지연시키고, 지연도 감당이 안 되면 생산자에게 신호를 보내야 합니다.
부가 설명
처음에는 queue를 두면 모든 문제가 풀리는 것처럼 보입니다. 하지만 소비자가 초당 100개만 처리하는데 생산자가 초당 1,000개를 넣으면 queue는 계속 커집니다. 이때 필요한 것이 backpressure입니다. 밀려 있다는 사실을 숨기지 않고, 위쪽 흐름에 전달해야 합니다.
Backpressure는 단순히 느린 소비자를 보호하는 장치가 아닙니다. 어떤 신호로 조절하는지, 어디에서 거절할지, 버퍼를 얼마나 둘지까지 포함합니다. Node stream, message queue, API rate limit, async worker pool 모두 비슷한 관점으로 볼 수 있습니다.