Posts
작성한 모든 글입니다.
SSE 스트리밍으로 대규모 배치 워크플로우 결과 전달하기
xgen-workflow에서 100개 이상 테스트 케이스를 배치 처리하며 진행상황을 SSE로 실시간 전달하는 아키텍처 - batch_results에서 progress-only 방식으로의 전환, 취소 구현, Redis 세션 관리까지
Python 싱글턴 풀 패턴으로 배치 실행 메모리 누수 해결하기
RAG 워크플로우를 배치로 100건 이상 반복 실행할 때 발생하는 메모리 누수를 싱글턴 풀 패턴으로 해결한 과정. LLM 클라이언트, 검색 캐시, RAG 서비스의 객체 재사용 설계와 캐시 비활성화의 역설적 결정.
워크플로우 실행 취소(Cancellation) 메커니즘 구현
SSE 스트리밍 중인 배치 워크플로우 실행을 안전하게 취소하는 메커니즘. 인메모리 플래그, 배치 그룹 경계 체크, Graceful Shutdown 패턴으로 데이터 무결성을 보장한다.
문서 처리 서비스에 DeepSeek 지시문 적용하기
vLLM 기반 DeepSeek 모델을 문서 메타데이터 자동 생성 파이프라인에 통합하고 지시문을 최적화한 과정