태그: 배치처리
이 태그가 달린 글 "배치처리".
임베딩 전용 서버 분리와 대용량 배치 처리 최적화
임베딩 모델을 LLM 서빙과 분리한 전용 서버 아키텍처 설계. switch-backend 기반 멀티모드 서빙과 batch size 512에서 2048로 확대한 대용량 문서 배치 처리 최적화 과정.
SSE 스트리밍으로 대규모 배치 워크플로우 결과 전달하기
xgen-workflow에서 100개 이상 테스트 케이스를 배치 처리하며 진행상황을 SSE로 실시간 전달하는 아키텍처 - batch_results에서 progress-only 방식으로의 전환, 취소 구현, Redis 세션 관리까지
OpenSearch 인덱싱 서비스: 스트리밍 vs 배치 처리 비교
Rust 검색 엔진의 OpenSearch 인덱싱을 기존 배치 방식에서 스트리밍 방식으로 전환한 과정과, BatchOrchestratorService를 통한 통합 배치 파이프라인 설계를 다룬다.
커서 기반 인덱싱 vs 전체 인덱싱: 성능 비교
Rust 검색 엔진에서 INDEX_YN 커서 패턴과 전체 인덱싱의 차이를 구현 코드와 함께 분석한다.