OpenSearch 벡터 검색 성능 최적화 가이드

OpenSearch에서 벡터 기반 검색을 빠르게 처리하기 위해서는 쿼리 처리 비용을 줄이고, 캐시를 적극 활용하며, 네트워크 전송량을 최소화하는 것이 중요합니다. 다음은 주요 성능 향상 전략이다.

1. 세그먼트 수 줄이기 (Reduce Segment Count)

• Lucene은 모든 세그먼트에 대해 개별 검색 후 결과를 병합하여 상위 size 개 결과를 반환

• 세그먼트 수가 많을수록 검색 시간이 늘어남

• 최적 성능은 “샤드 당 1개 세그먼트”일 때 달성

• 세그먼트 수 제어 방법

  • refresh_interval을 늘리거나

  • 색인 중 refresh_interval: -1로 비활성화

PUT /<index_name>/_settings
{
  "index": {
    "refresh_interval": "-1"
  }
}

2. 인덱스 예열 (Warm up the Index)

• 벡터 색인 시 생성된 native library index는 처음 검색 시 메모리에 로딩됨

• 첫 쿼리는 수 초, 이후 쿼리는 밀리초 수준으로 단축됨 (캐시 때문)

• OpenSearch 3.1부터는 memory-optimized search mode가 도입되어 필요한 바이트만 로딩 가능

Warmup API 사용

GET /_plugins/_knn/warmup/index1,index2,index3?pretty

• 모든 primary/replica shard의 벡터 인덱스를 메모리 캐시에 사전 로딩

• 색인 추가, refresh, merge 이후에는 다시 실행 필요

3. Stored Fields 비활용 (불필요한 데이터 읽기 최소화)

문서 내용이 필요 없는 경우

• _source: false 설정으로 ID, score만 반환

• 가장 빠른 검색 방식

GET /my-index/_search
{
  "_source": false,
  "query": {
    "knn": {
      "vector_field": {
        "vector": [0.1, 0.2, 0.3],
        "k": 10
      }
    }
  }
}

4. 벡터 필드만 제외 (Vector 제외, 다른 필드는 유지)

• 전체 문서 내용은 필요하지만, 벡터 필드는 응답에 포함하지 않아도 될 경우 유용

• 네트워크 트래픽 감소 효과 있음

GET /my-index/_search
{
  "_source": {
    "excludes": [
      "vector_field"
    ]
  },
  "query": {
    "knn": {
      "vector_field": {
        "vector": [0.1, 0.2, 0.3],
        "k": 10
      }
    }
  }
}

요약: 성능 향상 체크리스트