Open Search Cluster mapper exception

문제

embed한 vector를 open search에 배치로 적재 하고 있었는데, 갑자기 mapper exception 과 함께 적재가 안되고 메시지가 DLQ로 쌓이기 시작.

원인

open search 의 knn plugin의 메모리 사용량이 한도에 도달

해결

# GET _plugins/_knn/stats?pretty을 통해서

cache_capacity_reached 가 true인 노드가 있는지 확인

 

# 캐시를 강제로 비우기
PUT _cluster/settings
{
  "persistent": { "knn.memory.circuit_breaker.limit": "1%" }
}

# 몇 초 뒤 원래대로 복원
PUT _cluster/settings
{
  "persistent": { "knn.memory.circuit_breaker.limit": "50%" }
}