AI / LLM Engineering

학습 경로

1. Step 1

   모델과 검색 기반 다지기

   토큰화, Transformer, RAG 검색 구조를 먼저 잡습니다.

   • 01

     Tokenization 기법 정리: BPE, WordPiece, SentencePiece 비교

     NLP에서 텍스트를 토큰으로 분할하는 주요 기법(BPE, WordPiece, SentencePiece)의 원리와 차이를 정리한다. BERT, GPT 등 Transformer 모델에서 사용하는 토크나이저 비교.

   • 02

     Transformer의 Query, Key, Value 행렬 생성 과정

     Transformer 어텐션에서 Q, K, V 행렬이 생성되는 과정을 단계별로 정리한다. 입력 임베딩에서 가중치 행렬을 곱해 Query, Key, Value를 만들고 어텐션 스코어를 계산하기까지.

   • 03

     Iterative RAG: 반복 검색으로 복잡한 질문 답변하기

     xgen-workflow에서 단순 RAG의 한계를 넘어 Iterative 방식으로 반복 검색하며 컨텍스트를 보완하는 4단계 파이프라인 구현 - Query Expansion, Large-Scale Search, Iterative Filtering, Compression

2. Step 2

   LLM 서빙과 RAG 운영

   vLLM, 임베딩 서버, Qdrant 기반 검색 파이프라인을 봅니다.

   • 01

     vLLM vs LMDeploy vs SGLang: LLM 서빙 프레임워크 3종 벤치마크 비교

     vLLM, LMDeploy, SGLang 세 가지 LLM 추론 프레임워크의 처리 속도, 메모리 효율, 동시 요청 처리 능력을 벤치마크 기반으로 비교 분석한다.

   • 02

     Embedding 모델 서빙: batch size 최적화로 긴 문서 처리

     XGEN 모델 서버에서 임베딩 모델을 서빙할 때 batch size 512→2048 증가로 긴 문서 임베딩을 지원하고, n_ubatch와 n_batch 차이, CPU 전용 처리 결정까지의 실전 기록

   • 03

     Qdrant 하이브리드 검색: Sparse + Dense 벡터 통합

     xgen-retrieval에서 Qdrant의 Prefetch+Fusion API로 BM25 Sparse Vector와 Dense Embedding을 결합하는 하이브리드 검색 구현, Full-Text Index 추가, 컬렉션 설정까지

3. Step 3

   Agent와 Tool Retrieval

   MCP, 그래프 기반 도구 검색, 실행 계획 컴파일러로 이어집니다.

   • 01

     graph-tool-call: LLM Agent를 위한 그래프 기반 도구 검색 엔진

     1,077개 API endpoint를 가진 커머스 플랫폼에서 LLM Agent가 적절한 도구를 찾는 문제를 해결하기 위해 그래프 기반 도구 검색 엔진을 설계하고 구현한 과정을 정리한다. OpenAPI 스펙 자동 수집, 관계 그래프 구축, BM25+그래프확장+임베딩 하이브리드 검색, MCP Annotation-Aware Retrieval까지 8일간의 개발 여정을 다룬다.

   • 02

     graph-tool-call v0.20 개발기: RPC 탐지에서 Plan-and-Execute 컴파일러까지

     graph-tool-call v0.19의 tool result 압축 이후, v0.20 방향으로 진행한 RPC 패턴 감지, 동적 prefix 탐지, intent parser, graph 기반 path synthesizer, runner, response synthesizer, zero-vector retrieval까지의 설계 변화를 정리한다. 아직 릴리스 전 브랜치 기준의 개발기다.

   • 03

     gwanjong-mcp — AI 소셜 에이전트 MCP 시스템 설계와 구현

     4개 소셜 플랫폼(Dev.to, Bluesky, Twitter, Reddit)을 하나의 인터페이스로 통합하고, Stateful Pipeline MCP 프레임워크 위에 Scout/Draft/Strike 3단계 파이프라인을 구축한 AI 소셜 에이전트의 아키텍처와 구현 과정을 정리한다.

대표 글

• AI

  8 Mar, 2026

  graph-tool-call: LLM Agent를 위한 그래프 기반 도구 검색 엔진

  1,077개 API endpoint를 가진 커머스 플랫폼에서 LLM Agent가 적절한 도구를 찾는 문제를 해결하기 위해 그래프 기반 도구 검색 엔진을 설계하고 구현한 과정을 정리한다. OpenAPI 스펙 자동 수집, 관계 그래프 구축, BM25+그래프확장+임베딩 하이브리드 검색, MCP Annotation-Aware Retrieval까지 8일간의 개발 여정을 다룬다.

  LLM AgentTool Retrieval
• AI

  9 Jun, 2026

  graph-tool-call v0.20 개발기: RPC 탐지에서 Plan-and-Execute 컴파일러까지

  graph-tool-call v0.19의 tool result 압축 이후, v0.20 방향으로 진행한 RPC 패턴 감지, 동적 prefix 탐지, intent parser, graph 기반 path synthesizer, runner, response synthesizer, zero-vector retrieval까지의 설계 변화를 정리한다. 아직 릴리스 전 브랜치 기준의 개발기다.

  graph-tool-callAI Agent
• AI

  22 Jan, 2026

  vLLM에서 llama.cpp로: LLM 서빙 아키텍처 통합 마이그레이션

  vLLM Ray Serve 분산 구조에서 통합 모델 서빙 서비스로 마이그레이션한 과정. 백엔드 스위칭 매니저 설계, llama.cpp와 vLLM 런타임 전환까지.

  모델서빙리팩토링
• AI

  29 Dec, 2025

  Qdrant 하이브리드 검색: Sparse + Dense 벡터 통합

  xgen-retrieval에서 Qdrant의 Prefetch+Fusion API로 BM25 Sparse Vector와 Dense Embedding을 결합하는 하이브리드 검색 구현, Full-Text Index 추가, 컬렉션 설정까지

  Qdrant하이브리드검색

핵심 태그

• AI (78)
• XGEN (59)
• LLM (31)
• Python (29)
• RAG (24)
• AI Agent (23)
• Full Stack (23)
• Tauri (21)
• FastAPI (17)
• DevOps (14)
• MCP (14)
• ReAct (14)

시리즈

• XGEN 개발기 · 6 posts
• AI 서비스 개발 · 2 posts
• LLM 파인튜닝 · 2 posts
• DevOps 실전 · 1 posts