LLM 출력 자동 평가(Eval) 설계 — 채점 기준·도구·파이프라인
LLM을 프로덕션에 올리는 순간, 모델을 교체하거나 프롬프트를 바꿀 때마다 출력 품질이 좋아졌는지 나빠졌는지를 체계적으로 측정해야 합니다. 사람이 매번 출력을 읽고 […]
LLM을 프로덕션에 올리는 순간, 모델을 교체하거나 프롬프트를 바꿀 때마다 출력 품질이 좋아졌는지 나빠졌는지를 체계적으로 측정해야 합니다. 사람이 매번 출력을 읽고 […]
웹훅은 외부 서비스가 이벤트 발생 시 우리 엔드포인트로 HTTP 요청을 보내는 역방향 통신입니다. 편리하지만 분산 시스템의 현실을 그대로 안고 있습니다.
멀티모달 LLM은 텍스트와 이미지를 함께 받아 처리하는 모델입니다. 실무에서는 언제 Vision API를 쓰고, 언제 문서 전용 파서를 선택해야 하는지의 판단이
LLM이 혼자서 텍스트를 생성하는 것을 넘어 외부 시스템을 직접 호출하고 결과를 받아 다음 행동을 결정하는 구조가 AI 에이전트의 핵심입니다. 그
외부 API를 호출하다 보면 어느 순간 429 Too Many Requests가 쏟아집니다. 짧은 시간에 허용된 호출 한도를 넘겼다는 신호입니다. 이때 곧바로
LLM을 제품에 적용할 때 가장 먼저 마주치는 갈림길은 파인튜닝(Fine-tuning)과 RAG(검색 증강 생성) 중 어느 방향으로 갈 것인지입니다. 둘 다 “모델이
한국어로 된 문서를 검색하거나 RAG를 만들 때, 품질의 절반은 임베딩 모델 선택에서 결정됩니다. 임베딩은 문장을 좌표로 바꾸는 역할인데, 한국어를 제대로