한국어 검색 품질을 좌우하는 임베딩 모델 선택
한국어로 된 문서를 검색하거나 RAG를 만들 때, 품질의 절반은 임베딩 모델 선택에서 결정됩니다. 임베딩은 문장을 좌표로 바꾸는 역할인데, 한국어를 제대로 […]
한국어로 된 문서를 검색하거나 RAG를 만들 때, 품질의 절반은 임베딩 모델 선택에서 결정됩니다. 임베딩은 문장을 좌표로 바꾸는 역할인데, 한국어를 제대로 […]
RAG나 추천·검색 기능을 붙이려고 하면 곧장 부딪히는 질문이 “벡터 데이터베이스를 무엇으로 고르냐”입니다. 후보는 전용 벡터 DB부터 기존 관계형 DB의 확장
RAG나 추천·검색 기능을 붙이려고 하면 곧장 부딪히는 질문이 “벡터 데이터베이스를 무엇으로 고르냐”입니다. 후보는 전용 벡터 DB부터 기존 관계형 DB의 확장
RAG(검색 증강 생성)에서 모델이 좋은 답을 내놓느냐는 결국 “검색 단계에서 올바른 문맥 조각을 가져왔는가”로 갈립니다. 그리고 그 조각의 모양을 결정하는
RAG(검색 증강 생성)에서 모델이 좋은 답을 내놓느냐는 결국 “검색 단계에서 올바른 문맥 조각을 가져왔는가”로 갈립니다. 그리고 그 조각의 모양을 결정하는
배치 API는 수천~수십만 건의 LLM 요청을 한 묶음으로 제출하고, 즉시 응답 대신 일정 시간 안에 비동기로 결과를 받는 방식입니다. 핵심
배치 API는 수천~수십만 건의 LLM 요청을 한 묶음으로 제출하고, 즉시 응답 대신 일정 시간 안에 비동기로 결과를 받는 방식입니다. 핵심
LLM의 환각(hallucination)은 모델이 사실이 아니거나 근거 없는 내용을 그럴듯하게 생성하는 현상입니다. 모델이 거짓말을 하려는 의도가 있어서가 아니라, 다음 토큰을 확률적으로
LLM의 환각(hallucination)은 모델이 사실이 아니거나 근거 없는 내용을 그럴듯하게 생성하는 현상입니다. 모델이 거짓말을 하려는 의도가 있어서가 아니라, 다음 토큰을 확률적으로
LLM 출력을 코드에서 바로 쓰려면 자유 텍스트가 아니라 파싱 가능한 JSON이 필요합니다. 문제는 모델이 본질적으로 다음 토큰을 확률적으로 생성하기 때문에,