LLM 토큰 사용량과 비용을 모니터링하는 대시보드 만들기
LLM 비용은 호출 횟수가 아니라 주고받은 토큰의 양으로 결정됩니다. 같은 요청 한 건이라도 프롬프트가 길거나 답변이 길면 비용이 몇 배로 […]
LLM 비용은 호출 횟수가 아니라 주고받은 토큰의 양으로 결정됩니다. 같은 요청 한 건이라도 프롬프트가 길거나 답변이 길면 비용이 몇 배로 […]
멀티모달 LLM은 텍스트와 이미지를 함께 받아 처리하는 모델입니다. 실무에서는 언제 Vision API를 쓰고, 언제 문서 전용 파서를 선택해야 하는지의 판단이
웹훅은 외부 서비스가 이벤트 발생 시 우리 엔드포인트로 HTTP 요청을 보내는 역방향 통신입니다. 편리하지만 분산 시스템의 현실을 그대로 안고 있습니다.
LLM이 혼자서 텍스트를 생성하는 것을 넘어 외부 시스템을 직접 호출하고 결과를 받아 다음 행동을 결정하는 구조가 AI 에이전트의 핵심입니다. 그
외부 API를 호출하다 보면 어느 순간 429 Too Many Requests가 쏟아집니다. 짧은 시간에 허용된 호출 한도를 넘겼다는 신호입니다. 이때 곧바로
LLM을 제품에 적용할 때 가장 먼저 마주치는 갈림길은 파인튜닝(Fine-tuning)과 RAG(검색 증강 생성) 중 어느 방향으로 갈 것인지입니다. 둘 다 “모델이
한국어로 된 문서를 검색하거나 RAG를 만들 때, 품질의 절반은 임베딩 모델 선택에서 결정됩니다. 임베딩은 문장을 좌표로 바꾸는 역할인데, 한국어를 제대로