RAG 검색 정확도를 높이는 청킹 전략
RAG(검색 증강 생성)에서 모델이 좋은 답을 내놓느냐는 결국 “검색 단계에서 올바른 문맥 조각을 가져왔는가”로 갈립니다. 그리고 그 조각의 모양을 결정하는 […]
배치 API로 LLM 대량 작업 비용을 절감하는 법
배치 API는 수천~수십만 건의 LLM 요청을 한 묶음으로 제출하고, 즉시 응답 대신 일정 시간 안에 비동기로 결과를 받는 방식입니다. 핵심
배치 API로 LLM 대량 작업 비용을 절감하는 법
배치 API는 수천~수십만 건의 LLM 요청을 한 묶음으로 제출하고, 즉시 응답 대신 일정 시간 안에 비동기로 결과를 받는 방식입니다. 핵심
LLM 환각을 줄이는 그라운딩과 인용 설계
LLM의 환각(hallucination)은 모델이 사실이 아니거나 근거 없는 내용을 그럴듯하게 생성하는 현상입니다. 모델이 거짓말을 하려는 의도가 있어서가 아니라, 다음 토큰을 확률적으로
LLM 환각을 줄이는 그라운딩과 인용 설계
LLM의 환각(hallucination)은 모델이 사실이 아니거나 근거 없는 내용을 그럴듯하게 생성하는 현상입니다. 모델이 거짓말을 하려는 의도가 있어서가 아니라, 다음 토큰을 확률적으로
LLM에서 구조화된 JSON 출력을 안정적으로 받는 법
LLM 출력을 코드에서 바로 쓰려면 자유 텍스트가 아니라 파싱 가능한 JSON이 필요합니다. 문제는 모델이 본질적으로 다음 토큰을 확률적으로 생성하기 때문에,
LLM에서 구조화된 JSON 출력을 안정적으로 받는 법
LLM 출력을 코드에서 바로 쓰려면 자유 텍스트가 아니라 파싱 가능한 JSON이 필요합니다. 문제는 모델이 본질적으로 다음 토큰을 확률적으로 생성하기 때문에,
프롬프트 캐싱으로 LLM API 비용 줄이기 — 동작 원리와 적용 기준
프롬프트 캐싱은 여러 요청에서 반복되는 앞부분 컨텍스트를 한 번만 처리하고, 이후 요청에서는 그 처리 결과를 재사용하는 기능입니다. 시스템 프롬프트, 문서,
프롬프트 캐싱으로 LLM API 비용 줄이기 — 동작 원리와 적용 기준
프롬프트 캐싱은 여러 요청에서 반복되는 앞부분 컨텍스트를 한 번만 처리하고, 이후 요청에서는 그 처리 결과를 재사용하는 기능입니다. 시스템 프롬프트, 문서,
건설·스마트시티에서 매장·온라인 재고 단일화 Cloudflare Workers·D1·KV로 구현하는 방법 – 리텐션 향상
혹시 이런 경험 없으셨나요? 분명 온라인 재고 목록에는 있다고 해서 자재를 주문했는데, 현장에서는 찾을 수가 없는 거예요. 혹은, A 건설
건설·스마트시티에서 매장·온라인 재고 단일화 Cloudflare Workers·D1·KV로 구현하는 방법 – 리텐션 향상 게시물 읽기"