AI 개발글
토스·라인·앤트로픽·오픈AI 같은 회사와 개발자의 기술 블로그에서 AI 개발 글만 골라 짧게 요약합니다. 누르면 원문으로 갑니다.
마지막 탐색 10월 19일 오후 7:44
Zero's Blog10월 19일 수집
RAG는 도대체 뭘까
쇼핑몰 상담 챗봇을 예로 질문마다 필요한 문서 조각만 찾아 LLM에 넣는 RAG를 랭체인 코드 흐름과 함께 설명한다. 앤트로픽 '문맥 검색' 사례를 인용해 청크에 문맥을 붙이면 검색 실패가 35%, 키워드 검색을 더하면 49%, 재순위까지 하면 67% 줄었다고 소개한다. 문서가 20만 토큰보다 작으면 통째로 넣는 쪽을 먼저 검토하라는 조언도 담았다.
에이전트모델·평가
클로드는 정말 당신의 이름을 기억하고 있을까? - LLM과 컨텍스트
API 호출은 하나하나 독립적이라 모델은 이전 호출을 기억하지 못하고, 채팅 앱이 지난 대화를 매번 다시 보내기 때문에 기억하는 것처럼 보인다는 설명이다. "내 이름은 영수야"를 함께 보내면 이름을 부르고, 빼고 보내면 모른다고 답하는 예로 보여 준다. 클로드 코드의 CLAUDE.md나 메모리 파일도 세션 시작 때 컨텍스트에 넣어야 쓰인다는 점까지 짚는다.
모델·평가에이전트
Hugging Face10월 19일 수집
리플렉션 'Beam' 공개…5010억 매개변수 오픈 모델, 아파치 2.0
리플렉션이 토큰마다 230억 개만 쓰는 5010억 매개변수 MoE 모델 Beam을 아파치 2.0으로 공개했다. 문맥은 100만 토큰이고 SWE-bench Verified 81.6%, Terminal Bench 80.1%를 냈다고 밝혔다. transformers·vLLM·SGLang에서 바로 돌릴 수 있다.
모델·평가
LangChain10월 19일 수집
에이전트 평가, 어디서부터 시작하나…자주 묻는 질문 정리
에이전트 평가를 처음 붙이는 팀이 자주 묻는 것들을 모았다. 오프라인·온라인 평가의 차이, 평가자 종류와 LLM 심판, 여러 턴 대화 평가, 비용을 줄이는 법까지 다룬다.
에이전트모델·평가
GitHub Blog10월 19일 수집
깃허브, 비밀 키 탐지에 문맥 읽는 모델…더 많이 찾고 오탐은 줄였다
깃허브가 코드에 섞인 API 키 같은 비밀 값을 찾는 분류 모델을 소개한다. 주변 문맥을 읽어 판단하게 바꾸자 가중 채택률이 11.5% 올랐고, 검사 시간 중앙값은 86% 줄었다고 밝혔다.
보안모델·평가
내 컴퓨터에서 빠르게 도는 에이전트용 모델, 리퀴드 AI 'LFM2.5-24B-A2B'
리퀴드 AI가 공개한 240억 매개변수 추론 모델로, 토큰마다 20억 개만 써서 개인 기기에서도 빠르다. 애플 M5 맥스에서 초당 184토큰, 라이젠 AI 맥스+ 395에서 114토큰을 낸다. 오픈 웨이트로 허깅페이스에 올라왔다.
모델·평가에이전트
토스 테크10월 19일 수집
리더보드 1등 LLM, 토스에서도 1등일까? - Toss Benchmark 구축기
공개 리더보드 점수가 실제 업무 성능을 보장하지 않는다고 보고, 토스가 한국어 범용 성능과 토스 도메인 성능을 함께 재는 벤치마크를 만들었다. 운영 태스크·정책 준수(Toss IFBench)·커머스 지식(Toss Knowledge)으로 구성했다. 영어 수학에서 1위였던 gemma-4-26B는 한국어 번역본에서 81.74점에서 72.43점으로 떨어져 2위가 됐다.
모델·평가도입 사례