AI 개발글
토스·라인·앤트로픽·오픈AI 같은 회사와 개발자의 기술 블로그에서 AI 개발 글만 골라 짧게 요약합니다. 누르면 원문으로 갑니다.
마지막 탐색 10월 19일 오후 7:44
Anthropic Engineering10월 19일 수집
앤트로픽, 에이전트 때문에 git을 버렸다…자체 버전 관리 'Scion'
하루 머지가 5월 약 2천500건에서 9월 3만 건 넘게 늘자 앤트로픽이 모노레포의 git을 자체 버전 관리 시스템 Scion으로 바꿨다. 커밋·머지·기록 조회를 서버에서 처리하고 필요한 파일만 내려받게 해, 옛 git 미러보다 CPU·메모리를 약 200배 덜 쓰고 체크아웃은 몇 분에서 몇 초로 줄었다. 범용 git 대체품은 아니라고 선을 그었다.
인프라·서빙에이전트
토스 테크10월 19일 수집
서비스 개발에 집중할 수 있는 AI 플랫폼 만들기
토스 AI 플랫폼 팀이 서비스 팀마다 따로 만들던 모델 연동·권한·사용량 집계·장애 대응을 한곳에 모은 이야기다. 사용 신청 포털, 모델 호출 게이트웨이, 사내 도구용 MCP 게이트웨이, 입력 가드레일, Langfuse 추적, CLI로 구성했고 데이터 등급(L1~L4)과 SLA 등급에 따라 다르게 적용한다.
인프라·서빙도입 사례
CPU 뼛속까지 써먹고, Milvus 사이징 기준을 만들기까지
토스증권 데이터 인프라 팀이 벡터 검색용 Milvus를 최적화한 기록이다. HNSW_SQ8 인덱스로 recall@10 0.954에서 316 QPS를 내면서 replica당 메모리를 약 335GB에서 114GB로 줄였고, CPU와 메모리를 같은 NUMA 노드에 묶어 QPS를 41% 더 올렸다. 측정값으로 서버 대수를 계산하는 사이징 기준까지 정리했다.
인프라·서빙도입 사례