테오 "제미나이, 캐시가 안 먹어 50% 비싸다"…캐시 실패율 27% 주장
X 첫 글 33시간 전@theo ♥ 2,435조회 1
개발자 유튜버 테오(Theo)가 구글 제미나이 API의 프롬프트 캐시가 제대로 작동하지 않아 실제 비용이 원래보다 50% 비싸다고 주장했다.
17일(현지시간) 테오는 X에 "제미나이는 캐시가 작동하지 않아 마땅한 가격보다 50% 비싸다"며 "캐시 미스율 27%"라고 썼다. 그는 일반적인 에이전트 작업을 흉내 낸 아주 기본적인 캐시 시험이고, 세 회사 API에 똑같이 돌렸다고 설명했다. 이 글은 '좋아요' 2천400개, 조회수 7만회를 넘겼다.
반론도 나왔다. 윈드서프 공동창업자 출신 바룬 모한은 "우리 작업에서 보는 결과와 다르다"며 미스율이 매우 낮다고 반박하고 어떤 작업을 돌렸는지 물었다. 프롬프트 캐시는 반복되는 입력을 저장해 두고 다음 요청에서 싸게 받는 기능으로, 캐시가 빗나가면 입력 전체에 정가가 붙는다.
“Gemini is 50% more expensive than it should be because their cache doesn't work. 27% cache miss rate. Insane.”
