실험실 데이터로 학습한 소형 모델이 대형 모델을 이겼다는 보고 두 건
X 첫 글 60일 전@LiamFedus ♥ 2,681
OpenAI 쪽 연구자가 멘로파크에 고속 실험 재료 연구소를 짓고 실험과 모델을 순환시키는 구조를 공개했다. H200 1,300장과 몇 달치 자체 실험 데이터만으로 오픈소스 모델을 중간학습·강화학습해 자사 평가에서 GPT-6 Astra를 넘겼다고 밝혔다. 초전도체 연구실 데이터로 조 단위 파라미터 모델을 학습시켜 Astra와 Fable보다 낫다는 별도 보고도 나왔다. 둘 다 자체 평가 기준이라는 점은 감안해야 한다.
“We built high-throughput materials labs in Menlo Park to create a loop between experiments and models.”
