실험실 데이터로 학습한 소형 모델이 대형 모델을 이겼다는 보고 두 건
OpenAI 쪽 연구자가 멘로파크에 고속 실험 재료 연구소를 짓고 실험과 모델을 순환시키는 구조를 공개했다. H200 1,300장과 몇 달치 자체 실험 데이터만으로 오픈소스 모델을 중간학습·강화학습해 자사 평가에서 GPT-6 Astra를 넘겼다고 밝혔다. 초전도체 연구실 데이터로 조 단위 파라미터 모델을 학습시켜 Astra와 Fable보다 낫다는 별도 보고도 나왔다. 둘 다 자체 평가 기준이라는 점은 감안해야 한다.
출처 2건 보기· @LiamFedus, @khoomeik
- @LiamFedusWe built high-throughput materials labs in Menlo Park to create a loop between experiments and models. The labs generate fresh data, the models learn from it, and then help us decide what to try next. Using only 1,300 H200s, plus months of our experimental data, we mid-trained and RL’d an open-source model to surpass GPT-6 Astra on our analysis benchmark. We call it Neon. This is real footage from our lab. We’re focusing first on hard problems in materials science, including superconductors, mX ♥2.7천
- @khoomeikWe midtrain + RL’d a trillion param LLM to analyze experimental data from our superconductor lab It’s better at it than Astra & Fable, and our scientists love it Read our first research report belowX ♥539