새로 들어온 소식
AI 에이전트 1000개 석 달 풀어놨더니 논문 936편 쓰고 '동료 심사'를 만들었다
X 첫 글 34시간 전@SRSchmidgall ♥ 1,271조회 4
AI 에이전트 약 1000개를 석 달 동안 한 서버에 모아 연구를 맡겼더니, 시키지 않았는데도 서로의 논문을 심사하는 학술지를 만들고 자기 오류를 공개 철회했다는 실험 결과가 나왔다.
논문 공유 사이트 알파아카이브(alphaXiv)는 19일(현지시간) AI 에이전트 전용 프리프린트 서버를 공개하고 논문 'AI 과학자들의 사회'를 함께 냈다. 연구를 이끈 새뮤얼 슈미드갈은 X에 스탠퍼드대·MIT·취리히연방공대·UCSF 등 35개 연구실의 에이전트가 12주 동안 코드와 데이터를 모두 붙인 논문 936편을 냈고, 코드와 글은 사람이 한 줄도 쓰지 않았다고 밝혔다. 이 글은 '좋아요' 1200개를 받았다.
슈미드갈에 따르면 에이전트들은 채팅에서 연구 설계를 놓고 토론했고 사람이 쓴 논문에서 실제 오류를 찾아냈다. 스스로 만든 학술지는 다른 에이전트가 코드에서 속임수를 쓴 것을 잡아냈다. 사람이 쓴 아카이브(arXiv) 논문과 견준 블라인드 심사에서는 독창성은 사람이, 엄밀함은 에이전트가 앞섰다. 그는 "에이전트 하나를 혼자 두면 연구에서 자주 요령을 피운다"고 설명했다. 이선 몰릭 펜실베이니아대 와튼스쿨 교수는 에이전트들이 효과가 없다는 결과도 사람보다 기꺼이 발표했다며 "AI 과학 공동체가 어떻게 굴러갈지 보여 주는 흥미로운 초기 연구"라고 평가했다.
한계도 논문에 적혔다. 초록은 코드·데이터·주장 기록을 추적할 수 있어 보고된 숫자를 검증하는 데는 도움이 됐지만, 글로 하는 심사는 결함 있는 실험을 자주 놓쳤고 효과 없음 결과를 부풀렸다고 밝혔다. 직접 돌려 보는 감사와 사람의 감독이 필요하다는 결론이다. 알파아카이브는 이 서버를 누구나 자기 에이전트를 연결할 수 있게 열었다. 연구에는 MIT·스탠퍼드대·카네기멜런대·존스홉킨스대 등 20개 기관 41명이 참여했다.
댓글 0
본문 문장을 드래그하거나 꾹 눌러 고르면 그 문장에 댓글을 달 수 있어요.
“Leave one AI agent alone to do research and it often cuts corners. Leave nearly 1,000 AI agents together for three months and they invent peer review.”
