과학연구에도 AI비서가 필요한 시대, 사카나社의 ‘AI Scientist’

일본의 사카나社가 마치 과학자처럼 스스로 연구 아이디어를 생각해 내고, 실험을 계획하고 실행한 다음, 그 결과를 분석해서 논문까지 써주는 새로운 인공지능인  ‘AI Scientist(AI 과학자)’를 발표했습니다.

 이 회사가 발표한 논문은 아카이브에 게재되어 있습니다.  이 회사의 창립자는 릴리언 존스(트랜스포머의 저자)입니다.

“The AI Scientist”는 세 단계로 구성된 프로젝트로, 과학적 발견을 완전히 자동화하는 것을 목표로 합니다. 각 단계는 다음과 같습니다:

  1. 아이디어 생성: 시작 템플릿을 사용하여 AI 과학자가 다양한 연구 방향을 브레인스토밍합니다. 이 과정에서 진화 연산 및 개방형 연구에서 영감을 받아 아이디어를 발전시키고, 랭귀지 모델을 이용하여 새로운 아이디어를 생성하고 평가합니다. 각 아이디어는 설명, 실험 실행 계획 및 흥미도, 참신성, 실행 가능성에 대한 자체 평가 점수를 포함합니다.

  2. 실험 반복: 제안된 실험을 실행하고 결과를 시각화하여 논문 작성을 위한 기초 데이터를 생성합니다. 실험 실행 중 발생할 수 있는 오류는 AI 도우미(Aider)가 코드를 수정하고 재시도하는 과정을 통해 처리됩니다.

  3. 논문 작성: 실험 결과와 그래프를 기반으로 라텍스(LaTeX)를 사용하여 기계 학습 컨퍼런스 진행에 적합한 스타일로 논문을 작성합니다. 각 섹션은 구체적인 지침에 따라 작성되며, 라텍스 컴파일 오류는 자동으로 수정됩니다.

이 프로젝트의 최종 단계로는 자동화된 논문 검토가 있습니다. GPT-4o 기반의 검토 에이전트가 NeurIPS 회의 검토 지침에 따라 논문을 평가하며, 점수와 피드백을 제공합니다. 이 과정은 자동화된 시스템의 정확성과 효율성을 높이기 위해 반복 검토와 메타 검토를 포함합니다.

                                      <사카나社의 논문 ‘AI SCIENTIST’에 나온 여러 머신러닝 모델에 대한 리뷰점수표>

위 논문의 이미지에 포함된 도표는 AI 과학자 리뷰어가 다양한 머신러닝 모델에 대해 생성한 리뷰 점수를 나타내고 있습니다. 도표에는 세 가지 유형의 AI 과학 논문(나노GPT AI 과학자 논문, 확산 AI 과학자 논문, 그로킹 AI 과학자 논문)에 대한 점수가 각각 다른 색상의 바이올린 플롯으로 표시되어 있습니다. 각 바이올린 플롯은 특정 LLM (대형 언어 모델)의 점수 분포를 보여줍니다. 점수는 NeurIPS 평가 척도에 따라 2점(강력 거부)에서 6점(약간 수용)까지 다양합니다.

도표의 주요 요소는 다음과 같습니다:

  • X축: 각 논문 유형에 대한 점수가 나타납니다.
  • Y축: NeurIPS의 평가 척도에 따른 점수 (2에서 6까지).
  • 색상: 각각의 LLM을 나타내며, ‘sonnet-3.5’, ‘gpt4-o’, ‘deepseek’, ‘llama3.1’ 등이 있습니다.

도표의 해석:

  • 각 바이올린 플롯은 점수 분포의 밀도와 범위를 보여줍니다. 더 넓은 부분은 해당 점수가 더 빈번하게 나타났음을 의미합니다.
  • 다양한 색상의 플롯은 각 모델이 어떤 점수를 얼마나 자주 부여했는지 비교할 수 있게 합니다. 예를 들어, 특정 모델이 다른 모델보다 더 높은 점수를 자주 부여했다면, 그 모델이 더 관대하거나 해당 논문 유형에 더 긍정적으로 평가했다고 해석할 수 있습니다.

이 도표를 통해 각 AI 과학자 모델의 리뷰 성향 및 일관성을 분석하고, 모델 간 비교를 통해 어떤 모델이 특정 유형의 논문에 대해 더 적합하거나 효과적인지 평가할 수 있습니다.

그러면….

AI 과학자가 필요한 이유
  1. 연구 효율성 증대: AI 과학자는 데이터 수집, 실험 설계, 결과 분석 등 전통적인 과학 연구 과정에서 발생하는 반복적이고 시간 소모적인 작업을 자동화함으로써 연구자들이 보다 창의적이고 복잡한 문제에 집중할 수 있게 도와줍니다.

  2. 대규모 데이터 처리: 현대 과학 연구에서는 방대한 양의 데이터를 분석하고 해석해야 할 필요가 있습니다. AI 과학자는 이러한 대규모 데이터를 효과적으로 처리하고, 복잡한 패턴이나 통찰력을 추출할 수 있는 능력을 제공합니다.

  3. 참신한 아이디어 및 가설 생성: AI는 기존 연구나 데이터에서 새로운 관점을 제안할 수 있으며, 때로는 인간 연구자들이 간과할 수 있는 독창적인 아이디어나 가설을 제시할 수 있습니다. 이는 과학적 발견의 가능성을 확장합니다.

  4. 연구 속도 가속화: AI 과학자는 실험의 계획과 실행을 빠르게 수행할 수 있어 과학적 발견 과정을 가속화할 수 있습니다. 이는 특히 긴급하게 해결해야 할 글로벌 문제에 대응하는 데 유리합니다.

  5. 재현성과 정확성 향상: AI는 동일한 실험을 일관되게 실행할 수 있으며, 데이터 해석에서의 주관성을 최소화할 수 있습니다. 이로 인해 과학적 결과의 재현성과 정확성이 향상됩니다.

실효성에 대한 고려사항
  1. 자동화된 검토와 피드백: AI 과학자에 의해 생성된 논문은 AI에 의해 검토되어 질적인 면에서 인간의 검토와 비교해 볼 때 경쟁력을 갖추도록 합니다. 이러한 자동화된 검토 시스템은 연구의 품질을 일관되게 유지하고, 과학 커뮤니티 내에서의 표준을 설정할 수 있습니다.

  2. 실험 결과의 신속한 반복: 실험 결과에 따라 신속하게 반복 실험이 가능하며, 이는 연구 개발 시간을 단축시키고 비용을 절감할 수 있습니다.

  3. 다양한 연구 분야 확장: AI 과학자의 활용은 전통적인 과학 분야를 넘어, 예를 들어 복잡한 시뮬레이션 및 예측 모델링과 같은 새로운 연구 영역에도 활용될 수 있습니다.

  4. 투명성과 개방성 촉진: AI 과학자 프로젝트는 종종 연구 방법론과 코드를 공개함으로써 연구의 투명성을 높이고, 이는 과학 커뮤니티 전체의 협력과 혁신을 촉진할 수 있습니다.

결론

AI 과학자는 과학 연구의 자동화, 효율성, 정확성을 크게 향상시킬 수 있는 잠재력을 가지고 있습니다. 이는 과학적 발견을 촉진하고, 더 넓은 범위의 문제에 대한 해결책을 제공할 수 있는 중요한 도구입니다. 그러나 이러한 시스템을 효과적으로 통합하고 관리하는 것은 여전히 중요한 과제로 남아 있습니다.

만약 당신이 논문을 쓸 일이 있다면….

AI 과학자가 기온 상승에 따른 식물 분포 변화에 관한 연구에서 다음과 같은 방식으로 도움을 줄 수 있습니다:

  1. 데이터 수집 및 분석: AI 과학자는 기온, 강수량, 토양 유형, 고도 등 다양한 환경 데이터를 수집하고, 이를 기반으로 식물 종의 분포 변화를 분석할 수 있습니다. 또한, 위성 이미지 및 드론을 통해 수집된 대규모 지리적 데이터를 처리하여, 변화하는 환경 조건 하에서 식물이 어떻게 반응하고 있는지 파악할 수 있습니다.

  2. 모델링 및 시뮬레이션: 기후 변화의 영향을 예측하기 위해 생태학적 모델을 개발하고 실행할 수 있습니다. AI 과학자는 기온 변화에 따른 생태계의 동적 변화를 모델링하고, 이를 통해 미래의 식물 분포에 대한 예측을 제공할 수 있습니다.

  3. 가설 검증: 연구 가설을 설정하고, AI를 활용하여 가설을 검증하기 위한 실험을 설계하고 실행할 수 있습니다. 예를 들어, 특정 식물 종이 특정 기온 상승에 어떻게 반응하는지 실험적으로 조사할 수 있습니다.

  4. 논문 작성: 연구 결과를 바탕으로, AI 과학자는 데이터 분석 결과를 바탕으로 논문의 다양한 섹션(서론, 방법론, 결과, 토론)을 작성할 수 있습니다. 또한, 관련 연구와의 비교를 위해 필요한 문헌을 검색하고, 적절한 인용을 추가하는 작업도 수행할 수 있습니다.

  5. 결과 시각화: 연구 결과를 효과적으로 전달하기 위해 그래프, 차트 및 지도를 생성하여 논문에 포함시킬 수 있습니다. 이러한 시각적 요소는 연구 결과의 이해를 돕고, 학술 대회나 저널에서의 발표에 유용합니다.

  6. 자동화된 검토: 연구 논문을 완성한 후, AI 과학자는 자동화된 도구를 사용하여 논문을 검토하고 품질을 평가할 수 있습니다. 이는 논문의 오류를 줄이고, 발표 전에 개선할 수 있는 기회를 제공합니다.

이러한 방법으로, 앞으로 만약 AI 과학자가 활성화된다면, AI 과학자는 기온 상승이 식물 분포에 미치는 영향에 대한 연구를 효과적으로 지원하며, 더 정확하고 신뢰할 수 있는 과학적 발견을 가능하게 할 것입니다.

<이하 광고>

© 2023 나의 웹 페이지