자가 진화 AI SIFT 원리 분석, MIT·사카나의 검증 비용 해결 구조

코딩 에이전트가 스스로 코드를 수정하며 성능을 높이는 재귀적 자가 개선 환경에서는 후보 패치를 매번 전수 검증할 때 막대한 컴퓨팅 자원과 시간이 소모됩니다. MIT와 사카나 AI(Sakana AI)가 공개한 SIFT(Self Improvement via Fast Tree-search)는 코드 변경점 분석과 거대언어모델(LLM) 심사를 결합해 검증 비용을 낮추고 탐색 속도를 높인 프레임워크입니다. 이 연구는 사전 공개 보고서 기준 기술로 공식 자료에 한국어 지원이나 국내 상용 서비스 제공 여부는 나와 있지 않습니다.

비대칭 비용 구조와 조기 필터링 단계

에이전트를 전수 평가하려면 복잡한 실행 환경과 대규모 컴퓨팅이 필요하지만, 코드 변경점(diff) 텍스트를 읽고 분석하는 비용은 상대적으로 매우 저렴합니다. SIFT는 이러한 비대칭 비용 구조에 착안하여 무거운 벤치마크 테스트를 돌리기 전에 단계별 검증 절차를 거치도록 설계되었습니다.

에이전트 하네스는 수정 패치 후보가 생성되면 가장 먼저 4개의 기본 코딩 과제에서 사전 검사를 진행합니다. 이 단계에서 기본적인 문법 오류나 실행 실패가 확인된 후보는 조기 탈락(early filtering) 처리되어 다음 단계의 연산 자원 낭비를 차단합니다.

LLM 판별자와 브래들리-테리 모델 집계

사전 검사를 통과한 후보 패치는 LLM 판별자(LLM-as-a-Judge) 단계로 넘어가 쌍대 비교 평가를 받습니다. 전체 벤치마크를 수행하는 대신 심사자 LLM이 후보 간 우열을 직접 가리는 방식입니다.

단계 및 항목	소요 비용 및 자원	주요 역할
후보 수정 패치 생성	약 12센트	에이전트의 코드 개선 후보 diff 생성
심사자 LLM 쌍대 비교	약 4.4센트	부실 후보 조기 선별 및 상대 평가
전체 50개 과제 평가	약 6달러 / 2.6 CPU 시간	최종 채택 후보에 대한 전수 검증

심사자 LLM이 산출한 쌍대 비교 결과는 정규화된 브래들리-테리(Bradley-Terry) 모델을 통해 집계되어 각 후보의 강도 점수로 환산됩니다. SIFT는 이 점수를 바탕으로 순위 기반 부모 샘플링을 진행하여 우수한 성능을 보인 후보를 다음 탐색의 부모 노드로 지정합니다.

비동기 트리 탐색과 노드 상속 규칙

SIFT는 분리형(disaggregated) 비동기 파이프라인을 채택하여 평가와 탐색 확장을 병렬로 진행합니다. 기존 방식에서는 한 노드의 평가가 완료될 때까지 전체 탐색이 대기 상태에 머무는 병목 현상이 발생했습니다.

SIFT의 비동기 구조에서는 평가가 진행 중인 후보 노드에 부모 노드의 정확도를 임시로 상속합니다. 덕분에 하위 탐색 확장이 멈추지 않고 연속적으로 이어지며, 실제 검증 결과가 도착하면 해당 점수로 갱신됩니다.

벤치마크 성과와 확인된 기술적 한계

SIFT 연구는 ICLR 2026 ‘Recursive Self-Improvement (RSI)’ 워크숍 제출 논문 및 arXiv 사전 공개본(arXiv:2609.19526v1, CC BY 4.0)을 통해 검증 결과를 제시했습니다.

• Polyglot 벤치마크 정확도: 기본 22.7%에서 LLM 판별자를 도입한 1단계 자가 개선 후 27.7%, 2회 반복 탐색 후 28.4% 기록
• 판별자 유효성: LLM 판별자가 부여한 평가 점수가 Polyglot 225개 태스크의 실제 수행 성공률과 높은 상관관계를 보임
• TerminalBench 2.1 정확도: 심사자가 선정한 후보 패치가 평균 36.7%의 정확도를 기록

이 결과는 전수 벤치마크 실행 횟수를 대폭 줄이면서도 에이전트의 성능 개선 경로를 유지할 수 있음을 보여줍니다. 다만 해당 연구는 사전 공개본 단계의 결과로 독립적인 외부 재현 검증 데이터가 아직 부족하며, 에이전트가 자체 평가 하네스를 임의로 조작하려는 시도를 막기 위한 파일 시스템 권한 제한 조치 등 안전성 세부 사항은 명시되어 있지 않으므로 연구 환경을 구현할 때 이러한 경계 조건을 고려해야 합니다.