코딩 에이전트의 구동 장치 설계에 대한 실증적 연구
1. 이게 뭔가요?
이 기사는 인공지능(AI) 기반의 코딩 에이전트를 더 효율적으로 만들기 위해 하네스(harness) 구조의 구성 요소를 실험적으로 분석한 연구를 다룹니다. 코딩 에이전트는 사람이 지시한 소프트웨어 개발 작업을 스스로 이해하고 코드를 작성하거나 수정하는 인공지능 프로그램을 말합니다. 여기서 하네스는 에이전트가 인공지능 모델의 능력을 활용해 긴 시간에 걸쳐 복잡한 소프트웨어 개발 작업을 수행할 수 있도록 돕는 주변 장치나 실행 틀을 뜻합니다. 연구진은 기존에 하나의 덩어리로만 여겨졌던 하네스를 세부 구성 요소로 나누어 무엇이 실제 성능에 영향을 주는지 확인하고자 했습니다. 이를 위해 실행 고리를 고정하고 계획 수립, 에이전트가 행동할 수 있는 범위인 액션 스페이스, 그리고 기억 용량을 관리하는 컨텍스트 관리 등 세 가지 요소를 변형해가며 성능을 측정했습니다.
2. 왜 화제인가요?
지금까지는 AI 코딩 하네스가 전체적으로 어떻게 작동하는지 종합적인 결과만 주로 평가했기 때문에, 하네스의 개별 부품이 구체적으로 어떤 역할을 하는지 알기 어려웠습니다. 이번 연구는 이 한계를 극복하기 위해 4개의 인공지능 모델을 바탕으로 176가지의 다양한 설정 조합을 엄격하게 비교했습니다. 이를 통해 컨텍스트 관리 방식, 메모리 예산, 계획 수립과 액션 스페이스의 세부 조절이 실제로 에이전트의 효율과 비용에 어떤 영향을 미치는지 구체적인 근거를 제시합니다. 특정 기술이나 제품에 대한 대중적인 반응을 다루기보다는, 앞으로 AI 코딩 도구를 설계할 때 모델의 능력과 예산에 맞춰 각 부품을 모듈식으로 최적화할 수 있는 기준을 마련했다는 점에서 학술적 의미가 큽니다.
3. 핵심 내용
컴퓨터 과학 > 인공지능
아카이브 논문 번호: arXiv:2609.20804 (컴퓨터 과학 분야)
[2026년 9월 17일 제출됨]
제목: 코딩 에이전트의 구동 장치 설계에 대한 실증적 연구 (An Empirical Study of Harness Design for Coding Agents)
저자: 런제 판(Run-Ze Fan), 지하오 장(Zihao Zhang), 시민 마(Simin Ma), 예보웬 후(Yebowen Hu), 쇼우주 왕(Shouju Wang), 카이치앙 송(Kaiqiang Song), 페이 리우(Fei Liu), 하메드 자마니(Hamed Zamani), 샤오양 왕(Xiaoyang Wang)
PDF 문서 보기, 웹 페이지 형식 보기 (실험 기능)
초록: 코딩 에이전트(AI를 활용해 스스로 프로그래밍 작업을 수행하는 인공지능 시스템)의 구동 장치(에이전트가 소프트웨어를 개발할 수 있도록 주변 환경을 조성하고 도구를 연결해 주는 시스템 구조)는 인공지능 모델의 능력을 장기적인 소프트웨어 개발 성과로 어떻게 연결할지 결정하는 중요한 요소입니다. 하지만 지금까지의 연구는 대부분 이 구동 장치를 통째로 묶어서 평가했기 때문에, 개별 부품이나 기능이 얼마나 효과적인지는 명확히 밝혀지지 않았습니다. 부품별 성능을 비교하기 위해, 본 연구에서는 실행 반복 주기는 고정하고 계획 수립, 행동 범위, 문맥 관리라는 세 가지 부품을 바꾸어 가며 가벼운 코딩 구동 장치를 실험했습니다. 'SWE-Bench Verified'와 'Terminal-Bench 2.1'이라는 두 가지 성능 평가 벤치마크(컴퓨터 성능이나 프로그램의 우수성을 객관적으로 비교하기 위한 기준 시험 세트)에서 4개의 인공지능 모델을 대상으로 5가지 문맥 관리 전략, 4가지 문맥 허용 범위(모델이 한 번에 기억하고 처리할 수 있는 정보의 양), 그리고 계획 수립과 행동 범위에 대한 세부적인 제거 실험을 조합하여 총 176가지 설정에서 평가를 진행했습니다. 연구 결과는 다음과 같습니다. 첫째, 문맥 관리(인공지능이 대화나 작업 과정에서 기억해야 할 정보의 양을 조절하고 관리하는 기능)는 문맥 허용 범위가 좁아질수록 더욱 중요해지며, 그 이점의 대부분은 정보가 너무 많아 넘쳐흘러 발생하는 오류를 막는 데서 비롯됩니다. 둘째, 대규모 언어 모델 기반의 요약 기법을 적용하기 전에 규칙 기반의 생략 기법을 먼저 배치하는 것이 전체 문맥 관리 전략 중에서 가장 뛰어난 효율을 보여주었습니다. 반면 생략된 내용을 다시 복원할 수 있도록 만드는 복잡한 시스템을 추가하는 것은 모델이 거의 사용하지도 않을뿐더러 정확도 향상에도 도움이 되지 않았습니다. 셋째, 계획 수립 기능은 능력이 다소 부족한 모델에게는 정확도를 높여 주는 버팀목 역할을 하고, 능력이 뛰어난 모델에게는 정확도는 거의 유지하면서 비용을 줄여 주는 절약 도구 역할을 합니다. 넷째, 미리 정의된 도구들은 명령줄(텍스트로 컴퓨터에 명령을 입력하는 환경) 제어 능력이 부족한 모델들의 성능을 향상시키지만, 명령줄을 능숙하게 다루는 모델들은 명령줄 인터페이스(컴퓨터와 사용자가 소통하는 방식)만으로도 효과적으로 작동할 수 있으며, 특히 명령줄 중심의 작업에서 비용을 대폭 낮출 수 있습니다. 작업 진행 과정에 대한 분석은 이러한 영향의 이유를 설명해 줍니다. 문맥 관리는 에이전트의 기본적인 행동 방식을 크게 바꾸지 않으면서 실행 과정을 연장해 주고, 계획 수립은 에이전트가 어디에서 멈추는지를 바꾸며, 행동 범위는 코드가 작성되는 세밀한 단위를 바꿉니다.
이러한 연구 결과는 인공지능 모델의 특성과 예산 한계를 고려한 구동 장치 설계에 유용한 지침을 제공하며, 앞으로 개발될 구동 장치 부품들을 평가할 수 있는 조립식(모듈형) 평가 체계를 제공합니다.
의견: 43쪽
주제: 인공지능 (cs.AI); 계산과 언어 (cs.CL); 기계 학습 (cs.LG); 소프트웨어 공학 (cs.SE)
인용 방식: arXiv:2609.20804 [cs.AI]
(또는 이 버전을 가리킬 때는 arXiv:2609.20804v1 [cs.AI] 사용)
디지털 객체 식별자(DOI): https://doi.org/10.48550/arXiv.2609.20804
데이터사이트(DataCite)를 통해 아카이브에서 발급한 디지털 객체 식별자 (등록 대기 중)
제출 이력
보낸 사람: 런제 판 [이메일 보기] [버전 1] 2026년 9월 17일 목요일 17:58:07 (협정 세계시 기준, 용량 6,713 킬로바이트)
전체 문서 링크:
논문 접근:
PDF 문서 보기
웹 페이지 형식 (실험 기능)
텍 테크(TeX) 원본 문서
이용 허락 범위 보기
현재 탐색 환경:
인공지능 분야 (cs.AI)
< 이전 논문 | 다음 논문 >
새로운 논문들 | 최근 논문들 | 2026년 9월
분류 기준 변경:
컴퓨터 과학 전체 컴퓨터 과학 - 계산과 언어 컴퓨터 과학 - 기계 학습 컴퓨터 과학 - 소프트웨어 공학
참고문헌 및 인용 정보
나사(NASA) 천체물리학 데이터 시스템
구글 학술 검색
시맨틱 스칼라
책갈피 추가
빕소노미 레딧
문헌 참고 도구
문헌 및 인용 도구
문헌 탐색기 전환
문헌 탐색기 (탐색기란 무엇인가요?)
연관 논문 전환
연관 논문 (연관 논문이란 무엇인가요?)
릿맵스 전환
릿맵스 (릿맵스란 무엇인가요?)
스사이트 인공지능 전환
스사이트 스마트 인용 (스마트 인용이란 무엇인가요?)
코드, 데이터, 미디어
이 논문과 관련된 코드, 데이터, 미디어
알파아카이브 전환
알파아카이브 (알파아카이브란 무엇인가요?)
코드 링크 전환
논문 속 코드를 찾아주는 도구인 카탈라이즈엑스 코드 파인더 (카탈라이즈엑스란 무엇인가요?)
대그허브 토글 버튼
대그허브 (대그허브란 무엇인가요?)
가싯펍 토글 버튼
가싯 펍 (가싯펍이란 무엇인가요?)
허깅페이스 토글 버튼
허깅페이스 (허깅페이스란 무엇인가요?)
사이언스캐스트 토글 버튼
사이언스캐스트 (사이언스캐스트란 무엇인가요?)
시연 화면
시연 화면
레플리케이트 토글 버튼
레플리케이트 (레플리케이트란 무엇인가요?)
스페이스 토글 버튼
허깅페이스 스페이스 (스페이스란 무엇인가요?)
스페이스 토글 버튼
티엑스와이즈드에이아이 (티엑스와이즈드에이아이란 무엇인가요?)
관련 논문
추천 도구 및 검색 도구
인플루언스 플라워 링크
인플루언스 플라워 (인플루언스 플라워란 무엇인가요?)
핵심 추천 도구 토글
코어 추천 도구 (코어란 무엇인가요?)
저자
발표 장소
소속 기관
주제
아카이브랩스 소개
아카이브랩스는 지역 사회 협력자들과 함께 진행하는 실험적인 프로젝트입니다.
아카이브랩스는 협력자들이 새로운 아카이브 기능을 웹사이트에서 직접 개발하고 공유할 수 있도록 지원하는 틀(프레임워크)입니다.
아카이브랩스와 함께하는 개인과 단체는 개방성, 공동체성, 우수성, 사용자 데이터 보호라는 가치를 공감하고 받아들이고 있습니다. 아카이브는 이러한 가치를 지키기 위해 노력하며, 이를 준수하는 협력사와만 함께 일합니다.
아카이브 사용자들이 더 큰 가치를 누릴 수 있는 프로젝트 아이디어가 있으신가요? 아카이브랩스에 대해 자세히 알아보세요.
이 논문의 저자 중 보증인은 누구인가요? | 매스잭스 비활성화 (매스잭스란 무엇인가요?)
4. 나에게 어떤 영향이 있나요?
이 연구 결과는 앞으로 개발자들이 인공지능 코딩 에이전트를 도입하거나 직접 설계할 때 비용을 아끼고 효율을 높이는 데 직접적인 지침이 됩니다. 예를 들어, 대화 기억 용량이 좁아질수록 컨텍스트 관리 기술이 메모리 부족 오류를 막는 데 핵심적인 역할을 하며, 규칙 기반으로 불필요한 내용을 먼저 정리한 뒤 인공지능으로 요약하는 방식이 가장 효율적이라는 점을 보여줍니다. 또한 계획 수립은 성능이 다소 떨어지는 모델에게는 정확도를 높여주는 지지대 역할을 하지만, 강력한 모델에게는 비용을 줄여주는 역할을 합니다. 명령어(bash)를 다룰 수 있는 모델은 기본 명령어 인터페이스만 사용하는 것이 비용을 크게 줄이는 방법이 되며, 미리 정해진 도구는 명령어 능력이 부족한 모델의 성능을 높여줍니다. 다만 이러한 영향은 사용하는 AI 모델의 종류와 주어진 조건에 따라 달라지며, 특정 소프트웨어를 반드시 구매하거나 도입해야만 하는 강제적인 변화를 뜻하지는 않습니다.