MLPerf 추론 6.1, RAG 전체 과정과 기기 내 AI 에이전트 평가 추가

MLCommons가 9월 16일 MLPerf Inference 6.1 결과를 공개했다. 참여 조직은 30곳으로 늘었으며, 단일 모델의 응답 속도를 넘어 여러 단계로 이루어진 AI 서비스의 성능을 비교하는 평가가 추가됐다.

새로운 End-to-End RAG 평가는 문서를 벡터 데이터베이스로 만드는 과정과, 이미 구축한 데이터베이스에서 질문에 답하는 과정을 나눈다. 임베딩·검색·재순위화·언어 모델 추론을 함께 다루므로 모델 하나의 생성 속도와는 측정 대상이 다르다.

Edge Agentic Inference 평가는 제한된 메모리·전력·처리 능력을 가진 기기에서 여러 차례 상호작용하는 에이전트 작업을 다룬다. 단일 스트림 코딩 작업, 지연시간 지표, 정확도 확인 절차를 포함한다.

기관이 소개한 최고 성능 향상은 VLM의 가속기당 서버 시나리오에서 6.0 대비 2.99배, DeepSeek R1의 같은 종류 지표에서 1년 전 5.1 대비 5.7배다. 이는 해당 조건의 최고 결과 비교이며 모든 AI 작업의 속도가 그만큼 증가했다는 뜻은 아니다.