Elo 점수란? AI 순위의 기준을 쉽게 이해하기

개념 해설

Elo 점수란?
AI 순위의 기준을 이해하기

Generative AI Ranking의 순위표에서 각 모델 옆에 적힌 "1510", "1487" 같은 숫자가 바로 Elo 점수입니다. 이게 뭔지, 어떻게 매겨지는지 쉽게 설명합니다.

Elo 점수는 원래 체스 선수의 실력을 숫자로 표현하기 위해 1960년대에 만들어진 시스템입니다. 아르파드 엘로(Arpad Elo)라는 물리학자가 고안했고, 이후 바둑, e스포츠, 그리고 지금은 AI 모델 평가에까지 쓰이고 있습니다.

핵심 원리는 단순합니다. 강한 상대를 이기면 점수가 많이 오르고, 약한 상대에게 지면 많이 떨어진다. 이 한 줄이 Elo의 전부입니다.

Arena(arena.ai) 같은 벤치마크 사이트에서는 사람들이 두 AI 모델의 답변을 나란히 놓고 "어느 쪽이 더 나은지" 블라인드 투표를 합니다. 어떤 모델이 만든 답인지 모른 채 순수하게 품질만 보고 고르는 거죠.

수백만 건의 이런 대결 결과를 Elo 공식에 넣으면, 각 모델의 "실력 점수"가 산출됩니다. 사람들이 일관되게 더 좋다고 고른 모델은 점수가 올라가고, 덜 골린 모델은 내려갑니다.

예를 들면

Elo 1510인 모델 A와 Elo 1480인 모델 B가 대결해서 A가 이기면 → 예상대로니까 A는 소폭 상승, B는 소폭 하락. 반대로 B가 이기면 → 이변이니까 B는 대폭 상승, A는 대폭 하락. 이게 반복되면서 점수가 수렴합니다.

Elo 점수는 절대적인 "능력치"가 아니라 상대적인 위치입니다. 1500점이 "잘하는 것"이고 1400점이 "못하는 것"이라는 기준선은 없습니다. 중요한 건 모델 간의 점수 차이예요.

대략적으로 Elo 100점 차이는 "높은 쪽이 대결에서 약 64% 확률로 이긴다"는 뜻입니다. 200점 차이면 약 76%, 400점 차이면 약 91%입니다. 점수 차가 클수록 실력 격차가 분명하다는 거죠.

그래서 상위권에서 Elo 1510과 1505의 차이는 사실상 "거의 비슷한 실력"이라는 뜻입니다. 반면 1510과 1400의 차이는 확실한 격차를 보여줍니다. 순위표를 볼 때 등수보다 점수 차이를 함께 보는 게 더 정확한 비교입니다.

Elo 점수가 완벽한 평가는 아닙니다. 알아두면 좋은 한계가 몇 가지 있어요.

분야에 따라 다릅니다. 종합 점수가 높다고 모든 작업에서 최고인 건 아닙니다. 코딩에 특화된 모델이 종합에서는 낮을 수 있고, 반대도 마찬가지입니다. 그래서 Generative AI Ranking은 종합·텍스트·코딩·이미지 부문을 나눠 보여줍니다.

투표자에 따라 달라질 수 있습니다. 기술적인 질문을 많이 하는 사용자 풀에서 매겨진 점수는, 일상 대화 위주의 풀과 결과가 다를 수 있습니다.

시간에 따라 변합니다. 새 모델이 출시되거나 기존 모델이 업데이트되면 순위가 바뀝니다. Generative AI Ranking이 매일 갱신하는 이유이기도 합니다.

순위표에서 각 모델 옆의 숫자가 Elo 점수이고, ▲▼ 표시가 전날 대비 변동입니다. "Arena N위"라고 적힌 칩은 우리가 큐레이션한 목록이 아닌 전체 벤치마크 기준 순위예요. 자세한 내용은 Arena 순위가 왜 우리 순위와 다를까? 페이지에서 다룹니다.