수개월간의 추측 끝에 드디어 OpenAI의 "Strawberry" LLM이 등장했습니다. 그리고 그 이름은 GPT-5가 아닙니다. 9월 13일 새벽, OpenAI는 비할 데 없는 추론 능력을 자랑하는 대규모 언어 모델인 OpenAI o1 시리즈를 공개했습니다. 이 모델은 일부 영역에서 인간의 박사급 성능을 능가하는 복잡한 추론의 비약적인 도약을 의미합니다.
새로운 네이밍 규칙
이름 자체는 그것이 나타내는 변화보다 덜 중요합니다. OpenAI o1은 "GPT" 제품군에서 벗어난 최초의 모델로, 이전 모델의 "사전 훈련 패러다임"과는 다른 새로운 "추론 패러다임"의 시작을 알립니다. OpenAI는 이렇게 설명합니다: "추론은 AI 기능의 새로운 지평을 열었습니다. 카운터를 1로 재설정하고 이 시리즈를 OpenAI o1로 지정하기로 결정했습니다."라고 설명합니다.
OpenAI는 두 가지 모델(o1-preview 및 o1-mini)과 함께 12개 이상의 데모 동영상, 43페이지 분량의 종합 연구 논문을 동시에 공개했습니다. 핵심 기능은 인간의 문제 해결 과정을 모방하여 응답하기 전 모델의 숙고 시간을 연장한 것입니다. 추론 시간은 복잡한 작업의 성과와 직접적인 상관관계가 있습니다.
o1의 역량
o1 시리즈는 OpenAI의 첫 번째 강화 학습 훈련 모델입니다. 대답하기 전에 긴 생각의 사슬을 생성하여 그 기능을 크게 향상시킵니다. 생각의 사슬이 길어지면 숙고 시간이 길어지고 추론 성능이 향상됩니다.
2024년 국제 정보학 올림피아드(IOI)에서 문제당 50번의 시도 끝에 인간 참가자 중 상위 49%의 점수를 획득한 정교하게 조정된 버전을 선보인 샘 알트먼 CEO는 o1의 역량을 강조했습니다.
o1은 또한 Codeforces 경쟁 프로그래밍에서 89% 상위권 성적을 달성했으며, 미국 수학능력시험(AIME)에서 미국 학생 상위 500명 중 한 명으로 선정되었습니다. o1은 GPT-4에 비해 STEM 분야, 법학, 경제학 등 다양한 과목에서 상당한 향상을 보였습니다.
o1이 할 수 있는 일
o1은 이전 GPT 모델의 다양한 기능(질문 답변, 요약, 콘텐츠 생성)을 유지하지만, 고급 추론 기능을 갖추고 있어 특히 다음과 같은 용도에 적합합니다:
- 뛰어난 추론: 특히 STEM 분야에 강합니다.
- 창의적인 문제 해결: 브레인스토밍과 아이디어 발상에 탁월합니다.
- 과학적 연구: 복잡한 데이터 세트(예: 세포 시퀀싱)에 주석을 달거나 복잡한 수학 공식(예: 양자 광학)을 처리하는 등의 작업에 능숙합니다.
- 코딩 능력: 효과적인 코드 생성, 디버깅 및 워크플로 지원, 휴먼 평가 및 코드포스와 같은 벤치마크에서 우수한 성능을 발휘합니다.
- 고급 수학: 수학 벤치마크에서 이전 모델보다 훨씬 뛰어난 성능을 발휘하여 IMO 자격 시험에서 83%의 정확도(GPT-4의 13%와 비교)와 강력한 AIME 결과를 달성했습니다. 복잡한 물리 공식을 생성할 수 있습니다.
- 정확도 향상: 정확도 향상을 위해 자체 사실 확인 기능을 통합했습니다.
의 힘 생각의 사슬
OpenAI의 o1 모델은 복잡한 질문에 대한 인간의 숙고를 반영하여 일련의 사고 과정을 통해 문제를 해결합니다. 강화 학습을 통해 o1은 문제 해결 전략을 개선하고, 오류를 식별하고 수정하는 방법을 학습하며, 복잡한 단계를 더 간단한 단계로 세분화하고, 필요한 경우 접근 방식을 전환할 수도 있습니다. 이러한 반복적인 과정을 통해 추론 능력이 크게 향상됩니다. 까다로운 문제에 대한 o1-preview의 사고 연쇄의 예는 아래에서 이러한 발전을 설명하기 위해 제공됩니다. 이 접근 방식은 인간의 인지를 모방하여 한 문제 내에서 단계적 개선과 자기 반복을 가능하게 함으로써 추론 능력을 크게 향상시킵니다.
훈련 중 강화 학습을 늘리고 테스트 중 사고 시간을 늘리면 o1의 성능이 더욱 향상되어 새로운 스케일링 법칙이 확립됩니다. 그러나 스케일링의 한계는 기존의 사전 훈련 방법과는 크게 다르며, OpenAI는 이러한 차이점을 적극적으로 연구하고 있습니다.
o1의 사고를 시각화하려면 독해 문제를 생각해 보세요. GPT-4는 직접적인 답을 제공하지만, o1-preview의 '생각의 사슬 표시' 옵션은 단계별 분석을 보여줍니다. 각 옵션을 체계적으로 검토하고 추론에 대해 반복적으로 질문("이것이 좋은 설명인가?", "작가가 그렇게 말하고 있는가?", "문맥이 이를 뒷받침하는가?")하여 반복적인 개선을 통해 궁극적으로 정답에 도달할 수 있습니다.
o1 시리즈는 의료 연구자들이 세포 시퀀싱 데이터에 주석을 달고, 물리학자들이 복잡한 양자 광학 공식을 생성하고, 개발자들이 다단계 워크플로우를 구축하고 실행하는 데 도움을 주는 등 광범위한 응용 분야를 가지고 있습니다. 현재 추론 시간은 몇 초에서 수십 초에 불과하지만, OpenAI의 향후 개발은 이 심의 시간을 줄이는 것이 아니라 늘리는 데 초점을 맞추고 있으며, 몇 시간, 며칠 또는 몇 주 동안 추론할 수 있는 향후 버전을 목표로 하고 있습니다. 이로 인해 비용이 증가하겠지만 의료와 같은 분야에서 획기적인 발전을 이룰 수 있는 잠재력은 투자를 정당화합니다. AI의 기능은 단순한 챗봇을 훨씬 뛰어넘습니다.
주의: 주의: ChatGPT에서 o1의 내부 추론을 쿼리하지 마세요.
o1이 출시된 후 수많은 사용자가 내부 추론 프로세스에 액세스하려다 경고를 받거나 일시적인 사용 금지를 당했다고 보고했습니다. 이는 상당한 반발을 불러일으켰습니다.
사용자는 프롬프트에 "추론 추적" 또는 "생각의 사슬을 보여주세요"와 같은 키워드를 포함시키는 것만으로도 경고를 트리거했습니다. 대체 문구를 통해 모델의 추론을 유도하려는 간접적인 시도도 감지되어 불이익을 받았습니다. 이러한 사용자들은 o1의 완전한 내부 사고 과정, 즉 원시 추론 token를 추출하는 것을 목표로 했으며, 이는 현재 ChatGPT 인터페이스(확장 버튼을 통해 액세스할 수 있음)에 요약되어 있습니다.
OpenAI를 제한하는 가장 큰 이유는 미래 모델을 위한 학습 데이터로서 o1의 추론 프로세스의 가치가 높기 때문입니다. 이 귀중한 지적 재산을 경쟁사로부터 보호하는 것이 핵심 동기입니다.
o1 모델 사용 시 주요 고려 사항
높은 비용: o1 모델을 사용하는 것은 비용이 많이 듭니다. 100만 출력의 token는 $60입니다.
숨겨진 비용: 이 비용에는 보이지 않는 추론 token가 포함되어 있어 전체 비용이 추가됩니다.
비용 효율적인 접근 방식: 대부분의 작업에서는 GPT-4가 더 경제적인 시작점입니다. GPT-4의 기능이 충분하지 않은 경우에만 o1을 사용하세요.
향후 방향
OpenAI의 o1 시리즈 공개는 AI 개발의 중추적인 순간입니다. 특정 분야의 인간 전문가를 능가하는 이 모델의 뛰어난 추론 능력은 이전 GPT 모델보다 크게 발전한 것입니다.
그러나 o1 모델에도 한계가 없는 것은 아닙니다. 높은 비용과 보이지 않는 추론 token와 관련된 숨겨진 비용으로 인해 이 모델을 사용하기 위해서는 전략적인 접근이 필요합니다. 또한, 모델의 전체 추론 프로세스에 대한 접근이 제한되는 OpenAI의 제약은 혁신과 지적 재산 보호 사이의 균형을 맞추는 데 있어 지속적인 과제가 있음을 보여줍니다. 추론 시간이 몇 시간 또는 몇 주까지 소요될 것으로 예상되는 등 o1의 미래 잠재력은 엄청나지만, 현재 개발 단계에서는 그 잠재력을 완전히 실현하기 위해 개발자 커뮤니티의 신중한 고려와 추가 탐색이 필요합니다. 진정한 고급 AI 추론을 향한 여정은 이제 시작되었으며, o1은 그 여정의 중요한 단계입니다.
OpenAI의 o1 시리즈의 잠재력을 살펴보고 싶으신가요? 그 기능에 대해 자세히 알아보고 이 획기적인 기술이 연구, 개발 업무에 어떤 혁신을 가져올 수 있는지 생각해 보세요. 자세한 내용은 Cloudsway에 문의하세요.