Mistral AI의 Le Chat 모델은 AI 챗봇 커뮤니티에서 상당한 주목을 받았으며, 일부 관찰자들은 이 모델을 최근에 등장한 ChatGPT의 잠재적인 경쟁자로 묘사하기도 했습니다.
하지만 새롭게 떠오르는 챗봇이 정말 이 타이틀을 받을 만할까요? Mistral AI의 Le Chat이 ChatGPT보다 더 나을까요? 확인해 보세요. ChatGPT 대신 Claude 3를 사용해야 하는 이유.
로압 스리유에스
Mistral AI의 Le Chat 모델은 무엇인가요?
Le Chat은 프랑스 스타트업 Mistral AI가 개발한 AI 기반 챗봇입니다. Mistral Large, Mistral Small, Mistral Next를 포함한 여러 자체 대규모 언어 모델(LLM)을 기반으로 하며, 사용자는 이 모델들을 선택하여 챗봇과 상호작용할 수 있습니다. 챗봇 분야에 비교적 최근에 진입했음에도 불구하고, Gemini나 GPT-4와 같은 업계 거물급 모델에 비해 작은 크기에도 불구하고 AI 모델의 성능 면에서 높은 평가를 받고 있습니다.
이것이 무슨 뜻인지 이해하려면, 블록을 가지고 놀아보는 것을 상상해 보세요. 블록이 많을수록 더 복잡하고 세부적인 구조를 만들 수 있죠. 그렇죠? AI 언어 모델도 이와 비슷합니다. 크기는 다양하며, 일반적으로 매개변수의 개수로 표현됩니다. AI 모델에서 "70B 매개변수" 또는 "70B 매개변수"와 같은 용어를 들어보셨을 겁니다. 매개변수의 개수는 모델이 이해하고 응답을 생성해야 하는 기본 요소의 개수와 같습니다. 따라서 언어 모델에 매개변수가 많을수록 더 복잡하고 더 잘 이해하고 응답을 생성할 수 있습니다.
GPT-4가 약 1조 7,600억 개의 매개변수를 가지고 있는 반면, Mistral AI는 약 70억 개에서 560억 개 사이의 매개변수를 가지고 있는 것으로 추정됩니다. 크기 차이가 느껴지시나요? Mistral AI가 뛰어난 성능을 제공하는 것이 이러한 기대감의 이유 중 하나입니다.
Le Chat은 ChatGPT나 Gemini처럼 과대광고나 브랜딩이 강력하지는 않지만, ChatGPT의 잠재적 경쟁자가 논의될 때마다 항상 언급되는 플랫폼입니다. 하지만 Le Chat이 과연 이 자리에 설 자격이 있을까요?
저도 같은 궁금증을 가지고 있었는데, Le Chat을 ChatGPT와 비교해 보고 싶어서 광범위하게 테스트해 봤습니다. 확인해 보세요: GitHub Copilot 또는 ChatGPT: 프로그래밍 작업에 더 적합한 것은 무엇일까요?
Le Chat vs. ChatGPT: 창의성
창의성은 AI 챗봇의 성능을 판단하는 가장 중요한 지표 중 하나입니다. 챗봇의 목적은 인간의 대화 능력과 창의력을 대규모로 재현하거나 모방하는 것입니다. 따라서 창의성은 모든 AI 챗봇에게 매우 중요한 강점입니다. 전 세계가 ChatGPT를 1년 넘게 테스트해 왔으며, 그 창의성은 부인할 수 없습니다. 하지만 Le Chat과 비교하면 어떨까요? 저희는 두 챗봇에 일련의 창의성 테스트를 실시했습니다.
저는 두 챗봇에게 "예술가에게 자신을 어떻게 설명하시겠습니까?"라고 묻는 것으로 시작했습니다. 이는 각자가 창의적이고 상상력이 풍부한 단어를 사용하여 자신을 묘사하는 능력을 테스트하기 위한 것이었습니다.
ChatGPT가 아티스트에게 자신을 설명하는 방식은 다음과 같습니다.
Le Chat에서는 자신을 다음과 같이 설명합니다.
두 답변 모두 나름대로 적절했습니다. ChatGPT는 생생한 이미지와 은유를 사용하여 자신을 설명하는 데 더 집중하며 창의적인 재능을 보여주었습니다. 반면 Le Chat의 답변은 유익하고 AI 챗봇으로서의 본질을 설명하는 데 중점을 두었습니다. ChatGPT의 답변에서 드러나는 창의적인 재능과 예술적 접근 방식이 부족하다고 주장하는 사람도 있을 수 있습니다. 하지만 저는 ChatGPT의 추상적인 설명보다 Le Chat의 시각적으로 더 매력적인 답변을 더 선호한다고 단언합니다.
다음으로, ChatGPT와 Le Chat에게 오이를 재배하여 부자가 되는 것에 대한 랩 곡을 써 달라고 부탁했습니다. 이는 다른 챗봇의 창의성을 테스트하는 데 사용했던 까다로운 과제였습니다. 웹에서 오이에 대한 랩 곡을 몇 개나 찾을 수 있을까요?
ChatGPT의 답변은 다음과 같습니다.
르샤의 답변은 다음과 같습니다.
주관적인 문제일 수도 있지만, ChatGPT의 답변이 가장 좋은 것 같습니다. Le Chat의 가사는 전문 용어가 가득해서 래퍼가 내놓을 만한 내용 같지 않았습니다. 이 가사를 음악으로 바꾸면 어떤 소리가 날지 테스트하기 위해 음악 생성기를 사용했습니다. 수노아이 단어로 음악을 만드는 것입니다. 세 번의 테스트 중 세 번 모두 ChatGPT의 가사가 훨씬 더 잘 들렸습니다. 두 챗봇의 샘플 몇 가지를 아래에 첨부했으니, 어느 챗봇이 더 나은 성능을 보이는지 확인해 보세요.
ChatGPT 단어에서 생성된 샘플:
1장:
2장:
Le Chat의 가사에서 생성된 샘플:
1장:
2장:
AI 챗봇을 사용하여 시, 에세이 쓰기, 까다로운 업무 이메일 작성 등 몇 가지 창의적인 과제를 테스트해 보았습니다. ChatGPT는 큰 가능성을 보여주었음에도 불구하고 모든 면에서 Le Chat보다 훨씬 뛰어난 성과를 보였습니다. Le Chat이 특히 강했던 분야 중 하나는 까다로운 유도 기법에도 불구하고 에세이 작성이었습니다. 하지만 전반적인 창의성 측면에서는 ChatGPT가 메달을 받았습니다.
Le Chat vs. ChatGPT: 프로그래밍 기술
코딩 능력은 주류 챗봇의 필수 요건이 되었습니다. 훌륭한 코드를 작성하는 것은 핵심 기술이지만, AI 챗봇이 엘리트들 사이에서 진정으로 돋보이려면 다양하고 복잡한 문제를 효과적으로 해결할 수 있는 코드 작성 능력을 입증해야 합니다. 저희는 이전에 ChatGPT를 사용하여 웹 애플리케이션을 처음부터 구축하여 프로그래밍 도구로서 뛰어난 역량을 보여준 적이 있습니다. 하지만 Le Chat의 코드 작성 능력은 얼마나 될까요?
두 챗봇 모두에게 CSS, HTML, JavaScript를 사용하여 간단한 할 일 목록 앱을 작성하도록 했습니다. ChatGPT는 아무런 문제 없이 좋은 결과를 얻었습니다. 생성된 코드를 복사하여 브라우저에서 미리 확인해 보니, ChatGPT가 생성한 결과는 다음과 같습니다.
프롬프트를 반복할 때마다 ChatGPT는 다양한 패턴을 사용하여 기능적인 할 일 목록 앱을 만들었습니다. 생성된 코드는 한 번도 실패하지 않았습니다.
Le Chat에서 같은 프롬프트를 실행해 보니 깔끔한 코드가 생성되었지만, 브라우저에서 실행해 보니 작동하지 않았습니다. 프롬프트를 세 번 반복했지만, 지정된 작업을 완료할 수 있는 코드가 생성되지 않았습니다. 기본적인 프로그래밍 작업에 실패한 셈인데, 이는 경고 신호입니다!
물론, 한 번의 실패한 테스트 결과로 Le Chat을 판단하지는 않을 것입니다. 다음으로, 두 챗봇에게 텍스트를 암호화하고 복호화하는 JavaScript와 PHP 코드를 생성하도록 요청했습니다. 이 두 번째 테스트에서 ChatGPT와 Le Chat 모두 지정된 작업을 수행할 수 있는 기능 코드를 생성했습니다. 그러나 Le Chat 버전은 경험이 부족한 초보 프로그래머가 작성할 법한 코드처럼 보였습니다. 반면 ChatGPT의 코드는 더 완벽했고 숙련된 프로그래머가 작성한 것처럼 보였습니다.
버그를 찾고 수정하는 몇 가지 프로그래밍 테스트를 더 진행해 봤는데, ChatGPT가 Le Chat보다 꾸준히 좋은 성능을 보였습니다. 어떤 경우에는 Le Chat이 무슨 일을 해야 하는지조차 알지 못했습니다. Le Chat이 어떤 면에서는 ChatGPT에 필적할 가능성이 높지만, 프로그래밍 실력은 그렇지 않은 것 같습니다. 확인해 보세요. 애플리케이션을 자동으로 프로그래밍할 수 있는 기능을 제공하는 고급 ChatGPT 대안.
Le Chat vs. ChatGPT: 상식과 논리적 추론
AI 챗봇의 흥미로운 발전 중 하나는 복잡한 작업은 쉽게 처리할 수 있지만, 기본적인 상식이 필요한 간단한 작업에는 실패한다는 점입니다. ChatGPT와 같은 기존 챗봇과 Le Chat과 같은 신규 챗봇 모두 상식과 인간적인 추론을 요구하는 작업을 처리하는 데 어려움을 겪습니다. 그렇다면 Le Chat과 ChatGPT는 이 측면에서 어떻게 비교될까요?
저는 두 챗봇에게 "3리터 병과 5리터 병이 있다면, 3리터와 5리터 병을 사용하여 4리터의 물을 어떻게 측정할 수 있나요?"라고 물었습니다.
ChatGPT는 taste를 사용하여 문제를 해결했습니다.
르샤는 다른 접근 방식을 사용했지만 동일한 작업을 시도하여 문제를 해결할 수 있었습니다.
이 테스트에서는 두 채팅봇 모두 비슷한 성과를 보였습니다.
다음으로, 우리는 두 로봇에게 까다로운 질문을 했습니다. "화성에서 온 우주선이 둘로 갈라져서 한 부분은 브라질 근처 대서양에 추락하고 다른 한 부분은 일본 근처 태평양에 추락한다면, 생존자들은 어디에 묻힐까요?"
ChatGPT는 이 트릭을 감지하고 다음과 같이 대응했습니다.
르샤 역시 이 속임수를 간파하고 그에 따라 대응했습니다.
더 많은 트릭 문제를 풀어봤는데, ChatGPT와 Le Chat 모두 논리적이고 상식적인 질문을 처리하는 데 매우 능숙해 보였습니다. 하지만 더 복잡한 논리 문제에서는 ChatGPT만이 정답을 제시할 수 있었습니다.
Le Chat이 "ChatGPT의 잠재적 경쟁자"로 주목을 받고 있지만, 저희 테스트 결과 AI 챗봇 분야의 선도적인 모델들과 진정한 경쟁을 펼치려면 아직 성장이 더 필요한 것으로 나타났습니다. Le Chat은 상식과 같은 분야에서는 뛰어난 역량을 보여주었지만, 창의적인 결과물과 프로그래밍 능력은 ChatGPT에 크게 뒤처졌습니다. 이 프랑스 AI 스타트업은 분명 유망해 보이지만, 과대광고가 실제 역량을 가리고 있는 것일 수도 있습니다.
이전의 많은 야심 찬 경쟁자들과 마찬가지로, Le Chat은 주요 대회에 출전하기 전에 끊임없는 개선과 훈련이 필요합니다. 현재로서는 ChatGPT와 같은 AI 챗봇이 AI 챗봇 분야의 명실상부한 왕좌를 지키고 있습니다. 하지만 경쟁 업체들이 점점 더 치열해지고 있어 선두 기업들은 현재 역량만으로는 경쟁할 수 없습니다. 지금 바로 확인해 보세요. 컴퓨터의 자기 학습 달성: 지능형 시스템이 상식을 습득할 수 있을까?
