AI 모델을 오프라인에서 실행하는 것이 이상적이지만, 일반적으로 강력하고 값비싼 하드웨어가 필요합니다. 하지만 항상 그런 것은 아닙니다. DeepSeek R1 모델은 성능이 제한적인 기기에 실용적인 옵션을 제공하며, 설치도 놀라울 정도로 쉽습니다.
로압 스리유에스
AI 챗봇을 로컬에서 운영한다는 것은 무엇을 의미하나요?
ChatGPT와 같은 온라인 AI 챗봇을 사용하면 요청이 OpenAI 서버에서 처리되므로 기기에서 복잡한 작업을 수행할 필요가 없습니다. AI 챗봇과 소통하려면 지속적인 인터넷 연결이 필요하며, 데이터를 완벽하게 제어할 수는 없습니다. ChatGPT, Gemini, Claude 등과 같이 AI 챗봇을 구동하는 대규모 언어 모델은 대용량 비디오 메모리(VRAM)를 갖춘 그래픽 처리 장치(GPU)에 의존하기 때문에 매우 높은 성능 요구 사항을 요구합니다. 이러한 이유로 대부분의 AI 모델은 클라우드 기반입니다.
로컬 AI 챗봇은 다른 소프트웨어와 마찬가지로 기기에 직접 설치됩니다. 즉, AI 챗봇을 사용하기 위해 인터넷에 계속 연결할 필요가 없으며 언제든지 요청을 보낼 수 있습니다. DeepSeek-R1은 여러 기기에 설치할 수 있는 대규모 로컬 언어 모델입니다. 7B(XNUMX억 개의 매개변수)로 구성된 이 모델은 중급 기기에서 우수한 성능을 제공하는 작고 최적화된 버전으로, 클라우드 처리 없이 AI 응답을 생성할 수 있습니다. 간단히 말해, 더 빠른 응답, 더 나은 개인정보 보호, 그리고 제 데이터에 대한 완벽한 제어를 의미합니다.
노트북에 DeepSeek-R1을 설치하는 방법
장치에서 DeepSeek-R1을 실행하는 것은 비교적 간단하지만 웹 기반 AI 챗봇의 덜 강력한 버전을 사용하고 있다는 점을 명심하세요. DeepSeekDeepSeek의 AI 챗봇은 약 671억 개의 매개변수를 사용하는데, DeepSeek-R1 약 7억 개의 매개변수에 대해.
다음 단계에 따라 컴퓨터에 DeepSeek-R1을 다운로드하여 사용할 수 있습니다.
- 이동 올라마 웹사이트 최신 버전을 다운로드하세요. 그런 다음 다른 앱과 마찬가지로 기기에 설치하세요.
- 터미널을 열고 다음 명령을 입력하세요.
ollama 런 deepseek-r1:7b
이렇게 하면 DeepSeek-R1 7B 모델이 컴퓨터에 다운로드되어 터미널에서 쿼리를 입력하고 응답을 받을 수 있습니다. 성능 문제나 충돌이 발생하는 경우, 더 낮은 사양의 모델을 사용하여 교체해 보세요. 7b 비 1.5b 위의 순서대로.
이 모델은 터미널에서 잘 작동하지만 ChatGPT와 같은 적절한 텍스트 서식이 있는 모든 기능을 갖춘 사용자 인터페이스가 필요한 경우 다음과 같은 앱을 사용할 수도 있습니다. 챗박스.
DeepSeek를 로컬에서 실행하는 것은 완벽하지는 않지만 효과적입니다.
앞서 언급했듯이, DeepSeek의 온라인 챗봇은 더 강력한 모델을 사용하고 모든 것을 클라우드에서 처리하기 때문에 응답 속도가 DeepSeek만큼 좋지는 않을 것입니다. 하지만 더 작은 모델이 어떤 성능을 보이는지 살펴보겠습니다.
수학 문제 풀기
70억 개의 매개변수를 가진 모델의 성능을 테스트하기 위해 방정식을 제시하고 적분을 수행해 보도록 했습니다. 특히 기본 모델은 수학적으로 어려움을 겪는 경우가 많기 때문에 모델의 성능에 매우 만족했습니다. 이 실험은 대규모 언어 모델이 미적분 문제를 처리할 수 있는 능력을 보여주는데, 이는 물리학이나 공학과 같은 분야에서 큰 가능성을 보여줍니다.
이것이 가장 복잡한 문제는 아니지만, 대규모 언어 모델을 로컬에서 실행하는 것이 매우 유용한 이유입니다. 모든 것을 클라우드에 의존하는 대신, 간단한 쿼리를 즉시 처리할 수 있는 즉시 사용 가능한 도구를 확보하는 것이 중요합니다. 이러한 접근 방식은 응답 시간을 개선하고 대화형 AI 애플리케이션에 필수적인 인터넷 연결 의존도를 낮춥니다.
코드 디버깅
DeepSeek-R1 모델을 로컬에서 실행하는 가장 좋은 방법 중 하나는 AI 프로젝트를 지원하는 것입니다. 특히 인터넷에 접속할 수 없는 비행기에서 코드를 작성하고 디버깅을 위해 대규모 언어 모델에 크게 의존할 때 유용합니다. 그 효과를 테스트하기 위해 의도적으로 작은 오류가 포함된 코드를 제공했습니다.
코드를 쉽게 처리할 수 있었지만, 통합 메모리가 1GB에 불과한 MacBook Air M8에서 실행했다는 점이 주목할 만합니다. (통합 메모리는 CPU, GPU, 그리고 SoC(시스템 온 칩)의 다른 부품들이 공유하는 메모리입니다.)
IDE와 여러 브라우저 탭을 열어둔 상태에서 MacBook 성능이 크게 저하되었습니다. 응답성을 복구하기 위해 모든 프로그램을 강제로 종료해야 했습니다. 16GB RAM이나 중급 GPU를 사용한다면 이러한 문제는 발생하지 않을 것입니다.
더 큰 코드베이스로도 테스트해 봤지만, 생각의 고리에 갇히는 경우가 많아서 더 강력한 모델을 완전히 대체하는 데에는 권장하지 않습니다. 하지만 작은 코드 조각을 빠르게 생성하는 데는 여전히 유용합니다.
퍼즐을 풀어라
또한 이 모델이 퍼즐과 논리적 추론을 얼마나 잘 처리하는지 궁금해서 문제를 통해 테스트해 보았습니다. 몬티 홀, 쉽게 풀었지만, DeepSeek을 정말 좋아하게 된 건 다른 이유에서였어요.
이미지에서 볼 수 있듯이, DeepSeek은 단순히 답을 제공하는 것이 아니라, 추론 과정 전체를 안내하고 어떻게 해답에 도달했는지 설명합니다. 이는 DeepSeek이 단순히 훈련 데이터에서 암기된 답을 떠올리는 것이 아니라 문제를 깊이 생각하고 있음을 보여줍니다. 이는 DeepSeek이 인간의 추론을 모방하는 방식으로 정보를 처리하고 해답을 도출하는 능력을 보여주며, AI 모델 개발에 있어 중요한 단계입니다.
검색
대규모 언어 모델을 로컬에서 실행할 때 가장 큰 단점 중 하나는 지식의 단절입니다. 인터넷에 접속할 수 없기 때문에 최근 사건에 대한 신뢰할 수 있는 정보를 찾기가 어려울 수 있습니다. 이러한 한계는 테스트에서도 분명하게 드러났지만, 초기 iPhone에 대한 간략한 설명을 요청했을 때 더욱 심해졌습니다. 부정확하고 의도치 않게 우스꽝스러운 응답이 나왔기 때문입니다.
분명 첫 번째 아이폰은 iOS 5와 함께 출시되지 않았고, 존재하지도 않았던 "아이폰 3"도 아직 출시되지 않았습니다. 거의 모든 면에서 결함이 많았습니다. 몇 가지 기본적인 질문으로 테스트해 보았지만, 부정확한 부분은 여전했습니다.
بعد DeepSeek, 데이터 유출 사고 발생데이터 유출 걱정 없이 로컬에서 이 모델을 실행할 수 있다는 사실에 안심이 되었습니다. 이상적이지는 않지만, 인터넷에 연결되지 않은 AI 비서를 사용할 수 있다는 것은 큰 장점입니다. 특히 스마트폰과 같은 소비자 기기에 이와 같은 모델이 더 많이 통합되기를 바랍니다. Apple Intelligence에 대한 실망.
