저는 오랫동안 클라우드 기반 챗봇을 사용해 왔습니다. 대규모 언어 모델을 실행하려면 엄청난 컴퓨팅 파워가 필요했기 때문에 이러한 프로그램들이 유일한 선택지였습니다. 하지만 LM Studio와 LLM Quantum Models 덕분에 이제 기존에 소유하고 있던 하드웨어를 사용하여 오프라인에서도 훌륭한 모델을 실행할 수 있습니다. 로컬 AI에 대한 호기심으로 시작했던 것이 이제는 비용이 전혀 들지 않고 오프라인에서도 작동하며 AI와의 상호작용을 완벽하게 제어할 수 있는 강력한 대안으로 자리 잡았습니다.
클라우드 AI와 실수로 민감한 정보를 공유했을 때 어떤 일이 발생하는지 직접 경험한 후 이러한 변화가 필요하게 되었습니다. 마치 평범한 대화처럼 느껴지는 대화 중에 ChatGPT와 PIN을 공유하게 된 것입니다. 그 부주의한 순간, 제가 클라우드 AI를 마치 디지털 노트처럼 취급하고 보안에 미치는 영향을 고려하지 않았다는 사실을 깨달았습니다. LM Studio는 LLM AI의 기능을 데스크톱에 직접 제공하여 이러한 근본적인 문제를 해결하고 개인 정보 보호 위험과 반복적인 비용을 제거합니다.
로압 스리유에스
LM Studio는 로컬 AI의 복잡성을 해결합니다.
로컬 LLM 모델을 실행하는 것이 그 어느 때보다 쉬워졌습니다!
발견 전 LM스튜디오새로 만든 오픈소스 도구들을 다루느라 셀 수 없이 많은 시간을 보냈습니다. GitHub 저장소에 푹 빠져, 장황한 기술 문서를 읽고, 업데이트될 때마다 깨지는 Python 환경을 구성하고, Hugging Face의 oobabooga 페이지에서 적합한 템플릿을 찾느라 정신이 없었습니다. 제대로 작동하는 설정을 갖추는 순간, 기반 도구들이 더 이상 사용되지 않거나 상당한 변경이 발생하여 전체 과정을 처음부터 다시 시작해야 했습니다.
LM Studio는 모든 것을 세련된 데스크톱 애플리케이션에 통합하여 대용량 언어 모델을 다른 소프트웨어 설치처럼 간편하게 다운로드하고 실행할 수 있도록 함으로써 이러한 경험을 완전히 바꿔놓았습니다. 오프라인에서 AI를 실행하려면 양자 AI 모델과 LM Studio와 같은 인터페이스 도구, 두 가지가 필요합니다. 양자 모델은 컴퓨팅 리소스를 훨씬 적게 사용하면서도 대부분의 기능을 유지하는 완전한 AI 모델의 컴팩트 버전입니다. 값비싼 서버급 하드웨어 대신, 적절한 CPU와 16GB RAM을 갖춘 일반 노트북에서도 정교한 AI 모델을 실행할 수 있습니다. LM Studio를 사용하면 오래된 기기에서도 AI 챗봇을 실행하기!
LM Studio와 함께 사용하기 가장 좋아하는 정량적 모델 중 하나는 Dolphin3입니다. 광범위한 콘텐츠 필터링 기능을 갖춘 주류 AI 모델과 달리, Dolphin3는 임의적인 제한 없이 진정으로 유용하게 활용되도록 설계되었습니다. 다른 모델이 거부할 수 있는 요청에도 응답하고, 잠재적인 오용에 대해 잔소리하지 않고 명확한 답변을 제공합니다. 법의학 연구, 법률 업무, 또는 심도 있는 대화와 조언을 위해 이 비지도 학습 AI 모델은 금세 제가 가장 좋아하는 모델 중 하나가 되었습니다.
몇 분 안에 Dolphin3를 실행하세요
빠르고 쉬운 시작 가이드
AI 비서를 오프라인으로 설정하는 데는 생각보다 많은 기술 전문 지식이 필요하지 않습니다. 전체 과정은 약 20분 정도 소요되며, 그중 대부분은 다운로드가 완료될 때까지 기다리는 시간입니다.
첫 번째, LM Studio 다운로드 공식 웹사이트에서 다운로드하여 다른 애플리케이션처럼 설치하세요. 이 프로그램은 Windows, Mac, Linux와 호환되며, Apple Silicon Mac은 이러한 AI 추론 작업에서 탁월한 성능을 발휘합니다. 설치가 완료되면 LM Studio가 깔끔한 인터페이스와 모델 검색을 위한 검색창으로 시작됩니다.
"Dolphin3"을 검색하면 여러 버전을 사용할 수 있습니다. RAM이 16GB라면 3억 개의 매개변수를 가진 버전부터 시작하는 것이 좋고, RAM이 8GB라면 8억 개의 매개변수를 가진 작은 버전부터 시작하는 것이 좋습니다. 다운로드 크기는 선택한 버전에 따라 2GB에서 6GB까지 다양합니다. LM Studio는 각 모델에 필요한 메모리 용량을 정확하게 표시하여 하드웨어 호환성을 추측할 필요가 없도록 합니다.
다운로드가 완료되면 인터페이스로 이동하세요. 잡담 사이드바 오른쪽 상단에서 버튼을 클릭하세요 로드할 모델을 선택하세요 창 상단 중앙에 다운로드된 모델이 드롭다운 목록으로 나타납니다. Dolphin3를 선택하면 모델 로딩이 시작됩니다. 로딩 과정은 약 30초 정도 소요되며, 로딩이 완료되면 채팅을 시작할 수 있습니다. ChatGPT를 사용해 본 사람이라면 누구나 익숙한 인터페이스로, 하단에는 메시지 상자가, 상단에는 대화 기록이 표시됩니다.
여기서 Dolphin3에 질문을 했는데, 잘 작동했습니다. ChatGPT나 Claude만큼 놀라울 정도로 빠르지는 않았지만, 그럭저럭 괜찮은 수준이었습니다. 보시다시피, 약 320단어(453자)의 답변을 약 11초 만에 완료하여 눈에 띄는 지연 없이 원활한 대화를 이어갔습니다. 모든 작업이 로컬 환경에서 진행되므로 인터넷 연결 상태에 관계없이 응답 시간이 일정하게 유지됩니다.
대화가 끝나면 버튼을 클릭할 수 있습니다. 꺼내기 메모리에서 Dolphin3를 완전히 삭제합니다. 이렇게 하면 대화의 모든 흔적이 즉시 지워지고 시스템 리소스가 확보됩니다. 채팅 기록을 무기한 보관하는 클라우드 서비스와 달리, 양식을 삭제하면 대화가 영구적으로 삭제되는 시점을 완벽하게 제어할 수 있습니다.
내가 Dolphin3를 좋아하는 이유
빠르고, 특별하고, 놀라울 정도로 유능합니다.
그렇지 않을 것이라는 것은 사실입니다. ChatGPT에 대한 훌륭한 대안 복잡한 결론이나 최신 웹 관련 업데이트를 제공하지는 않지만, 다른 면에서는 충분히 만족스럽습니다. 개인정보 보호에 민감한 대화가 이 목록의 최우선 순위인데, 데이터 보존 정책이나 기업 감시에 대한 걱정 없이 제 깊은 생각과 걱정을 공유할 수 있기 때문입니다. 여기에는 개인적인 생각, 감정적 문제, 민감한 직장 상황 등이 포함되는데, 클라우드 서비스에서는 절대 신뢰하지 않을 내용입니다.
많이있다 지금 바로 시도할 수 있는 다른 오프라인 대규모 언어 모델(LLM)하지만 저는 콘텐츠 관리 방식 때문에 여전히 Dolphin3를 고수합니다. 비지도 학습 모델이라고 해서 윤리나 맥락을 무시하는 것은 아닙니다. 방대하고 다양한 데이터 세트를 기반으로 학습된 LLaMA를 기반으로 하기 때문에 옳고 그름에 대한 강력한 이해를 보여줍니다. "비지도 학습"이란 다른 모델이 회피할 법한 주제, 예를 들어 논란의 여지가 있는 정치 문제나 민감한 역사적 사건 등을 다룰 수 있다는 것을 의미합니다. 끊임없이 사용자의 말을 감시하는 듯한 느낌을 주는 많은 AI 비서들과 달리, Dolphin3는 불필요한 제약 없이 솔직하고 직접적인 답변을 제공합니다. 그 결과, 기업에서 정제된 챗봇과 소통하는 것보다는 박식한 친구와 대화하는 듯한 느낌을 받을 수 있습니다. 복잡한 주제를 탐구하고 안전 강의를 유발하지 않고도 불편한 질문을 할 수 있습니다.
LM Studio가 Dolphin3와 함께 제공하는 RAG 기능도 정말 마음에 듭니다. 민감한 정보가 포함된 계약서, 법률 문서, 개인정보 보호정책을 분석할 수 있습니다. 이러한 문서에는 기밀 유지 조건, 독점 조항, 또는 클라우드 서비스와 공유해서는 안 되는 개인 정보가 포함되는 경우가 많습니다. 모든 것을 로컬로 유지하면서 복잡한 법률 용어를 분석할 수 있는 AI 비서는 저와 같은 프리랜서와 소규모 사업주에게 민감한 문서를 처리할 때 엄청난 가치를 제공합니다.
간단한 프로그래밍 도움말도 효과적입니다. 특히 빠른 디버깅이나 익숙하지 않은 코드 패턴을 설명하는 데 유용합니다. 복잡한 개발 프로젝트에서는 네이티브 AI에 의존하지 않지만, 비공개 코드를 외부 서버에 노출하지 않고도 집중적인 기술 관련 질문에 답변하는 데 매우 효과적입니다.
마지막으로, 여행 상황에서는 오프라인 AI의 또 다른 주요 이점이 있습니다. 장거리 출퇴근, 원격 근무, 또는 연결성이 좋지 않은 지역에서 완벽하게 작동하는 AI 비서가 있다는 것은 매우 중요합니다. 저는 Dolphin3를 사용하여 완전히 오프라인 상태에서도 이메일 작성, 데이터 분석, 문제 해결을 수행했는데, 이는 클라우드 기반 솔루션으로는 불가능한 일입니다.
저는 아직도 클라우드 AI를 사용하고 있습니다.
클라우드 AI를 완전히 없앨 수는 없고, 애초에 그게 목표도 아니었습니다. 사실, 정말 강력한 모델을 실행하려면 클라우드 AI가 필요하며, 클라우드 AI는 완벽한 선택입니다. 개인적으로 저는 최신 정보와 대규모 지식 데이터베이스가 필요한 연구 및 웹 기반 작업에 Perplexity를 즐겨 사용합니다. 이러한 서비스는 방대한 컴퓨팅 리소스, 실시간 데이터 또는 최신 학습이 필요한 작업에 매우 효과적입니다.
가장 중요한 것은 클라우드 AI와 오프라인 AI 간의 적절한 균형을 찾아 개인정보 보호와 보안을 극대화하고 인프라 의존도를 최소화하는 것입니다. 고급 기능, 웹 검색 통합, 또는 민감한 정보가 필요하지 않을 때는 클라우드 서비스를 사용합니다. 그 외 모든 경우, 특히 개인 정보나 독점 데이터와 관련된 대화나 가용성 보장이 필요한 상황에서는 온프레미스 환경이 대신합니다.
