오랫동안 저는 ChatGPT에 계약서를 붙여넣거나, 요약본을 요청하기 위해 기밀 보고서를 업로드하거나, 클라우드 AI 도구에 고객 제안서를 입력하는 데 아무런 거리낌이 없었습니다. 그러던 어느 날, 문득 (수년 동안 대충 훑어보기만 했던) 서비스 이용 약관을 제대로 읽어보게 되었고, 이 파일들이 제 기기를 떠나 적어도 일시적으로는 다른 누군가의 서버에 저장되고 있다는 사실을 깨달았습니다. 흥미롭게도, 예전에 한 동료가 그 이유에 대해 설명한 적이 있다는 것을 알게 되었습니다. ChatGPT에 기밀 정보를 맡기지 마세요.이러한 불편함 때문에 더 나은 방법을 찾아보게 되었습니다.
제가 발견한 것은 AnythingLLM이라는 무료 오픈소스 데스크톱 애플리케이션입니다. 이 앱을 사용하면 자신의 문서를 기반으로 완전히 맞춤 설정 가능한 AI 비서를 만들 수 있으며, 모든 작업을 기기에서 수행할 수 있습니다. AnythingLLM은 현재 가장 인기 있는 AI 비서 중 하나로 자리매김했습니다. 제가 매일 사용하는 오픈소스 AI 애플리케이션들실제 변화의 모습은 다음과 같습니다.
로압 스리유에스
AnythingLLM을 설치하고 구성하는 데는 몇 분밖에 걸리지 않습니다.
시작하기도 전에 데이터가 정확히 어디로 가는지 알려줍니다.
설치 파일을 다운로드한 후 더블 클릭하면 설치 마법사가 실행됩니다. 설치 과정에서 필요한 구성 요소들이 자동으로 다운로드되는데, 호환되는 NVIDIA GPU가 있는 경우 Ollama의 CUDA 라이브러리도 다운로드됩니다. 이 과정은 한번 이해하면 매우 편리합니다. CUDA 코어란 무엇이며, 어떻게 전반적인 컴퓨팅 성능을 향상시키는가? FFProbe는 미디어 처리를 위한 도구이며, Meeting Assistant는 오디오 기능을 위한 자산입니다. 이 모든 과정은 사용자의 입력이 전혀 필요하지 않습니다. 설치 프로그램을 두 번 클릭하는 것부터 메인 제어판이 나타날 때까지 전체 과정이 5분도 채 걸리지 않습니다.
AnythingLLM을 실행하면 가장 먼저 데이터 처리 및 개인정보 보호 화면이 나타나는데, 꼭 읽어보시길 바랍니다. 이 화면에는 양식과 대화 내용이 오직 사용자의 기기에서만 접근 가능하며, 문서 텍스트는 AnythingLLM에 내장된 임베더를 사용하여 비공개로 삽입되고, 벡터는 LanceDB를 통해 로컬에 저장된다는 내용이 명확하게 명시되어 있습니다. 만약 이전에 검색을 해보셨다면, 벡터 데이터베이스란 무엇이며, 인공지능을 어떻게 향상시키는가?이 구성 요소를 완전히 오프라인 상태로 유지하는 것이 개인 정보 보호에 있어 매우 중요한 이점이라는 것을 알게 되실 겁니다. 토글 버튼도 없고, 선택 해제 옵션은 설정 메뉴 깊숙이 숨겨져 있습니다. 모든 데이터는 기본적으로 로컬에 저장됩니다.
개인정보 보호 개요 직후, AnythingLLM은 LLM 환경 설정 화면으로 안내합니다. 지원되는 제공업체 목록은 매우 다양합니다. 클라우드 측에서는 OpenAI, Anthropic, Azure OpenAI, Gemini, Groq 등이 있으며, 온프레미스 측에서는 Ollama, LM Studio, LocalAI, KoboldCPP, Dell Pro AI Studio, Microsoft Foundry Local, Docker Model Runner 등이 있습니다. 기본 옵션인 "AnythingLLM"은 Ollama 기반의 로컬 모델 실행기를 제공하므로 Microsoft의 Phi-4(9.1GB) 또는 Alibaba의 Qwen3(0.6B, 600MB)와 같은 모델을 추가 설정 없이 애플리케이션 내에서 직접 다운로드할 수 있습니다.
컴퓨터에 전용 그래픽 처리 장치(GPU)가 없더라도 문제없습니다. Groq API에 연결하면 Llama 3 70B와 같은 빠른 추론 모델을 거의 무료로 이용할 수 있으며, API 키만 있으면 바로 사용할 수 있습니다. 설정에서 언제든지 공급자를 변경할 수 있으므로 초기 설정에서 선택한 옵션에 얽매이지 않습니다. 저는 처음에는 로컬 공급자를 사용해 테스트를 진행했는데, Phi-3 3.8B가 중간 사양의 노트북에서 문서 질의응답을 예상보다 훨씬 잘 처리해서 놀랐습니다. 그 후 속도가 더 중요한 고사양 작업에는 Groq를 사용했습니다.
AnythingLLM은 설정이 완료되면 개인 문서를 전문적인 AI 비서로 변환해 줍니다.
파일들이 더욱 명확하게 다시 이야기합니다.
대시보드에 접속하면 시작 체크리스트와 "내 작업 공간"이라는 가상 작업 공간이 있는 사이드바가 나타납니다. 작업 공간은 AnythingLLM의 핵심 구성 개념으로, 각 작업 공간은 문서와 대화가 공존하는 독립적인 환경입니다. 각 작업 공간을 마치 독립된 방처럼 생각해보세요. 하나는 고객 계약서용, 다른 하나는 내부 조사용, 또 다른 하나는 개인 메모용처럼 사용할 수 있습니다. 필요한 경우 작업 공간 간에 문서를 공유할 수 있지만, 서로 간섭하지 않아 AI 답변의 정확성과 집중도를 유지할 수 있습니다.
드래그 앤 드롭으로 간단하게 작업 공간에 문서를 추가할 수 있습니다. AnythingLLM은 Word 문서, 일반 텍스트 파일, CSV 파일, 스프레드시트, 오디오 파일은 물론 PDF 파일까지 지원합니다. NotebookLM은 이를 사용하여 모든 PDF 파일을 대화형 대화 파일로 변환합니다.업로드 패널에는 "웹사이트 가져오기" 필드도 있어서 웹 페이지나 온라인 리소스를 가져오려면 URL을 붙여넣기만 하면 자동으로 콘텐츠를 가져옵니다. 업로드가 완료되면 AnythingLLM은 각 파일을 처리하여 텍스트를 분할하고 벡터를 로컬에 저장합니다. 일반적인 10페이지 분량의 PDF 파일은 처리하는 데 몇 초밖에 걸리지 않습니다.
요원과 편향된 경찰 명령으로 인해 AnythingLLM은 단순한 스마트 검색 상자 이상의 기능을 하게 되었습니다.
이제부터 진짜 흥미진진해집니다.
AnythingLLM은 단순한 문서 질의응답을 넘어선 에이전트 기능을 갖추고 있습니다. 타이핑 기능도 제공합니다. @대리인 채팅에서 AI 에이전트를 활성화하여 웹 검색, 심층 검색, 앱 간 작업 등 도구 호출 작업을 수행할 수 있습니다. 사용자 지정 에이전트 스킬은 AnythingLLM 커뮤니티 허브에서 이용 가능하며, 해당 라이브러리는 지속적으로 확장되고 있습니다. 슬래시 명령 기능을 사용하면 반복적인 작업을 위한 프롬프트 템플릿을 생성하고 저장할 수 있습니다. 예를 들어 회의록을 일관된 형식으로 요약하거나, 특정 어조로 이메일 답장을 작성하거나, 업로드된 문서에서 특정 필드를 매번 추출하는 등의 작업을 자동화할 수 있습니다.
더 나아가고 싶다면, 어떤 웹페이지에서든 AnythingLLM 인스턴스와 상호 작용할 수 있는 브라우저 확장 프로그램과 Microsoft Word에 어시스턴트를 직접 통합할 수 있는 GPTLocalhost 연동 기능도 있습니다. 팀 단위로 공유 액세스가 필요한 경우, 다중 사용자 지원, 역할 기반 제어, 화이트리스트 기능을 제공하는 Docker 버전을 선택할 수 있습니다. 데스크톱 애플리케이션만으로도 개인 사용자에게는 충분하지만, 팀 구성 옵션도 있다는 점을 알아두면 좋습니다.
당신(대상: 당신)을 위한 AI 혁명에 오신 것을 환영합니다.
AnythingLLM으로 바꾸면서 저는 AI를 임대하는 서비스가 아닌 제가 소유한 도구로 여기기 시작했습니다. 제 문서는 제 드라이브에 그대로 남아 있고, 질의 내용도 비공개로 유지되며, 이제는 공용 인터넷뿐 아니라 제 상황을 진정으로 이해하는 디지털 비서를 갖게 되었습니다.
