저는 한동안 AI 어시스턴트를 활용하며 ‘바이브 코딩(vibe-coding)’을 해왔습니다. 프로젝트를 진행하면서 ChatGPT로부터 거절당하는 경우를 포함해 AI는 매우 유용하지만, 구독료가 빠르게 쌓인다는 단점이 있습니다. 하지만 더 큰 문제는 제가 작성하는 모든 코드 조각이 제가 제어할 수 없는 원격 서버로 전송된다는 찜찜한 기분입니다. 개인 프로젝트라면 사소한 불편함에 불과하겠지만, 전문적이거나 민감한 작업에서는 결코 간과할 수 없는 문제입니다.
그래서 저는 몇 달 동안 계획해 왔던 일을 드디어 마무리하기로 했습니다. 바로 에디터 내부에서 작동하는 로컬 코딩 어시스턴트를 설정하는 것입니다. 결국 VS Code 내에서 작동하고, 오프라인으로 실행되며, 설정 후에는 비용이 전혀 들지 않는 환경을 구축했습니다. 제가 정착한 이 스택은 매우 훌륭하며, 그 이후로 다시는 뒤를 돌아보지 않게 되었습니다.
이 스택은 완벽하게 들어맞습니다
마찰 없이 함께 작동하는 세 가지 도구
전체 설정은 Ollama, Continue.dev, 그리고 우수한 로컬 모델이라는 세 가지 도구를 기반으로 합니다. 이것으로 충분합니다. 클라우드 API 키나 매달 나가는 요금, 혹은 내 컴퓨터를 벗어저는 데이터에 대해 걱정할 필요가 없습니다.
Ollama는 단일 터미널 명령어로 LLM을 로컬에서 불러와 실행할 수 있게 해주는 런타임으로, 로컬 LLM의 이점을 누릴 수 있는 최고의 앱 중 하나입니다. 모델 관리, 하드웨어 호환성, 로컬 API를 통한 모델 서빙 등 복잡한 작업을 대신 처리해 줍니다. Windows, macOS, Linux에서 모두 작동하며, 설치 방법은 실행 파일을 다운로드하여 실행하고 터미널에서 원하는 모델을 다운로드하는 명령어를 입력하는 것만큼 간단합니다.
Continue.dev는 오픈 소스이며 활발하게 유지 관리되는 VS Code 확장 프로그램으로, 에디터와 컴퓨터에서 실행 중인 로컬 Ollama 인스턴스를 연결해 줍니다. 인라인 자동 완성, VS Code 내부에 고정된 채팅 패널, 코드 블록을 강조 표시하여 빠르게 설명을 받는 기능 등을 사용할 수 있습니다. 심지어 에디터를 떠나지 않고도 AI 모델에게 코드 리팩토링이나 테스트 생성을 요청할 수도 있습니다.
마지막으로 중요한 것은 바로 모델입니다. 여기서부터는 어려운 결정을 내려야 합니다.
##### Ollama
OS Windows, macOS, Linux
개발자 Ollama
가격 모델 무료, 오픈 소스
단일 명령어로 자신의 컴퓨터에서 대규모 언어 모델을 다운로드하고 실행할 수 있는 가벼운 로컬 런타임입니다.
모델 선택이 성패를 좌우합니다
빠르고 유능하며 로컬 친화적인 모델 선택하기
어떤 모델을 선택하느냐에 따라 전체 경험이 완전히 달라질 수 있습니다. 로컬 AI 모델을 실행하기 위해 괴물 같은 GPU가 필요하지는 않지만, 자신의 필요와 PC 하드웨어에 맞춰 현명하게 선택해야 합니다.
저는 Alibaba의 코딩 특화 모델인 Qwen2.5-Coder에서 최적의 균형을 찾았습니다. 7B 버전은 8GB VRAM에서 원활하게 실행될 정도로 크기 대비 뛰어난 성능을 보여주며, 32B 모델은 코드 생성 벤치마크에서 GPT-4o와 대등한 성능을 제공합니다. 92개 이상의 프로그래밍 언어를 지원하며, 손상된 코드를 수정하는 데도 매우 능숙합니다.
관련 기사
VS Code용 로컬 코딩 AI를 구축했는데 놀라울 정도로 좋습니다
성가신 온라인 구독 서비스보다 AI와 함께 코딩하는 더 좋은 방법이 있습니다.
사용 가능한 VRAM이 16GB 이상으로 더 넉넉하다면 DeepSeek-Coder-V2도 고려해 볼 만합니다. 이 모델은 2조 개 이상의 코드 및 기술 텍스트 토큰으로 학습된 Mixture-of-Experts 모델입니다. 쉽게 말해 추론 능력이 더 강력하여 프로젝트 전체를 처음부터 바이브 코딩으로 구축하는 데 더 적합합니다. 다른 옵션으로는 Qwen3-Coder와 Llama 3.3 70B가 있으며, Hugging Face와 같은 곳에서 자신에게 더 잘 맞을 수 있는 다른 모델들을 자유롭게 찾아보시기 바랍니다.
설정은 예상보다 훨씬 간단합니다
놀라울 정도로 적은 단계로 어시스턴트 구축하기
모든 것을 작동시키려면 Ollama를 설치한 다음, 터미널 명령어를 실행하여 원하는 모델을 다운로드하세요. 예를 들어, Qwen2.5-Coder를 설치하려면 다음 명령어를 실행합니다.
ollama run qwen2.5-coder:7b
Ollama가 모델 다운로드를 완료하면 자동으로 로컬 서버가 시작됩니다. 브라우저에서 127.0.0.1:11434에 접속하여 "Ollama is running"이라는 텍스트가 표시되는지 확인하여 테스트할 수 있습니다. 만약 표시되지 않는다면 Ollama 설정으로 이동하여 ‘Expose Ollama to the network’ 슬라이더를 활성화하세요.
그런 다음 VS Code로 전환하여 확장 프로그램 탭에서 Continue를 검색하세요. 확장 프로그램을 설치하고 사이드바에 Continue 버튼이 나타날 때까지 기다립니다. 확장 프로그램 아이콘을 클릭하고 다음 단계를 따르세요.
확장 프로그램 창 오른쪽 상단에 있는 설정(톱니바퀴) 아이콘을 클릭합니다. Configs 탭으로 이동하여 기존 Local Config 옆의 설정 아이콘을 클릭하세요. 만약 없다면 플러스 아이콘을 클릭하여 새 설정을 만듭니다. 여기서는 간단한 YAML 형식을 사용합니다. 모델 이름을 입력하고, 공급자(provider)를 ollama로 설정한 뒤, 위에서 언급한 로컬 API URL을 입력하세요. 아래 제공된 템플릿을 사용하여 빠르게 시작할 수 있습니다. 모델 이름은 사용 중인 모델에 맞게 변경했는지 확인하세요.
name: Local Agent version: 1.0.0 schema: v1 models: - name: Qwen2.5-Coder provider: ollama model: qwen2.5-coder:7b roles: - autocomplete - chat - edit - apply apiBase: http://127.0.0.1:11434 모든 설정을 올바르게 마쳤다면 키보드의 Tab 키를 눌러 인라인 완성을 사용할 수 있습니다. Ctrl + L을 누르거나 Continue 아이콘을 클릭하면 채팅 창이 열리며, AI와 코드에 대해 대화하거나 코드를 생성하고 분석할 수 있습니다. 또한 Continue 내에서 즉시 모델을 전환할 수 있으므로, 빠른 완성을 위해 가벼운 모델을 사용하고 복잡한 생성 작업을 위해 더 무거운 모델을 사용하는 식으로 활용할 수 있습니다. 코딩 방식이 완전히 바뀌었습니다 ———————————- ### 더 빠른 편집, 더 적은 컨텍스트 전환, 더 나은 흐름 한동안 이 설정을 사용해 왔는데, 그 차이는 확실합니다. 가장 분명한 이점은 서버 응답을 기다릴 필요가 없다는 속도입니다. 특히 인터넷 연결이 불안정한 환경에서 작업할 때, 대부분의 클라우드 도구보다 훨씬 빠릿하게 느껴집니다. 또한 VS Code에 매우 잘 통합되어 있어 작업 중에 에디터와 브라우저를 계속 오갈 필요가 없습니다. 관련 기사 ##### 이제 다시는 AI 비용을 지불하지 않을 것입니다 AI 사용에 비용이 들 필요는 없습니다. 로컬 모델은 빠르고 개인정보 보호가 뛰어나며, 이제는 전환할 가치가 충분합니다. 하지만 저에게 가장 큰 이점은 마음의 평화입니다. 클라이언트를 위한 전문적인 작업이든 기존 코드의 보안 감사든, 민감한 작업을 할 때 데이터가 외부 서버로 유출되지 않습니다. 데이터가 어디로 가는지에 대한 정신적 부담이 없으며, 워크플로우에 개인정보 보호가 기본적으로 내장되어 있습니다. 코딩 어시스턴트 구독료를 지불하고 계셨다면, 한번 시도해 보세요. 매달 나가는 요금에 지쳤든 개인정보 보호가 걱정되든, 로컬 AI는 이제 클라우드 버전이 아깝지 않을 만큼 충분히 훌륭합니다. 사실, 에디터 내에서의 일상적인 사용과 개발 지원 측면에서는 이 스택이 더 낫습니다. AI를 인간의 사고를 대체하는 용도가 아니라, 더 빠르고 견고하게 코드를 작성하기 위한 보조 도구로 사용하는 한, 다양한 모델을 실험하는 것 외에는 더 바랄 것이 없을 것입니다.                    