ChatGPT, Gemini 등과 같은 서비스에 프롬프트를 보낼 때마다, 해당 데이터는 인터넷을 거쳐 어딘가의 서버에 도달하며 사용자가 직접 볼 수 없는 시스템의 일부가 됩니다. 클라우드 모델이 더 빠르고 똑똑하며 사용하기 쉽다는 점을 고려하면, 이러한 트레이드오프는 보통 감수할 만한 가치가 있습니다.
하지만 스마트폰에서 소형 언어 모델(Small Language Model)을 로컬로 구동해 본 경험은 제가 AI를 사용하는 방식을 완전히 바꿔놓았습니다. 이 경험은 더 개인적이며, 때로는 예상보다 훨씬 실용적입니다. 클라우드 AI만큼 강력하지는 않지만, 특정 작업에 있어서는 오히려 더 나은 도구입니다.
제가 스마트폰에서 로컬 LLM을 사용하며 가장 유용하다고 느낀 방법들을 소개합니다.
관련 기사
사고의 파트너로 활용하기
폰 밖으로 내보내고 싶지 않은 질문들
출처: Oluwademilade Afolabi / All Things N ChatGPT나 Google에 입력하기 전에 잠시 망설여지는 질문들이 있습니다. 부적절해서가 아니라, 너무 개인적인 내용이라 계정과 연결된 서버로 전송하는 것이 꺼려지기 때문입니다. 무엇을 "너무 개인적"이라고 볼지는 사람마다 다르겠지만, 누구나 자신만의 보이지 않는 선이 있는 것 같습니다.
저는 이제 그런 질문들을 로컬 모델에게 가져갑니다. 대화는 제 기기 안에 머물며, 만약 더 신중을 기하고 싶다면 비행기 모드를 켜서 외부와 완전히 차단된 상태로 대화할 수도 있습니다. 그 순간만큼은 외부 세계와 연결되지 않은 채, 오직 저와 모델만이 존재하게 됩니다.
이 점이 제가 AI를 사용하는 방식을 바꿨습니다. 이제는 소리 내어 생각하거나, 미완성된 아이디어를 테스트하거나, 평소라면 혼자만 간직했을 질문들을 더 편하게 던질 수 있게 되었습니다.
##### MNN
복잡한 메모 정리하기
구조화된 정보로 변환
출처: Oluwademilade Afolabi / All Things N 저는 메모를 많이 하는 편인데, 솔직히 말해 대부분은 엉망입니다. 앞뒤가 맞지 않는 음성 인식 텍스트, 맥락 없는 불렛 포인트, 그 순간에는 완벽하게 이해했지만 나중에는 전혀 알 수 없는 생각들이 뒤섞여 있죠. 예전에는 이런 메모를 보며 한참을 고민하고, 줄을 이리저리 옮기며 제가 무슨 의도로 썼는지 재구성하느라 시간을 허비하곤 했습니다.
이제는 그런 생각의 파편들을 로컬 모델에 붙여넣고 정리를 부탁합니다. 모델은 그 안에서 핵심을 찾아내고, 제가 무엇을 고민하고 있었는지 파악하여 작업하기 좋은 깔끔한 형태로 돌려줍니다. 완벽하게 다듬어진 것은 아니지만, 다음 단계로 나아가기에 충분히 논리적인 결과물을 얻을 수 있습니다.
이 방식은 어디로 보내기에는 너무 날것인 메모를 다룰 때 특히 효과적입니다. 모든 데이터가 기기 내에 머물기 때문에, 실명이나 수치, 개인적인 맥락이 포함된 자료를 붙여넣는 데 주저함이 없습니다. 앞서 언급했듯, 텍스트가 기기 밖으로 나가지 않기 때문에 어디로 전송되는지 고민할 필요가 없습니다. 이것이 바로 제가 모든 작업을 로컬 AI로 전환하고 문서를 클라우드에 보내는 것을 중단한 이유입니다.
빠른 코드 검토
논리적 오류를 확인해야 할 때
독점적인 로직, 내부 도구, 클라이언트별 설정 등 클라우드 모델에 코드를 붙여넣는 것이 서비스 약관과 관계없이 위험할 수 있는 상황은 많습니다. 스마트폰에서 구동되는 로컬 LLM은 노트북을 사용할 수 없을 때 가벼운 대안이 되어줍니다. 데스크톱에서 MCP 도구와 함께 로컬 LLM을 사용하는 여러 흥미로운 방법이 있는 것처럼, 저도 스마트폰에서 직접 오류를 설명하거나 작은 함수를 붙여넣고, 혹은 코드 뭉치가 무엇을 의미하는지 쉬운 언어로 설명을 요청할 수 있습니다.
관련 기사
제대로 된 IDE를 완전히 대체할 수는 없지만, 부족한 부분을 채워줍니다. 이 방법은 최대 수백 줄 정도의 작은 코드 조각에서 가장 잘 작동합니다. 그 범위 내에서는 기기 내에서 돌아가는 소형 모델이라도 논리를 설명하거나, 명백한 실수를 찾아내거나, 더 깔끔한 접근 방식을 제안하는 데 충분한 능력을 발휘합니다.
부담 없는 언어 튜터로 활용하기
연속 기록, 점수, 압박 없이 연습하기
출처: Oluwademilade Afolabi / All Things N 클라우드 기반의 언어 학습 앱들은 학습 도구라기보다 모바일 게임처럼 느껴질 때가 많습니다. 연속 기록을 추적하고, 알림으로 재촉하며, 참여를 유도하기 위해 광고를 띄우죠. 로컬 LLM은 그런 것을 전혀 하지 않습니다.
저는 프랑스어와 스페인어를 더 자유로운 방식으로 연습하기 위해 이를 사용하고 있습니다. 킨들과 ChatGPT를 활용해 언어를 배우는 방식에서 영감을 받아, 문법에 대한 엉뚱한 질문을 하거나 역할극을 요청하고, 실수에 대한 걱정 없이 편하게 대화를 나눕니다. 점수 시스템도 없고 평가받는다는 느낌도 없습니다.
로컬에서 구동되기 때문에 오프라인에서도 작동합니다. 비행기 안에서나, 호텔 Wi-Fi가 불안정할 때, 혹은 연결 상태가 좋지 않은 곳 어디서든 연습할 수 있습니다. 덕분에 연결 상태를 신경 쓰지 않고도 짧은 시간 동안 틈틈이 학습하기가 훨씬 수월합니다.
카메라로 사물을 비추고 질문하기
"이게 뭐야?"
출처: Raghav Sethi/All Things N 일부 로컬 모델은 텍스트뿐만 아니라 이미지도 처리할 수 있는데(이를 멀티모달 모델이라고 합니다), 이는 실용적인 활용 범위를 넓혀줍니다. 저는 주로 화이트보드 내용을 요약하거나, 손글씨 메모를 해석하고, 사진에서 핵심 내용을 추출하는 데 사용합니다.
일상적인 상황에서도 유용합니다. 성분 표시를 찍어 알레르기 유발 물질을 확인하거나, 제품 포장을 촬영해 생소한 용어를 이해하고, 식물을 사진으로 찍어 대략적인 이름을 확인하기도 합니다. 모델이 기기 내에서 완전히 실행되기 때문에 이 모든 과정에 인터넷 연결이 필요하지 않습니다.
결과가 항상 완벽한 것은 아닙니다. 특히 이미지가 흐릿하거나 복잡할 경우 소형 모델은 세부 사항을 잘못 인식(환각 현상)할 수 있습니다. 그럼에도 불구하고, 빠른 맥락 파악이나 참고용 의견을 얻기에는 충분하며, 보통은 그 정도면 충분합니다.
작지만 색다른 유용함을 가진 모델
알리바바가 오픈 소스 프로젝트로 개발한 MNN Chat은 모바일 하드웨어에서 성능을 매우 효율적으로 끌어내기 때문에 제가 가장 즐겨 사용하는 도구가 되었습니다. 이 모델은 안드로이드 폰에서 작은 LLM을 구동할 수 있으며, 또 구동해야 한다는 사실을 스스로 증명하고 있습니다.
물론 스마트폰에서 로컬 LLM을 돌리는 것이 클라우드 AI를 완전히 대체할 수는 없습니다. 고도의 작업, 복잡한 추론, 코딩, 심층 연구 등에서는 여전히 대형 모델이 우위에 있습니다. 하지만 그것이 핵심은 아닙니다. 로컬 모델은 다른 역할을 수행합니다. 개인적이고, 언제든 손이 닿는 곳에 있으며, 작고 일상적인 작업에 매우 유용합니다.