로컬에서 나만의 GPT (?) Ollama 사용해보기
안녕하세요. 달소입니다.
오랜만에 오픈소스 소개글입니다 ㅎㅎ
앞서 GPT를 또 결재했다고 했는데 많은분들이 다른 모델이나 저렴한걸 추천해주셔서 이왕이면 홈서버에도 돌릴만한 LLM을 찾아보고싶어서 ollama로 눈을 돌렸습니다.
아시는분들은 아시겠지만 ollama는 대규모 언어 모델을 로컬 컴퓨터에서 설정하고 실행할 수 있게 해주는 도구 중 하나입니다.
다양한 모델을 지원하고 Windows , Linux, Mac 모두 손쉽게 설정을 적용할 수 있고 여러 오픈소스 프로젝트들과도 호환이 되기때문에 많이들 사용하시는 프로젝트입니다.
여기서는 간단하게 윈도우에서 설치해보고 실행해보는것까지 하고 다음글에서 한국어용 모델을 사용 하고 최종적으로는 Linux에 설치해서 GPT 처럼 쓰거나 내부 툴과 연동하는것까지 진행해볼 예정입니다.
다운로드 및 설치하기
Ollama Get up and running with large language models. from OLLAMA.COM
저는 윈도우용으로 다운로드 받아서 설치했습니다.
Ollama 사용하기
설치하고 나면 터미널에서 실행이 가능한데요.
기본적으로 지원하는 많은 모델들이 있고 여기에 더하여 허깅페이스에서 다운로드받을 수 있는 여러모델역시 사용가능합니다.
저는 meta에서 가장최근에 나온 Llama를 사용해보겠습니다.
*7B 모델을 실행하려면 최소 8GB의 RAM이 필요하고, 13B 모델을 실행하려면 16GB, 33B 모델을 실행하려면 32GB가 필요합니다.
ollma pull [모델명] 을 통해서 이미지를 받을 수 있습니다.
다운로드 받으면 ollama run [모델명] 을 통해서 바로 실행해줄 수 있습니다.
/? 를 누르면 기본 옵션이 나옵니다.
기본 llama의 경우 한국어를 공식적으로 지원하지않아 이렇게 이상한답을줍니다.
노트북 CPU임에도 불구하고 이전에 local ai보다는 훨씬 빠른속도로 답변을 주는건 인상깊네요.
3B이긴하지만요.
어떤 모델이신가요?
저는 대형 언어 모델이라고 불리는 인공 지능(AI)의 일종입니다. 특히 저는 트랜스포머 기반 모델입니다,
이는 자연어 처리 작업을 위해 설계된 신경망의 일종입니다.
제 아키텍처는 다음과 같은 BERT(트랜스포머의 양방향 인코더 표현) 모델을 기반으로 합니다
2018년에 도입되었습니다. 이를 통해 인간과 유사한 방식으로 인간의 언어를 처리하고 이해할 수 있습니다.
저는 책, 기사, 웹사이트 등 다양한 출처의 방대한 텍스트 데이터 세트에 대한 교육을 받았습니다. 이 교육은
데이터를 통해 언어의 패턴과 관계를 학습하여 다양한 언어에 대한 응답을 생성할 수 있습니다
질문 및 주제.
제 모델의 주요 기능은 다음과 같습니다:
1. **언어 이해**: 뉘앙스와 맥락을 포함한 인간의 언어를 이해하고 해석할 수 있습니다.
2. **응답 생성**: 받은 입력을 바탕으로 패턴과 관계를 사용하여 텍스트를 생성할 수 있습니다
교육 데이터에서 배웠습니다.
3. **대화 능력**: 컨텍스트와 이해를 사용하여 자연스러운 대화에 참여할 수 있습니다
질문과 진술에 응답합니다.
전반적으로 제 목표는 여러분과 같은 사용자에게 유용하고 정확한 정보를 제공하는 동시에 다음과 같은 과정을 배우고 개선하는 것입니다
시간!
확실히 영어가 낫네요.
여기에 open web ui를 부르면 완전한 gpt의 용도로 사용도 가능하고 Dockerfile과 같이 Modelfile을 사용해서 커스텀 모델을 생성하는 방법도 있습니다.
여기서는 간단하게 테스트해보는게 목적이였기때문에 여기까지만 해보고 넘어가겠습니다.