결국 ollama와 openwebui는 pc에..

nas에 n8n과 qdrant까지도 올리는 것을 성공하였는데 결국 local llm을 쓰려면 gpu 때문에 pc를 켜놓긴 해야하네요. n8n workflow에 필요한 대부분의 것들은 nas에 두고 gpu돌릴때만 pc의 ollama에 접근하려고 합니다. 많은 튜토리얼이 나와있긴 하지만 또 한번에 되는 법이 없네요.. 결국 chatGPT와 gemini와 함께 docker compose 파일을 만져가며 설치하였습니다. 이후 nas의 n8n에서 ollama를 구동할 수 있도록 설정도 요청하니 맞추어 해주네요.

이전의 삽질들은 결국 open web ui와 ollama를 같은 container에 올리는 것이 해법이었음을 깨달았습니다.

1 comment