Pro zprovoznění lokálních modelů na H3.0 serveru potřebujete nainstalovat ekosystém zvaný Ollama.
Veškeré a aktuální informace o Ollama jsou na jejich stránkách: https://ollama.com
Toto je stručný postup, jak nainstalovat Ollama na H3.0 Linux server tak, aby v H3.0 fungovalo napojení lokálních AI modelů.
- Instalace Ollama pro Linux se provede přes příkazovou řádku / terminál příkazem:
curl -fsSL https://ollama.com/install.sh | sh
2. Lokální model se nainstaluje příkazemollama pull llama3.2
Kde to llama3.2 je název modelu, který chcete do systému natáhnout a umožnit tak jeho chod. Seznam dalších modelů je na https://ollama.com/search Nejlepší v současnosti je ta llama3.2 a ta vám stačí. Zajímavé jsou také gemma3 a některý z modelů deepseek, například deepseek-r1 (ale ten je moc ukecanej, protože má v odpovědi reasoning postup toho jak k té odpovědi došel), ale ty jsou také náročnějščí na paměť což se výrazně projeví na rychlosti.
3. Poté už jenom spustíte Ollama, aby na serveru fungovala příkazem:ollama serve
4. Když budete chtít nějaký model otestovat v terminálu, tak ho spustíte příkazem “run”, tedy napříkladollama run llama3.2
AI model se pak spustí na příkazové řádce a vy si s ním můžete povídat. Až vás přestane bavit, napíšete místo promptu “/bye”
5. Ollama pak běží na localhostu na portu 11434, tedy z H3.0 se pak volá jako http://localhost:11434/api/generate
6. Pokud byste chtěli nějaký model zrušit, stačí napsatollama rm llama3.2