DocumentationDémarrerPlateforme IkigeniaLearning HubArcaniaGuidesUtilisation de Llava

Utilisation de LLaVA avec LLaMA.cpp

Apprenez à configurer et utiliser LLaVA/BakLLaVA avec LLaMA.cpp pour les capacités de vision

LLaVA / BakLLaVA peut être utilisé avec LLaMA.cpp.
Vous pouvez consulter la documentation complète de llama.cpp ici.

Étapes d'Installation

Clonez le dépôt :

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

Téléchargez le modèle : Par exemple, nous utiliserons le modèle BakLLaVA-1, qui est celui utilisé sur l'instance de démonstration.

Rendez-vous sur mys/ggml_bakllava-1 et téléchargez soit la version q4 soit q5, ainsi que le fichier mmproj-model-f16.gguf.

Le fichier mmproj-model-f16.gguf est nécessaire pour le modèle de vision.
Compilez le serveur :
```
make server
```
Lancez le serveur : Consultez la documentation llama.cpp pour plus d'informations sur les options du serveur. Ou exécutez ./server --help.
```
./server -t 4 -c 4096 -ngl 35 -b 512 --mlock -m models/openchat_3.5.Q5_K_M.gguf --mmproj models/mmproj-model-f16.gguf
```

Activez le serveur dans le client :
paramètres -> Vision -> Vision Backend -> LLaMA.cpp