У нас есть ChatGPT дома
В статье опишу настройку web API и web-чат похожего на ChatGPT для LLaMA-подобных моделей. Всё это довольно сносно работает на CPU Ryzen 3600 + 32ГБ ОЗУ. API + веб чат Для настройки нам понадобятся три проекта: llama.cpp - мозг нашей системы gpt-llama.cpp - эмулирует API от OpenAI. Реализовано не всё chatbot-ui - web интерфейс для доступа к моделям OpenAI После установки компонентов должна получиться такая структура: local-chat - корень проекта ├── chatbot-ui ├── gpt-llama.cpp └── llama.cpp ├── main* └── models/your-ggml-model.bin llama.cpp Думаю многие уже попробовали установить и пообщаться с llama-подобными моделями, но в любом случае опишу процесс установки. ...