tag: Llama

Разбираясь с ollama и моделью llama3.1 увидел в документации, что ollama для некоторых моделей поддерживает вызов функций. Если коротко - модели под капотом передается JSON описывающий набор функций доступных ей для выполнения. Так можно добавить модели функцию получения информации из внешних источников или взаимодействия с какими-то системами. В документации приводят функцию получения текущей погоды для указанного города: [ { "type": "function", "function": { "name": "get_current_weather", "description": "Get the current weather for a city", "parameters": { "type": "object", "properties": { "city": { "type": "string", "description": "The name of the city", }, }, "required": ["city"], }, }, }, Простой код для использования функции будет примерно таким:...

В статье опишу настройку web API и web-чат похожего на ChatGPT для LLaMA-подобных моделей. Всё это довольно сносно работает на CPU Ryzen 3600 + 32ГБ ОЗУ. API + веб чат Для настройки нам понадобятся три проекта: llama.cpp - мозг нашей системы gpt-llama.cpp - эмулирует API от OpenAI. Реализовано не всё chatbot-ui - web интерфейс для доступа к моделям OpenAI После установки компонентов должна получиться такая структура: local-chat - корень проекта ├── chatbot-ui ├── gpt-llama....

Наверное уже все пообщались в текстовом режиме с llama-подобными моделями, в этой заметке расскажу как можно настроить полностью голосовое общение с моделью. Для общения нам понадобятся: whisper.cpp - преобразование голоса в текст silero - синтез речи модель совместимая с llama.cpp Silero TTS По моему Silero лучший синтезатор речи который можно запустить под Linux с довольно приличной скорость на CPU. На хабре есть несколько статей от разработчиков, поищите, интересное чтиво. Пользователи Mac могу пропустить этот шаг и использовать для синтеза Siri....