Разбираясь с ollama и моделью llama3.1 увидел в документации, что ollama для некоторых моделей поддерживает вызов функций. Если коротко - модели под капотом передается JSON описывающий набор функций доступных ей для выполнения. Так можно добавить модели функцию получения информации из внешних источников или взаимодействия с какими-то системами. В документации приводят функцию получения текущей погоды для указанного города: [ { "type": "function", "function": { "name": "get_current_weather", "description": "Get the current weather for a city", "parameters": { "type": "object", "properties": { "city": { "type": "string", "description": "The name of the city", }, }, "required": ["city"], }, }, }, Простой код для использования функции будет примерно таким:...

В инфополе ворвалась новая диффузионная модель Flux и порвала всех конкурентов. Из своих тестов и того, что видел на Reddit, изображения значительно лучше, особенно в плане анатомии и злосчастных рук, чем то, что делает Stable Diffusion. Модель доступна в двух вариантах Schnell (разрешено использование в коммерческих проектах) и Dev (не для коммерческого использования). Обе версии имеют один размер, но Schnell генерирует изображения за меньшее число шагов и немного худшего качества чем Dev....

Это новая версия предыдущей заметки про синхронизацию Obsidian с помощью плагина LiveSync т.к. плагин обновился, плюс более подробно опишу настройку CouchDB. Если у вас нет возможности поднять свой сервер CouchDB, предлагаю услуги по настройке базы на моем сервере, вам останется только настроить плагин. 50 МБ - бесплатно 200 МБ - 100 ₽/месяц 500 МБ - 200 ₽/месяц Обсуждаемый плагин Obsidian поддерживает end-to-end шифрование, данные в базе будут зашированы вашим паролем. По всем вопросам пишите в телеграм @coyotewld или на почту me@coyotle....

В продолжение предыдущей заметки давайте сделаем ещё один шаг и добавим возможность боту отвечать текстом на голосовые сообщения. Для распознования голоса будем использовать python обертку над whisper.cpp. Более подробно как работает бот смотрите предыдущий пост, тут я сделаю небольшой рефакторинг и добавлю новый обработчик для голосовых. Устанавливаем зависимости deep-translator==1.11.4 llama_cpp_python==0.2.77 loguru==0.7.2 python-dotenv==1.0.1 requests==2.32.3 telebot==0.0.5 whisper_cpp_python==0.2.0 import datetime import os from uuid import uuid4 import requests import telebot from deep_translator import GoogleTranslator from dotenv import load_dotenv from llama_cpp import Llama from loguru import logger from telebot....

В заметке расскажу как на python сделать простого чат бота для телеграм на базе последней версии llm модели llama-3. Предположим у нас уже установлен python и CUDA (если хотите использовать gpu для ускорения). Для взаимодействия с моделью на python есть несколько вариантов, чтобы не усложнять будем использовать библиотеку llama.cpp и квантованную модель в формате GGUF. Обратите внимание, нужна Instruct версия. Подготовка В телеграм с помощью @BotFather создайте нового бота и получите токен....

Только обнаружил, что уже год Forgejo поддерживает экшены на подобии Github Actions для автоматического запуска ci/cd пайплайнов. Пайплайны по синтаксису совместимы с Github и поддерживают готовые Github экшены https://github.com/marketplace?type=actions. У меня изначально ci/cd был реализован на Forgejo + Drone, потом Drone был заменен на Woodpecker (форк Drone), ну а затем собственно увидел, что появился встроенный механизм и перешел на него. Для работы экшен модуль должен быть включен в конфиге Forgejo:...

В заметке опишу как организовать доступ к серверу в локальной сети через Xray. Про базовую настройку Xray можно посмотреть тут. В терминологии xray схема с реверс-прокси состоит из двух участников: portal и bridge. Portal - это сервер который доступен из интернет и который выполняет роль реверс-прокси. Bridge - сервер/клиент который находится в приватной сети и через который осуществляется доступ к ресурсу в приватной сети. Допустим у нас в локальной сети есть веб-сервер без публичного IP и мы хотим опубликовать его через xray portal....