С другой стороны, а кто из IT-специалистов не мечтал пожить в каберпанк антиутопии? Минцифры опубликовало проект изменений в постановление Правительства РФ от 26 октября 2012 г. № 1101, согласно которым РКН наделяется правом включать в реестр интернет-ресурсов, доступ к которым в России должен блокироваться, сайты с информацией о способах, методах обеспечения доступа к информационным ресурсам и информационно-телекоммуникационным сетям, доступ к которым ограничен на территории РФ. Источники СМИ сообщили, что новый проект постановления Минцифры коснётся сайтов со списками VPN или инструкциями по созданию собственных VPN и прокси-серверов, позволяющих обходить ограничения по запрету....

Что делаем? Настроим так чтобы на одном порту 443 висел и nginx с нашими сайтами и xray XTLS-Reality, который работает как прокси для авторизованных пользователей и притворяется валидным сайтом (в примере www.google.com) для всех остальных. XTLS-Reality предназначен для защиты от выявления методом active probing. В отличие от старых протоколов (Shadowsocks, VMess, VLESS, и транспорта XTLS-Vision), определение “свой/чужой” здесь происходит на этапе TLS-хендшейка в момент чтения ClientHello. Если клиент опознан как “свой”, сервер работает как прокси, а если нет - TLS подключение передается на другой хост с TLS (например, google....

В статье опишу настройку web API и web-чат похожего на ChatGPT для LLaMA-подобных моделей. Всё это довольно сносно работает на CPU Ryzen 3600 + 32ГБ ОЗУ. API + веб чат Для настройки нам понадобятся три проекта: llama.cpp - мозг нашей системы gpt-llama.cpp - эмулирует API от OpenAI. Реализовано не всё chatbot-ui - web интерфейс для доступа к моделям OpenAI После установки компонентов должна получиться такая структура: local-chat - корень проекта ├── chatbot-ui ├── gpt-llama....

Наверное уже все пообщались в текстовом режиме с llama-подобными моделями, в этой заметке расскажу как можно настроить полностью голосовое общение с моделью. Для общения нам понадобятся: whisper.cpp - преобразование голоса в текст silero - синтез речи модель совместимая с llama.cpp Silero TTS По моему Silero лучший синтезатор речи который можно запустить под Linux с довольно приличной скорость на CPU. На хабре есть несколько статей от разработчиков, поищите, интересное чтиво. Пользователи Mac могу пропустить этот шаг и использовать для синтеза Siri....

Если попытаться спросить ChatGPT о чем-то связанном с насилием, криминалом и т.п. - он ответит, что не будет обсуждать эту тему т.к. это не этично. OpenAI и Microsoft постоянно рассказывают о своих усилиях в области безопасности ИИ. Тот же Google какое-то время назад прикрыл доступ к своей языковой модели после того как пользователи научили её “плохим” вещам. Но так ли всё хорошо с безопасным и этичным использованием ИИ и куда мы идем?...

На волне шумихи вокруг GPT-3 появилось желание покапаться во внутреннем устройстве нейронных сетей и попробовать написать сеть для классификации текстов по категориям/тэгам. Это первая заметка из серии, речь в ней пойдет о предварительной подготовке данных. Зачем необходима подготовка данных? Текстовые данные не могут быть использованы напрямую в моделях машинного обучения, так как в нейронах используются простые математические функции которые работают с числовыми данными. Для подготовки текстовых данных используют так называемое кодирование слов - это преобразование текстовых данных в числовые (векторные) представления, которые затем можно использовать для машинного обучения....

Для тех кто не в курсе, Obsidian - кроссплатформенная программа для ведения заметок в markdown формате, которую можно использовать для создания личной базы знаний или вашего «второго мозга» по методу Zettelkasten. Как работает метод можно почитать по ссылке. На самом деле Obsidian не обязательно использовать именно как «второй мозг», это просто удобная программа для ведения заметок с большим количеством плагинов. Один минус - Obsidian из коробки поддерживает синхронизацию заметок только через собственный платный сервис....