AI / LLM-инженер · RAG, Evals Открыта к офферам

Kai Lark

Kai Lark

наведи, чтобы стереть сигилпроведи пальцем по сигилу

witch in prod

AI / LLM-инженер · RAG, Evals

Запускаю LLM, которые живут в проде.

RAG, эвалы и агенты, которые не умирают на пятничных деплоях. Делала их для команд поддержки, сети салонов и клиента из legal-tech, плюс несколько своих проектов в проде. Что они работают, мне говорят эвалы, а дешёвыми их держит роутинг моделей.

Открыта к офферамОткрыта к релокации в Европу. Готова к удалёнке, UTC+3.

~73%обращений первой линии поддержки закрывает без участия человека LLM-ассистент, который я сделала (600–800 в месяц, парк из 10 000+ устройств)
+43%записей у клиента благодаря внедрению LLM, которое я провела
4разработчика в команде, где я была тимлидом LLM-платформы
Kai Lark, гравюрный портрет в полный рост
Holo · 001/001 SSS
Kai Larkno gods no masters
Избранные проекты

В проде

● запущено · 2024–2025

LLM-ассистент первой линии поддержки

B2B-платформа фонового аудио

Задача
Парк из 10 000+ устройств каждый месяц давал большой поток обращений на первую линию.
Что сделала
LLM-ассистент поддержки: промпт-слой (system prompts, few-shot примеры, формат ответов), база знаний, структурированная как вход для модели, распознавание исправных и неисправных Raspberry Pi по фото через мультимодальную LLM.
Результат
Сам закрывает ~73% обращений первой линии, это 600–800 в месяц без участия человека.
Роль
Спроектировала и внедрила; менторила middle-инженера.
PythonClaude APIvision promptingGrafana
● запущено · клиент под NDA

Платформа поддержки и AI-аналитики

Клиент из e-commerce

Задача
Обращения в поддержку разбросаны по звонкам, маркетплейсам, мессенджерам и форуму.
Что сделала
Единый интерфейс поверх 4 потоков данных, 3 AI-бота отвечают по всей базе знаний и эскалируют, когда не уверены, RAG на Qdrant (8 коллекций), мониторинг в Langfuse.
Результат
Миграция модели эмбеддингов: качество ответов по базе знаний по внутренней оценке выросло с 0.59 до 0.82.
Роль
Тимлид: архитектура, команда из 4 разработчиков, коммуникация с клиентом.
PythonFastAPIQdrantLangfuseGemini via OpenRouterDocker
● запущено · клиент под NDA

AI-консультант для записи

Сеть салонов красоты

Что сделала
AI-консультант с tool calling: находит свободные окна и записывает на консультации. База знаний на Qdrant, мониторинг в Langfuse.
Результат
+43% записей благодаря внедрению LLM.
Роль
Спроектировала и сделала целиком.
PythonFastAPIQdrantLangfusetool calling
● в проде · open source

job-hunter-agent

Telegram-бот + дашборд рынка вакансий

Что сделала
LLM-скоринг вакансий: Haiku первым проходом, Sonnet-судья для пограничных случаев. Подключаемые источники, add-by-URL с SSRF-guard.
Результат
Смещение скоринга снизилось с +13 до +1.6 на golden set из 115 вакансий со слепой разметкой.
Роль
Одна: проектирование, разработка, деплой, эвалы.
PythonaiogramFastAPIPostgreSQLClaude API
github.com/dontkaiad/job-hunter-agent →
● в проде · open source

Nexus & Arcana

AI-агенты в Telegram + React Mini App

Что сделала
Роутинг интентов по 11+ доменам, экономный роутинг Haiku/Sonnet под регрессионными тестами, RAG-память на гибридном поиске (FTS + pgvector, RRF, реранк).
Результат
Доля найденных нужных фактов выросла с 72% до 100% на маленьком тестовом наборе из 9 вопросов.
Роль
Одна: проектирование, разработка, деплой, эвалы.
PythonFastAPIpgvectorClaude APIWhisper
github.com/dontkaiad/nexus-arcana →
▚ Ещё проекты (9) · нажми, чтобы раскрыть
● запущено · NDA

Тренер продаж и переговоров

AI-тренер для звонков по продажам и переговоров.

Подробнее

Telegram-бот + Mini App: пользователь записывает весь разговор о продаже или переговоры голосовым, система его расшифровывает и через LLM выдаёт структурный разбор: что получилось, что улучшить, какие следующие шаги. Спроектировала систему и написала ТЗ на разработку; настроила промпты и роутинг моделей через OpenRouter (Gemini Flash 3).

Telegram Mini AppWhisper / transcriptionOpenRouter (Gemini Flash 3)LLM prompting
● работает · NDA

Платформа для работы ассистентов

Рабочее пространство в вебе и Telegram для ассистентов и предпринимателей.

Подробнее

CRM, HR-автоматизация, финансы, групповые чаты, контроль задач и генерация договоров, плюс AI-делегатор задач (подбор ассистента под предпринимателя только одна функция из многих). Спроектировала переделку Telegram-бота в единого AI-агента (подробное ТЗ): он знает структуру команды (роли и подчинение), сам считает рейтинги в нужных чатах, фиксирует ошибки сотрудников по контексту, превращает свободные запросы ассистентов в задачи и отвечает на вопросы о рабочем процессе с учётом контекста. Настроила промпты AI-ассистента под требования клиента. Потом инициировала переезд учёта задач из Google Sheets в веб-приложение: записи, отчёты и дашборды в одном месте. Вела роадмап и планирование спринтов на двух разработчиков (веб + Telegram-бот).

Telegram Bot APIAI agent designprompt engineeringSheets → web migrationsprint planning
● запущено · NDA

Legal-tech платформа для дел

Legal-tech платформа для клиента: анализ судебной практики по районам, генерация документов по шаблонам.

Подробнее

RAG-поиск по судебной практике (Qdrant), генерация документов по шаблонам, кроссплатформенная авторизация.

PythonQdrantRAGLangfuse
● запущено · NDA

Агрегатор торгов по недвижимости

Telegram-бот, который собирает лоты торгов по недвижимости из открытых источников.

Подробнее

Собирает лоты из открытых источников и присылает уведомления о новых.

PythonReactGitLab CI/CD
● запущено

Переводчик субтитров в браузере

Расширение браузера для изучения английского: живые субтитры поверх любого видео с мгновенным переводом.

Подробнее

Накладывает субтитры прямо на любое видео, которое играет в браузере, и переводит их на лету через ChatGPT.

Browser extensionChatGPT APIsubtitle overlay
● работает

Mini App с питомцем

Игра в Telegram Mini App, построенная на нескольких AI-интеграциях.

Подробнее

Загружаешь фото настоящего питомца, и модель картинок (Nano Banana 2 через OpenRouter) генерирует его виртуальную версию; дополнительные скины генерируются по запросу, это платная монетизация. Мем-мини-игра работает как короткий пайплайн: одна генерация картинки через LLM (OpenRouter, комбинированный промпт) делится на два варианта, потом параллельно локально убирается фон через RMBG-1.4 ONNX, на выходе две готовые картинки (PNG + WebP). Аудио-обработчик записывает голос питомца, модель вычищает лишний шум, и чистый звук идёт в игру. Несколько питомцев, платежи, мини-игры. По команде на мне были декомпозиция, бэклог с приоритизацией по ICE, спринты и ТЗ на ~3 разработчиков и дизайнера.

Nano Banana 2 (OpenRouter)RMBG-1.4 ONNXvoice cleanupTelegram Mini Apppayments
t.me/dogidog_game_bot →
● работает

klgpff — бот-писатель на Opus 5.5

Бот для длинной прозы с памятью канона и prompt caching.

Подробнее

По умолчанию пишет сцены на Opus 5.5; опциональный роутер на Haiku может выбирать Opus / Sonnet / Haiku под каждый запрос (/model auto). Prompt caching: статичный системный промпт, cache breakpoint на последнем ответе, а канон фактов под запрос дописывается в конец сообщения пользователя, так что закэшированный префикс не меняется; чтение из кэша стоит от 5 до 10% цены входа. Факты о персонажах эмбеддятся через Voyage и лежат в Postgres с pgvector (точный косинусный поиск). Поиск включается после 150 фактов; до этого модель получает все факты, и при нынешних 132 фактах поиск не используется. Ещё: слепой A/B/C-эвал моделей, учёт стоимости по чатам с разбивкой на чтение и запись кэша, сжатие истории через суммаризацию. Разбор и результаты эвалов в docs/ARCHITECTURE.md и docs/EVALS.md.

PythonClaude Opus 5.5prompt cachingpgvectorblind evalscost tracking
github.com/dontkaiad/klgpff-bot →
● пет-проект

Local LLM Sims

Песочница для локальных LLM: 7 Raspberry Pi в одной сети с локальной Llama (nano-модели).

Подробнее

Мультиагентная симуляция в духе Sims, где на каждом устройстве живёт автономный агент. Сделала, чтобы освоить self-hosted и локальный инференс руками, а не только в теории.

Raspberry Pi clusterllama.cppmulti-agent simulation
● работает

heylark_cats

Telegram-бот + Mini App, чтобы удалённо координировать кэтситтера.

Подробнее

Сделала, когда уехала из дома на два месяца, чтобы координировать кэтситтера без ручных проверок. Бот ведёт регулярные и разовые задачи по уходу (кормление, лоток, вода и необязательные бонусные дела) и начисляет баллы во внутренней валюте; хозяйка получает тихий лог активности, а не пинг на каждую задачу. Mini App (React) показывает те же данные: дашборд для того, кто живёт с котами, и перенесённый туда гайд по уходу. Доступ на грантах и по приложениям (разделы для ситтера и только для хозяйки), вход двумя путями: Telegram initData внутри Mini App и общий Telegram-Login SSO для всех моих продуктов (один cookie-домен, одна таблица грантов, каждый продукт сам решает, кого пускать). RAG-поддержка (pgvector + Haiku, «спроси про квартиру и котов») выкатывается за фича-флагом.

PythonaiogramFastAPIPostgreSQLReact + ViteDockerCaddyGitHub CI/CD
github.com/dontkaiad/heylark_cats →
Качество и стоимость

AI: точно и недорого

▚ Эвалы, а не вайбы
  • Golden sets со слепой разметкой (115 вакансий в job-hunter-agent)
  • A/B моделей по стоимости и качеству ответов
  • recall@k / precision@k, регрессионные эвалы в CI
▚ Стоимость под контролем
  • Экономный роутинг моделей: по умолчанию дешёвая модель, сильная только там, где окупается, под регрессионными тестами
  • Self-hosted инференс там, где он к месту (llama.cpp, Ollama)
▚ Наблюдаемость и guardrails
  • Трейсинг и мониторинг качества ответов через Langfuse в проде
  • Проверки grounding и валидация вывода: validate → retry → fallback

Полная документация по эвалам на GitHub: nexus-arcana ↗ · job-hunter-agent ↗

Опыт

Мой путь

  1. 2024 – сейчасAI-инженерия. RAG, AI-агенты и эвалы в продакшене, для клиентов и для своих продуктов. Тимлид, менторство, работа с C-level.
  2. 2023 – 2024Prompt engineering. Системные промпты, few-shot, форматы ответов, первые интеграции LLM. Плюс дежурства по инцидентам и постмортемы.
  3. 2022 – 2023QA. Тестирование и мониторинг.
  4. 2019 – 2022Техническая поддержка. Начала с первой линии и выросла до третьей. Замещала руководителя технической поддержки.

▚ Весь путь от первой линии поддержки до AI-инженерии прошла самостоятельно, не останавливаюсь и сейчас. Если проекту нужен инструмент, который я ещё не трогала, я освою его и применю в работе.

Self-hosted

Под капотом

Один VPS. Без DevOps-команды: я его настроила, защитила и держу на ходу.

kai@vps — cat server.cfg
✓ one VPS, every service in docker compose
✓ caddy: reverse proxy, auto-HTTPS, subdomain per service
✓ deploys on green CI, health-checked — unhealthy container fails the deploy, old version stays up
✓ hardening: key-only ssh, no root login, ufw, fail2ban
✓ shared auth (SSO) and postgresql with a role/grant per product
✓ healthchecks, heartbeat cron, telegram alerts on failure
Статьи

Свежие статьи

Все статьи → · RSS

После работы

Вне работы

⌁

Компульсивно автоматизирую собственную жизнь: Nexus правда ведёт мою, а не просто лежит в портфолио.

✶

Увлекаюсь эзотерикой, урбексом и музыкальной индустрией.

⌖

10k+ часов в League of Legends, мейн ADC, пик Master tier. Тот же гиперфокус и механический гринд я приношу в разработку.

◭

Принадлежу трём котам.

⚡

СДВГ-мозг: поэтому я одержимо автоматизирую всё, лишь бы не делать руками дважды.

Фотолог
Три кота Kai вместе на столе
три повелителя
Kai в заброшенном здании
там, где мне быть не положено
Экран повышения до Master в League of Legends
пиковый гринд до мастера
Открыта к офферам

Нанимаете под AI, который разгрузит людей?

Ищу роль AI / LLM-инженера.

kai@heylark — logistics
locationSaint Petersburg, UTC+3. Full overlap with European working hours
relocationReady to relocate: Cyprus · Poland · Czechia · Serbia
remoteRemote-ready
languagesEnglish C1 · Russian native
kai@heylark:~$
Kai Lark · heylark.dev, крутится на одном VPS, держит всё один человек.

эзотерическая практика и наука - разные вещи, поэтому я их не смешиваю. не все в этом мире магия.