Самостоятельный хостинг AI-приложений на Jetson Orin Nano

Зачем вам читать про самостоятельный хостинг AI-приложений?

Если вы разрабатываете AI-приложения и устали платить за облачные серверы, самостоятельный хостинг — ваш выход. В этой статье я расскажу, как поднять Ollama на Jetson Orin Nano, настроить безопасность и заставить всё работать стабильно. Вы узнаете, какие грабли я собрал и как их избежать.

Почему я выбрал Jetson Orin Nano для самостоятельного хостинга AI

Облачные AI-серверы стоят дорого: $100 в месяц и выше. Я хотел одноразовое вложение. Jetson Orin Nano Developer Kit справляется с небольшими моделями AI, потребляет мало энергии и не требует внешних модулей. Идеально для самостоятельного хостинга.

Что я купил

• Nvidia Jetson Orin Nano Developer Kit
• Набор USB-накопителей
• NVMe SSD (SD-карту не рекомендую — медленно и ненадёжно)

Установка: как я победил капризный монитор

При первом включении Nano требует обновлений. Но мой монитор засыпал через секунду после подключения питания, и я пропускал экран подтверждения. Решение: включать Nano и монитор одновременно. После этого система загрузилась, но зависла на 45 минут. Я перезагрузил — и она запросила логин, хотя я его не создавал. USB стал read-only. Пришлось использовать другой накопитель.

Совет: используйте mini-HDMI кабель и нормальный монитор. Не экономьте на периферии.

Настройка Ollama для двух приложений

После установки я развернул Ollama на Nano. Теперь один экземпляр обслуживает два моих приложения: govend (поиск событий для вендоров) и flippy card (генерация карточек для запоминания). База данных отделена от сервисов — веб-сервер выступает как хаб.

# Пример запуска Ollama на Nano
ollama pull llama2
ollama run llama2

В govend пользователь задаёт вопрос через чат-интерфейс, Ollama обращается к Algolia и возвращает релевантные события. Всё работает локально, без облачных затрат.

Безопасность при самостоятельном хостинге AI

AI — это дыра в безопасности, если не закрыть порты и не настроить прокси. Я попросил знакомых просканировать мой сервер — нашли уязвимости. Пришлось добавить:

• Rate limiting и прогрессивные блокировки
• CAPTCHA
• Заголовки безопасности (Content Security Policy, убрал unsafe-inline/unsafe-eval)
• Файл .well-known/security.txt для ответственного раскрытия
• Настройка файрвола (была проблема совместимости таблиц)

Не повторяйте мою ошибку — продумывайте безопасность с самого начала.

Сборка серверного хаба за час с Claude Code

Я использовал Claude Code для быстрого создания центральной страницы со ссылками на приложения, блог и проекты. Один промпт — и готово. Потом доработал: добавил карусель проектов, переиспользовал код из старых проектов. Весь процесс занял около часа.

Практический вывод

Самостоятельный хостинг AI-приложений на Jetson Orin Nano — реальная экономия и контроль. Но будьте готовы к танцам с бубном при установке и серьёзной работе над безопасностью. Если вы разработчик, который хочет уйти от облачных провайдеров — попробуйте. Начните с малого: разверните Ollama, подключите одно приложение, протестируйте безопасность. И помните: лучше потратить день на настройку сейчас, чем месяц на латание дыр после взлома.