Разработчик создал AI-прокси на Java для доступа к Gemini с контекстом в 1 млн токенов

Разработчик создает открытый формат документов BDoc (Book Document) как замену закрытым стандартам. Для анализа сложных структур нужна модель с большим контекстным окном. По данным Habr, у Google Gemini оно составляет 1 миллион токенов. Но Google заблокировал API Gemini для ряда регионов, и прямое подключение стало невозможным.

Вместо отказа от Gemini разработчик написал на Java прокси-сервер ai-proxy. Программа принимает запросы от локального приложения и перенаправляет их на серверы Google через инфраструктуру, не затронутую блокировкой. Так проблема доступа была решена на сетевом уровне.

BDoc — это современная альтернатива бинарным форматам в издательском деле. Для работы с ним важно «понимать» объемные документы и связи между элементами. Контекстное окно в 1 млн токенов позволяет анализировать макеты, стили и содержимое — с обычными моделями это невозможно.

Создание прокси для обхода блокировок — симптом общей тенденции. Доступ к мощным моделям теперь зависит от геополитики и корпоративных решений. Для стартапов из неохваченных регионов это создает дополнительные барьеры. Сообщество ищет обходные пути, но такие решения нестабильны: правила платформ постоянно меняются. В долгосрочной перспективе нужны более открытые или локализованные инфраструктурные решения.

Для отрасли это имеет двоякий эффект. С одной стороны, команды могут продолжать работу над проектами и создавать конкуренцию устаревшим стандартам. С другой — reliance на неофициальные методы создает риски для стабильности продуктов. Разработчик BDoc, решив проблему доступа, теперь сосредоточен на создании формата нового поколения. Его пример показывает, что современным разработчикам приходится быть не только архитекторами программ, но и инженерами по обходу инфраструктурных ограничений. Это требует дополнительных усилий и создает неопределенность, но позволяет проектам развиваться в условиях внешних ограничений.