LLM Solution

В Caila представлено большое количество сервисов для доступа к LLM, как облачным, так и self-hosted. Caila позволяет получить прямой доступ ко всем GPT сервисам через унифицированный API. Кроме того, вы можете запускать открытые модели на своих серверах и платить не за API-вызовы, а за аренду сервера.

LLM сервисы, доступные в Caila

Сервисы для чата с LLM собраны в каталоге в категории GPT

Все сервисы можно разделить на категории:

• Прокси к облачным LLM. Все сервисы доступны с территории РФ и через единый ключ доступа.
• Открытые LLM, доступные через API. Эти модели хостятся на наших серверах и доступны постоянно. Список доступных моделей периодически меняется. Актуальный список смотрите в каталоге.
• Открытые LLM, доступные для запуска на выделенных серверах. На выделенных ресурсах пользователь может запускать любые модели. В Caila есть поддержка нескольких инференс-движков.

Прокси	Хостятся у нас	Для запуска на своих серверах
OpenAI Claude Gemini DeepSeek Perplexity GigaChat YandexGPT	Qwen2.5 PaliGemma T-pro T-lite	DeepSeek Llama Qwen2

API для прямого доступа к LLM

Описание Caila API для доступа к LLM находится здесь: Чат-генерация

Ко всем сервисам можно обращаться через OpenAI Adapter

Инструменты для работы с LLM и GPT сервисами

• Multi Chat — позволяет вести диалог одновременно с несколькими моделями или даже с одной моделью, но с разными настройками. Предназначено для side-by-side сравнения разных моделей и выбора подходящих моделей и параметров. Подробнее читайте в специальном разделе Multi Chat.
• GPT Viewer — приложение позволяет включать сохранение истории и просматривать историю запросов к LLM-моделям, которые хостятся на Ваших выделенных серверах.
• LLM Eval — набор приложений — Jupyter notebooks для запуска бенчмарков на LLM-сервисы через Caila API. Доступ к инструментам запуска бенчмарков предоставляется по запросу через техподдержку.