Arsitektur Multi-Agent Hermes & 9Router Interceptor

Ekosistem multi-agent memerlukan orkestrasi perutean request yang efisien, isolasi konteks antar-subagent, dan kontrol kuota terpusat.

Formula Efisiensi Token

Efisiensi komputasi token dihitung dengan rasio pemangkasan konteks:

Implementasi Interceptor

Berikut adalah implementasi handler interceptor pada gateway:

export interface RequestInterceptContext {
  provider: string;
  model: string;
  streaming: boolean;
}

export function routeRequest(ctx: RequestInterceptContext): string {
  console.log(`Routing to provider: ${ctx.provider} for model ${ctx.model}`);
  return `http://localhost:20127/v1/chat/completions`;
}

Topologi Jaringan & Alur Request

Berikut adalah alur request dari orchestrator agent ke upstream provider via 9Router:

graph TD
    Client[Hermes Multi-Agent] -->|Request Prompt| Router[9Router Interceptor :20127]
    Router -->|Check Quota & Cache| Cache[(SQLite WAL Store)]
    Router -->|Proxy SSE Stream| Provider[Upstream LLM Provider]
    Provider -->|Stream Response Chunks| Router
    Router -->|Forward SSE Stream| Client