Cosa fa

FreeToken porta la gestione di modelli su scala data center direttamente sul tuo desktop. Esegui modelli di grandi dimensioni in locale, in modo rapido ed efficiente.

Di:

• Runtime Edge-Native veloce : offre un servizio MoE efficiente con co-esecuzione CPU-GPU adattiva alla larghezza di banda (politica q*), streaming di pre-riempimento a doppio buffer a livello completo, caching esperto LRU globale, esecuzione compatibile con i grafi e formato di peso veloce FTW.
• Memorizzazione nella cache basata sulla semantica : include checkpoint di ancoraggio semantico per le cache ricorrenti di stato e chiave-valore, consentendo modifiche di contesto agentivo (ad esempio, chiamate di strumenti, blocchi di pensiero) per evitare ricalcoli di contesto ridondanti.
• Gestione elastica della memoria : supporta la riallocazione dinamica della VRAM in fase di esecuzione tra le cache expert e la memoria KV senza riavvii del motore o ricaricamento dei pesi.
• Ampio supporto per modelli MoE e per l’ecosistema : supporta i modelli MoE open-weight più avanzati (ad es. DeepSeek-V4-Flash, Qwen3.6-35B-A3B, GLM-5.2) su diverse scale di parametri e formati di quantizzazione (ad es. MXFP4, NVFP4, FP8, BF16), con API compatibili con Anthropic/OpenAI per una perfetta integrazione con strumenti di codifica e di chiamata di strumenti del mondo reale (ad es. Codex, Claude Code, OpenCode, OpenClaw, DeepSeek Harness).
• Ampia gamma di hardware consumer : scalabile tra laptop, desktop da gioco e GPU per workstation, con supporto nativo per le GPU NVIDIA delle serie RTX 30, RTX 40 e RTX 50.

uv pip install "freetoken[accel]"

Archivio

https://github.com/FlashML-org/FreeToken

Statistiche del repository

Contributore principale