# Tokios > Tokios exposes your private local LLM deployments through a secure, outbound-only tunnel at https://api.tokios.com — compatible with any OpenAI or Anthropic API client. ## Instructions - Use "connector" for the local tokios-connector process - Use "deployment" for the public model name in the API model field - Use "upstream model id" for the model served by Ollama, llama.cpp, vLLM, LM Studio, or other backends - API keys use the prefix sk-tok- - Connector tokens use the prefix ct-tok- - The dashboard is the Tokios web UI ## Get Started - [One endpoint for all your local models](https://docs.tokios.com): Point any agent or app at your local models — from anywhere. - [Connect your local model to Tokios](https://docs.tokios.com/quickstart.md): Connect a runtime, verify end-to-end, and wire up your client — no inbound ports, public IP, or NAT changes. - [How Tokios works: your models, your hardware, one endpoint](https://docs.tokios.com/how-it-works.md): Learn how Tokios uses an outbound-only WebSocket tunnel to route API requests to your local LLMs without exposing inbound ports or a public IP address. - [Install and pair the Tokios Connector](https://docs.tokios.com/setup/connector-install.md): Run the Tokios Connector next to your model and pair it with a one-time claim code via WebSocket — no inbound ports, public IP, or hand-edited tokens. - [Register your model in the Tokios console](https://docs.tokios.com/setup/register-model.md): Give your paired connector's model a public name at api.tokios.com — the string clients pass as the model field in every request. - [Create and manage Tokios API keys](https://docs.tokios.com/setup/api-keys.md): Create Bearer keys (sk-tok-…) on the Keys tab to authenticate requests to api.tokios.com, optionally scoped to specific models. - [Turn on request logging for your workspace](https://docs.tokios.com/setup/request-logging.md): Opt in to storing the prompt body of each API request — encrypted, attachments stripped, secrets redacted, deleted after 7 days — and read it from the request log in the Tokios dashboard. - [Create automation tokens for agents and scripts](https://docs.tokios.com/setup/automation-tokens.md): Mint a scoped, expiring automation token (at-tok-…) so a coding agent or script can set up and manage your Tokios workspace through the API without your password. - [Supported Local Model Backends — Tokios Connector](https://docs.tokios.com/setup/supported-backends.md): Point the Tokios Connector at Ollama, llama.cpp, vLLM, LM Studio, MLX Studio, MLX-LM Server, or Lemonade Server by setting BaseUrl (/v1) in tokios-connector.json — must speak OpenAI Chat Completions. - [Find a model that fits your hardware](https://docs.tokios.com/guides/model-fit.md): Interactive compatibility checker: find which models run on your GPU or unified-memory system, with VRAM sizing math and quantization estimates. - [Local LLM recipes](https://docs.tokios.com/guides/local-llm-recipes.md): Copy-paste configurations for common local LLM setups. Each recipe includes the exact commands, settings, and hardware requirements. - [Local LLM case studies](https://docs.tokios.com/guides/local-llm-case-studies.md): Real deployment patterns from teams and individuals running local models. What worked, what didn't, and what they'd do differently. ## Models - [Local LLM models: pick one, self-host it, reach it anywhere](https://docs.tokios.com/models.md): Choose a local LLM to self-host — compare the open-weight families Tokios works with (Qwen, DeepSeek, Llama, Gemma, and more) and match one to your hardware. - [Choose a local model and backend](https://docs.tokios.com/guides/choose-a-local-model.md): Choose a Tokios deployment setup based on your workflow, local hardware, backend, and performance needs. - [Which local model for which task?](https://docs.tokios.com/guides/model-by-task.md): Pick a local model family by task — coding, chat, reasoning, long-context, vision, tool-calling, and embeddings — before registering a deployment. - [How to read a model name](https://docs.tokios.com/guides/read-a-model-name.md): Decode open-weight model names, quantization labels, and architecture suffixes. Know what Q4_K_M, MoE, and -Instruct mean before you download. - [How to read a model card](https://docs.tokios.com/concepts/read-a-model-card.md): Find the parameters, architecture, context length, license, and file format that actually matter before you download a model. - [What are evals? A practical guide to LLM benchmarks](https://docs.tokios.com/guides/what-are-evals.md): Understand MMLU, HumanEval, MT-Bench, and other benchmarks. Know which scores matter for your use case before choosing a local model. - [Run Qwen3.6 locally and use it from anywhere](https://docs.tokios.com/models/qwen3.6.md): Serve Qwen3.6 — Qwen's most widely supported multimodal family — with Ollama, LM Studio, vLLM, or SGLang, and reach it through a Tokios endpoint. - [Run Qwen3-VL locally and use it from anywhere](https://docs.tokios.com/models/qwen3-vl.md): Serve Qwen3-VL — Qwen's dedicated vision-language family — with Ollama, LM Studio, vLLM, or SGLang, and reach it through a Tokios endpoint. - [Qwen3.8-27B: release date, hardware, local deployment](https://docs.tokios.com/models/qwen3.8.md): Qwen3.8-27B is out under Apache-2.0 with native vision and 262K context. GGUF is 17.11 GB at Q4_K_M, so a 24 GB GPU runs it — Ollama tag is live. - [DeepSeek V4.1-Flash: run the latest DeepSeek locally](https://docs.tokios.com/models/deepseek.md): Run DeepSeek V4.1-Flash locally — a 552B MoE with native vision, 8B/16B asymmetric active parameters, 1M context, and 384K output. Confirmed on vLLM, SGLang, and Ollama via Unsloth GGUF. - [Run DeepSeek-R1 locally: distills, hardware fit, and setup](https://docs.tokios.com/models/deepseek-r1.md): Serve a DeepSeek-R1 distill with Ollama — or the 671B R1 on a multi-GPU server — then reach it from any OpenAI- or Anthropic-compatible client through Tokios. - [Run GLM 5.2 and the GLM family locally, from anywhere](https://docs.tokios.com/models/glm.md): Serve Z.ai's GLM family — GLM-4 for a one-command local pull, GLM-4.5-Air for big-VRAM rigs, GLM-4.6 for multi-GPU servers, and the frontier GLM-5.2. - [GLM-5.3: weights, hardware, and local deployment](https://docs.tokios.com/models/glm-5.3.md): GLM-5.3 weights are live on Hugging Face (zai-org/GLM-5.3). 753B total parameters, ~40B active MoE, 1M token context. Covers hardware sizing, licensing, and local serving. - [Run Gemma 4 locally and use it from anywhere](https://docs.tokios.com/models/gemma.md): Serve Google's Gemma — the multimodal, multilingual open-weight family from Gemma 3 to Gemma 4 — with Ollama or LM Studio, then reach it through Tokios. - [Run Muse Glimmer 30B locally: hardware, DFlash, and setup](https://docs.tokios.com/models/muse-glimmer.md): Meta's Muse Glimmer 30B is Apache 2.0, fits a 24 GB GPU at 4-bit, and ships a DFlash drafter for 3.1x faster local agents. Tags, VRAM, and setup. - [Run Muse Spark Open 816B locally: hardware, quantization, and setup](https://docs.tokios.com/models/muse-spark-open.md): Meta's Muse Spark Open is an 816B/42B-active MoE with 1M context, multimodal input (text, image, video, audio), and frontier agentic coding scores. Hardware, GGUF variants, and setup. - [Run Llama 4 locally: Scout, Maverick, and their hardware](https://docs.tokios.com/models/llama-4.md): Serve Meta's Llama 4 Scout and Maverick on your own hardware. MoE memory math, Ollama tags, vLLM setup, and the 10M-token context reality. - [Kimi models: which one can you run locally?](https://docs.tokios.com/models/kimi.md): Moonshot AI's Kimi family compared — K3 (weights released July 27) versus downloadable K2.6 and K2.7-Code — with honest hardware requirements for self-hosting each. - [Run Kimi K3 locally: hardware and self-hosting reality](https://docs.tokios.com/models/kimi-k3.md): Can you run Kimi K3 locally? Moonshot AI's 2.8T-parameter MoE needs ~1.4 TB at its 4-bit floor — no consumer or prosumer hardware fits it today. - [Kimi K3 won't fit — what to run instead, by hardware](https://docs.tokios.com/models/kimi-k3-alternatives.md): Kimi K3 needs ~1.4 TB and no consumer or prosumer rig holds it. Here's the closest model to run instead on Strix Halo, 1–4 DGX Sparks, or a single GPU. - [Run MiMo V2.6 locally — Xiaomi's multimodal agent model](https://docs.tokios.com/models/mimo.md): Run MiMo V2.6 locally — Xiaomi's 1.02T MoE with 42B active, native multimodal (text/image/video/audio), 1M context, MIT license. The 9B distill fits a single GPU. - [Run MiniMax M3.1 Flash and M3 locally — the realistic path (and M2)](https://docs.tokios.com/models/minimax.md): MiniMax M3.1 Flash is the latest release — a 428B MoE with native multimodal, 1M context, and DSpark speculative decoding. M3 and the M2 line also documented. Here's what runs on your hardware. - [RecursiveSI Flint: run a 40B coding agent on a laptop](https://docs.tokios.com/models/flint.md): Flint is a 40B MoE model with 2.5B active parameters — runs on a 24 GB GPU at Q4 while competing with much larger models on coding benchmarks. Apache 2.0 licensed. ## Concepts - [How inference works](https://docs.tokios.com/concepts/how-inference-works.md): Follow a prompt from text to tokens to streamed reply, and see what that round trip does to your GPU's memory. - [KV cache and context length](https://docs.tokios.com/concepts/kv-cache-and-context.md): What the KV cache is, why longer context costs more memory, and the context-versus-speed tradeoff it creates. - [Memory sizing and offloading](https://docs.tokios.com/concepts/memory-and-offloading.md): The formula behind how much RAM or VRAM a model needs, and what offloading does when it doesn't fully fit. - [Quantization explained](https://docs.tokios.com/concepts/quantization.md): What quantization is, how to read GGUF quant names like Q4_K_M, and which one to pick. - [Mixture of Experts (MoE): routing, expert parallelism, and memory](https://docs.tokios.com/concepts/moe-routing-and-expert-parallelism.md): Understand Mixture of Experts (MoE): how routing works, why memory scales with total params, and which open-weight models use MoE. Includes sizing formulas and hardware guide. - [System One models: fast decisions without text generation](https://docs.tokios.com/concepts/system-one-models.md): System One models answer structured questions with probabilistic decisions — no token generation, 200× faster than autoregressive LLMs. Covers Jev (TypeSafe AI), Bongard (open-weight), and the mask-based techniques that create derivative models from existing weights. - [Quantization-aware training (QAT), explained](https://docs.tokios.com/concepts/qat.md): What quantization-aware training (QAT) is, how it differs from post-training quantization, and how to run Google's Gemma QAT checkpoints at ~4-bit VRAM. - [Serving and scaling a model](https://docs.tokios.com/concepts/model-serving-and-scaling.md): The words in an advanced run command — inference framework, precision, tensor/pipeline/expert parallelism, and speculative decoding (MTP) — explained plainly. ## Reference - [Tokios API Endpoints: OpenAI & Anthropic Reference](https://docs.tokios.com/reference/api-endpoints.md): Reference for Tokios API endpoints — /v1/chat/completions, /v1/messages, /v1/messages/count_tokens, /v1/responses, /v1/models — request/response schemas. - [tokios-connector.json configuration reference](https://docs.tokios.com/reference/connector-config.md): Full reference for the Tokios Connector config file and CLI flags — ConnectorId, Token, Routes, Upstreams, logging, and running as a service. - [Troubleshoot connecting clients to Tokios](https://docs.tokios.com/reference/troubleshooting.md): Fix the four most common reasons a client can't connect to Tokios — wrong base URL, wrong model, offline connector, unsupported feature — and error codes. - [Tokios FAQ: Setup, Connectivity, and Troubleshooting](https://docs.tokios.com/reference/faq.md): Answers to common questions about Tokios setup, firewall requirements, API compatibility, streaming, data privacy, supported backends, and billing. - [Glossary](https://docs.tokios.com/concepts/glossary.md): Short definitions for the terms you'll hit running local models, each linking to a fuller explanation. ## Getting started with local LLMs - [What is a local LLM (locallm)? The complete guide to running large language models locally](https://docs.tokios.com/guides/what-is-local-llm.md): A local LLM (also written as locallm) runs on your hardware instead of a cloud API. Learn why teams and developers choose local inference for sovereignty, speed, and control — and how to set it up. - [Self-hosted LLM — run it, serve it, control it](https://docs.tokios.com/guides/self-hosted-private-llm.md): How to self-host a private LLM (locallm) on your own hardware, pick the right runtime and model, and give it a secure authenticated endpoint your team can call from anywhere. - [Bring your AI in-house: migrate from cloud APIs to local inference](https://docs.tokios.com/guides/bring-your-ai-in-house.md): Migration guide for teams using OpenAI, Anthropic, or cloud APIs who want sovereignty, control, and custom models on their own hardware. Same API experience, zero data leaving your network. ## Hardware & fit - [Hardware reference](https://docs.tokios.com/guides/hardware-reference.md): Compare hardware for local LLM inference at a glance. Specs, model capacity, recommended models, and trade-offs for every supported platform. - [RTX PRO Blackwell variants guide](https://docs.tokios.com/guides/rtx-pro-blackwell-variants.md): Compare RTX PRO 4000, 4500, 5000, and 6000 Blackwell professional GPUs. Workstation vs Max-Q vs Server vs 'D' variants — which fits your use case. - [CMP 170HX unlock guide: 64 GB HBM2e for $250-800](https://docs.tokios.com/guides/cmp-170hx-unlock.md): Unlock the NVIDIA CMP 170HX mining card from 8 GB to 64 GB HBM2e. Vix Loader method (no flashing), benchmarks, and setup requirements. - [Mac Studio M5 Ultra buying guide: 256GB vs 512GB for local LLM](https://docs.tokios.com/guides/mac-studio-m5-ultra.md): Should you buy the 256GB or 512GB Mac Studio M5 Ultra for local LLM inference? What models fit, Apple MLX distributed inference, and comparison to DGX Spark. - [RTX 50 series consumer guide: 5090, 5080, 5070 for local LLM](https://docs.tokios.com/guides/rtx-50-series-consumer.md): Complete guide to NVIDIA RTX 5090, 5080, 5070 Ti, 5070, 5060 Ti, and 5060 for local LLM inference. FP4 native support, model compatibility, and comparison to RTX 40 series. - [Use Tokios with local AI workstations](https://docs.tokios.com/use-cases/local-ai-workstations.md): Expose models on NVIDIA GB10, DGX Spark, AMD Strix Halo, Ryzen AI Max, Apple silicon Macs, and other local AI workstations through one Tokios API endpoint. - [Quantization formats and the hardware they need](https://docs.tokios.com/models/quantization-and-hardware.md): The format×hardware matrix for local model quantization — which formats (GGUF, AWQ, GPTQ, NVFP4, MXFP4, MLX) run on which GPUs, and which to pick. - [Turn your NVIDIA DGX Spark into a private model endpoint](https://docs.tokios.com/use-cases/dgx-spark.md): Give the models on your NVIDIA DGX Spark or GB10 one OpenAI- and Anthropic-compatible endpoint that your laptop, coding agents, and teammates can reach. - [Run Qwen3.6-35B-A3B on DGX Spark](https://docs.tokios.com/guides/run-qwen36-35b-a3b-on-dgx-spark.md): Step-by-step guide to running Qwen3.6-35B-A3B (35B MoE, 3B active) on NVIDIA DGX Spark with vLLM and Tokios. Achieve 47-120 tok/s with NVFP4 quantization. - [Run DeepSeek V4.1 Flash on 2 DGX Sparks](https://docs.tokios.com/guides/run-deepseek-v41-flash-on-2-dgx-sparks.md): Step-by-step guide to running DeepSeek V4.1 Flash (763B MoE) on 2 NVIDIA DGX Sparks with tensor parallelism. Community benchmarks show 38-73 tok/s single-stream, up to 270 tok/s aggregate. - [DGX Spark model compatibility — what fits in 128GB](https://docs.tokios.com/guides/dgx-spark-model-compatibility.md): Which models run on NVIDIA DGX Spark's 128GB unified memory, recommended quantization formats, and expected throughput for dense, MoE, Qwen3.8, and GLM-5.2. - [Install and configure vLLM on NVIDIA DGX Spark](https://docs.tokios.com/guides/vllm-dgx-spark.md): vLLM installation on DGX Spark with NVFP4 quantization, optimal settings for 35B, 70B, and 120B MoE models, and troubleshooting for ARM64 and SM121 issues. - [DGX Spark memory tuning and benchmarks](https://docs.tokios.com/guides/dgx-spark-memory-tuning.md): How unified memory works on DGX Spark, KV cache sizing for different context lengths, batch trade-offs, and tuning parameters for stable inference on 128GB. - [One vs two DGX Sparks — when to scale and how to set it up](https://docs.tokios.com/guides/one-vs-two-dgx-sparks.md): Decision guide for one vs two NVIDIA DGX Sparks: when one is enough, tensor parallelism over the 200Gb/s link, and vLLM distributed configuration. - [Turn a Strix Halo or Ryzen AI Max box into a model endpoint](https://docs.tokios.com/use-cases/strix-halo.md): Give the model on your AMD Strix Halo or Ryzen AI Max+ 395 box an OpenAI- and Anthropic-compatible endpoint that Claude Code and opencode can reach. - [AMD Strix Halo model compatibility: what fits on 128GB unified](https://docs.tokios.com/guides/strix-halo-model-compatibility.md): Which models run on AMD Strix Halo (Ryzen AI Max+ 395/495) with 128GB or 192GB unified memory? Vulkan vs ROCm backend choice, best models, and system vendors. - [vLLM on Strix Halo: status, failures, and alternatives](https://docs.tokios.com/guides/vllm-strix-halo.md): vLLM does not work reliably on AMD Strix Halo (Ryzen AI Max+ 395). Here is why, and what to use instead — llama.cpp with Vulkan or pinned Ollama. - [Turn your Mac Studio into a team model endpoint](https://docs.tokios.com/use-cases/mac-studio.md): Give the model in LM Studio, Ollama, MLX Studio, or MLX-LM Server on your Mac Studio's unified memory one authenticated endpoint that teammates and coding agents can call. - [Turn your RTX workstation into a private model endpoint](https://docs.tokios.com/use-cases/rtx-workstation.md): Give the model on your RTX 5090, 4090, or 3090 desktop one OpenAI- and Anthropic-compatible endpoint that your laptop, coding agent, or teammates can reach. - [Run Qwen3.6-35B-A3B on RTX 5090](https://docs.tokios.com/guides/run-qwen36-35b-a3b-on-rtx-5090.md): Step-by-step guide to running Qwen3.6-35B-A3B (35B MoE, 3B active) on NVIDIA RTX 5090 (32 GB) with vLLM and Tokios. Achieve ~90 tok/s with NVFP4 quantization. - [Serve models from your homelab GPU server to your team](https://docs.tokios.com/use-cases/homelab-gpu-server.md): Give the models on your headless homelab GPU box a single authenticated endpoint your teammates and apps can reach, even behind CGNAT, with no inbound ports. - [Give your team access to local models](https://docs.tokios.com/use-cases/team-access.md): Share your local models with your team through a single authenticated endpoint. No port forwarding, no Tailscale setup, no networking headaches — just OpenAI-compatible API access with per-person keys. ## Serve & connect your runtime - [Ollama remote access without OLLAMA_HOST=0.0.0.0](https://docs.tokios.com/guides/ollama-remote-access.md): How to reach Ollama from another machine without setting OLLAMA_HOST=0.0.0.0 or forwarding port 11434. Keep it on localhost, add authenticated access. - [Use an LM Studio server from anywhere — safely](https://docs.tokios.com/guides/lm-studio-remote-access.md): Reach your LM Studio OpenAI-compatible server from other machines without enabling local-network serving — via an outbound-only connector and a real API key. - [Use Unsloth Studio from anywhere — safely](https://docs.tokios.com/guides/unsloth-studio-remote-access.md): Run a model in Unsloth Studio's no-code UI and reach it from other machines, agents, or teammates through one authenticated endpoint — no inbound ports. - [Use a llama.cpp server from anywhere — safely](https://docs.tokios.com/guides/llama-cpp-remote-access.md): Reach your llama.cpp OpenAI-compatible server from other machines or teammates without exposing port 8080 — via an outbound-only connector and a real API key. - [Use a vLLM server from anywhere — safely](https://docs.tokios.com/guides/vllm-remote-access.md): Reach your vLLM OpenAI-compatible server from other machines, agents, or teammates without exposing port 8000 — using an outbound-only connector and API key. - [Run vLLM on Windows with WSL2 and NVIDIA GPUs](https://docs.tokios.com/guides/vllm-windows-wsl2.md): Install and run vLLM on a Windows PC with NVIDIA GPUs using WSL2 and Docker — configure GPU passthrough, launch inference, and expose it with Tokios. - [Use an SGLang server from anywhere — safely](https://docs.tokios.com/guides/sglang-remote-access.md): Reach your SGLang OpenAI-compatible server from other machines, agents, or teammates without exposing its port — using an outbound-only connector and API key. - [Use an Xinference server from anywhere — safely](https://docs.tokios.com/guides/xinference-remote-access.md): Reach your Xinference OpenAI-compatible server from other machines, agents, or teammates without exposing its port — using an outbound-only connector. - [Use an MLX-LM Server from anywhere — safely](https://docs.tokios.com/guides/mlx-lm-server-remote-access.md): Reach your MLX-LM Server from anywhere on Apple Silicon — set up secure remote access with Tokios connector and API key auth. Start serving in 5 minutes. - [Lemonade Server remote access — AMD NPU and GPU](https://docs.tokios.com/guides/lemonade-server-remote-access.md): Reach your Lemonade Server API from anywhere — AMD NPU, Vulkan, ROCm, CUDA. Set up secure remote access with Tokios connector. Start serving in 5 minutes. - [FreeToken: MoE inference on consumer NVIDIA GPUs](https://docs.tokios.com/guides/freetoken-moe-inference.md): Run 35B-753B parameter MoE models on 8GB NVIDIA GPUs with FreeToken. UC Berkeley's edge-native engine uses dynamic CPU-GPU co-scheduling for 3-4x faster decode than Ollama. - [Run vLLM locally and access it from anywhere through Tokios](https://docs.tokios.com/guides/remote-vllm-tokios.md): Install vLLM, launch a model, add the Tokios connector, register a deployment, and call your vLLM server from any OpenAI- or Anthropic-compatible client. - [Local LLM API (locallm API): expose your models with an OpenAI-compatible endpoint](https://docs.tokios.com/guides/local-llm-api.md): Give your local models (locallm) an authenticated, OpenAI-compatible API endpoint. Compare options (Tokios, LiteLLM, LocalAI) and set up team access in minutes. - [Add API keys to local models: Ollama, vLLM, and llama.cpp](https://docs.tokios.com/guides/add-api-keys-to-local-models.md): Ollama has no API key mechanism. vLLM and llama.cpp offer 1 static key. Tokios adds real, scoped sk-tok- keys per person or service — no reverse proxy needed. - [Serve a local LLM from behind CGNAT — no public IP](https://docs.tokios.com/guides/llm-behind-cgnat.md): Reach a local model from anywhere even when carrier-grade NAT blocks port forwarding — the Tokios connector dials out, needing no public IP. - [Remote access for local LLMs — security comparison](https://docs.tokios.com/guides/remote-access-comparison.md): Compare Tailscale, Cloudflare Tunnel, SSH tunnels, and Tokios for exposing a local model API — security trade-offs, setup complexity, and when to use each. - [Tunnels, VPNs, and LLM streaming: what breaks and why](https://docs.tokios.com/guides/tunnels-and-streaming.md): Cloudflare Tunnel, ngrok, and Tailscale have documented SSE buffering, timeout, and bandwidth limits — Tokios is purpose-built for streaming LLM APIs instead. - [Model routing strategies for local models](https://docs.tokios.com/guides/model-routing.md): Register multiple local models behind 1 Tokios endpoint and route requests by task type, cost, or resilience — from simple switching to fallback chains. - [You fine-tuned a model. Now make it an API.](https://docs.tokios.com/guides/serve-your-fine-tune.md): Turn a fine-tuned model already running in Ollama or llama.cpp into a keyed https://api.tokios.com endpoint your tools, teammates, or coding agents can call. - [Test your deployment](https://docs.tokios.com/guides/benchmark-your-deployment.md): Run smoke tests and compare latency, streaming, and behavior across Tokios deployments backed by local models. - [How model sharding works](https://docs.tokios.com/guides/model-sharding.md): Understand tensor parallelism, pipeline parallelism, data parallelism, and expert parallelism. Know which sharding strategy fits your hardware. - [Tensor vs pipeline parallelism for local LLM inference](https://docs.tokios.com/guides/tensor-vs-pipeline-parallelism.md): When to use tensor parallelism, pipeline parallelism, or both for multi-GPU LLM inference on DGX Spark, RTX workstations, and multi-node clusters. - [Speculative decoding: draft models, n-grams, MTP, and EAGLE](https://docs.tokios.com/guides/speculative-decoding.md): Understand speculative decoding techniques that speed up LLM inference. Compare n-gram, draft model, multi-token prediction, and EAGLE approaches. - [Decode, prefill, and power across precision levels](https://docs.tokios.com/guides/decode-prefill-power.md): Understand decode throughput vs prefill latency, how precision affects each, and what it means for power draw. Benchmark your own setup. - [SGLang configuration and when to use it](https://docs.tokios.com/guides/sglang-optimization.md): Configure SGLang for RAG and agent workloads — RadixAttention for prefix caching, vLLM-vs-SGLang decision matrix, and SGLang-specific optimization flags. - [Optimize llama.cpp for speed and memory](https://docs.tokios.com/guides/llama-cpp-optimization.md): Tune llama.cpp for maximum performance — flash attention, mmap vs mlock, thread tuning, GPU offload strategy, batch size, KV cache precision, and MoE expert placement. - [Optimize vLLM for throughput and latency](https://docs.tokios.com/guides/vllm-optimization.md): Tune vLLM for maximum throughput or minimum latency — KV cache tuning, prefix caching, chunked prefill, LoRA serving, quantization options, and V1 architecture changes. - [Optimize Ollama for speed and memory](https://docs.tokios.com/guides/ollama-optimization.md): Tune Ollama for maximum speed — context window, GPU offload, flash attention, KV cache quantization, and parallel requests. Cut latency 2-5x with these settings. - [Optimize LM Studio for speed and memory](https://docs.tokios.com/guides/lm-studio-optimization.md): Tune LM Studio for maximum speed — GPU offload, context window, flash attention, KV cache quantization, and batch size. Cut latency 2-5x with these settings. - [DeepInfer: DeepSeek's datacenter inference engine](https://docs.tokios.com/guides/deepinfer.md): DeepInfer is DeepSeek's open-source production inference framework for V4.1-Flash on SM100 datacenter GPUs. Apache 2.0 licensed, but not a vLLM replacement — SM100 only, single model, no API server. ## Connect a client or app - [Connect Open WebUI to your local model through Tokios](https://docs.tokios.com/guides/open-webui.md): Add Tokios as an OpenAI connection in Open WebUI so a hosted or containerized UI can reach a model running on your own machine. - [Use Msty with your own local model](https://docs.tokios.com/guides/msty.md): Add Tokios as an OpenAI-compatible remote model provider in Msty so the desktop app can reach a model running on your own hardware. - [Use Jan with a model on your own hardware](https://docs.tokios.com/guides/jan.md): Add Tokios as a custom OpenAI-compatible provider in Jan so the app can reach a bigger model running on your own desktop or server. - [Use Cherry Studio with your own local model](https://docs.tokios.com/guides/cherry-studio.md): Add Tokios as a custom OpenAI provider in Cherry Studio so the desktop app can reach a model running on your own hardware. - [Use big-AGI with your own local model](https://docs.tokios.com/guides/big-agi.md): Add Tokios as a custom OpenAI-compatible endpoint in big-AGI so this multi-model front-end can reach a model running on your own hardware. - [Connect LobeChat to your own local model](https://docs.tokios.com/guides/lobechat.md): Add Tokios as an OpenAI provider in LobeChat — in the app or via environment variables — so a polished chat UI can reach a model running on your own hardware. - [Connect LibreChat to your local model through Tokios](https://docs.tokios.com/guides/librechat.md): Add Tokios as a custom endpoint in LibreChat's librechat.yaml so a hosted chat UI can reach a model that stays on your own machine. - [Use Chatbox with your own local model](https://docs.tokios.com/guides/chatbox.md): Add Tokios as a custom OpenAI-compatible provider in Chatbox so the desktop app can reach a model running on your own hardware. - [Use SillyTavern with your own local model](https://docs.tokios.com/guides/sillytavern.md): Point SillyTavern's Chat Completion source at Tokios as a custom OpenAI-compatible endpoint so this power-user front-end can drive a model on your own hardware. - [Use your local model from your phone](https://docs.tokios.com/use-cases/local-model-on-your-phone.md): Keep your model running at home and reach it from an iOS or Android chat app by pointing the app at your Tokios endpoint with an sk-tok- API key. - [Use Coding Agents with Local Models via Tokios](https://docs.tokios.com/guides/coding-agents-local-models.md): Point Claude Code, OpenCode, Aider, Cline, Continue, and more at your local models through one Tokios endpoint — switch models, no agent reconfiguring. - [Coding agents that work with local models through Tokios](https://docs.tokios.com/guides/coding-agent-compatibility.md): A compatibility matrix of 15 coding agents — IDE-based and terminal — that connect to local models through the Tokios OpenAI- and Anthropic-compatible API. - [Let a coding agent set up Tokios for you](https://docs.tokios.com/guides/agent-setup.md): Hand Claude Code, Codex, or any coding agent an automation token and this page. It pairs the connector, publishes your model, mints an API key, and verifies the path unattended. - [Use coding agents with local models](https://docs.tokios.com/use-cases/coding-agents.md): Connect coding agents that support custom OpenAI or Anthropic endpoints to Tokios deployments backed by your local models. - [Use Claude Code with your own local model](https://docs.tokios.com/guides/claude-code.md): Use Claude Code with a local model on Ollama, LM Studio, llama.cpp, or vLLM — set ANTHROPIC_BASE_URL and ANTHROPIC_API_KEY to route requests through Tokios. - [Use OpenAI Codex with your own local model](https://docs.tokios.com/guides/openai-codex.md): Use OpenAI Codex with a local model on Ollama, LM Studio, or any OpenAI-compatible backend — add a Tokios provider to config.toml and reach it from anywhere. - [Use OpenAI Codex with a model on your own hardware](https://docs.tokios.com/guides/codex-local-model.md): Run OpenAI Codex against a local model on another machine — Ollama, LM Studio, llama.cpp, or vLLM — via Tokios, which speaks the Responses API Codex requires. - [Use Cursor with your own local model](https://docs.tokios.com/guides/cursor.md): Point Cursor's OpenAI-compatible base URL at Tokios so its completion and agent features can reach a local model on Ollama, LM Studio, llama.cpp, or vLLM. - [Use Cline with your own local model](https://docs.tokios.com/guides/cline.md): Set Cline's OpenAI Compatible provider Base URL to Tokios and drive a local model on Ollama, LM Studio, or vLLM from VS Code — reachable from anywhere. - [Use Continue with your own local model](https://docs.tokios.com/guides/continue.md): Point Continue's OpenAI-compatible apiBase at Tokios so chat, edit, and autocomplete can reach a local model running on Ollama, LM Studio, or vLLM. - [Use Aider with your own local model](https://docs.tokios.com/guides/aider.md): Point Aider at a local model running on Ollama, LM Studio, or vLLM by setting OPENAI_API_BASE and OPENAI_API_KEY to your Tokios endpoint and key. - [Use Roo Code with your own local model](https://docs.tokios.com/guides/roo-code.md): Set Roo Code's OpenAI Compatible provider to Tokios so the VS Code extension can drive a local model on Ollama, LM Studio, or vLLM — including tool-calling. - [Use OpenCode with your own local model](https://docs.tokios.com/guides/opencode.md): Add Tokios as an OpenAI-compatible provider in opencode.json so OpenCode's terminal agent can reach a local model on Ollama, LM Studio, or vLLM. - [Use Goose with your own local model](https://docs.tokios.com/guides/goose.md): Add Tokios as a custom OpenAI-compatible provider in Goose so its coding agent can reach a local model on Ollama, LM Studio, or vLLM — reachable anywhere. - [Use Pi with your own local model](https://docs.tokios.com/guides/pi.md): Add Tokios as an OpenAI-compatible provider in Pi's models.json so its terminal coding agent can reach a local model on Ollama, LM Studio, llama.cpp, or vLLM. - [Use omp (oh-my-pi) with your own local model](https://docs.tokios.com/guides/omp.md): Add Tokios as a custom OpenAI-compatible provider in omp's models.yml so its terminal coding agent can reach a local model on Ollama, LM Studio, or vLLM. - [Use Zed with your own local model — over OpenAI or Anthropic](https://docs.tokios.com/guides/zed.md): Configure Zed's OpenAI- or Anthropic-compatible provider to reach a local model on Ollama, LM Studio, or vLLM through Tokios — using either endpoint. - [Use JetBrains AI Assistant with your own local model](https://docs.tokios.com/guides/jetbrains-ai-assistant.md): Point JetBrains AI Assistant's OpenAI-compatible provider at Tokios so IntelliJ, PyCharm, GoLand, and Rider reach a local model on Ollama, LM Studio, or vLLM. - [Use GitHub Copilot in VS Code with your own model (BYOK)](https://docs.tokios.com/guides/vscode-copilot.md): Point GitHub Copilot Chat's Bring Your Own Key setting at Tokios so Copilot's chat and agent mode can call a local model on Ollama, LM Studio, or vLLM. - [Point AionUi at your own local model](https://docs.tokios.com/guides/aionui.md): Add Tokios as a custom OpenAI-compatible model in AionUi so its built-in agent — and the coding CLIs it orchestrates — can run on a model on your own hardware. - [Point Hermes Agent at your Tokios endpoint](https://docs.tokios.com/guides/hermes-agent.md): Point Hermes Agent's LLM backend at a local model served by Ollama, LM Studio, or vLLM — add Tokios as a custom OpenAI-compatible provider for its agent loop. - [Point OpenClaw at your own local model](https://docs.tokios.com/guides/openclaw.md): Add Tokios as a custom OpenAI-compatible provider in OpenClaw so your AI agent runs on a local model via Ollama, LM Studio, or vLLM — reachable from anywhere. - [Point NanoClaw at your own local model](https://docs.tokios.com/guides/nanoclaw.md): Point NanoClaw's Claude Agent SDK backend at Tokios's Anthropic-compatible endpoint so your containerized AI agent runs on a model on your own hardware. - [Local models in LangChain, LlamaIndex, and Vercel AI SDK](https://docs.tokios.com/guides/frameworks.md): Point LangChain, LlamaIndex, the Vercel AI SDK, or Pydantic AI at your Tokios deployment using the same OpenAI-compatible base URL each already supports. - [Connect AnythingLLM and Dify to your local model](https://docs.tokios.com/guides/app-builders.md): Add Tokios as a custom OpenAI-compatible provider in AnythingLLM or Dify so either app can call your local model from anywhere — no Docker workarounds. - [Trace your local model calls with Langfuse](https://docs.tokios.com/guides/langfuse.md): Wrap the OpenAI client with Langfuse's drop-in import and point it at your Tokios deployment to trace every call to your local model. - [All clients compatible with Tokios — complete matrix](https://docs.tokios.com/guides/compatible-clients.md): 39 clients confirmed working with Tokios: coding agents, chat apps, SDKs, observability tools, and gateways. All use standard OpenAI or Anthropic API format. ## Compare - [When to use Tokios — and when it's not the right choice](https://docs.tokios.com/guides/when-to-use-tokios.md): An honest guide to when Tokios is the right tool for your local LLM setup and when you should use Tailscale, Cloudflare Tunnel, LiteLLM, or a DIY stack instead. - [Tokios vs Tailscale for local LLM access](https://docs.tokios.com/guides/tokios-vs-tailscale.md): How Tailscale and Tokios differ for remote access to local models — networking model, API keys, client compatibility, and when each is the better choice. - [Tokios vs Cloudflare Tunnel for local LLM access](https://docs.tokios.com/guides/tokios-vs-cloudflare-tunnel.md): How Cloudflare Tunnel and Tokios differ for exposing local models — SSE streaming, proxy timeouts, API keys, setup complexity, and when each is the right tool. - [Tokios vs LiteLLM for local LLM routing](https://docs.tokios.com/guides/tokios-vs-litellm.md): How LiteLLM and Tokios differ — LiteLLM is a proxy/gateway for 100+ providers; Tokios bundles tunnel + proxy + API keys + dashboard into one managed service. - [Tokios vs building your own local LLM stack](https://docs.tokios.com/guides/tokios-vs-diy.md): What it takes to build a DIY local LLM stack (runtime + proxy + tunnel + auth + TLS + DNS + monitoring) and when that's worth it vs using Tokios. ## Deep dives - [Your tailnet deserves a proper AI API](https://docs.tokios.com/blog/your-tailnet-deserves-a-proper-ai-api.md): You're already running local models on your Tailscale network. Here's how to add per-user API keys, OpenAI-compatible endpoints, and remote access — without replacing Tailscale. - [Can 8 DGX Sparks run Kimi K3? The memory math](https://docs.tokios.com/blog/kimi-k3-hardware-deep-dive.md): Kimi K3 hardware math: 8 DGX Sparks fall 376 GB short of K3's 2.8T-parameter MoE weight floor (~1.4 TB at 4-bit) — source-backed, not a guess. - [Run DeepSeek-V4-Flash-0731 locally: hardware requirements](https://docs.tokios.com/blog/deepseek-v4-flash-local-hardware.md): Can 2 RTX PRO 6000s, 2 DGX Sparks, or 2 Strix Halo systems run DeepSeek-V4-Flash-0731? Memory, interconnects, runtime maturity, and context headroom. - [Run DeepSeek V4.1 Flash on 2 DGX Sparks: community benchmarks](https://docs.tokios.com/blog/deepseek-v41-flash-dgx-spark.md): Community benchmarks, configuration, and gotchas for running DeepSeek V4.1 Flash (552B MoE) on 2 NVIDIA DGX Sparks with tensor parallelism over RoCE. Includes vLLM and SGLang recipes. - [175,000 exposed Ollama servers: the case for outbound-only](https://docs.tokios.com/blog/why-outbound-only.md): Researchers mapped roughly 175,000 internet-exposed Ollama hosts in early 2026 — the failure mode behind that number, and why outbound-only has none. - [One endpoint, two protocols: OpenAI and Anthropic, one model](https://docs.tokios.com/blog/one-endpoint-two-protocols.md): How the Tokios gateway translates Anthropic Messages and OpenAI Responses into Chat Completions so one local model deployment serves every client. - [Hardening a self-hosted LLM: a checklist](https://docs.tokios.com/blog/self-hosted-llm-hardening-checklist.md): A practical checklist for exposing a local model — bind address, authentication, and firewall rules — plus what an outbound-only connector removes entirely. ## 中文文档 - [一个端点覆盖所有本地模型](https://docs.tokios.com/zh.md): 将任何智能体或应用指向你的本地模型——从任何地方。 - [将本地模型连接到 Tokios](https://docs.tokios.com/zh/quickstart.md): 连接运行时、验证端到端连通性,并接入客户端——无需入站端口、公共 IP 或 NAT 更改。 - [Tokios 的工作原理:您的模型、您的硬件,仅需一个端点即可运作](https://docs.tokios.com/zh/how-it-works.md): 了解 Tokios 如何利用仅限出站连接的 WebSocket 隧道将 API 请求转发至本地大型语言模型,且无需开放任何入站端口或配置公网 IP 地址。 - [安装并配对 Tokios 连接器](https://docs.tokios.com/zh/setup/connector-install.md): 在模型所在机器上运行 Tokios 连接器,通过 WebSocket 使用一次性配对码完成配对——无需开放入站端口、无需公网 IP,也无需手动编辑令牌。 - [在 Tokios 控制台中注册模型](https://docs.tokios.com/zh/setup/register-model.md): 为已配对连接器的模型指定一个在 api.tokios.com 使用的公共部署名称,即客户端在每个请求的 model 字段中传递的字符串。 - [创建并管理 Tokios API 密钥](https://docs.tokios.com/zh/setup/api-keys.md): 在 Keys 选项卡中创建 Bearer 密钥(sk-tok-…),用于对 api.tokios.com 发起的请求进行身份验证,也可将其限定为仅适用于特定模型。 - [为您的工作空间开启请求日志记录功能](https://docs.tokios.com/zh/setup/request-logging.md): 选择启用后,每次 API 请求的提示内容均会以加密形式保存,其中附件会被移除、敏感信息也会经过脱敏处理,并在 7 天后自动删除。您随后可在 Tokios 控制台的请求日志中查看这些内容。 - [为代理和脚本创建自动化令牌](https://docs.tokios.com/zh/setup/automation-tokens.md): 铸造一个作用域受限、自动过期的自动化令牌(at-tok-…),让编程代理或脚本无需您的密码即可通过 API 设置和管理 Tokios 工作区。 - [支持的本地模型后端 — Tokios 连接器](https://docs.tokios.com/zh/setup/supported-backends.md): 在 tokios-connector.json 中设置 BaseUrl(/v1),即可将 Tokios 连接器指向 Ollama、llama.cpp、vLLM、LM Studio、MLX Studio、MLX-LM Server 或 Lemonade Server,后端需支持 OpenAI Chat Completions 协议。 - [找到适合你硬件的模型](https://docs.tokios.com/zh/guides/model-fit.md): 交互式兼容性检查器:查找哪些模型可以在你的 GPU 或统一内存系统上运行,包含 VRAM 大小计算和量化估算。 - [本地大语言模型配置示例](https://docs.tokios.com/zh/guides/local-llm-recipes.md): 常见本地大语言模型搭建场景的即用型配置。每个示例均包含完整的命令、设置及硬件要求。 - [本地大语言模型案例研究](https://docs.tokios.com/zh/guides/local-llm-case-studies.md): 来自团队和个人运行本地模型的真实部署模式。哪些做法有效、哪些效果不佳,以及他们会如何改进。 - [本地大语言模型:任选一款进行自部署,即可随时随地调用](https://docs.tokios.com/zh/models.md): 挑选一款适合自部署的本地大语言模型——对比 Tokios 兼容的各开放权重模型系列(如 Qwen、DeepSeek、Llama、Gemma 等),选出最符合您硬件条件的模型。 - [选择本地模型和后端](https://docs.tokios.com/zh/guides/choose-a-local-model.md): 根据你的工作流、本地硬件、后端和性能需求,选择 Tokios 部署设置。 - [什么任务选什么本地模型?](https://docs.tokios.com/zh/guides/model-by-task.md): 在注册部署之前,按任务选择合适的本地模型系列——编程、对话、推理、长上下文、视觉、工具调用和嵌入。 - [如何解读模型名称](https://docs.tokios.com/zh/guides/read-a-model-name.md): 解码开放权重模型名称、量化标签和架构后缀。在下载前了解 Q4_K_M、MoE 和 -Instruct 的含义。 - [如何阅读模型卡片](https://docs.tokios.com/zh/concepts/read-a-model-card.md): 在下载模型之前,查找真正重要的参数、架构、上下文长度、许可证和文件格式。 - [什么是Evals?LLM基准实用指南](https://docs.tokios.com/zh/guides/what-are-evals.md): 了解MMLU、HumanEval、MT-Bench 等基准。在挑选本地模型之前,知道哪些分数对你的用例重要。 - [在本地运行 Qwen3.6,即可从任意位置调用它](https://docs.tokios.com/zh/models/qwen3.6.md): 借助 Ollama、LM Studio、vLLM 或 SGLang 部署 Qwen3.6——这是目前兼容性最好的多模态模型系列,随后通过 Tokios 端点即可实现远程访问。 - [在本地运行 Qwen3-VL 并从任意位置调用它](https://docs.tokios.com/zh/models/qwen3-vl.md): 借助 Ollama、LM Studio、vLLM 或 SGLang 部署 Qwen3-VL——Qwen 专门打造的视觉语言模型系列,随后可通过 Tokios 端点进行访问。 - [Qwen3.8-27B:发布日期、硬件需求与本地部署](https://docs.tokios.com/zh/models/qwen3.8.md): Qwen3.8-27B 已基于 Apache-2.0 发布,支持原生视觉和 262K 上下文。GGUF 为 17.11 GB(Q4_K_M 格式),因此 24 GB GPU 即可运行——Ollama 标签已上线。 - [DeepSeek V4.1-Flash:在本地运行最新的 DeepSeek](https://docs.tokios.com/zh/models/deepseek.md): 在本地运行 DeepSeek V4.1-Flash——552B 混合专家模型,具备原生视觉能力、8B/16B 非对称活跃参数、1M 上下文和 384K 输出。对比各推理路径、硬件需求以及已被替代的 V4-Flash-0731。 - [在本地运行 DeepSeek-R1:蒸馏版、硬件适配与设置](https://docs.tokios.com/zh/models/deepseek-r1.md): 使用 Ollama 部署 DeepSeek-R1 蒸馏版——或在多 GPU 服务器上运行 671B R1——然后通过 Tokios 从任何兼容 OpenAI 或 Anthropic 协议的客户端访问。 - [在任意位置本地运行 GLM 5.2 及整个 GLM 系列](https://docs.tokios.com/zh/models/glm.md): 运行 Z.ai 的 GLM 系列——GLM-4 仅需一条命令即可本地拉取,GLM-4.5-Air 适合大显存设备,GLM-4.6 面向多 GPU 服务器,以及前沿模型 GLM-5.2。 - [GLM-5.3:权重、硬件与本地部署](https://docs.tokios.com/zh/models/glm-5.3.md): GLM-5.3 权重已在 Hugging Face 发布(zai-org/GLM-5.3)。753B 总参数,~40B 活跃 MoE,1M token 上下文。涵盖硬件配置、许可协议与本地服务。 - [在本地运行 Gemma 4 并从任何地方使用](https://docs.tokios.com/zh/models/gemma.md): 使用 Ollama 或 LM Studio 部署 Google 的 Gemma——从 Gemma 3 到 Gemma 4 的多模态、多语言开放权重模型家族——然后通过 Tokios 访问。 - [在本地运行 Muse Glimmer 30B:硬件、DFlash 与设置](https://docs.tokios.com/zh/models/muse-glimmer.md): Meta 的 Muse Glimmer 30B 采用 Apache 2.0 许可,可装入 24 GB GPU(4-bit),并附带 DFlash 草稿模型,让本地智能体的速度提升 3.1x。涵盖标签、VRAM 和设置。 - [在本地运行 Muse Spark Open 816B:硬件、量化和设置](https://docs.tokios.com/zh/models/muse-spark-open.md): Meta 的 Muse Spark Open 是一个 816B/42B 活跃参数的 MoE 模型,支持 1M 上下文、多模态输入(文本、图像、视频、音频),在前沿智能体编码基准中领先。硬件需求、GGUF 变体和设置指南。 - [在本地运行 Llama 4:Scout、Maverick 及其硬件需求](https://docs.tokios.com/zh/models/llama-4.md): 在您自己的硬件上部署 Meta 的 Llama 4 Scout 和 Maverick。MoE 内存计算、Ollama 标签、vLLM 设置以及 10M token 上下文的现实。 - [Kimi 模型:你能本地运行哪一款?](https://docs.tokios.com/zh/models/kimi.md): Moonshot AI 的 Kimi 系列对比——K3(权重已于七月27日发布)与可下载的 K2.6 和 K2.7-Code——以及自托管各款模型的真实硬件需求。 - [在本地运行 Kimi K3:硬件与自托管的现实](https://docs.tokios.com/zh/models/kimi-k3.md): 能在本地运行 Kimi K3 吗?Moonshot AI 的 2.8T 参数 MoE 在约 1.4 TB 的 4 位精度下限——目前没有任何消费级或专业级硬件能容纳。 - [Kimi K3 无法部署——根据硬件选择替代方案](https://docs.tokios.com/zh/models/kimi-k3-alternatives.md): Kimi K3 需要约 1.4 TB 存储空间,目前没有消费级或专业级硬件能够承载。以下列出在 Strix Halo、1–4 台 DGX Spark 或单张 GPU 上可运行的最接近替代模型。 - [本地运行 MiMo V2.6 — 小米的多模态智能体模型](https://docs.tokios.com/zh/models/mimo.md): 本地运行 MiMo V2.6 — 小米的 1.02T MoE 模型,42B 活跃参数,原生多模态(文本/图像/视频/音频),1M 上下文,MIT 许可证。9B 蒸馏版可适配单张 GPU。 - [在本地运行 MiniMax M3 — 务实路径(以及 M2)](https://docs.tokios.com/zh/models/minimax.md): MiniMax M3 是一款拥有 1M 上下文、428B 开放权重的 MoE 模型;M2 系列则是拥有成熟社区 GGUF 的编程智能体系列。本文介绍哪些模型能在你的硬件上运行。 - [RecursiveSI Flint:在笔记本电脑上运行 40B 编码智能体](https://docs.tokios.com/zh/models/flint.md): Flint 是一个 40B MoE 模型,活跃参数仅 2.5B——可在 24 GB GPU 上以 Q4 量化运行,同时在编码基准测试中与更大的模型竞争。Apache 2.0 许可。 - [推理的工作原理](https://docs.tokios.com/zh/concepts/how-inference-works.md): 跟踪提示从文本到令牌再到流式回复的过程,并了解这一往返过程对 GPU 内存的影响。 - [KV 缓存与上下文长度](https://docs.tokios.com/zh/concepts/kv-cache-and-context.md): 什么是 KV 缓存,为什么更长的上下文会消耗更多内存,以及它带来的上下文与速度之间的权衡。 - [内存容量规划与卸载](https://docs.tokios.com/zh/concepts/memory-and-offloading.md): 模型所需 RAM 或 VRAM 的计算公式,以及当模型无法完全装入时卸载机制的作用。 - [量化详解](https://docs.tokios.com/zh/concepts/quantization.md): 什么是量化,如何解读 Q4_K_M 等 GGUF 量化名称,以及如何选择。 - [混合专家模型 (MoE):路由、专家并行 与内存](https://docs.tokios.com/zh/concepts/moe-routing-and-expert-parallelism.md): 了解混合专家模型 (MoE):路由如何工作、为什么内存取决于总参数量、哪些开放权重模型采用 MoE。包含容量计算公式和硬件指南。 - [System One 模型:无需文本生成的快速决策](https://docs.tokios.com/zh/concepts/system-one-models.md): System One 模型以概率分布回答结构化问题——不生成令牌,比自回归 LLM 快 200 倍。涵盖 Jev(TypeSafe AI)、Bongard(开放权重)以及通过掩码技术从现有权重创建衍生模型的方法。 - [量化感知训练(QAT)详解](https://docs.tokios.com/zh/concepts/qat.md): 量化感知训练究竟是什么?它与训练后量化有何区别?如何在仅消耗约4比特显存的条件下运行谷歌发布的 Gemma QAT 检查点。 - [模型的服务与扩展](https://docs.tokios.com/zh/concepts/model-serving-and-scaling.md): 本文简要解释了高级运行命令中所涉及的各项术语:推理框架、精度设置、张量/流水线/专家并行机制以及推测性解码(MTP)。 - [Tokios API 端点:OpenAI 与 Anthropic 参考指南](https://docs.tokios.com/zh/reference/api-endpoints.md): 本部分介绍 Tokios API 端点的相关信息,包括 /v1/chat/completions、/v1/messages、/v1/messages/count_tokens、/v1/responses 以及 /v1/models 的请求与响应结构。 - [Tokios 连接器 JSON 配置文件参考说明](https://docs.tokios.com/zh/reference/connector-config.md): 关于 Tokios 连接器配置文件及命令行参数的完整说明,涵盖连接器编号、令牌、路由规则、上游模型 ID、日志设置以及作为服务运行的方法。 - [排查客户端连接 Tokios 时出现的故障](https://docs.tokios.com/zh/reference/troubleshooting.md): 解决客户端无法连接 Tokios 的四类常见原因:错误的基准网址、不匹配的模型、连接器处于离线状态以及客户端请求的功能不被支持,同时说明对应的错误代码。 - [Tokios 常见问题解答:部署、连接器设置及故障排查](https://docs.tokios.com/zh/reference/faq.md): 这里整理了关于 Tokios 部署流程、防火墙配置要求、API 兼容性、数据流传输机制、数据隐私保护、支持的后端类型以及计费方式等常见疑问的解答。 - [术语表](https://docs.tokios.com/zh/concepts/glossary.md): 这里列出了使用本地模型时可能遇到的各类术语的简短定义,每个定义都链接至更详细的说明页面。 - [什么是本地 LLM(locallm)?在本地运行大语言模型的完整指南](https://docs.tokios.com/zh/guides/what-is-local-llm.md): 本地 LLM(也称为 locallm)运行在你自己的硬件上,而非云端 API。了解团队和开发者为何选择本地推理来实现数据主权、速度和可控性——以及如何设置 API 访问。 - [自托管 LLM — 运行、服务、掌控](https://docs.tokios.com/zh/guides/self-hosted-private-llm.md): 如何在自有硬件上自托管私有 LLM(locallm),选择合适的运行时和模型,并为其配置安全的认证端点,让团队可以从任何地方调用。 - [将 AI 迁入内部:从云 API 迁移到本地推理](https://docs.tokios.com/zh/guides/bring-your-ai-in-house.md): 面向使用 OpenAI、Anthropic 或云 API 的团队迁移指南——在自有硬件上实现数据主权、完全掌控和自定义模型。相同的 API 体验,数据零外泄。 - [硬件参考](https://docs.tokios.com/zh/guides/hardware-reference.md): 快速对比本地大语言模型推理硬件。涵盖各支持平台的规格、模型承载能力、推荐型号及其取舍。 - [RTX PRO Blackwell 型号对比指南](https://docs.tokios.com/zh/guides/rtx-pro-blackwell-variants.md): 对比 RTX PRO 4000、4500、5000 和 6000 Blackwell 专业 GPU。Workstation 与 Max-Q 与 Server 与 'D' 型号——哪种适合你的使用场景。 - [CMP 170HX 解锁指南:64 GB HBM2e,$250-800](https://docs.tokios.com/zh/guides/cmp-170hx-unlock.md): 将 NVIDIA CMP 170HX 矿卡从 8 GB 解锁至 64 GB HBM2e。Vix Loader 方法(无需刷写)、性能基准测试及搭建要求。 - [Mac Studio M5 Ultra 选购指南:本地 LLM 推理 256GB 与 512GB 对比](https://docs.tokios.com/zh/guides/mac-studio-m5-ultra.md): 本地 LLM 推理应该购买 256GB 还是 512GB 的 Mac Studio M5 Ultra?哪些模型能运行、Apple MLX 分布式推理,以及与 DGX Spark 的对比。 - [RTX 50 系列消费级指南:5090、5080、5070 本地 LLM 推理](https://docs.tokios.com/zh/guides/rtx-50-series-consumer.md): NVIDIA RTX 5090、5080、5070 Ti、5070、5060 Ti 和 5060 本地 LLM 推理完整指南。FP4 原生支持、模型兼容性及与 RTX 40 系列的对比。 - [将 Tokios 与本地人工智能工作站搭配使用](https://docs.tokios.com/zh/use-cases/local-ai-workstations.md): 通过一个 Tokios API 端点即可在 NVIDIA GB10、DGX Spark、AMD Strix Halo、Ryzen AI Max、Apple 硅基芯片 Mac 以及其他本地人工智能工作站上发布各类模型。 - [量化格式及其所需的硬件](https://docs.tokios.com/zh/models/quantization-and-hardware.md): 本地模型量化的格式×硬件矩阵——哪些格式(GGUF、AWQ、GPTQ、NVFP4、MXFP4、MLX)能在哪些 GPU 上运行,以及如何选择。 - [将 NVIDIA DGX Spark 变为私有模型端点](https://docs.tokios.com/zh/use-cases/dgx-spark.md): 为 NVIDIA DGX Spark 或 GB10 上的模型提供兼容 OpenAI 和 Anthropic 的端点,让笔记本、编程代理和团队成员都能访问。 - [在 DGX Spark 上运行 Qwen3.6-35B-A3B](https://docs.tokios.com/zh/guides/run-qwen36-35b-a3b-on-dgx-spark.md): 在 NVIDIA DGX Spark 上使用 vLLM 和 Tokios 运行 Qwen3.6-35B-A3B(35B MoE,3B 活跃参数)的分步指南。达到 47-120 tok/s,使用 NVFP4 量化。 - [DeepSeek V4.1 Flash 在 2 台 DGX Spark 上运行](https://docs.tokios.com/zh/guides/run-deepseek-v41-flash-on-2-dgx-sparks.md): DeepSeek V4.1 Flash(763B MoE)在 2 台 NVIDIA DGX Spark 上通过张量并行运行的分步指南。社区基准测试显示单流速度为 38-73 tok/s,聚合速度最高可达 270 tok/s。 - [DGX Spark 模型兼容性说明——哪些模型能适配 128GB 内存容量](https://docs.tokios.com/zh/guides/dgx-spark-model-compatibility.md): 哪些模型可运行于 NVIDIA DGX Spark 的 128GB 统一内存中?推荐使用的量化格式有哪些?针对稠密模型、MoE 模型、Qwen3.8 以及 GLM-5.2 的预期吞吐量又是多少呢? - [在 NVIDIA DGX Spark 上安装并配置 vLLM](https://docs.tokios.com/zh/guides/vllm-dgx-spark.md): 在 DGX Spark 上借助 NVFP4 量化技术安装 vLLM,该配置适用于 35B、70B 以及 120B 类型的 MoE 模型,同时包含针对 ARM64 与 SM121 相关问题的故障排查方法。 - [DGX Spark 内存调优与基准测试](https://docs.tokios.com/zh/guides/dgx-spark-memory-tuning.md): 介绍 DGX Spark 的统一内存机制、不同上下文长度下的 KV 缓存大小设定、批量处理时的权衡因素,以及如何在 128GB 内存环境下实现稳定的推理性能。 - [单个与两个 DGX Spark 的对比——何时需要扩容及如何进行部署](https://docs.tokios.com/zh/guides/one-vs-two-dgx-sparks.md): 关于选用单个还是两个 NVIDIA DGX Spark 的决策指南:何时单个即可满足需求、如何利用 200 千兆比特/秒链路实现张量并行,以及 vLLM 的分布式配置方法。 - [将 Strix Halo 或 Ryzen AI Max 设备变为模型端点](https://docs.tokios.com/zh/use-cases/strix-halo.md): 为 AMD Strix Halo 或 Ryzen AI Max+ 395 设备上的模型提供兼容 OpenAI 和 Anthropic 的端点,供 Claude Code 和 opencode 访问。 - [Strix Halo 模型兼容性:哪些模型可适配 128GB 内存容量](https://docs.tokios.com/zh/guides/strix-halo-model-compatibility.md): 在 AMD Ryzen AI Max+ 395(Strix Halo)及其 128GB 统一内存上,哪些模型可以运行、采用何种量化,以及 MoE 与密集型模型如何影响 token 速度。 - [Strix Halo 平台上的 vLLM:运行状况、故障及替代方案](https://docs.tokios.com/zh/guides/vllm-strix-halo.md): vLLM 在 AMD Strix Halo(Ryzen AI Max+ 395)平台上无法稳定运行。下文将说明原因以及可行的替代方案——即搭配 Vulkan 的 llama.cpp 或指定版本的 Ollama。 - [将 Mac Studio 变成团队模型端点](https://docs.tokios.com/zh/use-cases/mac-studio.md): 为 Mac Studio 统一内存上运行的 LM Studio、Ollama、MLX Studio 或 MLX-LM Server 模型配置一个经过身份验证的端点,供团队成员和编码代理调用。 - [将 RTX 工作站变成私有模型端点](https://docs.tokios.com/zh/use-cases/rtx-workstation.md): 让你的 RTX 5090、4090 或 3090 桌面上的模型拥有一个 OpenAI 和 Anthropic 兼容的端点,供笔记本电脑、编码智能体或团队成员访问。 - [运行 Qwen3.6-35B-A3B 在 RTX 5090 上](https://docs.tokios.com/zh/guides/run-qwen36-35b-a3b-on-rtx-5090.md): Qwen3.6-35B-A3B(35B MoE,3B 活跃参数)在 NVIDIA RTX 5090(32 GB)上运行,可实现 ~90 tok/s 的 NVFP4 量化吞吐量。 - [从家庭实验室的 GPU 服务器向团队提供模型服务](https://docs.tokios.com/zh/use-cases/homelab-gpu-server.md): 为那些没有显示器的家庭实验室 GPU 服务器上的模型提供一个经过身份验证的访问端点,让团队成员及各类应用都能顺利调用,即便处于 CGNAT 网络环境下也无需开放任何入站端口。 - [让团队访问本地模型](https://docs.tokios.com/zh/use-cases/team-access.md): 通过单一认证端点与团队共享本地模型。无需端口转发,无需 Tailscale 配置,无需网络难题——只需兼容 OpenAI 的 API 访问和每人独立的密钥。 - [无需 OLLAMA_HOST=0.0.0.0 的 Ollama 远程访问](https://docs.tokios.com/zh/guides/ollama-remote-access.md): 无需设置 OLLAMA_HOST=0.0.0.0 或开放端口 11434,也能从其他机器访问 Ollama。只需保持 Ollama 运行在本地主机状态,再添加身份验证机制即可。 - [随时随地安全地使用 LM Studio 服务器](https://docs.tokios.com/zh/guides/lm-studio-remote-access.md): 无需开启局域网服务,即可通过仅支持出站连接的连接器以及真正的 API 令牌,从其他设备访问兼容 OpenAI 协议的 LM Studio 服务器。 - [随时随地安全使用 Unsloth Studio](https://docs.tokios.com/zh/guides/unsloth-studio-remote-access.md): 在 Unsloth Studio 的无代码 UI 中运行模型,并通过一个经过身份验证的端点从其他机器、智能体或团队成员访问它——无需开放入站端口。 - [随时随地安全使用 llama.cpp 服务器](https://docs.tokios.com/zh/guides/llama-cpp-remote-access.md): 借助仅支持出站连接的连接器以及真正的 API 密钥,即便不开放 8080 端口也能让其他机器或团队成员访问您的兼容 OpenAI 协议的 llama.cpp 服务器。 - [随时随地安全使用 vLLM 服务器](https://docs.tokios.com/zh/guides/vllm-remote-access.md): 借助仅支持出站连接的连接器与 API 密钥,即便未开放 8000 端口,您也能从其他计算机、智能体或团队成员处访问与 OpenAI 兼容的 vLLM 服务器。 - [在 Windows 系统上借助 WSL2与 NVIDIA GPU 运行 vLLM](https://docs.tokios.com/zh/guides/vllm-windows-wsl2.md): 利用 WSL2与 Docker 在配备 NVIDIA GPU 的 Windows 电脑上安装并运行 vLLM;完成 GPU 直通配置后即可启动推理服务,并通过 Tokios 对外提供访问能力。 - [随时随地安全使用 SGLang 服务器](https://docs.tokios.com/zh/guides/sglang-remote-access.md): 借助仅支持出站连接的连接器与 API 密钥,即便不对外公开端口,也能让其他计算机、智能体或团队成员访问您的 SGLang OpenAI 兼容服务器。 - [无论身处何地,都能安全使用 Xinference 服务器](https://docs.tokios.com/zh/guides/xinference-remote-access.md): 借助仅支持出站连接的连接器,即便不公开端口也能从其他机器、智能体或团队成员处访问你的 Xinference OpenAI 兼容服务器。 - [从任何地方安全地使用 MLX-LM Server](https://docs.tokios.com/zh/guides/mlx-lm-server-remote-access.md): 从任何地方访问你在 Apple Silicon 上运行的 MLX-LM Server — 使用 Tokios 连接器和 API 密钥认证设置安全远程访问。5 分钟即可开始服务。 - [Lemonade Server 远程访问 — AMD NPU 和 GPU](https://docs.tokios.com/zh/guides/lemonade-server-remote-access.md): 从任何地方访问你的 Lemonade Server API — 支持 AMD NPU、Vulkan、ROCm、CUDA。使用 Tokios 连接器设置安全的远程访问,5 分钟即可开始服务。 - [FreeToken:在消费级 NVIDIA GPU 上进行 MoE 推理](https://docs.tokios.com/zh/guides/freetoken-moe-inference.md): FreeToken 支持 35B-753B 参数 MoE 模型在 8GB NVIDIA GPU 上运行。UC Berkeley 的边缘原生引擎采用动态 CPU-GPU 协同调度,解码速度比 Ollama 快 3-4x 倍。 - [在本地运行 vLLM,并通过 Tokios 从任意位置访问它。](https://docs.tokios.com/zh/guides/remote-vllm-tokios.md): 安装 vLLM、启动模型、添加 Tokios 连接器并注册一次部署,随后即可借助任何兼容 OpenAI 或 Anthropic 协议的客户端调用您的 vLLM 服务器。 - [本地 LLM API(locallm API):通过 OpenAI 兼容端点暴露你的模型](https://docs.tokios.com/zh/guides/local-llm-api.md): 为你的本地模型(locallm)提供经过身份验证的 OpenAI 兼容 API 端点。比较各方案(Tokios、LiteLLM、LocalAI),几分钟内即可完成团队访问设置。 - [为本地模型添加 API 密钥:Ollama、vLLM 以及 llama.cpp](https://docs.tokios.com/zh/guides/add-api-keys-to-local-models.md): Ollama 并未提供任何 API 密钥机制。vLLM 与 llama.cpp 仅支持 1 静态密钥。而 Tokios 则能为每位用户或每项服务生成真正具备权限控制功能的 sk-tok- 密钥,且无需反向代理即可实现。 - [在 CGNAT 环境下运行本地大语言模型——无需公网 IP](https://docs.tokios.com/zh/guides/llm-behind-cgnat.md): 即便运营商级 NAT 限制了端口转发,您依然能从任意位置访问本地模型——Tokios 连接器会主动向外发起连接,完全不需要公网 IP。 - [本地大语言模型的远程访问——安全性对比](https://docs.tokios.com/zh/guides/remote-access-comparison.md): 本文对比了使用 Tailscale、Cloudflare Tunnel、SSH 隧道以及 Tokios 来开放本地模型 API 的优劣:包括各自的安全风险、部署难度以及适用场景。 - [隧道工具、VPN 以及大语言模型流式传输:哪些环节会出问题及其原因](https://docs.tokios.com/zh/guides/tunnels-and-streaming.md): Cloudflare Tunnel、ngrok 以及 Tailscale 均对 SSE 缓冲机制、超时设置与带宽限制做了详细说明;而 Tokios 则是专为大语言模型 API 的流式传输而打造的工具。 - [本地模型的路由策略](https://docs.tokios.com/zh/guides/model-routing.md): 您可以将多个本地模型注册至 1 Tokios 端点之后,再根据任务类型、成本或稳定性需求来分配请求,实现从简单切换到多级备用链路的多种配置。 - [你已经微调了模型。现在把它变成 API](https://docs.tokios.com/zh/guides/serve-your-fine-tune.md): 将已在 Ollama 或 llama.cpp 中运行的微调模型转换为带有密钥的 https://api.tokios.com 端点,供工具、团队成员或编程智能体调用。 - [测试您的部署](https://docs.tokios.com/zh/guides/benchmark-your-deployment.md): 运行冒烟测试,比较由本地模型支持的 Tokios 部署之间的延迟、流式传输和行为。 - [模型分片的工作原理](https://docs.tokios.com/zh/guides/model-sharding.md): 了解张量并行、流水线并行、数据并行以及专家并行。明确哪种分片策略最适合您的硬件配置。 - [本地大语言模型推理中张量并行与流水线并行之对比](https://docs.tokios.com/zh/guides/tensor-vs-pipeline-parallelism.md): 在 DGX Spark、RTX 工作站以及多节点集群环境中,针对多 GPU 大语言模型推理应如何选用张量并行、流水线并行或二者结合。 - [推测解码:草稿模型、n-gram、MTP 和 EAGLE](https://docs.tokios.com/zh/guides/speculative-decoding.md): 了解可加速大语言模型推理的推测解码技术。比较 n-gram、草稿模型、多 token 预测和 EAGLE 方法。 - [解码、预填充与不同精度下的功耗](https://docs.tokios.com/zh/guides/decode-prefill-power.md): 了解解码吞吐量与预填充延迟的区别、精度对两者的影响及其对功耗的意义。对您的环境进行基准测试。 - [SGLang 配置及使用时机](https://docs.tokios.com/zh/guides/sglang-optimization.md): 为 RAG 和 Agent 工作负载配置 SGLang —— RadixAttention 前缀缓存、vLLM 与 SGLang 决策矩阵以及 SGLang 专用优化参数。 - [优化 llama.cpp 的速度和内存](https://docs.tokios.com/zh/guides/llama-cpp-optimization.md): 针对 llama.cpp 进行性能调优 —— flash attention、mmap 与 mlock、线程调优、GPU 卸载策略、批处理大小、KV 缓存精度以及 MoE 专家层放置。 - [优化 vLLM 的吞吐量和延迟](https://docs.tokios.com/zh/guides/vllm-optimization.md): 针对最大吞吐量或最低延迟调优 vLLM —— KV 缓存调优、前缀缓存、分块预填充、LoRA 服务、量化选项以及 V1 架构变更。 - [优化 Ollama 的速度和内存](https://docs.tokios.com/zh/guides/ollama-optimization.md): 调优 Ollama 以获得最快速度——上下文窗口、GPU 卸载、flash attention、KV 缓存量化和并行请求。通过这些设置将延迟降低 2-5x。 - [优化 LM Studio 的速度和内存](https://docs.tokios.com/zh/guides/lm-studio-optimization.md): 调优 LM Studio 以获得最快速度 —— GPU 卸载、上下文窗口、闪存注意力、KV 缓存量化和批次大小。使用这些设置将延迟降低 2-5x。 - [DeepInfer:DeepSeek 的数据中心推理引擎](https://docs.tokios.com/zh/guides/deepinfer.md): DeepInfer 是 DeepSeek 面向 V4.1-Flash 在 SM100 数据中心 GPU 上的开源生产推理框架。采用 Apache 2.0 许可证,但并非 vLLM 的替代品——仅支持 SM100,单模型,无 API 服务器。 - [通过 Tokios 将 Open WebUI 连接到本地模型](https://docs.tokios.com/zh/guides/open-webui.md): 在 Open WebUI 中添加 Tokios 作为 OpenAI 连接,使托管或容器化的 UI 能够访问运行在您自己机器上的模型。 - [使用 Msty 搭配您自己的本地模型](https://docs.tokios.com/zh/guides/msty.md): 在 Msty 中添加 Tokios 作为兼容 OpenAI 的远程模型提供商,使桌面应用能够访问运行在您自己硬件上的模型。 - [在自有硬件上使用 Jan 运行模型](https://docs.tokios.com/zh/guides/jan.md): 在 Jan 中添加 Tokios 作为自定义的 OpenAI 兼容提供商,使应用能够访问运行在您自有桌面或服务器上的更大模型。 - [使用 Cherry Studio 连接本地模型](https://docs.tokios.com/zh/guides/cherry-studio.md): 在 Cherry Studio 中将 Tokios 添加为自定义 OpenAI 提供商,使桌面应用能够访问运行在您自有硬件上的模型。 - [在 big-AGI 中使用自己的本地模型](https://docs.tokios.com/zh/guides/big-agi.md): 在 big-AGI 中添加 Tokios 作为自定义 OpenAI 兼容端点,使该多模型前端能够访问运行在您自己硬件上的模型。 - [将 LobeChat 连接到您自己的本地模型](https://docs.tokios.com/zh/guides/lobechat.md): 在 LobeChat 中将 Tokios 添加为 OpenAI 提供商——在应用内或通过环境变量——以便精美的聊天 UI 能够访问运行在您自己硬件上的模型。 - [通过 Tokios 将 LibreChat 连接到本地模型](https://docs.tokios.com/zh/guides/librechat.md): 在 LibreChat 的 librechat.yaml 中添加 Tokios 作为自定义端点,使托管的聊天 UI 能够访问保留在您自己机器上的模型。 - [使用 Chatbox 搭配您自己的本地模型](https://docs.tokios.com/zh/guides/chatbox.md): 在 Chatbox 中添加 Tokios 作为自定义的 OpenAI 兼容提供商,使桌面应用能够访问运行在您自己硬件上的模型。 - [使用 SillyTavern 搭配您自己的本地模型](https://docs.tokios.com/zh/guides/sillytavern.md): 将 SillyTavern 的 Chat Completion 源指向 Tokios 作为自定义 OpenAI 兼容端点,使这个高级用户前端能够驱动运行在您自己硬件上的模型。 - [通过手机使用您的本地模型](https://docs.tokios.com/zh/use-cases/local-model-on-your-phone.md): 让模型继续在家中运行,并在 iOS 或 Android 聊天应用中使用 sk-tok- API 密钥将应用指向 Tokios 端点,即可访问该模型。 - [通过 Tokios 将编程智能体与本地模型配合使用](https://docs.tokios.com/zh/guides/coding-agents-local-models.md): 只需通过一个 Tokios 端点,即可让 Claude Code、OpenCode、Aider、Cline、Continue 等编程智能体连接至您的本地模型;更换模型时也无需重新配置智能体。 - [通过 Tokios 使用本地模型的编码代理](https://docs.tokios.com/zh/guides/coding-agent-compatibility.md): 15 个编码代理(包括 IDE 类和终端类)的兼容性矩阵——它们通过 Tokios 的 OpenAI 和 Anthropic 兼容 API 连接至本地模型。 - [让编程代理帮你设置 Tokios](https://docs.tokios.com/zh/guides/agent-setup.md): 把自动化令牌和这个页面交给 Claude Code、Codex 或任何编程代理。它会配对连接器、发布模型、创建 API 密钥,并自动验证整个链路。 - [使用本地模型搭配编程智能体](https://docs.tokios.com/zh/use-cases/coding-agents.md): 将支持自定义 OpenAI 或 Anthropic 端点的编程智能体连接到由您的本地模型提供支持的 Tokios 部署。 - [使用 Claude Code 搭配本地模型](https://docs.tokios.com/zh/guides/claude-code.md): 在 Ollama、LM Studio、llama.cpp 或 vLLM 上运行本地模型来配合 Claude Code —— 设置 ANTHROPIC_BASE_URL 和 ANTHROPIC_API_KEY,将请求经由 Tokios 转发。 - [将 OpenAI Codex 与本地模型搭配使用](https://docs.tokios.com/zh/guides/openai-codex.md): 将 OpenAI Codex 与 Ollama、LM Studio 或任何兼容 OpenAI 的本地后端搭配使用——在 config.toml 中添加 Tokios 提供商,即可从任意位置访问。 - [在自有硬件上借助 OpenAI Codex 与模型协同工作](https://docs.tokios.com/zh/guides/codex-local-model.md): 通过 Tokios 让 OpenAI Codex 与另一台机器上的本地模型交互,这些模型包括 Ollama、LM Studio、llama.cpp 以及 vLLM;Tokios 能够兼容 Codex 所需的 Responses API。 - [在 Cursor 中使用自己的本地模型](https://docs.tokios.com/zh/guides/cursor.md): 将 Cursor 兼容 OpenAI 的基础 URL 指向 Tokios,让补全和智能体功能调用 Ollama、LM Studio、llama.cpp 或 vLLM 上的本地模型。 - [将 Cline 与您自己的本地模型配合使用](https://docs.tokios.com/zh/guides/cline.md): 将 Cline 的 OpenAI Compatible 提供商基础 URL 设置为 Tokios,让您的 VS Code 智能体调用在 Ollama、LM Studio 或 vLLM 上运行的本地模型——无需暴露 localhost,即可从任何地方访问。 - [在 Continue 中使用本地模型](https://docs.tokios.com/zh/guides/continue.md): 将 Continue 的 OpenAI 兼容 apiBase 指向 Tokios,让聊天、编辑和自动补全功能访问运行在 Ollama、LM Studio 或 vLLM 上的本地模型。 - [将 Aider 与您本地的模型搭配使用](https://docs.tokios.com/zh/guides/aider.md): 将 OPENAI_API_BASE 与 OPENAI_API_KEY 分别设为您的 Tokios 端点地址与 API 密钥,这样 Aider 就能连接至运行在 Ollama、LM Studio 或 vLLM 上的本地模型。 - [将 Roo Code 与您自己的本地模型配合使用](https://docs.tokios.com/zh/guides/roo-code.md): 将 Roo Code 的 OpenAI 兼容提供商设置为 Tokios,以便 VS Code 扩展可以驱动运行在 Ollama、LM Studio 或 vLLM 上的本地模型——包括工具调用——从任何地方访问,而无需暴露 localhost。 - [使用 OpenCode 搭配您自己的本地模型](https://docs.tokios.com/zh/guides/opencode.md): 在 opencode.json 中将 Tokios 添加为自定义 OpenAI 兼容提供商,让 OpenCode 的终端智能体访问在 Ollama、LM Studio 或 vLLM 上运行的本地模型——无论身在何处,无需暴露 localhost。 - [在 Goose 中使用您本地的上游模型](https://docs.tokios.com/zh/guides/goose.md): 在 Goose 中将 Tokios 添加为自定义的兼容 OpenAI 的提供商,这样其编码智能体便能调用 Ollama、LM Studio 或 vLLM 上的本地模型,且这些模型在任何位置均可访问。 - [将 Pi 与您本地的模型搭配使用](https://docs.tokios.com/zh/guides/pi.md): 在 Pi 的 models.json 文件中将 Tokios 添加为兼容 OpenAI 的提供商,这样其终端编码代理便能够访问 Ollama、LM Studio、llama.cpp 或 vLLM 上的本地模型。 - [将 omp(oh-my-pi)与您本地的模型搭配使用](https://docs.tokios.com/zh/guides/omp.md): 在 omp 的 models.yml 文件中将 Tokios 添加为自定义的兼容 OpenAI 的服务提供商,这样其终端编程智能体便能调用 Ollama、LM Studio 或 vLLM 上的本地模型。 - [在 Zed 中使用您自己的本地模型——通过 OpenAI 或 Anthropic 端点](https://docs.tokios.com/zh/guides/zed.md): 配置 Zed 兼容 OpenAI 或 Anthropic 的提供商,通过 Tokios 连接 Ollama、LM Studio 或 vLLM 上的本地模型——两种端点均可使用。 - [将 JetBrains AI Assistant 与您本地的模型搭配使用](https://docs.tokios.com/zh/guides/jetbrains-ai-assistant.md): 将 JetBrains AI Assistant 中兼容 OpenAI 协议的提供商地址设为 Tokios,这样 IntelliJ、PyCharm、GoLand 以及 Rider 就能调用 Ollama、LM Studio 或 vLLM 上的本地模型。 - [在 VS Code 中借助 GitHub Copilot 使用您自带的模型(即 BYOK 功能)](https://docs.tokios.com/zh/guides/vscode-copilot.md): 将 GitHub Copilot Chat 的“自带 API 密钥”设置指向 Tokios,如此一来 Copilot 的聊天与智能代理模式便可调用 Ollama、LM Studio 或 vLLM 上的本地模型。 - [将 AionUi 指向您自己的本地模型](https://docs.tokios.com/zh/guides/aionui.md): 在 AionUi 中将 Tokios 添加为自定义 OpenAI 兼容模型,使其内置智能体(以及它编排的编程 CLI)能够在您自己的硬件上的模型上运行。 - [将 Hermes Agent 指向您的 Tokios 端点](https://docs.tokios.com/zh/guides/hermes-agent.md): 将 Hermes Agent 的 LLM 后端指向由 Ollama、LM Studio 或 vLLM 提供的本地模型 — 将 Tokios 作为自定义 OpenAI 兼容提供商添加到其智能体循环中。 - [将 OpenClaw 指向您本地的模型](https://docs.tokios.com/zh/guides/openclaw.md): 在 OpenClaw 中将 Tokios 添加为自定义的兼容 OpenAI 的服务提供商,这样您的人工智能代理便可通过 Ollama、LM Studio 或 vLLM 在本地模型上运行,且可从任意位置进行访问。 - [将 NanoClaw 指向您本地的上游模型](https://docs.tokios.com/zh/guides/nanoclaw.md): 将 NanoClaw 的 Claude Agent SDK 后端指向 Tokios 提供的兼容 Anthropic 协议的端点,这样您容器化的 AI 代理就能在您自己的硬件上运行指定模型。 - [LangChain、LlamaIndex 以及 Vercel AI SDK 中的本地模型](https://docs.tokios.com/zh/guides/frameworks.md): 只需将 LangChain、LlamaIndex、Vercel AI SDK 或 Pydantic AI 指向您所使用的 Tokios 部署即可,只需使用这些工具原本就支持的与 OpenAI 兼容的基础 URL。 - [将 AnythingLLM 与 Dify 连接到您的本地模型](https://docs.tokios.com/zh/guides/app-builders.md): 在 AnythingLLM 或 Dify 中将 Tokios 添加为自定义的兼容 OpenAI 的服务提供商,这样任意应用均可从任意位置调用您的本地模型,无需借助 Docker 变通方案。 - [利用 Langfuse 追踪本地模型的调用情况](https://docs.tokios.com/zh/guides/langfuse.md): 只需通过 Langfuse 提供的导入方式对 OpenAI 客户端进行封装,并将其指向您的 Tokios 部署环境,即可完整记录对本地模型的所有调用信息。 - [所有与 Tokios 兼容的客户端 — 完整矩阵](https://docs.tokios.com/zh/guides/compatible-clients.md): 39 个客户端已确认与 Tokios 配合工作:编码代理、聊天应用、SDK、可观测性工具和网关。它们均使用标准的 OpenAI 或 Anthropic API 格式。 - [何时应当选用 Tokios——以及何时它并非理想之选](https://docs.tokios.com/zh/guides/when-to-use-tokios.md): 本文将客观说明 Tokios 在本地大语言模型部署中的适用情形,同时也会指出何时更适合选用 Tailscale、Cloudflare Tunnel、LiteLLM 或自行搭建的架构。 - [用于本地大语言模型访问的 Tokios 与 Tailscale 对比](https://docs.tokios.com/zh/guides/tokios-vs-tailscale.md): Tailscale 与 Tokios 在远程访问本地模型时的差异:网络模型、API 密钥、客户端兼容性,以及各自适用的场景。 - [借助 Tokios 与 Cloudflare Tunnel 实现本地大语言模型的远程访问](https://docs.tokios.com/zh/guides/tokios-vs-cloudflare-tunnel.md): 二者在对外发布本地模型方面有何差异:服务器发送事件流传输、代理超时机制、API 密钥管理、部署复杂度,以及各自适用的使用场景。 - [Tokios与LiteLLM在本地大语言模型路由方面的对比](https://docs.tokios.com/zh/guides/tokios-vs-litellm.md): LiteLLM与Tokios的主要差异在于:LiteLLM是面向100多家服务提供商的代理与网关;而Tokios则将隧道、代理、API 密钥以及控制台整合为一项托管式服务。 - [Tokios 与自行构建本地大语言模型技术栈的对比](https://docs.tokios.com/zh/guides/tokios-vs-diy.md): 自行构建本地大语言模型技术栈所需的工作内容(运行时环境、代理服务器、隧道服务、身份验证机制、TLS 加密、域名解析服务以及监控工具),以及何种情况下自行搭建比使用 Tokios 更具优势。 - [你的 tailnet 值得拥有真正的 AI API](https://docs.tokios.com/zh/blog/your-tailnet-deserves-a-proper-ai-api.md): 你已经在 Tailscale 网络上运行本地模型了。以下是如何添加每用户 API 密钥、OpenAI 兼容端点和远程访问的方法——无需替换 Tailscale。 - [请问 8 DGX Sparks 能够运行 Kimi K3 吗?这里涉及内存方面的计算问题。](https://docs.tokios.com/zh/blog/kimi-k3-hardware-deep-dive.md): Kimi K3 硬件计算:8 台 DGX Spark 还差 376 GB,才能达到 K3 的 2.8T 参数 MoE 权重下限(约 1.4 TB,4-bit)——有据可查,并非猜测。 - [在本地部署 DeepSeek-V4-Flash-0731:硬件要求](https://docs.tokios.com/zh/blog/deepseek-v4-flash-local-hardware.md): 能否使用 2 RTX PRO 6000 显卡、2 DGX Spark 服务器或 2 Strix Halo 系统来运行 DeepSeek-V4-Flash-0731 呢?这涉及到显存容量、互连性能、运行环境的成熟度以及上下文处理空间等因素。 - [DeepSeek V4.1 Flash 在 2 台 DGX Spark 上运行:社区基准测试](https://docs.tokios.com/zh/blog/deepseek-v41-flash-dgx-spark.md): DeepSeek V4.1 Flash(552B MoE)在 2 台 NVIDIA DGX Spark 上通过 RoCE 张量并行运行的社区基准测试、配置方案及常见问题。包含 vLLM 和 SGLang 部署指南。 - [175,000:仅允许出站连接的 Ollama 服务器配置实例](https://docs.tokios.com/zh/blog/why-outbound-only.md): 研究人员统计出约 175,000 台暴露在互联网上的 Ollama 主机(2026 年初)——这一数字背后的故障模式,以及为何仅出站架构不存在这种问题。 - [一个端点,两种协议:OpenAI 与 Anthropic,对应同一模型](https://docs.tokios.com/zh/blog/one-endpoint-two-protocols.md): Tokios 网关如何将 Anthropic 的 Messages 格式与 OpenAI 的 Responses 格式转换为 Chat Completions 格式,从而让一次本地模型部署即可满足所有客户端的需求。 - [加固自托管的大语言模型:检查清单](https://docs.tokios.com/zh/blog/self-hosted-llm-hardening-checklist.md): 这是一份实用的检查清单,涵盖本地模型的部署细节,包括绑定地址、身份验证规则以及防火墙设置;同时说明了使用仅出站模式的连接器能彻底规避哪些风险。 ## 日本語ドキュメント - [ローカルモデルを一元管理するエンドポイント](https://docs.tokios.com/ja.md): どこからでも、エージェントやアプリをローカルモデルに接続します。 - [ローカルモデルを Tokios に接続する](https://docs.tokios.com/ja/quickstart.md): ランタイムを接続し、エンドツーエンドを検証し、クライアントを接続します。インバウンドポート、パブリック IP、NAT の変更は不要です。 - [Tokiosの仕組み:ご自身のモデル、ご自身のハードウェア、そして単一のエンドポイント](https://docs.tokios.com/ja/how-it-works.md): Tokiosがいかにして送信専用のWebSocketトンネルを利用し、インバウンドポートや公開IPアドレスを開放することなくAPIリクエストをローカルのLLMへとルーティングするかをご説明します。 - [Tokios コネクタをインストールしてペアリングする](https://docs.tokios.com/ja/setup/connector-install.md): Tokios コネクタをモデルと同じマシンで実行し、WebSocket 経由で一回限りのペアリングコードでペアリングします。インバウンドポート、パブリック IP、トークンの手動編集は不要です。 - [Tokios コンソールにモデルを登録する](https://docs.tokios.com/ja/setup/register-model.md): ペアリング済みのコネクタが提供するモデルに、api.tokios.com 上の公開名を割り当てます。これはクライアントが各リクエストの model フィールドに渡す文字列です。 - [Tokios API キーを作成・管理する](https://docs.tokios.com/ja/setup/api-keys.md): Keys タブで Bearer キー(sk-tok-…)を作成し、api.tokios.com へのリクエストを認証します。必要に応じて特定のモデルにスコープを限定できます。 - [ご自身のワークスペースでリクエストログ機能を有効化する](https://docs.tokios.com/ja/setup/request-logging.md): 各APIリクエストのプロンプト本文を保存する設定を有効化できます。保存されたデータは暗号化され、添付ファイルは除外、機密情報は伏せられ、7日経過後に自動削除されます。Tokiosダッシュボードのリクエストログから内容を確認可能です。 - [エージェントとスクリプト用の自動化トークンを作成する](https://docs.tokios.com/ja/setup/automation-tokens.md): スコープを限定した有効期限付きの自動化トークン(at-tok-…)を発行し、コーディングエージェントやスクリプトがパスワードなしで API を通じて Tokios ワークスペースをセットアップ・管理できるようにします。 - [サポートされているローカルモデルバックエンド — Tokios コネクタ](https://docs.tokios.com/ja/setup/supported-backends.md): tokios-connector.json で BaseUrl (/v1) を設定し、Tokios コネクタの接続先を Ollama、llama.cpp、vLLM、LM Studio、MLX Studio、MLX-LM Server、Lemonade Server のいずれかに指定します。バックエンドは OpenAI Chat Completions に対応している必要があります。 - [ハードウェアに合うモデルを見つける](https://docs.tokios.com/ja/guides/model-fit.md): インタラクティブな互換性チェックツールです。GPU またはユニファイドメモリ環境で動作するモデルを、VRAM サイズの計算と量子化の見積もりとともに確認できます。 - [ローカルLLM用レシピ集](https://docs.tokios.com/ja/guides/local-llm-recipes.md): 一般的なローカルLLM環境構築用の設定内容をそのままコピーして利用できる。各レシピには必要なコマンドや設定項目、ハードウェア要件が記載されている。 - [ローカル LLM の事例紹介](https://docs.tokios.com/ja/guides/local-llm-case-studies.md): ローカルモデルを運用するチームや個人による実際の導入パターンです。うまくいったこと、うまくいかなかったこと、そしてやり直すなら何を変えるかを紹介します。 - [ローカル LLM モデル:一つ選び、セルフホストし、どこからでも利用する](https://docs.tokios.com/ja/models.md): セルフホストするローカル LLM を選びましょう。Tokios で利用できるオープンウェイトのモデルファミリー(Qwen、DeepSeek、Llama、Gemma など)を比較し、ハードウェアに合うものを選べます。 - [ローカルモデルとバックエンドを選択する](https://docs.tokios.com/ja/guides/choose-a-local-model.md): ワークフロー、ローカルハードウェア、バックエンド、性能要件に応じて Tokios デプロイの構成を選択してください。 - [どのタスクにどのローカルモデルか?](https://docs.tokios.com/ja/guides/model-by-task.md): デプロイを登録する前に、コーディング、チャット、推論、長文処理、画像認識、ツール呼び出し、埋め込み処理といったタスクごとに適したローカルモデルファミリーを選定してください。 - [モデル名の読み方](https://docs.tokios.com/ja/guides/read-a-model-name.md): オープンウェイトモデルの名前、量子化ラベル、アーキテクチャサフィックスを解読します。ダウンロード前に Q4_K_M、MoE、-Instruct が何を意味するかを理解しましょう。 - [モデルカードの読み方](https://docs.tokios.com/ja/concepts/read-a-model-card.md): モデルをダウンロードする前に、実際に重要となるパラメータ、アーキテクチャ、コンテキスト長、ライセンス、ファイル形式を確認します。 - [評価とは何か:LLM ベンチマークの実践ガイド](https://docs.tokios.com/ja/guides/what-are-evals.md): MMLU、HumanEval、MT-Bench、その他のベンチマークを理解します。ローカルモデルを選択する前に、ユースケースに重要なスコアを把握しましょう。 - [Qwen3.6をローカルで実行し、どこからでも利用する](https://docs.tokios.com/ja/models/qwen3.6.md): Ollama、LM Studio、vLLM、SGLangを使って、最も広くサポートされているマルチモーダルモデルであるQwen3.6を提供し、Tokiosエンドポイント経由でアクセス可能にする - [Qwen3-VL をローカルで実行し、どこからでも利用する](https://docs.tokios.com/ja/models/qwen3-vl.md): Qwen の視覚言語専用ファミリーである Qwen3-VL を Ollama、LM Studio、vLLM、SGLang で提供し、Tokios エンドポイント経由でアクセスします。 - [Qwen3.8-27B:リリース日、ハードウェア、ローカルでのデプロイ](https://docs.tokios.com/ja/models/qwen3.8.md): Qwen3.8-27B が Apache-2.0 でリリースされ、ネイティブのビジョン対応と 262K のコンテキストを備えています。GGUF は 17.11 GB(Q4_K_M)なので、24 GB の GPU で実行できます。Ollama タグも公開済みです。 - [DeepSeek V4.1-Flash:最新の DeepSeek をローカルで実行する](https://docs.tokios.com/ja/models/deepseek.md): DeepSeek V4.1-Flash をローカルで実行します。552B の MoE で、ネイティブのビジョン対応、8B/16B の非対称アクティブパラメータ、1M のコンテキスト、384K の出力を備えています。提供方法、ハードウェア要件、そして旧版となった V4-Flash-0731 を比較します。 - [DeepSeek-R1 をローカルで実行する:蒸留モデル、ハードウェア適合性、セットアップ](https://docs.tokios.com/ja/models/deepseek-r1.md): DeepSeek-R1 の蒸留モデルを Ollama で(またはマルチ GPU サーバで 671B の R1 を)提供し、Tokios 経由で OpenAI または Anthropic 互換の任意のクライアントからアクセスします。 - [GLM 5.2 と GLM ファミリーをローカルで実行し、どこからでも利用する](https://docs.tokios.com/ja/models/glm.md): Z.ai の GLM ファミリーを提供します。コマンド一つでローカルに取得できる GLM-4、大容量 VRAM マシン向けの GLM-4.5-Air、マルチ GPU サーバ向けの GLM-4.6、そしてフロンティアモデルの GLM-5.2 を取り上げます。 - [GLM-5.3:重み、ハードウェア、ローカルでのデプロイ](https://docs.tokios.com/ja/models/glm-5.3.md): GLM-5.3 の重みが Hugging Face(zai-org/GLM-5.3)で公開されています。総パラメータ数 753B、アクティブ約 40B の MoE、1M トークンのコンテキストを備えています。ハードウェアのサイジング、ライセンス、ローカルでの提供方法を解説します。 - [Gemma 4 をローカルで実行し、どこからでも利用する](https://docs.tokios.com/ja/models/gemma.md): Google の Gemma(Gemma 3 から Gemma 4 までの、マルチモーダルかつ多言語対応のオープンウェイトファミリー)を Ollama または LM Studio で提供し、Tokios 経由でアクセスします。 - [Muse Glimmer 30B をローカルで実行する:ハードウェア、DFlash、セットアップ](https://docs.tokios.com/ja/models/muse-glimmer.md): Meta の Muse Glimmer 30B は Apache 2.0 ライセンスで、24 GB の GPU に 4-bit で収まり、ローカルエージェントを 3.1x 高速化する DFlash ドラフトモデルを同梱しています。タグ、VRAM、セットアップを解説します。 - [Muse Spark Open 816B をローカルで実行する:ハードウェア、量子化、セットアップ](https://docs.tokios.com/ja/models/muse-spark-open.md): Meta の Muse Spark Open は 816B/42B アクティブの MoE で、1M のコンテキスト、マルチモーダル入力(テキスト、画像、動画、音声)、フロンティア級のエージェント型コーディングスコアを備えています。ハードウェア、GGUF バリアント、セットアップを解説します。 - [Llama 4 をローカルで実行する:Scout、Maverick とそのハードウェア](https://docs.tokios.com/ja/models/llama-4.md): Meta の Llama 4 Scout と Maverick を自分のハードウェアで提供します。MoE のメモリ計算、Ollama タグ、vLLM のセットアップ、そして 10M トークンのコンテキストの実情を解説します。 - [Kimi モデル:ローカルで実行できるのはどれか?](https://docs.tokios.com/ja/models/kimi.md): Moonshot AI の Kimi ファミリーを比較します。K3(七月27日に重みを公開)と、ダウンロード可能な K2.6 および K2.7-Code について、それぞれをセルフホストするための率直なハードウェア要件を示します。 - [Kimi K3 をローカルで実行する:ハードウェアとセルフホストの現実](https://docs.tokios.com/ja/models/kimi-k3.md): Kimi K3 はローカルで実行できるのでしょうか?Moonshot AI の 2.8T パラメータの MoE には約 1.4 TB(下限となる 4-bit 時)が必要で、現時点でこれを収容できるコンシューマ向け・プロシューマ向けのハードウェアはありません。 - [Kimi K3 が収まらない場合 — ハードウェア別の代替モデル](https://docs.tokios.com/ja/models/kimi-k3-alternatives.md): Kimi K3 には約 1.4 TB が必要で、コンシューマ向けやプロシューマ向けのマシンには収まりません。Strix Halo、1–4 台の DGX Spark、または単一の GPU で代わりに実行できる最も近いモデルを紹介します。 - [MiMo V2.6 をローカルで実行する — Xiaomi のマルチモーダルエージェントモデル](https://docs.tokios.com/ja/models/mimo.md): MiMo V2.6 をローカルで実行します。Xiaomi の 1.02T MoE で、アクティブは 42B、ネイティブのマルチモーダル(テキスト/画像/動画/音声)、1M のコンテキスト、MIT ライセンスを備えています。9B の蒸留モデルは単一の GPU に収まります。 - [推論の仕組み](https://docs.tokios.com/ja/concepts/how-inference-works.md): プロンプトがテキストからトークンへ、ストリーミングされた返信へと変換される過程を追跡し、そのラウンドトリップが GPU メモリに与える影響を確認します。 - [KV キャッシュとコンテキスト長](https://docs.tokios.com/ja/concepts/kv-cache-and-context.md): KV キャッシュとは何か、なぜ長いコンテキストにより多くのメモリが必要になるのか、そしてそれが生み出すコンテキストと速度のトレードオフについて。 - [メモリ容量とオフロード](https://docs.tokios.com/ja/concepts/memory-and-offloading.md): モデルに必要な RAM または VRAM の量を決定する計算式と、VRAM に完全に収まらない場合のオフロードの動作について説明します。 - [量子化の解説](https://docs.tokios.com/ja/concepts/quantization.md): 量子化とは何か、Q4_K_M などの GGUF 量子化名の読み方、および適切な選択方法について。 - [Mixture of Experts (MoE):ルーティング、エキスパート並列、メモリ](https://docs.tokios.com/ja/concepts/moe-routing-and-expert-parallelism.md): Mixture of Experts (MoE) を理解します。ルーティングの仕組み、メモリが総パラメータ数に比例する理由、MoE を採用しているオープンウェイトモデルを解説し、サイジングの計算式とハードウェアガイドも掲載しています。 - [量子化アウェアトレーニング(QAT)の解説](https://docs.tokios.com/ja/concepts/qat.md): 量子化アウェアトレーニング(QAT)とは何か、ポストトレーニング量子化とどう違うのか、そして約4ビットのVRAM環境でGoogle製GemmaのQATチェックポイントを実行する方法について説明します。 - [モデルの提供とスケーリング](https://docs.tokios.com/ja/concepts/model-serving-and-scaling.md): 高度な実行コマンドに含まれる用語、すなわち推論フレームワーク、精度設定、テンソル/パイプライン/エキスパート並列処理、そしてスペキュレーティブデコーディング(MTP)について平易に解説します。 - [TokiosのAPIエンドポイント:OpenAIおよびAnthropicのリファレンス](https://docs.tokios.com/ja/reference/api-endpoints.md): Tokiosの各APIエンドポイント — /v1/chat/completions、/v1/messages、/v1/messages/count_tokens、/v1/responses、/v1/models — におけるリクエストおよびレスポンスの構造についての説明です。 - [tokios-connector.json 設定リファレンス](https://docs.tokios.com/ja/reference/connector-config.md): Tokios コネクターの設定ファイルおよび CLI フラグに関する完全な説明 — ConnectorId、APIキー、ルート設定、アップストリームモデルID、ログ出力、サービスとしての実行方法など。 - [Tokiosへのクライアント接続に関するトラブルシューティング](https://docs.tokios.com/ja/reference/troubleshooting.md): クライアントがTokiosに接続できない主な原因である誤ったベースURL、不適切なモデル、オフライン状態のコネクター、サポートされていない機能やエラーコードの四つを修正する方法。 - [Tokios FAQ:セットアップ、コネクター接続、およびトラブルシューティング](https://docs.tokios.com/ja/reference/faq.md): Tokiosのセットアップ手順、ファイアウォール要件、API互換性、ストリーミング機能、データプライバシー、対応するバックエンド、課金体系などに関する一般的な質問への回答です。 - [用語集](https://docs.tokios.com/ja/concepts/glossary.md): ローカルモデルを利用する際に出会う用語の簡単な定義を掲載しており、各項目は詳細な説明ページへリンクしています。 - [ハードウェアリファレンス](https://docs.tokios.com/ja/guides/hardware-reference.md): ローカル LLM 推論向けのハードウェアをひと目で比較できます。サポートされているすべてのプラットフォームについて、スペック、モデル容量、推奨モデル、トレードオフを掲載しています。 - [TokiosをローカルAIワークステーションと共に利用する](https://docs.tokios.com/ja/use-cases/local-ai-workstations.md): Tokiosの単一APIエンドポイントを通じて、NVIDIA GB10、DGX Spark、AMD Strix Halo、Ryzen AI Max、Appleシリコン搭載Mac、その他のローカルAIワークステーション上のモデルを公開できます。 - [量子化フォーマットと必要なハードウェア](https://docs.tokios.com/ja/models/quantization-and-hardware.md): ローカルモデルの量子化におけるフォーマット×ハードウェアの対応表です。どのフォーマット(GGUF、AWQ、GPTQ、NVFP4、MXFP4、MLX)がどの GPU で動作するか、どれを選ぶべきかを解説します。 - [NVIDIA DGX Spark をプライベートなモデルエンドポイントにする](https://docs.tokios.com/ja/use-cases/dgx-spark.md): NVIDIA DGX Spark または GB10 上のモデルに、ノート PC、コーディングエージェント、チームメイトからアクセスできる OpenAI および Anthropic 互換のエンドポイントを一つ提供します。 - [DGX Spark のモデル互換性 — 128GB に収まるモデル](https://docs.tokios.com/ja/guides/dgx-spark-model-compatibility.md): NVIDIA DGX Spark の 128GB ユニファイドメモリで動作するモデル、推奨される量子化フォーマット、そして Dense、MoE、Qwen3.8、GLM-5.2 の想定スループットを紹介します。 - [NVIDIA DGX Spark上でvLLMをインストールおよび設定する](https://docs.tokios.com/ja/guides/vllm-dgx-spark.md): NVFP4量子化機能を用いたDGX Spark上でのvLLMのインストール手順、35B・70B・120BのMoEモデル向け最適設定、およびARM64やSM121関連のトラブルシューティング方法。 - [DGX Sparkにおけるメモリチューニングとベンチマーク](https://docs.tokios.com/ja/guides/dgx-spark-memory-tuning.md): DGX Spark上でのユニファイドメモリの仕組み、さまざまなコンテキスト長に対応したKVキャッシュのサイズ設定、バッチ処理におけるトレードオフ、そして 128GB規模の環境で安定した推論を行うためのチューニングパラメーターについて解説します。 - [DGX Spark は一台か二台か — スケールするタイミングとセットアップ方法](https://docs.tokios.com/ja/guides/one-vs-two-dgx-sparks.md): NVIDIA DGX Spark を一台にするか二台にするかの判断ガイドです。一台で十分な場合、200Gb/s リンクを介したテンソル並列、vLLM の分散構成について解説します。 - [Strix Halo または Ryzen AI Max マシンをモデルエンドポイントにする](https://docs.tokios.com/ja/use-cases/strix-halo.md): AMD Strix Halo または Ryzen AI Max+ 395 マシン上のモデルに、Claude Code や opencode からアクセスできる OpenAI および Anthropic 互換のエンドポイントを提供します。 - [Strix Haloにおけるモデル互換性:どのモデルが128GBのメモリに収まるか](https://docs.tokios.com/ja/guides/strix-halo-model-compatibility.md): AMD Ryzen AI Max+ 395(Strix Halo)において、128GBの統合メモリで動作可能なモデルは何か、どの量子化レベルが適しているか、またMoEモデルと非MoEモデルでトークン生成速度にどのような差が生じるか - [Strix HaloにおけるvLLM:現状、問題点、および代替手段](https://docs.tokios.com/ja/guides/vllm-strix-halo.md): AMD製Strix Halo(Ryzen AI Max+ 395)ではvLLMが安定して動作しない。その理由と代替案としては、Vulkan対応のllama.cppや特定バージョンのOllamaが挙げられる。 - [Mac Studio をチーム用のモデルエンドポイントにする](https://docs.tokios.com/ja/use-cases/mac-studio.md): Mac Studio のユニファイドメモリ上で LM Studio、Ollama、MLX Studio、MLX-LM Server が動かしているモデルに、チームメイトやコーディングエージェントが呼び出せる認証付きのエンドポイントを一つ提供します。 - [RTX ワークステーションをプライベートなモデルエンドポイントにする](https://docs.tokios.com/ja/use-cases/rtx-workstation.md): RTX 5090、4090、3090 搭載デスクトップ上のモデルに、ノート PC、コーディングエージェント、チームメイトからアクセスできる OpenAI および Anthropic 互換のエンドポイントを一つ提供します。 - [自宅ラボのGPUサーバーからチームメンバーへモデルを提供する](https://docs.tokios.com/ja/use-cases/homelab-gpu-server.md): ヘッドレス状態の自宅ラボGPUサーバー上のモデル群に対し、認証が必要な単一のエンドポイントを用意することで、CGNATの背後にいてもチームメンバーやアプリケーションがアクセスできるようにする。ポートを外部に開放する必要もない。 - [OLLAMA_HOST=0.0.0.0 を使わない Ollama リモートアクセス](https://docs.tokios.com/ja/guides/ollama-remote-access.md): OLLAMA_HOST=0.0.0.0を設定したり11434番ポートを開放したりせずに別のマシンからOllamaに接続する方法。ローカルホスト上で運用したまま認証機能付きアクセスを実現するのが目的だ。 - [どこからでも安全にLM Studioサーバーを利用可能](https://docs.tokios.com/ja/guides/lm-studio-remote-access.md): ローカルネットワークでのサービス提供機能を有効化せずとも、送信専用のコネクターと実際のAPIキーを使うことで他のマシンからLM StudioのOpenAI互換サーバーに接続できる。 - [Unsloth Studio をどこからでも安全に利用する](https://docs.tokios.com/ja/guides/unsloth-studio-remote-access.md): Unsloth Studio のノーコード UI でモデルを実行し、認証された一つのエンドポイントを通じて他のマシン、エージェント、またはチームメンバーからアクセスします。インバウンドポートは不要です。 - [どこからでも安全に llama.cpp サーバーを利用可能](https://docs.tokios.com/ja/guides/llama-cpp-remote-access.md): アウトバウンド専用のコネクターと本物の APIキーを利用すれば、ポート 8080 を公開することなく他のマシンやチームメンバーから llama.cpp の OpenAI互換サーバーに接続できる。 - [どこからでも安全にvLLMサーバーを利用できる](https://docs.tokios.com/ja/guides/vllm-remote-access.md): 送信専用のコネクターとAPIキーを利用すれば、8000ポートを公開することなく他のマシンやエージェント、チームメンバーからvLLMのOpenAI互換サーバーにアクセス可能だ。 - [WSL2およびNVIDIA GPUを利用してWindows上でvLLMを実行する](https://docs.tokios.com/ja/guides/vllm-windows-wsl2.md): WSL2とDockerを活用し、NVIDIA GPU搭載のWindows PC上にvLLMをインストール・実行する方法を説明します。GPUパススルーの設定、推論処理の開始手順、そしてTokiosを使ったサービス公開方法も解説します。 - [どこからでも安全にSGLangサーバーを利用できる](https://docs.tokios.com/ja/guides/sglang-remote-access.md): 送信専用のコネクターとAPIキーを利用すれば、ポートを公開することなく他のマシンやエージェント、チームメイトからSGLangのOpenAI互換サーバーに接続可能だ。 - [どこからでも安全にXinferenceサーバーを利用する](https://docs.tokios.com/ja/guides/xinference-remote-access.md): 送信専用のコネクターを利用すれば、ポートを公開することなく他のマシンやエージェント、チームメンバーからXinferenceサーバーにアクセスできる。 - [MLX-LM Server をどこからでも安全に使用する](https://docs.tokios.com/ja/guides/mlx-lm-server-remote-access.md): Apple Silicon 上の MLX-LM Server にどこからでもアクセスできます。Tokios コネクタと API キー認証で安全なリモートアクセスを設定し、5 分で提供を開始できます。 - [Lemonade Server へのリモートアクセス — AMD NPU と GPU](https://docs.tokios.com/ja/guides/lemonade-server-remote-access.md): Lemonade Server の API にどこからでもアクセスできます(AMD NPU、Vulkan、ROCm、CUDA)。Tokios コネクタで安全なリモートアクセスを設定し、5 分で提供を開始できます。 - [vLLMをローカルで実行し、Tokiosを通じてどこからでもアクセスできるようにする](https://docs.tokios.com/ja/guides/remote-vllm-tokios.md): vLLMをインストールし、モデルを起動した後、Tokiosコネクターを追加してデプロイを登録すれば、任意のOpenAIやAnthropic互換クライアントからvLLMサーバーを呼び出せる。 - [ローカルモデルにAPIキーを追加する:Ollama、vLLM、llama.cpp](https://docs.tokios.com/ja/guides/add-api-keys-to-local-models.md): OllamaにはAPIキーの仕組みが存在しない。一方でvLLMおよびllama.cppでは 1 静的なキーが提供される。Tokiosでは個人やサービスごとに実際に使用可能なスコープ付きの sk-tok- キーが付与され、リバースプロキシの導入も不要だ。 - [CGNATの背後からローカルLLMを提供する — パブリックIPは不要](https://docs.tokios.com/ja/guides/llm-behind-cgnat.md): キャリアグレードNATによってポートフォワーディングが不可能な場合でも、どこからでもローカルモデルにアクセスできる。Tokiosコネクターは外向きに接続を行うため、パブリックIPは一切不要だ。 - [ローカルLLMへのリモートアクセス — セキュリティ比較](https://docs.tokios.com/ja/guides/remote-access-comparison.md): ローカルモデルのAPIを外部に公開するためのTailscale、Cloudflare Tunnel、SSHトンネル、およびTokiosの比較を行う。各手法のセキュリティ上のトレードオフや設定の難易度、適切な利用シーンについても解説する。 - [トンネル、VPN、そしてLLMストリーミング:何が問題となり、なぜそうなるのか](https://docs.tokios.com/ja/guides/tunnels-and-streaming.md): Cloudflare Tunnel、ngrok、TailscaleではSSEのバッファリングやタイムアウト、帯域制限に関する記載があるが、TokiosはLLM APIのストリーミング用途に特化して設計されている。 - [ローカルモデル用のモデルルーティング戦略](https://docs.tokios.com/ja/guides/model-routing.md): 1 つの Tokios エンドポイントの背後に複数のローカルモデルを登録し、タスクの種類、コスト、耐障害性に応じてリクエストをルーティングします。シンプルな切り替えからフォールバックチェーンまで扱います。 - [ファインチューニングしたモデルを API に変換する](https://docs.tokios.com/ja/guides/serve-your-fine-tune.md): Ollama や llama.cpp で稼働中のファインチューニング済みモデルを、ツール、チームメンバー、コーディングエージェントが呼び出せる、キー保護された https://api.tokios.com エンドポイントに変換します。 - [Tokios デプロイメントのベンチマーク](https://docs.tokios.com/ja/guides/benchmark-your-deployment.md): ローカルモデルをバックエンドとする Tokios デプロイメント間で、レイテンシ、ストリーミング、および動作を比較するための簡易チェックを実行します。 - [モデルシャーディングの仕組み](https://docs.tokios.com/ja/guides/model-sharding.md): テンサー並列化、パイプライン並列化、データ並列化、エキスパート並列化について理解しましょう。そしてご自身のハードウェアに最適なシャーディング戦略を選びましょう。 - [ローカルでのLLM推論におけるテンサー並列処理とパイプライン並列処理の比較](https://docs.tokios.com/ja/guides/tensor-vs-pipeline-parallelism.md): DGX SparkやRTXワークステーション、複数ノードからなるクラスター環境において、複数GPUを使ったLLM推論でテンサー並列処理、パイプライン並列処理、あるいは両方をいつ利用すべきか - [スペキュレーティブデコーディング:ドラフトモデル、n-gram、MTP、そしてEAGLE](https://docs.tokios.com/ja/guides/speculative-decoding.md): LLMの推論速度を向上させるスペキュレーティブデコーディング技術について理解しましょう。n-gram、ドラフトモデル、マルチトークン予測、EAGLEといった手法を比較します。 - [デコード、プリフィル、および精度別の消費電力](https://docs.tokios.com/ja/guides/decode-prefill-power.md): デコードスループットとプリフィルレイテンシの違い、精度が各指標に与える影響、および消費電力への影響を理解します。実際の環境でベンチマークを行いましょう。 - [SGLang の設定と使いどころ](https://docs.tokios.com/ja/guides/sglang-optimization.md): RAG やエージェントのワークロード向けに SGLang を設定します。プレフィックスキャッシュのための RadixAttention、vLLM と SGLang の選択マトリクス、SGLang 固有の最適化フラグを解説します。 - [llama.cpp を速度とメモリの観点で最適化する](https://docs.tokios.com/ja/guides/llama-cpp-optimization.md): llama.cpp のパフォーマンスを最大化するためのチューニングです。flash attention、mmap と mlock の比較、スレッドの調整、GPU オフロード戦略、バッチサイズ、KV キャッシュの精度、MoE エキスパートの配置を解説します。 - [vLLM をスループットとレイテンシの観点で最適化する](https://docs.tokios.com/ja/guides/vllm-optimization.md): vLLM をスループットの最大化またはレイテンシの最小化に向けてチューニングします。KV キャッシュの調整、プレフィックスキャッシュ、チャンク化プリフィル、LoRA の提供、量子化オプション、V1 アーキテクチャの変更点を解説します。 - [Ollama を速度とメモリの観点で最適化する](https://docs.tokios.com/ja/guides/ollama-optimization.md): Ollama の速度を最大化するためのチューニングです。コンテキストウィンドウ、GPU オフロード、flash attention、KV キャッシュの量子化、並列リクエストを解説します。これらの設定でレイテンシを 2-5x 削減できます。 - [LM Studio を速度とメモリの観点で最適化する](https://docs.tokios.com/ja/guides/lm-studio-optimization.md): LM Studio の速度を最大化するためのチューニングです。GPU オフロード、コンテキストウィンドウ、flash attention、KV キャッシュの量子化、バッチサイズを解説します。これらの設定でレイテンシを 2-5x 削減できます。 - [Tokios を通じてローカルモデルに Open WebUI を接続する](https://docs.tokios.com/ja/guides/open-webui.md): Open WebUI に Tokios を OpenAI 接続として追加し、ホストまたはコンテナ化された UI から、ご自身のマシンで実行されているモデルにアクセスできるようにします。 - [Msty で独自のローカルモデルを使用する](https://docs.tokios.com/ja/guides/msty.md): Msty に Tokios を OpenAI 互換のリモートモデルプロバイダーとして追加し、デスクトップアプリがユーザー自身のハードウェアで実行されているモデルにアクセスできるようにします。 - [Jan で自前のハードウェア上のモデルを使用する](https://docs.tokios.com/ja/guides/jan.md): Jan に Tokios を OpenAI 互換のカスタムプロバイダーとして追加し、アプリがデスクトップやサーバー上で実行されているより大きなモデルにアクセスできるようにします。 - [Cherry Studio でローカルモデルを使用する](https://docs.tokios.com/ja/guides/cherry-studio.md): Cherry Studio に Tokios をカスタム OpenAI プロバイダとして追加し、デスクトップアプリから自前のハードウェアで動作するモデルにアクセスできるようにします。 - [big-AGI でローカルモデルを使用する](https://docs.tokios.com/ja/guides/big-agi.md): Tokios を big-AGI のカスタム OpenAI 互換エンドポイントとして追加し、このマルチモデルフロントエンドがあなたのハードウェアで稼働しているモデルにアクセスできるようにします。 - [LobeChat をローカルモデルに接続する](https://docs.tokios.com/ja/guides/lobechat.md): LobeChat に Tokios を OpenAI プロバイダーとして追加します。アプリ内または環境変数で設定することで、洗練されたチャット UI から、ご自身のハードウェアで動作するモデルにアクセスできます。 - [LibreChat を Tokios を通じてローカルモデルに接続する](https://docs.tokios.com/ja/guides/librechat.md): LibreChat の librechat.yaml に Tokios をカスタムエンドポイントとして追加し、ホストされたチャット UI から、あなたのマシン上に留まるモデルにアクセスできるようにします。 - [Chatbox でローカルモデルを使用する](https://docs.tokios.com/ja/guides/chatbox.md): Chatbox に Tokios をカスタムの OpenAI 互換プロバイダとして追加し、デスクトップアプリからローカルハードウェアで実行中のモデルにアクセスできるようにします。 - [SillyTavern でローカルモデルを使用する](https://docs.tokios.com/ja/guides/sillytavern.md): SillyTavern の Chat Completion ソースをカスタム OpenAI 互換エンドポイントとして Tokios を指定し、このパワーユーザー向けフロントエンドで、ご自身のハードウェア上のモデルを駆動します。 - [スマートフォンからローカルモデルを使用する](https://docs.tokios.com/ja/use-cases/local-model-on-your-phone.md): モデルを自宅のデバイスで稼働させたまま、iOS または Android のチャットアプリで Tokios エンドポイントを指定し、sk-tok- API キーを使用してアクセスします。 - [Tokiosを利用してローカルモデルとコーディングエージェントを連携させる](https://docs.tokios.com/ja/guides/coding-agents-local-models.md): Tokiosのエンドポイントを通じて、Claude CodeやOpenCode、Aider、Cline、Continueなど各種エージェントをご自身のローカルモデルに接続可能です。モデルを切り替える際にもエージェントの再設定は不要です。 - [Tokiosを通じてローカルモデルと連携するコーディングエージェント](https://docs.tokios.com/ja/guides/coding-agent-compatibility.md): 以下は、Tokiosが提供するOpenAIおよびAnthropic互換APIを利用してローカルモデルに接続する 15種類のコーディングエージェントの互換性情報一覧です。IDEベースのものやターミナル用のエージェントも含まれます。 - [コーディングエージェントに Tokios をセットアップしてもらう](https://docs.tokios.com/ja/guides/agent-setup.md): Claude Code、Codex、または任意のコーディングエージェントに自動化トークンとこのページを渡します。エージェントがコネクタをペアリングし、モデルを公開し、API キーを発行し、接続経路を無人で検証します。 - [ローカルモデルでコーディングエージェントを使用する](https://docs.tokios.com/ja/use-cases/coding-agents.md): カスタムの OpenAI または Anthropic エンドポイントに対応したコーディングエージェントを、ローカルモデルで動作する Tokios デプロイメントに接続します。 - [Claude Code を自分のローカルモデルで使用する](https://docs.tokios.com/ja/guides/claude-code.md): Ollama、LM Studio、llama.cpp、vLLM 上のローカルモデルで Claude Code を使用します。ANTHROPIC_BASE_URL と ANTHROPIC_API_KEY を設定して、リクエストを Tokios 経由でルーティングします。 - [OpenAI Codex を自分のローカルモデルで使用する](https://docs.tokios.com/ja/guides/openai-codex.md): Ollama、LM Studio、または任意の OpenAI 互換バックエンド上のローカルモデルで OpenAI Codex を使用します。Tokios プロバイダを config.toml に追加すれば、どこからでもアクセスできます。 - [自身のハードウェア上でモデルを使い、OpenAI Codexを利用する](https://docs.tokios.com/ja/guides/codex-local-model.md): Tokiosを利用すれば、別のマシン上にあるOllama、LM Studio、llama.cpp、vLLMといったローカルモデルに対してもOpenAI Codexを実行可能だ。TokiosはCodexが必要とするResponses APIに対応している。 - [Cursor を自分のローカルモデルで使用する](https://docs.tokios.com/ja/guides/cursor.md): Cursor の OpenAI 互換のベース URL を Tokios に向け、補完機能やエージェント機能から Ollama、LM Studio、llama.cpp、vLLM 上のローカルモデルにアクセスできるようにします。 - [Cline を自分のローカルモデルで使用する](https://docs.tokios.com/ja/guides/cline.md): Cline の OpenAI Compatible プロバイダのベース URL を Tokios に設定し、VS Code から Ollama、LM Studio、vLLM 上のローカルモデルを操作します。どこからでもアクセスできます。 - [Continue を自分のローカルモデルで使用する](https://docs.tokios.com/ja/guides/continue.md): Continue の OpenAI 互換の apiBase を Tokios に向け、チャット、編集、オートコンプリートから Ollama、LM Studio、vLLM で動作するローカルモデルにアクセスできるようにします。 - [自身のローカルモデルと共にAiderを利用する](https://docs.tokios.com/ja/guides/aider.md): OPENAI_API_BASE および OPENAI_API_KEY の値をそれぞれTokiosのエンドポイントとAPIキーに設定することで、AiderをOllama、LM Studio、またはvLLM上で動作するローカルモデルに接続できます。 - [Roo Code を自分のローカルモデルで使用する](https://docs.tokios.com/ja/guides/roo-code.md): Roo Code の OpenAI Compatible プロバイダを Tokios に設定し、VS Code 拡張機能から Ollama、LM Studio、vLLM 上のローカルモデルを操作できるようにします。ツール呼び出しにも対応しています。 - [OpenCode でローカルモデルを使用する](https://docs.tokios.com/ja/guides/opencode.md): opencode.json に Tokios を OpenAI 互換のカスタムプロバイダとして追加し、OpenCode のターミナルエージェントが Ollama、LM Studio、vLLM 上で動作するローカルモデルにアクセスできるようにします。localhost を公開することなく、どこからでも接続可能です。 - [Gooseを自身のローカルモデルと併用する方法](https://docs.tokios.com/ja/guides/goose.md): Goose内にTokiosをカスタムのOpenAI互換プロバイダーとして追加することで、GooseのコーディングエージェントはOllamaやLM Studio、vLLM上で稼働するローカルモデルに接続可能となる。 - [自身のローカルモデルとPiを併用する方法](https://docs.tokios.com/ja/guides/pi.md): TokiosをPiのmodels.json内でOpenAI互換プロバイダーとして追加することで、PiのターミナルコーディングエージェントがOllama、LM Studio、llama.cpp、vLLM上のローカルモデルにアクセスできるようになります。 - [自身のローカルモデルと共に omp(oh-my-pi)を利用する](https://docs.tokios.com/ja/guides/omp.md): Tokios を omp の models.yml 内のカスタム OpenAI互換プロバイダーとして追加することで、そのターミナルコーディングエージェントが Ollama、LM Studio、vLLM 上のローカルモデルにアクセスできるようになる。 - [Zed を自分のローカルモデルで使用する — OpenAI または Anthropic 経由](https://docs.tokios.com/ja/guides/zed.md): Zed の OpenAI 互換または Anthropic 互換のプロバイダを設定し、Tokios 経由で Ollama、LM Studio、vLLM 上のローカルモデルにアクセスします。どちらのエンドポイントでも利用できます。 - [ご自身のローカルモデルと共にJetBrains AI Assistantを利用する](https://docs.tokios.com/ja/guides/jetbrains-ai-assistant.md): TokiosをJetBrains AI AssistantのOpenAI互換プロバイダーとして指定すれば、IntelliJやPyCharm、GoLand、RiderからOllama、LM Studio、vLLM上のローカルモデルにアクセス可能になる - [VS Code の GitHub Copilot を自分のモデルで使用する(BYOK)](https://docs.tokios.com/ja/guides/vscode-copilot.md): GitHub Copilot Chat の Bring Your Own Key 設定を Tokios に向け、Copilot のチャットやエージェントモードから Ollama、LM Studio、vLLM 上のローカルモデルを呼び出せるようにします。 - [AionUi を独自のローカルモデルに接続する](https://docs.tokios.com/ja/guides/aionui.md): Tokios を AionUi のカスタム OpenAI 互換モデルとして追加し、組み込みエージェント(およびそれがオーケストレーションするコーディング CLI)を、あなたのハードウェア上のモデルで実行できるようにします。 - [Hermes Agentをご自身のTokiosエンドポイントに向けて設定する](https://docs.tokios.com/ja/guides/hermes-agent.md): Hermes AgentのLLMバックエンドをOllama、LM Studio、またはvLLMが提供するローカルモデルに向けて設定し、そのエージェントループ用にTokiosをカスタムのOpenAI互換プロバイダーとして追加します。 - [ご自身のローカルモデルをOpenClawの対象に設定する](https://docs.tokios.com/ja/guides/openclaw.md): TokiosをOpenClaw内のカスタムOpenAI互換プロバイダーとして追加すれば、OllamaやLM Studio、vLLMといったローカルモデルをどこからでも利用可能にできます。 - [NanoClawを自身のローカルモデルに向けます](https://docs.tokios.com/ja/guides/nanoclaw.md): NanoClawのClaude Agent SDKバックエンドをTokiosが提供するAnthropic互換エンドポイントに設定すれば、コンテナ化されたAIエージェントがご自身のハードウェア上のモデルを利用できるようになります。 - [LangChain、LlamaIndex、Vercel AI SDKにおけるローカルモデル](https://docs.tokios.com/ja/guides/frameworks.md): LangChain、LlamaIndex、Vercel AI SDK、Pydantic AIのいずれも、既に対応済みのOpenAI互換ベースURLを使って自身のTokiosデプロイ先を指定できます。 - [AnythingLLMおよびDifyをご自身のローカルモデルに接続する方法](https://docs.tokios.com/ja/guides/app-builders.md): TokiosをAnythingLLMまたはDifyのカスタムOpenAI互換プロバイダーとして追加すれば、どちらのアプリケーションからもローカルモデルを呼び出せるようになります。Dockerを使った回避策も不要です。 - [Langfuseを利用してローカルモデルへの呼び出しを追跡する](https://docs.tokios.com/ja/guides/langfuse.md): Langfuseが提供する置き換え用インポート機能を使ってOpenAIクライアントをラップし、Tokiosのデプロイ先を指定すれば、ローカルモデルへのすべての呼び出しを追跡できる。 - [Tokiosと互換性のあるすべてのクライアント — 完全な一覧表](https://docs.tokios.com/ja/guides/compatible-clients.md): 39 種類のクライアントがTokiosでの動作を確認済みです。コーディングエージェント、チャットアプリ、SDK、可観測性ツール、ゲートウェイなどが含まれます。これらはすべて標準的なOpenAIまたはAnthropicのAPI形式を採用しています。 - [Tokiosを使うべき場面と、そうでない場面](https://docs.tokios.com/ja/guides/when-to-use-tokios.md): ローカルLLM環境でTokiosが最適なツールとなるケース、および代わりにTailscaleやCloudflare Tunnel、LiteLLM、あるいは自作の仕組みを利用すべき場面について分かりやすく解説します。 - [ローカルLLMへのアクセス手段としてのTokiosとTailscale](https://docs.tokios.com/ja/guides/tokios-vs-tailscale.md): ローカルモデルへのリモートアクセスにおいて、TailscaleとTokiosはどのように異なるか — ネットワークモデル、APIキーの扱い、クライアントの互換性、そしてどちらがより適している状況について。 - [ローカルLLMへのアクセス手段としてのTokiosとCloudflare Tunnel](https://docs.tokios.com/ja/guides/tokios-vs-cloudflare-tunnel.md): ローカルモデルを外部に公開する際のCloudflare TunnelとTokiosの違い — SSEストリーミング、プロキシタイムアウト、APIキー、セットアップの難易度、そしてそれぞれのツールが適しているケースについて。 - [ローカルLLMのルーティングにおいて、TokiosとLiteLLMの比較](https://docs.tokios.com/ja/guides/tokios-vs-litellm.md): LiteLLMとTokiosの違いとしては、LiteLLMは 100以上のプロバイダー向けのプロキシ/ゲートウェイであるのに対し、Tokiosはトンネル機能、プロキシ、APIキー管理、ダッシュボードを一つのマネージドサービスとして提供する点です。 - [Tokiosと自前でローカルLLMスタックを構築する方法の比較](https://docs.tokios.com/ja/guides/tokios-vs-diy.md): 自前でローカルLLMスタックを構築する際に必要な要素(ランタイム、プロキシ、トンネル、認証機能、TLS、DNS、監視機能)や、Tokiosを利用する場合と比べていつそうする価値があるかについて - [8 台の DGX Spark で Kimi K3 は動くのか?メモリの計算](https://docs.tokios.com/ja/blog/kimi-k3-hardware-deep-dive.md): Kimi K3 のハードウェア計算:8 台の DGX Spark では 376 GB 足りず、K3 の 2.8T パラメータ MoE の重みの下限(約 1.4 TB、4-bit 時)に届きません。推測ではなく、出典に基づく分析です。 - [DeepSeek-V4-Flash-0731をローカルで実行するためのハードウェア要件について](https://docs.tokios.com/ja/blog/deepseek-v4-flash-local-hardware.md): 2 台の RTX PRO 6000、2 台の DGX Spark、または 2 台の Strix Halo システムで DeepSeek-V4-Flash-0731 は動くのでしょうか?メモリ、インターコネクト、ランタイムの成熟度、コンテキストの余裕を検証します。 - [175,000で公開されたOllamaサーバー:送信専用設定の必要性](https://docs.tokios.com/ja/blog/why-outbound-only.md): インターネットに公開された約 175,000 台の Ollama ホストが、2026 年初頭に研究者によって確認されました。この数字の背後にある失敗のパターンと、アウトバウンド専用ではそれが起こらない理由を解説します。 - [一つのエンドポイントで、二つのプロトコル:OpenAIおよびAnthropicに対応し、一つのモデルを利用可能](https://docs.tokios.com/ja/blog/one-endpoint-two-protocols.md): TokiosゲートウェイがどのようにAnthropicのメッセージおよびOpenAIのレスポンスをチャット補完形式に変換し、ひとつのローカルモデルデプロイで全クライアントに対応できるようにするか。 - [自己ホスト型LLMのセキュリティ強化:チェックリスト](https://docs.tokios.com/ja/blog/self-hosted-llm-hardening-checklist.md): ローカルモデルを外部に公開する際の実用的なチェックリストです。バインドアドレスや認証処理、ファイアウォール設定について説明しており、またアウトバウンド専用のコネクターを導入すればどのようなリスクが完全に排除されるかも記載しています。 ## 한국어 문서 - [로컬 모델용 단일 엔드포인트](https://docs.tokios.com/ko.md): 어디서든 에이전트나 앱을 로컬 모델로 연결하세요. - [로컬 모델을 Tokios에 연결하기](https://docs.tokios.com/ko/quickstart.md): 런타임을 연결하고 종단 간 연결을 확인한 후 클라이언트를 설정합니다. 인바운드 포트, 공용 IP 또는 NAT 변경이 필요하지 않습니다. - [Tokios 작동 방식: 내 모델, 내 하드웨어, 하나의 엔드포인트](https://docs.tokios.com/ko/how-it-works.md): Tokios가 어떻게 아웃바운드 전용 WebSocket 터널을 활용해 API 요청을 로컬 LLM으로 전달하는지 알아보세요. 이 과정에서 인바운드 포트나 공용 IP 주소가 전혀 노출되지 않습니다. - [Tokios 커넥터를 설치하고 페어링하세요](https://docs.tokios.com/ko/setup/connector-install.md): 모델 옆에서 Tokios 커넥터를 실행하고 WebSocket을 통해 일회용 페어링 코드로 페어링합니다. 인바운드 포트, 공용 IP, 수동으로 입력하는 토큰은 필요 없습니다. - [Tokios 콘솔에 모델 등록하기](https://docs.tokios.com/ko/setup/register-model.md): api.tokios.com에서 페어링된 커넥터의 모델에 공개 이름을 부여합니다. 클라이언트는 모든 요청에서 model 필드로 이 문자열을 전달합니다. - [Tokios API 키 생성 및 관리](https://docs.tokios.com/ko/setup/api-keys.md): Keys 탭에서 Bearer 키(sk-tok-…)를 생성하여 api.tokios.com으로 보내는 요청을 인증하며, 특정 모델로 범위를 제한할 수 있습니다. - [작업 공간에 대한 요청 로깅 기능을 활성화하세요](https://docs.tokios.com/ko/setup/request-logging.md): 각 API 요청의 프롬프트 본문을 암호화하여 저장하도록 설정할 수 있습니다. 첨부 파일은 제거되고 기밀 정보는 가려지며, 7일 후에는 자동으로 삭제됩니다. 이후 Tokios 대시보드의 요청 로그에서 해당 내용을 확인할 수 있습니다. - [에이전트와 스크립트용 자동화 토큰 생성](https://docs.tokios.com/ko/setup/automation-tokens.md): 스코프가 지정되고 만료 기한이 있는 자동화 토큰(at-tok-…)을 발급하면, 코딩 에이전트나 스크립트가 비밀번호 없이 API로 Tokios 워크스페이스를 설정하고 관리할 수 있습니다. - [지원되는 로컬 모델 백엔드 — Tokios 커넥터](https://docs.tokios.com/ko/setup/supported-backends.md): tokios-connector.json에서 BaseUrl (/v1)을 설정하여 Tokios 커넥터를 Ollama, llama.cpp, vLLM, LM Studio, MLX Studio, MLX-LM Server 또는 Lemonade Server에 연결합니다. OpenAI Chat Completions를 지원해야 합니다. - [하드웨어에 맞는 모델을 찾아보세요](https://docs.tokios.com/ko/guides/model-fit.md): 인터랙티브 호환성 체커: GPU 또는 통합 메모리 시스템에서 실행 가능한 모델을 찾고, VRAM 크기 계산과 양자화 추정값을 확인하세요. - [로컬 LLM 레시피 모음](https://docs.tokios.com/ko/guides/local-llm-recipes.md): 일반적인 로컬 LLM 설정을 위한 복사-붙여넣기용 설정값들입니다. 각 레시피에는 정확한 명령어와 설정값, 그리고 하드웨어 요구사항이 포함되어 있습니다. - [로컬 LLM 사례 연구](https://docs.tokios.com/ko/guides/local-llm-case-studies.md): 로컬 모델을 운영하는 팀과 개인들의 실제 배포 패턴. 무엇이 효과적이었고, 무엇이 그렇지 않았으며, 그들이 다시 선택할 것들. - [로컬 LLM 모델: 하나를 골라 셀프 호스팅하고 어디서든 접근하기](https://docs.tokios.com/ko/models.md): 직접 배포할 로컬 LLM을 고르세요. Tokios가 지원하는 다양한 오픈 웨이트 모델군(Qwen, DeepSeek, Llama, Gemma 등)을 비교하여 사용 중인 하드웨어에 적합한 모델을 선택할 수 있습니다. - [로컬 모델과 백엔드 선택하기](https://docs.tokios.com/ko/guides/choose-a-local-model.md): 워크플로, 로컬 하드웨어, 백엔드, 성능 요구 사항에 맞춰 Tokios 배포 구성을 선택하십시오. - [어떤 작업에 어떤 로컬 모델을 사용해야 합니까?](https://docs.tokios.com/ko/guides/model-by-task.md): 배포를 등록하기 전에 작업(코딩, 채팅, 추론, 긴 컨텍스트, 비전, 도구 호출, 임베딩)에 맞는 로컬 모델군을 선택하십시오. - [모델 이름 읽는 방법](https://docs.tokios.com/ko/guides/read-a-model-name.md): 오픈 웨이트 모델 이름, 양자화 라벨, 아키텍처 접미사를 해석합니다. 다운로드하기 전에 Q4_K_M, MoE, -Instruct가 무엇을 의미하는지 이해하세요. - [모델 카드 읽는 방법](https://docs.tokios.com/ko/concepts/read-a-model-card.md): 모델을 다운로드하기 전에 실제로 중요한 매개변수, 아키텍처, 컨텍스트 길이, 라이선스 및 파일 형식을 확인하세요. - [평가(evals)란 무엇인가? LLM 벤치마크 실전 가이드](https://docs.tokios.com/ko/guides/what-are-evals.md): MMLU, HumanEval, MT-Bench 등 주요 벤치마크를 이해하고, 로컬 모델을 선택하기 전에 어떤 점수가 내 용도에 중요한지 알아보세요. - [Qwen3.6을 로컬에서 실행한 뒤 어디서든 사용하세요](https://docs.tokios.com/ko/models/qwen3.6.md): Ollama, LM Studio, vLLM, SGLang을 활용해 가장 폭넓게 지원되는 멀티모달 모델인 Qwen3.6을 배포하고 Tokios 엔드포인트를 통해 접근할 수 있습니다. - [Qwen3-VL을 로컬에서 실행하고 어디서든 사용해보세요](https://docs.tokios.com/ko/models/qwen3-vl.md): Ollama, LM Studio, vLLM, SGLang을 활용해 Qwen3-VL — 즉 Qwen의 전용 시각-언어 모델군 — 을 배포하고 Tokios 엔드포인트를 통해 접근할 수 있습니다. - [Qwen3.8-27B: 출시일, 하드웨어, 로컬 배포](https://docs.tokios.com/ko/models/qwen3.8.md): Qwen3.8-27B가 Apache-2.0 라이선스로 출시되었으며 네이티브 비전과 262K 컨텍스트를 지원합니다. GGUF는 17.11 GB(Q4_K_M 기준)이므로 24 GB GPU에서 실행할 수 있으며, Ollama 태그도 공개되었습니다. - [DeepSeek V4.1-Flash: 최신 DeepSeek를 로컬에서 실행하기](https://docs.tokios.com/ko/models/deepseek.md): DeepSeek V4.1-Flash를 로컬에서 실행하십시오. 이 모델은 552B MoE로, 네이티브 비전, 8B/16B 비대칭 활성 파라미터, 1M 컨텍스트, 384K 출력을 지원합니다. 서빙 경로, 하드웨어 요구 사항, 그리고 대체된 이전 버전 V4-Flash-0731을 비교합니다. - [DeepSeek-R1 로컬 실행: 증류 모델, 하드웨어 적합성, 설정](https://docs.tokios.com/ko/models/deepseek-r1.md): Ollama로 DeepSeek-R1 증류 모델을 서빙하거나 멀티 GPU 서버에서 671B R1을 서빙한 다음, Tokios를 통해 OpenAI 또는 Anthropic 호환 클라이언트에서 접근하십시오. - [GLM 5.2와 GLM 모델군을 로컬에서 실행하고 어디서든 사용하기](https://docs.tokios.com/ko/models/glm.md): Z.ai의 GLM 모델군을 서빙하십시오. 명령 하나로 로컬에 받을 수 있는 GLM-4, 대용량 VRAM 장비용 GLM-4.5-Air, 멀티 GPU 서버용 GLM-4.6, 그리고 프런티어 모델 GLM-5.2가 있습니다. - [GLM-5.3: 가중치, 하드웨어, 로컬 배포](https://docs.tokios.com/ko/models/glm-5.3.md): GLM-5.3 가중치가 Hugging Face(zai-org/GLM-5.3)에 공개되었습니다. 총 파라미터 753B, 활성 ~40B의 MoE, 1M 토큰 컨텍스트를 갖췄습니다. 하드웨어 규모 산정, 라이선스, 로컬 서빙을 다룹니다. - [Gemma 4를 로컬에서 실행하고 어디서든 사용하기](https://docs.tokios.com/ko/models/gemma.md): Gemma 3부터 Gemma 4까지 이어지는 Google의 멀티모달·다국어 오픈 웨이트 모델군인 Gemma를 Ollama 또는 LM Studio로 서빙한 다음, Tokios를 통해 접근하십시오. - [Muse Glimmer 30B 로컬 실행: 하드웨어, DFlash, 설정](https://docs.tokios.com/ko/models/muse-glimmer.md): Meta의 Muse Glimmer 30B는 Apache 2.0 라이선스이며, 24 GB GPU에 4-bit로 들어가고, 로컬 에이전트를 3.1x 빠르게 하는 DFlash 드래프터를 함께 제공합니다. 태그, VRAM, 설정을 다룹니다. - [Muse Spark Open 816B 로컬 실행: 하드웨어, 양자화, 설정](https://docs.tokios.com/ko/models/muse-spark-open.md): Meta의 Muse Spark Open은 816B/42B 활성 MoE로, 1M 컨텍스트, 멀티모달 입력(텍스트, 이미지, 동영상, 오디오), 프런티어급 에이전트 코딩 점수를 갖췄습니다. 하드웨어, GGUF 변형, 설정을 다룹니다. - [Llama 4 로컬 실행: Scout, Maverick과 필요한 하드웨어](https://docs.tokios.com/ko/models/llama-4.md): Meta의 Llama 4 Scout와 Maverick을 자체 하드웨어에서 서빙하십시오. MoE 메모리 계산, Ollama 태그, vLLM 설정, 그리고 10M 토큰 컨텍스트의 현실을 다룹니다. - [Kimi 모델: 로컬에서 실행할 수 있는 모델은 무엇입니까?](https://docs.tokios.com/ko/models/kimi.md): Moonshot AI의 Kimi 모델군을 비교합니다. K3(칠월 27일 가중치 공개)와 다운로드 가능한 K2.6 및 K2.7-Code를 비교하고, 각 모델을 셀프 호스팅하는 데 필요한 하드웨어 요구 사항을 솔직하게 설명합니다. - [Kimi K3 로컬 실행: 하드웨어와 셀프 호스팅의 현실](https://docs.tokios.com/ko/models/kimi-k3.md): Kimi K3를 로컬에서 실행할 수 있습니까? Moonshot AI의 2.8T 파라미터 MoE에는 ~1.4 TB가 필요하며, 이는 4-bit 기준의 최저치입니다. 현재 이를 수용할 수 있는 소비자용 또는 프로슈머용 하드웨어는 없습니다. - [Kimi K3가 들어가지 않을 때 — 하드웨어별 대안 모델](https://docs.tokios.com/ko/models/kimi-k3-alternatives.md): Kimi K3에는 ~1.4 TB가 필요하며 이를 수용할 수 있는 소비자용 또는 프로슈머용 장비는 없습니다. Strix Halo, 1–4대의 DGX Spark 또는 단일 GPU에서 대신 실행할 수 있는 가장 가까운 모델을 소개합니다. - [MiMo V2.6 로컬 실행 — Xiaomi의 멀티모달 에이전트 모델](https://docs.tokios.com/ko/models/mimo.md): MiMo V2.6을 로컬에서 실행하십시오. Xiaomi의 1.02T MoE로, 활성 파라미터 42B, 네이티브 멀티모달(텍스트/이미지/동영상/오디오), 1M 컨텍스트, MIT 라이선스를 갖췄습니다. 9B 증류 모델은 단일 GPU에 들어갑니다. - [추론의 작동 방식](https://docs.tokios.com/ko/concepts/how-inference-works.md): 프롬프트가 텍스트에서 토큰을 거쳐 스트리밍 응답으로 변환되는 과정을 따라가고, 이 왕복 과정이 GPU 메모리에 미치는 영향을 확인하세요. - [KV 캐시 및 컨텍스트 길이](https://docs.tokios.com/ko/concepts/kv-cache-and-context.md): KV 캐시가 무엇인지, 컨텍스트가 길어질수록 메모리 비용이 증가하는 이유, 그리고 이로 인해 발생하는 컨텍스트 대 속도 트레이드오프에 대해 설명합니다. - [메모리 크기 및 오프로드](https://docs.tokios.com/ko/concepts/memory-and-offloading.md): 모델에 필요한 RAM 또는 VRAM 양을 계산하는 공식과, 모델이 완전히 적합하지 않을 때 오프로드가 수행하는 작업에 대한 설명입니다. - [양자화 설명](https://docs.tokios.com/ko/concepts/quantization.md): 양자화가 무엇인지, Q4_K_M과 같은 GGUF 양자화 이름 읽는 방법, 그리고 어떤 것을 선택해야 하는지 설명합니다. - [전문가 혼합(MoE): 라우팅, 전문가 병렬 처리, 메모리](https://docs.tokios.com/ko/concepts/moe-routing-and-expert-parallelism.md): 전문가 혼합(MoE)을 이해하십시오. 라우팅의 작동 방식, 메모리가 총 파라미터 수에 비례하는 이유, MoE를 사용하는 오픈 웨이트 모델을 설명합니다. 규모 산정 공식과 하드웨어 가이드를 포함합니다. - [양자화 인식 훈련(QAT)에 대한 설명](https://docs.tokios.com/ko/concepts/qat.md): 양자화 인식 훈련이란 무엇이며, 훈련 후 양자화와 어떻게 다른지, 그리고 약 4비트 VRAM 환경에서 구글의 Gemma QAT 체크포인트를 어떻게 실행할 수 있는지 알아보겠습니다. - [모델 서비스 제공 및 확장 방법](https://docs.tokios.com/ko/concepts/model-serving-and-scaling.md): 인퍼런스 프레임워크, 정밀도, 텐서/파이프라인/전문가 병렬 처리, 스페큘레이티브 디코딩(MTP) 등 고급 실행 명령어에 포함된 용어들을 쉽게 설명합니다. - [Tokios API 엔드포인트: OpenAI 및 Anthropic 참조](https://docs.tokios.com/ko/reference/api-endpoints.md): Tokios API 엔드포인트에 대한 참조 자료로, /v1/chat/completions, /v1/messages, /v1/messages/count_tokens, /v1/responses, /v1/models 경로와 각각의 요청/응답 스키마가 포함됩니다. - [Tokios 커넥터 JSON 설정 참조 안내](https://docs.tokios.com/ko/reference/connector-config.md): Tokios 커넥터 설정 파일 및 CLI 플래그에 관한 전체 설명입니다. 여기에는 ConnectorId, API 키, 라우트, 업스트림 모델 ID, 로깅 설정 및 서비스 형태로 실행하는 방법도 포함됩니다. - [Tokios에 클라이언트가 연결되지 않을 때의 문제 해결 방법](https://docs.tokios.com/ko/reference/troubleshooting.md): 클라이언트가 Tokios에 연결하지 못하는 네 가지 주요 원인인 잘못된 기본 URL, 잘못된 모델 선택, 오프라인 상태인 커넥터, 지원되지 않는 기능 및 관련 오류 코드를 바로잡는 방법입니다. - [Tokios FAQ: 설정, 연결 및 문제 해결](https://docs.tokios.com/ko/reference/faq.md): Tokios 설정, 방화벽 요구 사항, API 호환성, 스트리밍, 데이터 개인정보 보호, 지원되는 백엔드 및 결제와 관련된 일반적인 질문에 대한 답변입니다. - [용어집](https://docs.tokios.com/ko/concepts/glossary.md): 로컬 모델을 사용할 때 접하게 될 용어들에 대한 간단한 정의이며, 각각은 보다 상세한 설명으로 연결됩니다. - [하드웨어 참조](https://docs.tokios.com/ko/guides/hardware-reference.md): 로컬 LLM 추론용 하드웨어를 한눈에 비교하십시오. 지원되는 모든 플랫폼의 사양, 모델 용량, 권장 모델, 장단점을 정리했습니다. - [로컬 AI 워크스테이션에서 Tokios 사용하기](https://docs.tokios.com/ko/use-cases/local-ai-workstations.md): NVIDIA GB10, DGX Spark, AMD Strix Halo, Ryzen AI Max, Apple silicon Mac 등 로컬 AI 워크스테이션의 모델을 하나의 Tokios API 엔드포인트로 제공하십시오. - [양자화 형식과 필요한 하드웨어](https://docs.tokios.com/ko/models/quantization-and-hardware.md): 로컬 모델 양자화를 위한 형식×하드웨어 매트릭스입니다. 어떤 형식(GGUF, AWQ, GPTQ, NVFP4, MXFP4, MLX)이 어떤 GPU에서 실행되는지, 그리고 무엇을 선택해야 하는지 설명합니다. - [NVIDIA DGX Spark를 프라이빗 모델 엔드포인트로 만들기](https://docs.tokios.com/ko/use-cases/dgx-spark.md): NVIDIA DGX Spark 또는 GB10의 모델에 노트북, 코딩 에이전트, 팀원이 접근할 수 있는 OpenAI 및 Anthropic 호환 엔드포인트 하나를 제공하십시오. - [DGX Spark 모델 호환성 — 128GB 용량 내에 수용 가능한 모델은?](https://docs.tokios.com/ko/guides/dgx-spark-model-compatibility.md): NVIDIA DGX Spark의 128GB 통합 메모리에서 구동 가능한 모델, 권장되는 양자화 형식, 그리고 일반 모델, MoE 모델, Qwen3.8, GLM-5.2의 예상 처리 속도에 대해 알아보겠습니다. - [NVIDIA DGX Spark에 vLLM을 설치하고 설정하기](https://docs.tokios.com/ko/guides/vllm-dgx-spark.md): NVFP4 양자화 기술을 활용하여 DGX Spark에 vLLM을 설치하는 방법, 35B, 70B, 120B MoE 모델에 적합한 최적 설정값, 그리고 ARM64 및 SM121 관련 문제 해결법을 다룹니다. - [DGX Spark 메모리 튜닝 및 벤치마크](https://docs.tokios.com/ko/guides/dgx-spark-memory-tuning.md): DGX Spark에서 통합 메모리가 작동하는 방식, 다양한 컨텍스트 길이에 따른 KV 캐시 크기 설정, 배치 처리 시의 트레이드오프, 그리고 128GB 환경에서 안정적인 추론을 위한 튜닝 파라미터에 대해 설명합니다. - [하나의 DGX 스파크와 두 개의 DGX 스파크 — 언제 확장해야 하며 어떻게 설정하는가](https://docs.tokios.com/ko/guides/one-vs-two-dgx-sparks.md): NVIDIA DGX Spark 한 대와 두 대 중 무엇을 선택할지 결정하는 가이드입니다. 한 대로 충분한 경우, 200Gb/s 링크를 통한 텐서 병렬 처리, vLLM 분산 구성을 다룹니다. - [Strix Halo 또는 Ryzen AI Max 머신을 모델 엔드포인트로 만들기](https://docs.tokios.com/ko/use-cases/strix-halo.md): AMD Strix Halo 또는 Ryzen AI Max+ 395 머신의 모델에 Claude Code와 opencode가 접근할 수 있는 OpenAI 및 Anthropic 호환 엔드포인트를 제공하십시오. - [Strix Halo 모델 호환성: 128GB에 들어가는 모델](https://docs.tokios.com/ko/guides/strix-halo-model-compatibility.md): AMD Ryzen AI Max+ 395(Strix Halo) 플랫폼에서 128GB 통합 메모리를 활용해 어떤 모델들이 구동 가능한지, 어떤 양자화 수준을 지원하는지, 그리고 MoE 방식과 일반 방식이 토큰 생성 속도에 어떤 영향을 미치는지 알아보겠습니다. - [Strix Halo에서의 vLLM: 현황, 실패 사례, 대안](https://docs.tokios.com/ko/guides/vllm-strix-halo.md): AMD 스트릭스 할로(Ryzen AI Max+ 395)에서는 vLLM이 안정적으로 작동하지 않습니다. 그 이유와 대안으로는 Vulkan을 활용하는 llama.cpp 혹은 특정 버전으로 고정된 Ollama가 있습니다. - [Mac Studio를 팀용 모델 엔드포인트로 만들기](https://docs.tokios.com/ko/use-cases/mac-studio.md): Mac Studio의 통합 메모리에서 LM Studio, Ollama, MLX Studio 또는 MLX-LM Server로 실행 중인 모델에 팀원과 코딩 에이전트가 호출할 수 있는 인증된 엔드포인트 하나를 제공하십시오. - [RTX 워크스테이션을 프라이빗 모델 엔드포인트로 만들기](https://docs.tokios.com/ko/use-cases/rtx-workstation.md): RTX 5090, 4090 또는 3090 데스크톱의 모델에 노트북, 코딩 에이전트, 팀원이 접근할 수 있는 OpenAI 및 Anthropic 호환 엔드포인트 하나를 제공하십시오. - [홈랩 GPU 서버에 있는 모델들을 팀원들에게 제공하기](https://docs.tokios.com/ko/use-cases/homelab-gpu-server.md): 헤드리스 상태인 홈랩 GPU 서버에 탑재된 모델들에 대해 인증이 필요한 단일 엔드포인트를 제공하여, CGNAT 환경에서도 팀원들과 애플리케이션들이 별도의 인바운드 포트 없이 접근할 수 있게 합니다. - [OLLAMA_HOST=0.0.0.0 설정 없이 Ollama 원격 접속하기](https://docs.tokios.com/ko/guides/ollama-remote-access.md): OLLAMA_HOST=0.0.0.0 설정이나 11434 포트 포워딩 없이 다른 기기에서 Ollama에 접속하는 방법입니다. 로컬호스트 상태를 유지하면서 인증 기능까지 추가할 수 있습니다. - [어디서든 안전하게 LM Studio 서버를 활용하세요](https://docs.tokios.com/ko/guides/lm-studio-remote-access.md): 로컬 네트워크 서비스 기능을 활성화하지 않아도 다른 기기에서 LM Studio의 OpenAI 호환 서버에 접근할 수 있습니다. 아웃바운드 전용 커넥터와 실제 API 키만 있으면 가능합니다. - [어디서나 안전하게 Unsloth Studio 사용](https://docs.tokios.com/ko/guides/unsloth-studio-remote-access.md): Unsloth Studio의 코드 없는 UI에서 모델을 실행하고, 인증된 단일 엔드포인트를 통해 다른 머신, 에이전트 또는 팀원에게서 접근합니다. 인바운드 포트 불필요. - [어디서든 안전하게 llama.cpp 서버를 활용하세요](https://docs.tokios.com/ko/guides/llama-cpp-remote-access.md): 포트 8080을 외부에 노출하지 않고도, 아웃바운드 전용 커넥터와 실제 API 키를 이용해 다른 기기나 팀원들이 사용자의 llama.cpp OpenAI 호환 서버에 접근할 수 있습니다. - [어디서든 안전하게 vLLM 서버를 활용하세요](https://docs.tokios.com/ko/guides/vllm-remote-access.md): 아웃바운드 전용 커넥터와 API 키를 활용하면 8000 포트를 외부에 노출하지 않고도 다른 기기나 에이전트, 팀원들이 여러분의 vLLM OpenAI 호환 서버에 접근할 수 있습니다. - [WSL2 및 NVIDIA GPU를 활용해 Windows에서 vLLM을 실행하기](https://docs.tokios.com/ko/guides/vllm-windows-wsl2.md): WSL2과 Docker를 이용해 NVIDIA GPU가 탑재된 Windows PC에 vLLM을 설치하고 배포합니다. GPU 패스스루 설정부터 추론 실행, 그리고 Tokios를 통한 서비스 노출까지 단계별로 안내합니다. - [어디서든 안전하게 SGLang 서버를 활용하세요](https://docs.tokios.com/ko/guides/sglang-remote-access.md): 아웃바운드 전용 커넥터와 API 키를 활용하면 SGLang의 포트를 외부에 노출하지 않고도 다른 기기나 에이전트, 팀원들이 해당 서버에 접근할 수 있습니다. - [어디서든 안전하게 Xinference 서버를 활용하세요](https://docs.tokios.com/ko/guides/xinference-remote-access.md): 아웃바운드 전용 커넥터를 이용하면 포트를 외부에 노출하지 않고도 다른 기기나 에이전트, 팀원들이 여러분의 Xinference OpenAI 호환 서버에 접근할 수 있습니다. - [어디서든 안전하게 MLX-LM Server 사용하기](https://docs.tokios.com/ko/guides/mlx-lm-server-remote-access.md): Apple Silicon의 MLX-LM Server에 어디서든 접근하십시오. Tokios 커넥터와 API 키 인증으로 안전한 원격 접속을 설정하고 5분 만에 서빙을 시작하십시오. - [Lemonade Server 원격 접속 — AMD NPU 및 GPU](https://docs.tokios.com/ko/guides/lemonade-server-remote-access.md): 어디서든 Lemonade Server API에 접근하십시오. AMD NPU, Vulkan, ROCm, CUDA를 지원합니다. Tokios 커넥터로 안전한 원격 접속을 설정하고 5분 만에 서빙을 시작하십시오. - [vLLM을 로컬에서 실행한 뒤 Tokios를 통해 어디서든 접속할 수 있습니다](https://docs.tokios.com/ko/guides/remote-vllm-tokios.md): vLLM을 설치하고 모델을 실행한 뒤 Tokios 커넥터를 추가한 후 배포를 등록하면, OpenAI나 Anthropic과 호환되는 모든 클라이언트에서 vLLM 서버를 호출할 수 있습니다. - [로컬 모델인 Ollama, vLLM, llama.cpp에 API 키를 추가해보세요](https://docs.tokios.com/ko/guides/add-api-keys-to-local-models.md): Ollama에는 API 키 체계가 전혀 존재하지 않습니다. vLLM과 llama.cpp에서는 1 정적 키만 제공됩니다. 반면 Tokios는 각 사용자나 서비스마다 실제로 범위가 지정된 sk-tok- 형태의 키를 제공하며 리버스 프록시도 필요하지 않습니다. - [CGNAT 뒤에서 로컬 LLM을 제공하되 공용 IP는 필요 없음](https://docs.tokios.com/ko/guides/llm-behind-cgnat.md): 통신사급 NAT가 포트 포워딩을 차단하더라도 어디서든 로컬 모델에 접근할 수 있습니다. Tokios 커넥터가 자동으로 외부로 연결되므로 공용 IP가 전혀 필요하지 않습니다. - [로컬 LLM에 대한 원격 접근 — 보안 비교](https://docs.tokios.com/ko/guides/remote-access-comparison.md): 로컬 모델 API를 외부에 공개하기 위해 Tailscale, Cloudflare Tunnel, SSH 터널, 그리고 Tokios를 비교해보겠습니다. 각각의 보안상 장단점, 설정 난이도, 그리고 적합한 사용 시나리오도 함께 살펴보겠습니다. - [터널, VPN과 LLM 스트리밍: 무엇이 깨지며 그 이유는 무엇입니까?](https://docs.tokios.com/ko/guides/tunnels-and-streaming.md): Cloudflare Tunnel, ngrok, Tailscale 등에서는 SSE 버퍼링, 타임아웃, 대역폭 제한에 관한 설명이 명시되어 있습니다. 반면 Tokios는 LLM API 스트리밍을 위해 특별히 설계된 도구입니다. - [로컬 모델을 위한 모델 라우팅 전략](https://docs.tokios.com/ko/guides/model-routing.md): 여러 로컬 모델을 1개의 Tokios 엔드포인트 뒤에 등록하고, 단순 전환부터 폴백 체인까지 작업 유형, 비용, 복원력에 따라 요청을 라우팅하십시오. - [모델을 파인튜닝했습니다. 이제 API로 만드세요.](https://docs.tokios.com/ko/guides/serve-your-fine-tune.md): Ollama 또는 llama.cpp에서 이미 실행 중인 파인튜닝 모델을 도구나 동료, 코딩 에이전트가 호출할 수 있는 키가 있는 https://api.tokios.com 엔드포인트로 전환하세요. - [배포 테스트하기](https://docs.tokios.com/ko/guides/benchmark-your-deployment.md): 스모크 테스트를 실행하고 로컬 모델 기반 Tokios 배포 간의 지연 시간, 스트리밍, 동작을 비교하십시오. - [모델 샤딩이란 무엇인가?](https://docs.tokios.com/ko/guides/model-sharding.md): 텐서 병렬 처리, 파이프라인 병렬 처리, 데이터 병렬 처리, 전문가 병렬 처리에 대해 이해하고 자신의 하드웨어에 적합한 샤딩 전략을 파악하세요. - [로컬 LLM 추론 시 텐서 병렬 처리와 파이프라인 병렬 처리의 비교](https://docs.tokios.com/ko/guides/tensor-vs-pipeline-parallelism.md): DGX Spark, RTX 워크스테이션 및 멀티 노드 클러스터 환경에서 멀티 GPU LLM 추론 시 텐서 병렬 처리, 파이프라인 병렬 처리 또는 둘 다를 언제 사용해야 하는가? - [추측 디코딩: 드래프트 모델, n-gram, MTP, EAGLE](https://docs.tokios.com/ko/guides/speculative-decoding.md): LLM 추론 속도를 높이는 추측 디코딩 기법을 이해하십시오. n-gram, 드래프트 모델, 멀티 토큰 예측, EAGLE 방식을 비교합니다. - [정밀도 수준별 디코드, 프리필, 전력](https://docs.tokios.com/ko/guides/decode-prefill-power.md): 디코드 처리량과 프리필 지연 시간의 차이, 정밀도가 각각에 미치는 영향, 그리고 이것이 전력 소비에 갖는 의미를 이해하십시오. 직접 구성한 환경을 벤치마크하십시오. - [SGLang 구성과 사용 시점](https://docs.tokios.com/ko/guides/sglang-optimization.md): RAG 및 에이전트 워크로드에 맞게 SGLang을 구성하십시오. 접두사 캐싱을 위한 RadixAttention, vLLM과 SGLang 선택 매트릭스, SGLang 전용 최적화 플래그를 다룹니다. - [속도와 메모리를 위한 llama.cpp 최적화](https://docs.tokios.com/ko/guides/llama-cpp-optimization.md): 최대 성능을 위해 llama.cpp를 튜닝하십시오. 플래시 어텐션, mmap 대 mlock, 스레드 튜닝, GPU 오프로드 전략, 배치 크기, KV 캐시 정밀도, MoE 전문가 배치를 다룹니다. - [처리량과 지연 시간을 위한 vLLM 최적화](https://docs.tokios.com/ko/guides/vllm-optimization.md): 최대 처리량 또는 최소 지연 시간을 위해 vLLM을 튜닝하십시오. KV 캐시 튜닝, 접두사 캐싱, 청크 프리필, LoRA 서빙, 양자화 옵션, V1 아키텍처 변경 사항을 다룹니다. - [속도와 메모리를 위한 Ollama 최적화](https://docs.tokios.com/ko/guides/ollama-optimization.md): 최대 속도를 위해 Ollama를 튜닝하십시오. 컨텍스트 윈도우, GPU 오프로드, 플래시 어텐션, KV 캐시 양자화, 병렬 요청을 다룹니다. 이 설정으로 지연 시간을 2-5x 줄일 수 있습니다. - [속도와 메모리를 위한 LM Studio 최적화](https://docs.tokios.com/ko/guides/lm-studio-optimization.md): 최대 속도를 위해 LM Studio를 튜닝하십시오. GPU 오프로드, 컨텍스트 윈도우, 플래시 어텐션, KV 캐시 양자화, 배치 크기를 다룹니다. 이 설정으로 지연 시간을 2-5x 줄일 수 있습니다. - [Tokios를 통해 로컬 모델을 Open WebUI에 연결하기](https://docs.tokios.com/ko/guides/open-webui.md): Open WebUI에 Tokios를 OpenAI 연결로 추가하여 호스팅되거나 컨테이너화된 UI가 사용자의 기기에서 실행 중인 모델에 접근할 수 있도록 합니다. - [Msty에서 자체 로컬 모델 사용](https://docs.tokios.com/ko/guides/msty.md): Msty에 Tokios를 OpenAI 호환 원격 모델 제공자로 추가하여 데스크톱 앱이 자체 하드웨어에서 실행 중인 모델에 접근할 수 있도록 합니다. - [자사 하드웨어의 모델과 함께 Jan 사용](https://docs.tokios.com/ko/guides/jan.md): Jan에 Tokios를 커스텀 OpenAI 호환 제공자로 추가하여, 앱이 데스크톱 또는 서버에서 실행 중인 더 큰 모델에 접근할 수 있게 합니다. - [Cherry Studio에서 자체 로컬 모델 사용](https://docs.tokios.com/ko/guides/cherry-studio.md): Cherry Studio에 Tokios를 사용자 지정 OpenAI 공급자로 추가하여 데스크톱 앱이 자체 하드웨어에서 실행되는 모델에 접근할 수 있도록 합니다. - [자체 로컬 모델과 big-AGI 사용](https://docs.tokios.com/ko/guides/big-agi.md): 다중 모델 프론트엔드인 big-AGI에 Tokios를 커스텀 OpenAI 호환 엔드포인트로 추가하여, 사용자가 직접 보유한 하드웨어에서 실행 중인 모델에 접근할 수 있게 합니다. - [LobeChat를 자체 로컬 모델에 연결하기](https://docs.tokios.com/ko/guides/lobechat.md): LobeChat에 Tokios를 OpenAI 제공자로 추가합니다. 앱 내 설정 또는 환경 변수를 사용하여, 세련된 채팅 UI가 사용자의 자체 하드웨어에서 실행되는 모델에 접근할 수 있게 합니다. - [LibreChat를 Tokios를 통해 로컬 모델에 연결하기](https://docs.tokios.com/ko/guides/librechat.md): LibreChat의 librechat.yaml에 Tokios를 커스텀 엔드포인트로 추가하여, 호스팅된 채팅 UI가 사용자의 기기에서 실행되는 모델에 접근할 수 있게 합니다. - [Chatbox에서 자체 로컬 모델 사용](https://docs.tokios.com/ko/guides/chatbox.md): Chatbox에 Tokios를 사용자 정의 OpenAI 호환 제공자로 추가하여 데스크톱 앱이 자체 하드웨어에서 실행되는 모델에 접근할 수 있도록 합니다. - [SillyTavern에서 자체 로컬 모델 사용](https://docs.tokios.com/ko/guides/sillytavern.md): SillyTavern의 Chat Completion 소스를 Tokios 커스텀 OpenAI 호환 엔드포인트로 설정하여, 이 고급 프론트엔드가 자체 하드웨어의 모델을 구동하도록 합니다. - [휴대전화에서 로컬 모델 사용](https://docs.tokios.com/ko/use-cases/local-model-on-your-phone.md): 모델을 집에서 실행 상태로 유지하고, iOS 또는 Android 채팅 앱에서 sk-tok- API 키를 사용하여 앱의 엔드포인트를 Tokios 엔드포인트로 지정하여 액세스합니다. - [Tokios를 통해 로컬 모델과 함께 코딩 에이전트 사용하기](https://docs.tokios.com/ko/guides/coding-agents-local-models.md): Claude Code, OpenCode, Aider, Cline, Continue 등을 단일 Tokios 엔드포인트를 통해 로컬 모델에 연결하세요. 모델을 전환해도 에이전트 재구성은 필요 없습니다. - [Tokios를 통해 로컬 모델과 연동되는 코딩 에이전트들](https://docs.tokios.com/ko/guides/coding-agent-compatibility.md): Tokios의 OpenAI 및 Anthropic 호환 API를 이용해 로컬 모델에 연결되는 15개의 코딩 에이전트 — IDE 기반 및 터미널용 — 의 호환성 표입니다. - [코딩 에이전트에게 Tokios 설정 맡기기](https://docs.tokios.com/ko/guides/agent-setup.md): Claude Code, Codex 또는 다른 코딩 에이전트에게 자동화 토큰과 이 페이지를 전달하십시오. 에이전트가 커넥터를 페어링하고, 모델을 게시하고, API 키를 발급하고, 전체 경로를 무인으로 검증합니다. - [로컬 모델로 코딩 에이전트 사용하기](https://docs.tokios.com/ko/use-cases/coding-agents.md): 사용자 지정 OpenAI 또는 Anthropic 엔드포인트를 지원하는 코딩 에이전트를 로컬 모델 기반 Tokios 배포에 연결하십시오. - [자체 로컬 모델로 Claude Code 사용하기](https://docs.tokios.com/ko/guides/claude-code.md): Ollama, LM Studio, llama.cpp 또는 vLLM의 로컬 모델로 Claude Code를 사용하십시오. ANTHROPIC_BASE_URL과 ANTHROPIC_API_KEY를 설정하여 Tokios를 통해 요청을 라우팅합니다. - [자체 로컬 모델로 OpenAI Codex 사용하기](https://docs.tokios.com/ko/guides/openai-codex.md): Ollama, LM Studio 또는 OpenAI 호환 백엔드의 로컬 모델로 OpenAI Codex를 사용하십시오. config.toml에 Tokios 프로바이더를 추가하면 어디서든 접근할 수 있습니다. - [자체 하드웨어에서 모델과 함께 OpenAI Codex를 사용하세요.](https://docs.tokios.com/ko/guides/codex-local-model.md): OpenAI Codex를 다른 머신의 로컬 모델에 대해 실행하세요 — Ollama, LM Studio, llama.cpp, 또는 vLLM — Tokios를 통해, 이는 Codex가 필요로 하는 Responses API를 지원합니다. - [자체 로컬 모델로 Cursor 사용하기](https://docs.tokios.com/ko/guides/cursor.md): Cursor의 OpenAI 호환 기본 URL을 Tokios로 지정하여 자동 완성 및 에이전트 기능이 Ollama, LM Studio, llama.cpp 또는 vLLM의 로컬 모델에 접근할 수 있게 하십시오. - [자체 로컬 모델로 Cline 사용하기](https://docs.tokios.com/ko/guides/cline.md): Cline의 OpenAI Compatible 프로바이더 Base URL을 Tokios로 설정하고, VS Code에서 Ollama, LM Studio 또는 vLLM의 로컬 모델을 구동하십시오. 어디서든 접근할 수 있습니다. - [자체 로컬 모델로 Continue 사용하기](https://docs.tokios.com/ko/guides/continue.md): Continue의 OpenAI 호환 apiBase를 Tokios로 지정하여 채팅, 편집, 자동 완성 기능이 Ollama, LM Studio 또는 vLLM에서 실행 중인 로컬 모델에 접근할 수 있게 하십시오. - [사용자 고유의 로컬 모델과 함께 Aider를 활용하기](https://docs.tokios.com/ko/guides/aider.md): OPENAI_API_BASE 및 OPENAI_API_KEY 환경 변수에 각각 Tokios 엔드포인트와 API 키를 지정하여 Aider가 Ollama, LM Studio 또는 vLLM에서 실행 중인 로컬 모델을 인식하도록 설정합니다. - [자체 로컬 모델로 Roo Code 사용하기](https://docs.tokios.com/ko/guides/roo-code.md): Roo Code의 OpenAI Compatible 프로바이더를 Tokios로 설정하여 VS Code 확장이 도구 호출을 포함해 Ollama, LM Studio 또는 vLLM의 로컬 모델을 구동할 수 있게 하십시오. - [OpenCode를 자체 로컬 모델과 함께 사용](https://docs.tokios.com/ko/guides/opencode.md): opencode.json에서 Tokios를 OpenAI 호환 제공자로 추가하여 OpenCode의 터미널 에이전트가 Ollama, LM Studio 또는 vLLM의 로컬 모델에 도달할 수 있게 하세요. - [Goose를 자체 로컬 모델과 함께 사용하세요](https://docs.tokios.com/ko/guides/goose.md): Goose에서 Tokios를 사용자 지정 OpenAI 호환 제공자로 추가하여 해당 코딩 에이전트가 Ollama, LM Studio 또는 vLLM의 로컬 모델에 도달할 수 있게 하세요 — 어디서든 접근 가능합니다. - [Pi를 나만의 로컬 모델과 함께 사용하세요](https://docs.tokios.com/ko/guides/pi.md): Pi의 models.json에 Tokios를 OpenAI 호환 제공자로 추가하여, 해당 터미널 코딩 에이전트가 Ollama, LM Studio, llama.cpp 또는 vLLM의 로컬 모델에 연결할 수 있게 하세요. - [omp (oh-my-pi)를 자체 로컬 모델과 함께 사용하세요](https://docs.tokios.com/ko/guides/omp.md): omp의 models.yml에 Tokios를 커스텀 OpenAI 호환 제공자로 추가하여 해당 터미널 코딩 에이전트가 Ollama, LM Studio 또는 vLLM의 로컬 모델에 접근할 수 있게 하세요. - [자체 로컬 모델로 Zed 사용하기 — OpenAI 또는 Anthropic 방식](https://docs.tokios.com/ko/guides/zed.md): Zed의 OpenAI 또는 Anthropic 호환 제공자를 구성하여 Tokios를 통해 Ollama, LM Studio 또는 vLLM의 로컬 모델에 접근하십시오. 두 엔드포인트 중 어느 쪽이든 사용할 수 있습니다. - [자체 로컬 모델과 함께 JetBrains AI Assistant 사용](https://docs.tokios.com/ko/guides/jetbrains-ai-assistant.md): JetBrains AI Assistant의 OpenAI 호환 공급자를 Tokios에 지정하여 IntelliJ, PyCharm, GoLand, Rider가 Ollama, LM Studio 또는 vLLM의 로컬 모델에 도달하게 하세요. - [VS Code에서 자체 모델로 GitHub Copilot 사용하기(BYOK)](https://docs.tokios.com/ko/guides/vscode-copilot.md): GitHub Copilot Chat의 Bring Your Own Key 설정을 Tokios로 지정하여 Copilot의 채팅 및 에이전트 모드가 Ollama, LM Studio 또는 vLLM의 로컬 모델을 호출할 수 있게 하십시오. - [AionUi에서 자체 로컬 모델로 연결하기](https://docs.tokios.com/ko/guides/aionui.md): AionUi에 Tokios를 커스텀 OpenAI 호환 모델로 추가하여, 내장 에이전트와 이를 조율하는 코딩 CLI가 자체 하드웨어의 모델에서 실행되도록 합니다. - [Hermes Agent를 Tokios 엔드포인트로 지정하세요.](https://docs.tokios.com/ko/guides/hermes-agent.md): Hermes Agent의 LLM 백엔드를 Ollama, LM Studio 또는 vLLM이 제공하는 로컬 모델에 지정하세요 — 에이전트 루프를 위해 Tokios를 사용자 지정 OpenAI 호환 제공자로 추가하십시오. - [사용 중인 로컬 모델을 OpenClaw에 지정하기](https://docs.tokios.com/ko/guides/openclaw.md): Tokios를 OpenClaw의 사용자 정의 OpenAI 호환 제공자로 추가하면, Ollama, LM Studio 또는 vLLM을 통해 어디서든 로컬 모델을 기반으로 AI 에이전트를 실행할 수 있습니다. - [자신의 로컬 모델을 NanoClaw의 대상으로 지정하세요](https://docs.tokios.com/ko/guides/nanoclaw.md): NanoClaw의 Claude Agent SDK 백엔드를 Tokios의 Anthropic 호환 엔드포인트에 연결하면 컨테이너화된 AI 에이전트가 사용자 하드웨어에 설치된 모델 위에서 실행됩니다. - [LangChain, LlamaIndex, Vercel AI SDK에서 사용하는 로컬 모델들](https://docs.tokios.com/ko/guides/frameworks.md): 각 프레임워크가 이미 지원하고 있는 OpenAI 호환 기본 URL을 이용해 Tokios 배포 환경을 지정해주면 됩니다. - [AnythingLLM과 Dify를 로컬 모델에 연결하세요](https://docs.tokios.com/ko/guides/app-builders.md): Tokios를 AnythingLLM 또는 Dify의 사용자 정의 OpenAI 호환 제공업체로 추가하면 어디서든 두 앱 중 하나로 로컬 모델을 호출할 수 있습니다. Docker 우회 방법도 필요하지 않습니다. - [Langfuse를 활용해 로컬 모델 호출 내역 추적하기](https://docs.tokios.com/ko/guides/langfuse.md): Langfuse가 제공하는 대체용 임포트 모듈을 OpenAI 클라이언트에 적용한 뒤 Tokios 배포 환경을 지정하면 로컬 모델에 대한 모든 호출 내역을 추적할 수 있습니다. - [Tokios와 호환되는 모든 클라이언트 — 전체 목록](https://docs.tokios.com/ko/guides/compatible-clients.md): 39 클라이언트들은 Tokios와 정상적으로 작동하는 것으로 확인되었습니다. 여기에는 코딩 에이전트, 채팅 애플리케이션, SDK, 모니터링 도구 및 게이트웨이가 포함됩니다. 이들 모두 표준 OpenAI 또는 Anthropic API 형식을 사용합니다. - [Tokios를 사용해야 할 때와 그렇지 않은 경우](https://docs.tokios.com/ko/guides/when-to-use-tokios.md): 로컬 LLM 환경에서 Tokios가 적합한 경우와 Tailscale, Cloudflare Tunnel, LiteLLM 혹은 직접 구축한 스택을 선택해야 하는 경우에 대한 솔직한 안내서입니다. - [로컬 LLM 접근을 위한 Tokios와 Tailscale 비교](https://docs.tokios.com/ko/guides/tokios-vs-tailscale.md): 원격에서 로컬 모델에 접근할 때 Tailscale과 Tokios가 어떻게 다른지 — 네트워킹 모델, API 키 관리, 클라이언트 호환성, 그리고 각각 어떤 경우에 더 적합한지에 대해 설명합니다. - [로컬 LLM 접근을 위한 Tokios와 Cloudflare Tunnel 비교](https://docs.tokios.com/ko/guides/tokios-vs-cloudflare-tunnel.md): 로컬 모델을 외부에 공개할 때 Cloudflare Tunnel과 Tokios가 어떻게 다른지 — SSE 스트리밍, 프록시 타임아웃, API 키, 설정 복잡도 및 각각의 도구가 적합한 상황에 대해 설명합니다. - [로컬 LLM 라우팅을 위한 Tokios와 LiteLLM의 비교](https://docs.tokios.com/ko/guides/tokios-vs-litellm.md): LiteLLM과 Tokios의 차이점 — LiteLLM은 100개 이상의 제공업체를 위한 프록시/게이트웨이이며, Tokios는 터널 기능과 프록시, API 키 관리, 대시보드를 하나의 관리형 서비스로 통합합니다. - [Tokios와 직접 구축하는 로컬 LLM 스택의 비교](https://docs.tokios.com/ko/guides/tokios-vs-diy.md): 직접 로컬 LLM 스택을 구축하려면 어떤 요소들이 필요한지(런타임, 프록시, 터널, 인증, TLS, DNS, 모니터링) 그리고 Tokios를 사용하는 것보다 언제 그런 방식이 더 적합한지 설명합니다. - [DGX Spark 8대로 Kimi K3를 실행할 수 있습니까? 메모리 계산](https://docs.tokios.com/ko/blog/kimi-k3-hardware-deep-dive.md): Kimi K3 하드웨어 계산: DGX Spark 8대로는 376 GB가 부족하여 K3의 2.8T 파라미터 MoE 가중치 최저치(~1.4 TB, 4-bit 기준)를 충족하지 못합니다. 추측이 아니라 출처에 근거한 계산입니다. - [DeepSeek-V4-Flash-0731 로컬 실행: 하드웨어 요구 사항](https://docs.tokios.com/ko/blog/deepseek-v4-flash-local-hardware.md): 2장의 RTX PRO 6000, 2대의 DGX Spark 또는 2대의 Strix Halo 시스템으로 DeepSeek-V4-Flash-0731을 실행할 수 있습니까? 메모리, 인터커넥트, 런타임 성숙도, 컨텍스트 여유 공간을 살펴봅니다. - [노출된 Ollama 서버 175,000대: 아웃바운드 전용이 필요한 이유](https://docs.tokios.com/ko/blog/why-outbound-only.md): 연구자들은 인터넷에 노출된 Ollama 호스트 약 175,000개를 2026년 초에 파악했습니다. 이 숫자 뒤에 있는 실패 모드와, 아웃바운드 전용 방식에는 그런 문제가 없는 이유를 설명합니다. - [하나의 엔드포인트에 두 가지 프로토콜인 OpenAI와 Anthropic이 적용되며, 사용되는 모델은 하나입니다](https://docs.tokios.com/ko/blog/one-endpoint-two-protocols.md): Tokios 게이트웨이가 어떻게 Anthropic Messages와 OpenAI Responses를 Chat Completions 형식으로 변환하여 하나의 로컬 모델 배포만으로 모든 클라이언트를 지원하는지 설명합니다 - [셀프 호스팅 LLM 보안 강화: 체크리스트](https://docs.tokios.com/ko/blog/self-hosted-llm-hardening-checklist.md): 로컬 모델을 외부에 공개할 때 필요한 실용적인 절차들 — 주소 바인딩, 인증 설정, 방화벽 규칙 등 — 그리고 아웃바운드 전용 커넥터가 어떤 위험 요소들을 완전히 제거해주는지도 설명합니다. ## Deutsche Dokumentation - [Ein Endpunkt für alle Ihre lokalen Modelle](https://docs.tokios.com/de.md): Verbinden Sie jeden Agenten oder jede App mit Ihren lokalen Modellen – von überall. - [Verbinden Sie Ihr lokales Modell mit Tokios](https://docs.tokios.com/de/quickstart.md): Verbinden Sie eine Laufzeitumgebung, prüfen Sie End-to-End und richten Sie Ihren Client ein — ohne eingehende Ports, öffentliche IP oder NAT-Änderungen. - [So funktioniert Tokios: Ihre Modelle, Ihre Hardware, ein Endpunkt](https://docs.tokios.com/de/how-it-works.md): Erfahren Sie, wie Tokios ein ausschließlich ausgehendes WebSocket-Tunneling nutzt, um API-Anfragen an Ihre lokalen LLMs zu leiten, ohne dass eingehende Ports oder eine öffentliche IP-Adresse erforderlich sind. - [Den Tokios-Connector installieren und paaren](https://docs.tokios.com/de/setup/connector-install.md): Führen Sie den Tokios-Connector neben Ihrem Modell aus und paaren Sie ihn mit einem einmaligen Pairing-Code über WebSocket — ohne eingehende Ports, öffentliche IP oder manuell bearbeitete Tokens. - [Registrieren Sie Ihr Modell in der Tokios-Konsole](https://docs.tokios.com/de/setup/register-model.md): Weisen Sie dem Modell Ihres gepairten Connectors einen öffentlichen Namen bei api.tokios.com zu — die Zeichenfolge, die Clients als model-Feld übergeben. - [Tokios API-Schlüssel erstellen und verwalten](https://docs.tokios.com/de/setup/api-keys.md): Erstellen Sie Bearer-Schlüssel (sk-tok-…) im Tab Keys, um Anfragen an api.tokios.com zu authentifizieren, optional auf bestimmte Modelle beschränkt. - [Aktivieren Sie das Anfrage-Protokoll für Ihren Arbeitsbereich](https://docs.tokios.com/de/setup/request-logging.md): Sie können einwilligen, den Inhalt jedes API-Requests zu speichern – verschlüsselt, ohne Anhänge, mit entfernten Geheimdaten; nach 7 Tagen wird er gelöscht. Anschließend lässt er sich im Tokios-Dashboard einsehen. - [Automation-Tokens für Agents und Skripte erstellen](https://docs.tokios.com/de/setup/automation-tokens.md): Erstellen Sie einen auf Scopes beschränkten, ablaufenden Automation-Token (at-tok-…), damit ein Coding-Agent oder ein Skript Ihren Tokios-Workspace ohne Ihr Passwort über die API einrichten und verwalten kann. - [Unterstützte lokale Modell-Backends — Tokios Connector](https://docs.tokios.com/de/setup/supported-backends.md): Richten Sie den Tokios Connector auf Ollama, llama.cpp, vLLM, LM Studio, MLX Studio, MLX-LM Server oder Lemonade Server, indem Sie BaseUrl (/v1) in tokios-connector.json setzen — muss OpenAI Chat Completions unterstützen. - [Ein Modell finden, das zu Ihrer Hardware passt](https://docs.tokios.com/de/guides/model-fit.md): Interaktiver Kompatibilitätschecker: Finden Sie, welche Modelle auf Ihrer GPU oder Ihrem Unified-Memory-System laufen, mit VRAM-Berechnung und Quantisierungsschätzungen. - [Rezepte für lokale LLMs](https://docs.tokios.com/de/guides/local-llm-recipes.md): Konfigurationen zum Kopieren und Einfügen für gängige lokale LLM-Setups. Jedes Rezept enthält die genauen Befehle, Einstellungen und Hardwareanforderungen. - [Fallstudien zu lokalen LLMs](https://docs.tokios.com/de/guides/local-llm-case-studies.md): Reale Deployment-Muster von Teams und Einzelpersonen, die lokale Modelle betreiben. Was funktioniert hat, was nicht und was sie anders machen würden. - [Lokale LLM-Modelle: eins auswählen, selbst hosten, überall erreichen](https://docs.tokios.com/de/models.md): Wählen Sie ein lokales LLM zum Selbsthosten — vergleichen Sie die Open-Weight-Familien, mit denen Tokios funktioniert (Qwen, DeepSeek, Llama, Gemma und mehr), und finden Sie eines passend zu Ihrer Hardware. - [Ein lokales Modell und Backend wählen](https://docs.tokios.com/de/guides/choose-a-local-model.md): Wählen Sie ein Tokios-Deployment-Setup basierend auf Ihrem Workflow, lokaler Hardware, Backend und Leistungsanforderungen. - [Welches lokale Modell für welche Aufgabe?](https://docs.tokios.com/de/guides/model-by-task.md): Wählen Sie eine lokale Modellfamilie nach Aufgabe — Coding, Chat, Reasoning, Long-Context, Vision, Tool-Aufrufe und Embeddings — bevor Sie ein Deployment registrieren. - [Wie man einen Modellnamen liest](https://docs.tokios.com/de/guides/read-a-model-name.md): Decodieren Sie Open-Weight-Modellnamen, Quantisierungsbezeichnungen und Architektur-Suffixe: was Q4_K_M, MoE und -Instruct bedeuten, bevor Sie herunterladen. - [Wie man eine Modellkarte liest](https://docs.tokios.com/de/concepts/read-a-model-card.md): Finden Sie die Parameter, Architektur, Kontextlänge, Lizenz und das Dateiformat, die vor dem Download eines Modells wirklich wichtig sind. - [Was sind Evals? Ein praktischer Leitfaden zu LLM-Benchmarks](https://docs.tokios.com/de/guides/what-are-evals.md): Verstehen Sie MMLU, HumanEval, MT-Bench und weitere Benchmarks. Wissen Sie, welche Scores für Ihren Anwendungsfall zählen, bevor Sie ein Modell wählen. - [Führen Sie Qwen3.6 lokal aus und nutzen Sie es von überall aus.](https://docs.tokios.com/de/models/qwen3.6.md): Stellen Sie Qwen3.6 – die am weitesten unterstützte multimodale Modellfamilie – mithilfe von Ollama, LM Studio, vLLM oder SGLang bereit und greifen Sie über einen Tokios-Endpunkt darauf zu. - [Qwen3-VL lokal ausführen und von überall nutzen](https://docs.tokios.com/de/models/qwen3-vl.md): Bieten Sie Qwen3-VL — Qwens dedizierte Vision-Language-Familie — mit Ollama, LM Studio, vLLM oder SGLang bereit und erreichen Sie es durch einen Tokios-Endpunkt. - [Qwen3.8-27B: Veröffentlichungsdatum, Hardware, lokales Deployment](https://docs.tokios.com/de/models/qwen3.8.md): Qwen3.8-27B ist unter Apache-2.0 erschienen, mit nativer Vision-Fähigkeit und 262K Kontext. Das GGUF umfasst 17.11 GB bei Q4_K_M, sodass eine 24-GB-GPU es ausführen kann – das Ollama-Tag ist verfügbar. - [DeepSeek V4.1-Flash: das neueste DeepSeek lokal ausführen](https://docs.tokios.com/de/models/deepseek.md): Führen Sie DeepSeek V4.1-Flash lokal aus – ein 552B-MoE mit nativer Vision-Fähigkeit, 8B/16B asymmetrischen aktiven Parametern, 1M Kontext und 384K Ausgabe. Vergleichen Sie Serving-Pfade, Hardwareanforderungen und das abgelöste V4-Flash-0731. - [DeepSeek-R1 lokal ausführen: Distills, Hardware-Passung und Setup](https://docs.tokios.com/de/models/deepseek-r1.md): Bieten Sie einen DeepSeek-R1-Distill mit Ollama bereit — oder das 671B R1 auf einem Multi-GPU-Server — und erreichen Sie es dann von jedem OpenAI- oder Anthropic-kompatiblen Client durch Tokios. - [GLM 5.2 und die GLM-Familie lokal ausführen und von überall nutzen](https://docs.tokios.com/de/models/glm.md): Stellen Sie die GLM-Familie von Z.ai bereit – GLM-4 für einen lokalen Pull mit einem einzigen Befehl, GLM-4.5-Air für Systeme mit viel VRAM, GLM-4.6 für Multi-GPU-Server und das Frontier-Modell GLM-5.2. - [GLM-5.3: Gewichte, Hardware und lokales Deployment](https://docs.tokios.com/de/models/glm-5.3.md): Die Gewichte von GLM-5.3 sind auf Hugging Face verfügbar (zai-org/GLM-5.3). 753B Parameter insgesamt, ~40B aktiv (MoE), 1M Token Kontext. Behandelt Hardware-Dimensionierung, Lizenzierung und lokales Serving. - [Gemma 4 lokal ausführen und von überall nutzen](https://docs.tokios.com/de/models/gemma.md): Stellen Sie Googles Gemma – die multimodale, mehrsprachige Open-Weight-Familie von Gemma 3 bis Gemma 4 – mit Ollama oder LM Studio bereit und erreichen Sie es anschließend über Tokios. - [Muse Glimmer 30B lokal ausführen: Hardware, DFlash und Setup](https://docs.tokios.com/de/models/muse-glimmer.md): Muse Glimmer 30B von Meta steht unter Apache 2.0, passt auf eine 24-GB-GPU bei 4-Bit und bringt einen DFlash-Drafter für 3.1x schnellere lokale Agenten mit. Tags, VRAM und Setup. - [Muse Spark Open 816B lokal ausführen: Hardware, Quantisierung und Setup](https://docs.tokios.com/de/models/muse-spark-open.md): Muse Spark Open von Meta ist ein MoE mit 816B Parametern (42B aktiv), 1M Kontext, multimodaler Eingabe (Text, Bild, Video, Audio) und Spitzenwerten beim agentischen Coding. Hardware, GGUF-Varianten und Setup. - [Llama 4 lokal ausführen: Scout, Maverick und ihre Hardware](https://docs.tokios.com/de/models/llama-4.md): Stellen Sie Llama 4 Scout und Maverick von Meta auf Ihrer eigenen Hardware bereit. MoE-Speicherberechnung, Ollama-Tags, vLLM-Setup und die Realität des 10M-Token-Kontexts. - [Kimi-Modelle: Welches können Sie lokal ausführen?](https://docs.tokios.com/de/models/kimi.md): Die Kimi-Familie von Moonshot AI im Vergleich – K3 (Gewichte am 27. Juli veröffentlicht) gegenüber den herunterladbaren K2.6 und K2.7-Code – mit ehrlichen Hardwareanforderungen für das Selbsthosting jedes Modells. - [Kimi K3 lokal ausführen: Hardware und die Realität des Selbsthostings](https://docs.tokios.com/de/models/kimi-k3.md): Können Sie Kimi K3 lokal ausführen? Das 2.8T-Parameter-MoE von Moonshot AI benötigt ~1.4 TB bei seiner 4-Bit-Untergrenze – keine Consumer- oder Prosumer-Hardware bietet heute genug Platz dafür. - [Kimi K3 passt nicht – was Sie stattdessen ausführen können, nach Hardware](https://docs.tokios.com/de/models/kimi-k3-alternatives.md): Kimi K3 benötigt ~1.4 TB, und kein Consumer- oder Prosumer-System bietet so viel Platz. Hier finden Sie das am ehesten vergleichbare Modell, das Sie stattdessen auf Strix Halo, 1–4 DGX Sparks oder einer einzelnen GPU ausführen können. - [MiMo V2.6 lokal ausführen – das multimodale Agentenmodell von Xiaomi](https://docs.tokios.com/de/models/mimo.md): Führen Sie MiMo V2.6 lokal aus – das 1.02T-MoE von Xiaomi mit 42B aktiven Parametern, nativ multimodal (Text/Bild/Video/Audio), 1M Kontext, MIT-Lizenz. Der 9B-Distill passt auf eine einzelne GPU. - [Wie Inferenz funktioniert](https://docs.tokios.com/de/concepts/how-inference-works.md): Verfolgen Sie einen Prompt von Text über Tokens bis zur gestreamten Antwort und sehen Sie, was diese Hin- und Rückreise mit dem Speicher Ihrer GPU macht. - [KV-Cache und Kontextlänge](https://docs.tokios.com/de/concepts/kv-cache-and-context.md): Was der KV-Cache ist, warum ein längerer Kontext mehr Speicher kostet und welchen Kompromiss zwischen Kontext und Geschwindigkeit dies schafft. - [Speicherauslegung und Auslagerung](https://docs.tokios.com/de/concepts/memory-and-offloading.md): Die Formel dahinter, wie viel RAM oder VRAM ein Modell benötigt, und was die Auslagerung tut, wenn es nicht vollständig passt. - [Quantisierung erklärt](https://docs.tokios.com/de/concepts/quantization.md): Was Quantisierung ist, wie man GGUF-Quantisierungsbezeichnungen wie Q4_K_M liest und welche man wählen sollte. - [Mixture of Experts (MoE): Routing, Expert-Parallelität und Speicher](https://docs.tokios.com/de/concepts/moe-routing-and-expert-parallelism.md): Verstehen Sie Mixture of Experts (MoE): wie das Routing funktioniert, warum der Speicherbedarf mit der Gesamtzahl der Parameter skaliert und welche Open-Weight-Modelle MoE verwenden. Mit Formeln zur Dimensionierung und einem Hardware-Leitfaden. - [Das Konzept des Quantization-aware Trainings (QAT) im Überblick](https://docs.tokios.com/de/concepts/qat.md): Was Quantisierungs-optimiertes Training ist, worin es sich von der Post-Training-Quantisierung unterscheidet und wie man die Gemma QAT-Checkpoints von Google mit etwa 4 Bit VRAM ausführt. - [Ein Modell bereitstellen und skalieren](https://docs.tokios.com/de/concepts/model-serving-and-scaling.md): Die Begriffe in einem erweiterten Ausführungsbefehl – Inferenz-Framework, Genauigkeit, Tensor-/Pipeline-/Experten-Parallelismus sowie spekulatives Decodieren (MTP) – werden hier einfach erklärt. - [Tokios-API-Endpunkte: Referenz für OpenAI & Anthropic](https://docs.tokios.com/de/reference/api-endpoints.md): Referenz zu Tokios API-Endpunkten – /v1/chat/completions, /v1/messages, /v1/messages/count_tokens, /v1/responses sowie /v1/models – inklusive Anfrage- und Antwortstrukturen. - [Referenz zur Konfiguration von tokios-connector.json](https://docs.tokios.com/de/reference/connector-config.md): Vollständige Übersicht über die Konfigurationsdatei sowie die Befehlszeilen-Parameter des Tokios Connectors – darunter ConnectorId, API-Schlüssel, Routen, Upstream-Modell-IDs, Protokollierungseinstellungen sowie die Ausführung als Dienst. - [Fehlerbehebung bei Verbindungsproblemen von Clients mit Tokios](https://docs.tokios.com/de/reference/troubleshooting.md): Beheben Sie die vier häufigsten Gründe, warum ein Client keine Verbindung zu Tokios herstellen kann – falsche Basis-URL, falsches Modell, Connector offline, nicht unterstützte Funktion –, inklusive Fehlercodes. - [Tokios-FAQ: Einrichtung, Konnektivität und Fehlerbehebung](https://docs.tokios.com/de/reference/faq.md): Antworten auf gängige Fragen zur Einrichtung von Tokios, zu Firewall-Anforderungen, zur API-Kompatibilität, zum Datenfluss, zum Datenschutz, zu unterstützten Backends sowie zur Abrechnung. - [Glossar](https://docs.tokios.com/de/concepts/glossary.md): Kurze Definitionen der Begriffe, die bei der Arbeit mit lokalen Modellen auftreten; jede Definition verweist auf eine ausführlichere Erklärung. - [Hardware-Referenz](https://docs.tokios.com/de/guides/hardware-reference.md): Vergleichen Sie Hardware für lokale LLM-Inferenz auf einen Blick. Spezifikationen, Modellkapazität, empfohlene Modelle und Kompromisse für jede unterstützte Plattform. - [Tokios mit lokalen KI-Workstations verwenden](https://docs.tokios.com/de/use-cases/local-ai-workstations.md): Stellen Sie Modelle auf NVIDIA GB10, DGX Spark, AMD Strix Halo, Ryzen AI Max, Macs mit Apple Silicon und anderen lokalen KI-Workstations über einen einzigen Tokios-API-Endpunkt bereit. - [Quantisierungsformate und die Hardware, die sie benötigen](https://docs.tokios.com/de/models/quantization-and-hardware.md): Die Format×Hardware-Matrix für die Quantisierung lokaler Modelle – welche Formate (GGUF, AWQ, GPTQ, NVFP4, MXFP4, MLX) auf welchen GPUs laufen und welches Sie wählen sollten. - [Machen Sie Ihren NVIDIA DGX Spark zu einem privaten Modell-Endpunkt](https://docs.tokios.com/de/use-cases/dgx-spark.md): Geben Sie den Modellen auf Ihrem NVIDIA DGX Spark oder GB10 einen einzigen OpenAI- und Anthropic-kompatiblen Endpunkt, den Ihr Laptop, Ihre Coding-Agenten und Ihre Teammitglieder erreichen können. - [Kompatibilität von Modellen mit DGX Spark – welche Modelle in 128 GB passen](https://docs.tokios.com/de/guides/dgx-spark-model-compatibility.md): Welche Modelle lassen sich auf dem 128 GB großen gemeinsamen Speicher von NVIDIA DGX Spark ausführen, welche Quantisierungsformate werden empfohlen und wie hoch ist die erwartete Durchsatzrate bei dichten Modellen, MoE-Modellen sowie Qwen3.8 und GLM-5.2? - [Installieren und konfigurieren Sie vLLM auf NVIDIA DGX Spark](https://docs.tokios.com/de/guides/vllm-dgx-spark.md): Die Installation von vLLM auf DGX Spark mittels NVFP4-Quantisierung, optimale Einstellungen für die Upstream-Modell-IDs 35B, 70B sowie 120B der MoE-Modelle und Hilfestellungen bei Problemen mit ARM64- und SM121-Komponenten. - [Speichereinstellungen und Benchmarks für DGX Spark](https://docs.tokios.com/de/guides/dgx-spark-memory-tuning.md): Wie der vereinigte Speicher bei DGX Spark funktioniert, wie groß der KV-Cache für unterschiedliche Kontextlängen sein sollte, welche Batch-Größen sinnvoll sind sowie welche Parameter bei einer Deployment auf 128 GB Speicher zu optimieren sind. - [Ein oder zwei DGX Sparks – wann lohnt sich eine Skalierung und wie richtet man sie ein?](https://docs.tokios.com/de/guides/one-vs-two-dgx-sparks.md): Entscheidungshilfe für einen oder zwei NVIDIA DGX Sparks: wann einer ausreicht, Tensor-Parallelität über die 200Gb/s-Verbindung und die verteilte Konfiguration von vLLM. - [Machen Sie ein System mit Strix Halo oder Ryzen AI Max zu einem Modell-Endpunkt](https://docs.tokios.com/de/use-cases/strix-halo.md): Geben Sie dem Modell auf Ihrem System mit AMD Strix Halo oder Ryzen AI Max+ 395 einen OpenAI- und Anthropic-kompatiblen Endpunkt, den Claude Code und opencode erreichen können. - [Modellkompatibilität mit Strix Halo: Was in 128GB passt](https://docs.tokios.com/de/guides/strix-halo-model-compatibility.md): Welche Modelle lassen sich auf dem AMD Ryzen AI Max+ 395 (Strix Halo) mit 128 GB gemeinsam genutztem Speicher ausführen, bei welcher Quantisierung sowie wie beeinflussen MoE- und dichte Modelle die Token-Geschwindigkeit? - [vLLM auf Strix Halo: Status, Fehlschläge und Alternativen](https://docs.tokios.com/de/guides/vllm-strix-halo.md): vLLM funktioniert auf AMD Strix Halo (Ryzen AI Max+ 395) nicht zuverlässig. Im Folgenden erklären wir die Gründe sowie geeignete Alternativen – etwa llama.cpp mit Vulkan-Unterstützung oder eine spezifisch konfigurierte Ollama-Version. - [Machen Sie Ihren Mac Studio zu einem Modell-Endpunkt für Ihr Team](https://docs.tokios.com/de/use-cases/mac-studio.md): Geben Sie dem Modell in LM Studio, Ollama, MLX Studio oder MLX-LM Server im Unified Memory Ihres Mac Studio einen einzigen authentifizierten Endpunkt, den Teammitglieder und Coding-Agenten aufrufen können. - [Machen Sie Ihre RTX-Workstation zu einem privaten Modell-Endpunkt](https://docs.tokios.com/de/use-cases/rtx-workstation.md): Geben Sie dem Modell auf Ihrem Desktop mit RTX 5090, 4090 oder 3090 einen einzigen OpenAI- und Anthropic-kompatiblen Endpunkt, den Ihr Laptop, Ihr Coding-Agent oder Ihre Teammitglieder erreichen können. - [Stellen Sie Modelle von Ihrem Homelab-GPU-Server für Ihr Team bereit.](https://docs.tokios.com/de/use-cases/homelab-gpu-server.md): Sorgen Sie dafür, dass die Modelle auf Ihrem headless-Homelab-GPU-Server über einen einzigen authentifizierten Endpunkt erreichbar sind – für Teammitglieder und Anwendungen, selbst hinter CGNAT, ohne dass dazu eingehende Ports erforderlich sind. - [Fernzugriff auf Ollama ohne Einstellung von OLLAMA_HOST=0.0.0.0](https://docs.tokios.com/de/guides/ollama-remote-access.md): So gelangt man von einem anderen Rechner aus auf Ollama, ohne OLLAMA_HOST=0.0.0.0 zu konfigurieren oder Port 11434 weiterzuleiten. Man lässt Ollama auf dem lokalen Rechner laufen und fügt lediglich eine Authentifizierung hinzu. - [Nutzen Sie einen LM Studio-Server von überall aus – sicher und zuverlässig](https://docs.tokios.com/de/guides/lm-studio-remote-access.md): Greifen Sie auf Ihren LM Studio-Server, der OpenAI-kompatibel ist, von anderen Geräten aus zu, ohne lokale Netzwerkfreigabe aktivieren zu müssen – mithilfe eines rein ausgehenden Connectors sowie eines echten API-Schlüssels. - [Unsloth Studio von überall nutzen — sicher](https://docs.tokios.com/de/guides/unsloth-studio-remote-access.md): Führen Sie ein Modell in Unsloth Studios No-Code-Oberfläche aus und erreichen Sie es von Geräten über einen authentifizierten Endpunkt — ohne eingehende Ports. - [Nutzen Sie einen llama.cpp-Server von überall aus – und das sicher.](https://docs.tokios.com/de/guides/llama-cpp-remote-access.md): Greifen Sie von anderen Geräten oder Teammitgliedern aus auf Ihren OpenAI-kompatiblen llama.cpp-Server zu, ohne Port 8080 öffentlich zugänglich zu machen – mithilfe eines rein ausgehenden Connectors sowie eines echten API-Schlüssels. - [Nutzen Sie einen vLLM-Server von überall aus – und das sicher.](https://docs.tokios.com/de/guides/vllm-remote-access.md): Sie können auf Ihren vLLM-Server, der OpenAI-kompatibel ist, von anderen Rechnern, Agenten oder Teammitgliedern zugreifen, ohne Port 8000 öffentlich zugänglich machen zu müssen – mithilfe eines ausschließlich ausgehenden Connectors sowie eines API-Schlüssels. - [Führen Sie vLLM unter Windows mithilfe von WSL2 sowie NVIDIA-GPUs aus.](https://docs.tokios.com/de/guides/vllm-windows-wsl2.md): Installieren und starten Sie vLLM auf einem Windows-PC mit NVIDIA-GPUs, indem Sie WSL2 sowie Docker nutzen; konfigurieren Sie dabei die GPU-Weiterleitung, starten Sie die Inferenz und stellen Sie diese über Tokios bereit. - [Nutzen Sie einen SGLang-Server von überall aus – und das sicher.](https://docs.tokios.com/de/guides/sglang-remote-access.md): Sie können auf Ihren SGLang-Server, der die OpenAI-Chat-Completions-API unterstützt, von anderen Rechnern, Agenten oder Teammitgliedern zugreifen, ohne dessen Port öffentlich zugänglich zu machen – mithilfe eines rein ausgehenden Connectors sowie eines API-Schlüssels. - [Nutzen Sie einen Xinference-Server von überall aus – sicher und zuverlässig](https://docs.tokios.com/de/guides/xinference-remote-access.md): Sie können auf Ihren Xinference-Server, der eine OpenAI-kompatible Schnittstelle bietet, von anderen Geräten, Agenten oder Teammitgliedern zugreifen, ohne dessen Port öffentlich zugänglich zu machen – mithilfe eines ausschließlich ausgehenden Connectors. - [Einen MLX-LM Server von überall nutzen – sicher](https://docs.tokios.com/de/guides/mlx-lm-server-remote-access.md): Erreichen Sie Ihren MLX-LM Server auf Apple Silicon von überall – richten Sie sicheren Fernzugriff mit dem Tokios-Connector und Authentifizierung per API-Schlüssel ein. Starten Sie das Serving in 5 Minuten. - [Fernzugriff auf Lemonade Server – AMD NPU und GPU](https://docs.tokios.com/de/guides/lemonade-server-remote-access.md): Erreichen Sie Ihre Lemonade Server-API von überall – AMD NPU, Vulkan, ROCm, CUDA. Richten Sie sicheren Fernzugriff mit dem Tokios-Connector ein. Starten Sie das Serving in 5 Minuten. - [Führen Sie vLLM lokal aus und greifen Sie von überall darauf über Tokios zu.](https://docs.tokios.com/de/guides/remote-vllm-tokios.md): Installieren Sie vLLM, starten Sie ein Modell, fügen Sie den Tokios-Connector hinzu, registrieren Sie eine Deployment und rufen Sie Ihren vLLM-Server anschließend über jeden OpenAI- oder Anthropic-kompatiblen Client auf. - [API-Schlüssel zu lokalen Modellen hinzufügen: Ollama, vLLM und llama.cpp](https://docs.tokios.com/de/guides/add-api-keys-to-local-models.md): Ollama verfügt über keinerlei Mechanismus zur Verwaltung von API-Schlüsseln. vLLM und llama.cpp bieten lediglich 1 statische Schlüssel an. Tokios hingegen stellt für jede Person oder jeden Dienst echte, auf den jeweiligen Nutzer beschränkte sk-tok- Schlüssel bereit – ohne dass ein Reverse Proxy erf… - [Ein lokales LLM hinter CGNAT bereitstellen – ohne öffentliche IP-Adresse](https://docs.tokios.com/de/guides/llm-behind-cgnat.md): Sie können auf ein lokales Modell von überall zugreifen, selbst wenn die Carrier-Grade-NAT die Portweiterleitung blockiert; der Tokios-Connector stellt eine Verbindung nach außen her, wobei keine öffentliche IP erforderlich ist. - [Fernzugriff auf lokale LLMs – Sicherheitsvergleich](https://docs.tokios.com/de/guides/remote-access-comparison.md): Vergleichen Sie Tailscale, Cloudflare Tunnel, SSH-Tunnel sowie Tokios hinsichtlich der Bereitstellung einer lokalen Modell-API – dabei geht es um Sicherheitsaspekte, den Aufwand bei der Einrichtung sowie die jeweiligen Einsatzgebiete. - [Tunnel, VPNs und LLM-Streaming: was bricht und warum](https://docs.tokios.com/de/guides/tunnels-and-streaming.md): Cloudflare Tunnel, ngrok sowie Tailscale weisen dokumentierte Einschränkungen bezüglich SSE-Pufferung, Zeitüberschreitungen und Bandbreitengrenzen auf – Tokios hingegen wurde gezielt für das Streaming von LLM-APIs entwickelt. - [Strategien für das Modell-Routing bei lokalen Modellen](https://docs.tokios.com/de/guides/model-routing.md): Registrieren Sie mehrere lokale Modelle hinter 1 Tokios-Endpunkt und leiten Sie Anfragen nach Aufgabentyp, Kosten oder Ausfallsicherheit weiter – vom einfachen Umschalten bis zu Fallback-Ketten. - [Modell feinabgestimmt? Jetzt eine API daraus machen.](https://docs.tokios.com/de/guides/serve-your-fine-tune.md): Machen Sie ein in Ollama oder llama.cpp laufendes Fine-Tune zu einem https://api.tokios.com Endpunkt für Ihre Tools, Teammitglieder oder Coding-Agents. - [Testen Sie Ihr Deployment](https://docs.tokios.com/de/guides/benchmark-your-deployment.md): Führen Sie Smoke-Tests durch und vergleichen Sie Latenz, Streaming und Verhalten über Tokios-Deployments hinweg, die auf lokalen Modellen basieren. - [Wie das Sharding von Modellen funktioniert](https://docs.tokios.com/de/guides/model-sharding.md): Man sollte Tensor-Parallelismus, Pipeline-Parallelismus, Daten-Parallelismus sowie Experten-Parallelismus verstehen und wissen, welche Sharding-Strategie zu der eigenen Hardware passt. - [Tensor-Parallelismus im Vergleich zu Pipeline-Parallelismus bei der lokalen Inferenz von großen Sprachmodellen](https://docs.tokios.com/de/guides/tensor-vs-pipeline-parallelism.md): Wann man Tensor-Parallelismus, Pipeline-Parallelismus oder beides für die Multi-GPU-Inferenz auf DGX Spark-Systemen, RTX-Workstations sowie Multi-Node-Clustern einsetzen sollte. - [Spekulatives Decoding: Draft-Modelle, N-Gramme, MTP und EAGLE](https://docs.tokios.com/de/guides/speculative-decoding.md): Verstehen Sie Techniken des spekulativen Decodings, die die LLM-Inferenz beschleunigen. Vergleichen Sie N-Gramm-, Draft-Modell-, Multi-Token-Prediction- und EAGLE-Ansätze. - [Decode, Prefill und Leistungsaufnahme über verschiedene Präzisionsstufen](https://docs.tokios.com/de/guides/decode-prefill-power.md): Verstehen Sie Decode-Durchsatz im Vergleich zur Prefill-Latenz, wie sich die Präzision auf beide auswirkt und was das für die Leistungsaufnahme bedeutet. Benchmarken Sie Ihr eigenes Setup. - [Konfiguration von SGLang und wann Sie es einsetzen sollten](https://docs.tokios.com/de/guides/sglang-optimization.md): Konfigurieren Sie SGLang für RAG- und Agent-Workloads – RadixAttention für Prefix-Caching, Entscheidungsmatrix vLLM vs. SGLang und SGLang-spezifische Optimierungs-Flags. - [llama.cpp für Geschwindigkeit und Speicher optimieren](https://docs.tokios.com/de/guides/llama-cpp-optimization.md): Optimieren Sie llama.cpp für maximale Leistung – Flash Attention, mmap vs. mlock, Thread-Tuning, Strategie für das Auslagern auf die GPU, Batchgröße, KV-Cache-Präzision und Platzierung der MoE-Experten. - [vLLM für Durchsatz und Latenz optimieren](https://docs.tokios.com/de/guides/vllm-optimization.md): Optimieren Sie vLLM für maximalen Durchsatz oder minimale Latenz – KV-Cache-Tuning, Prefix-Caching, Chunked Prefill, LoRA-Serving, Quantisierungsoptionen und Änderungen an der V1-Architektur. - [Ollama für Geschwindigkeit und Speicher optimieren](https://docs.tokios.com/de/guides/ollama-optimization.md): Optimieren Sie Ollama für maximale Geschwindigkeit – Kontextfenster, Auslagern auf die GPU, Flash Attention, KV-Cache-Quantisierung und parallele Anfragen. Reduzieren Sie die Latenz mit diesen Einstellungen um 2-5x. - [LM Studio für Geschwindigkeit und Speicher optimieren](https://docs.tokios.com/de/guides/lm-studio-optimization.md): Optimieren Sie LM Studio für maximale Geschwindigkeit – Auslagern auf die GPU, Kontextfenster, Flash Attention, KV-Cache-Quantisierung und Batchgröße. Reduzieren Sie die Latenz mit diesen Einstellungen um 2-5x. - [Verbinden Sie Open WebUI mit Ihrem lokalen Modell über Tokios](https://docs.tokios.com/de/guides/open-webui.md): Fügen Sie Tokios als OpenAI-Verbindung in Open WebUI hinzu, damit eine gehostete oder containerisierte Oberfläche ein Modell auf Ihrem Computer erreicht. - [Msty mit Ihrem eigenen lokalen Modell verwenden](https://docs.tokios.com/de/guides/msty.md): Fügen Sie Tokios als OpenAI-kompatiblen Remote-Modell-Provider in Msty hinzu, damit die Desktop-App ein Modell auf Ihrer eigenen Hardware erreichen kann. - [Jan mit einem Modell auf Ihrer eigenen Hardware verwenden](https://docs.tokios.com/de/guides/jan.md): Fügen Sie Tokios als eigenen OpenAI-kompatiblen Anbieter in Jan hinzu, damit die App ein größeres Modell auf Ihrem eigenen Desktop oder Server erreicht. - [Verwenden Sie Cherry Studio mit Ihrem eigenen lokalen Modell](https://docs.tokios.com/de/guides/cherry-studio.md): Fügen Sie Tokios als benutzerdefinierten OpenAI-Anbieter in Cherry Studio hinzu, damit die Desktop-App ein Modell auf Ihrer eigenen Hardware erreicht. - [big-AGI mit Ihrem eigenen lokalen Modell verwenden](https://docs.tokios.com/de/guides/big-agi.md): Fügen Sie Tokios als eigenen OpenAI-kompatiblen Endpunkt in big-AGI hinzu, damit dieses Multi-Model-Frontend ein Modell auf Ihrer eigenen Hardware erreicht. - [LobeChat mit Ihrem eigenen lokalen Modell verbinden](https://docs.tokios.com/de/guides/lobechat.md): Fügen Sie Tokios als OpenAI-Anbieter in LobeChat hinzu – per App oder Umgebungsvariable –, damit die Chat-Oberfläche ein Modell auf eigener Hardware erreicht. - [Verbinden Sie LibreChat mit Ihrem lokalen Modell über Tokios](https://docs.tokios.com/de/guides/librechat.md): Fügen Sie Tokios als Endpunkt in LibreChats librechat.yaml hinzu, damit eine gehostete Chat-UI ein Modell erreicht, das auf Ihrem eigenen Computer bleibt. - [Verwenden Sie Chatbox mit Ihrem eigenen lokalen Modell](https://docs.tokios.com/de/guides/chatbox.md): Fügen Sie Tokios als benutzerdefinierten OpenAI-kompatiblen Anbieter in Chatbox hinzu, damit die Desktop-App ein Modell auf Ihrer eigenen Hardware erreicht. - [SillyTavern mit eigenem lokalen Modell verwenden](https://docs.tokios.com/de/guides/sillytavern.md): Richten Sie SillyTaverns Chat-Completion-Quelle auf Tokios als OpenAI-kompatiblen Endpunkt ein, damit dieses Frontend ein Modell auf eigener Hardware steuert. - [Verwenden Sie Ihr lokales Modell vom Smartphone](https://docs.tokios.com/de/use-cases/local-model-on-your-phone.md): Halten Sie Ihr Modell daheim und erreichen Sie es per iOS- oder Android-Chat-App, die Sie mit einem sk-tok- API-Schlüssel auf den Tokios-Endpunkt ausrichten. - [Verwenden Sie Coding Agents mit lokalen Modellen über Tokios](https://docs.tokios.com/de/guides/coding-agents-local-models.md): Richten Sie Claude Code, OpenCode, Aider, Cline, Continue und weitere auf Ihre lokalen Modelle über einen einzigen Tokios-Endpoint — wechseln Sie Modelle, ohne die Agenten-Konfiguration anzupassen. - [Programmier-Agenten, die mit lokalen Modellen über Tokios arbeiten](https://docs.tokios.com/de/guides/coding-agent-compatibility.md): Eine Kompatibilitätsmatrix zu 15 Programmier-Agenten – sowohl IDE-basierten als auch terminalbasierten –, die über die OpenAI- und Anthropic-kompatible API von Tokios mit lokalen Modellen verbunden werden. - [Tokios von einem Coding-Agenten einrichten lassen](https://docs.tokios.com/de/guides/agent-setup.md): Übergeben Sie Claude Code, Codex oder einem beliebigen Coding-Agenten einen Automation-Token und diese Seite. Der Agent führt das Pairing des Connectors durch, veröffentlicht Ihr Modell, erstellt einen API-Schlüssel und überprüft den Pfad unbeaufsichtigt. - [Coding-Agenten mit lokalen Modellen verwenden](https://docs.tokios.com/de/use-cases/coding-agents.md): Verbinden Sie Coding-Agenten, die benutzerdefinierte OpenAI- oder Anthropic-Endpunkte unterstützen, mit Tokios-Deployments, die auf Ihren lokalen Modellen basieren. - [Claude Code mit Ihrem eigenen lokalen Modell verwenden](https://docs.tokios.com/de/guides/claude-code.md): Verwenden Sie Claude Code mit einem lokalen Modell auf Ollama, LM Studio, llama.cpp oder vLLM – setzen Sie ANTHROPIC_BASE_URL und ANTHROPIC_API_KEY, um Anfragen über Tokios zu leiten. - [OpenAI Codex mit Ihrem eigenen lokalen Modell verwenden](https://docs.tokios.com/de/guides/openai-codex.md): Verwenden Sie OpenAI Codex mit einem lokalen Modell auf Ollama, LM Studio oder einem beliebigen OpenAI-kompatiblen Backend – fügen Sie config.toml einen Tokios-Provider hinzu und erreichen Sie es von überall. - [Verwenden Sie OpenAI Codex mit einem Modell auf Ihrer eigenen Hardware](https://docs.tokios.com/de/guides/codex-local-model.md): Führen Sie OpenAI Codex gegen ein lokales Modell auf einer anderen Maschine aus — Ollama, LM Studio, llama.cpp oder vLLM — über Tokios, das die Responses API spricht, die Codex erfordert. - [Cursor mit Ihrem eigenen lokalen Modell verwenden](https://docs.tokios.com/de/guides/cursor.md): Richten Sie die OpenAI-kompatible Basis-URL von Cursor auf Tokios aus, damit dessen Vervollständigungs- und Agentenfunktionen ein lokales Modell auf Ollama, LM Studio, llama.cpp oder vLLM erreichen können. - [Cline mit Ihrem eigenen lokalen Modell verwenden](https://docs.tokios.com/de/guides/cline.md): Setzen Sie die Base URL des OpenAI Compatible-Providers von Cline auf Tokios und steuern Sie ein lokales Modell auf Ollama, LM Studio oder vLLM aus VS Code – von überall erreichbar. - [Continue mit Ihrem eigenen lokalen Modell verwenden](https://docs.tokios.com/de/guides/continue.md): Richten Sie die OpenAI-kompatible apiBase von Continue auf Tokios aus, damit Chat, Bearbeitung und Autovervollständigung ein lokales Modell erreichen können, das auf Ollama, LM Studio oder vLLM läuft. - [Nutzen Sie Aider mit Ihrem eigenen lokalen Modell](https://docs.tokios.com/de/guides/aider.md): Weisen Sie Aider auf ein lokales Modell hin, das über Ollama, LM Studio oder vLLM läuft, indem Sie OPENAI_API_BASE und OPENAI_API_KEY auf Ihren Tokios-Endpunkt sowie Ihren API-Schlüssel setzen. - [Roo Code mit Ihrem eigenen lokalen Modell verwenden](https://docs.tokios.com/de/guides/roo-code.md): Setzen Sie den OpenAI Compatible-Provider von Roo Code auf Tokios, damit die VS Code-Erweiterung ein lokales Modell auf Ollama, LM Studio oder vLLM steuern kann – einschließlich Tool-Aufrufen. - [Verwenden Sie OpenCode mit Ihrem eigenen lokalen Modell](https://docs.tokios.com/de/guides/opencode.md): Fügen Sie Tokios als OpenAI-kompatiblen Anbieter in opencode.json hinzu, damit der Terminal-Agent von OpenCode ein lokales Modell auf Ollama, LM Studio oder vLLM erreichen kann. - [Verwenden Sie Goose mit Ihrem eigenen lokalen Modell](https://docs.tokios.com/de/guides/goose.md): Fügen Sie Tokios als benutzerdefinierten OpenAI-kompatiblen Anbieter in Goose ein, damit sein Coding-Agent ein lokales Modell auf Ollama, LM Studio oder vLLM erreichen kann — überall erreichbar. - [Verwenden Sie Pi mit Ihrem eigenen lokalen Modell](https://docs.tokios.com/de/guides/pi.md): Fügen Sie Tokios als OpenAI-kompatiblen Anbieter in Pi's models.json ein, damit dessen Terminal-Coding-Agent ein lokales Modell auf Ollama, LM Studio, llama.cpp oder vLLM erreichen kann. - [Verwenden Sie omp (oh-my-pi) mit Ihrem eigenen lokalen Modell](https://docs.tokios.com/de/guides/omp.md): Fügen Sie Tokios als benutzerdefinierten OpenAI-kompatiblen Anbieter in omp's models.yml hinzu, damit dessen Terminal-Coding-Agent ein lokales Modell auf Ollama, LM Studio oder vLLM erreichen kann. - [Zed mit Ihrem eigenen lokalen Modell verwenden – über OpenAI oder Anthropic](https://docs.tokios.com/de/guides/zed.md): Konfigurieren Sie den OpenAI- oder Anthropic-kompatiblen Provider von Zed so, dass er über Tokios ein lokales Modell auf Ollama, LM Studio oder vLLM erreicht – mit einem der beiden Endpunkte. - [Verwenden Sie JetBrains AI Assistant mit Ihrem eigenen lokalen Modell](https://docs.tokios.com/de/guides/jetbrains-ai-assistant.md): Richten Sie den OpenAI-kompatiblen Provider von JetBrains AI Assistant auf Tokios ein, damit IntelliJ, PyCharm, GoLand und Rider ein lokales Modell auf Ollama, LM Studio oder vLLM erreichen. - [GitHub Copilot in VS Code mit Ihrem eigenen Modell verwenden (BYOK)](https://docs.tokios.com/de/guides/vscode-copilot.md): Richten Sie die Bring Your Own Key-Einstellung von GitHub Copilot Chat auf Tokios aus, damit der Chat- und Agentenmodus von Copilot ein lokales Modell auf Ollama, LM Studio oder vLLM aufrufen kann. - [AionUi auf Ihr eigenes lokales Modell verweisen](https://docs.tokios.com/de/guides/aionui.md): Fügen Sie Tokios als benutzerdefiniertes OpenAI-kompatibles Modell in AionUi hinzu – so laufen Agent und orchestrierte Coding-CLIs auf eigener Hardware. - [Richten Sie den Hermes Agent auf Ihren Tokios-Endpunkt aus](https://docs.tokios.com/de/guides/hermes-agent.md): Richten Sie das LLM-Backend des Hermes Agent auf ein lokales Modell aus, das von Ollama, LM Studio oder vLLM bereitgestellt wird, und fügen Sie Tokios als benutzerdefinierten OpenAI-kompatiblen Anbieter für seine Agentenschleife hinzu. - [Richten Sie OpenClaw auf Ihr eigenes lokales Modell aus](https://docs.tokios.com/de/guides/openclaw.md): Fügen Sie Tokios als benutzerdefinierten OpenAI-kompatiblen Anbieter in OpenClaw hinzu, sodass Ihr KI-Agent über Ollama, LM Studio oder vLLM auf einem lokalen Modell arbeiten kann – von überall aus erreichbar. - [Richten Sie NanoClaw auf Ihr eigenes lokales Modell aus.](https://docs.tokios.com/de/guides/nanoclaw.md): Verweisen Sie die Backend-Komponente des Claude Agent SDK von NanoClaw auf den mit Anthropic kompatiblen Endpunkt von Tokios, damit Ihr containerisiertes KI-Agentenprogramm auf einem Modell an Ihrer eigenen Hardware ausgeführt wird. - [Lokale Modelle in LangChain, LlamaIndex sowie dem Vercel AI SDK](https://docs.tokios.com/de/guides/frameworks.md): Richten Sie LangChain, LlamaIndex, das Vercel AI SDK oder Pydantic AI auf Ihre Tokios-Deployment ein, indem Sie dieselbe OpenAI-kompatible Basis-URL verwenden, die diese Tools bereits unterstützen. - [Verbinden Sie AnythingLLM sowie Dify mit Ihrem lokalen Modell](https://docs.tokios.com/de/guides/app-builders.md): Fügen Sie Tokios als benutzerdefinierten OpenAI-kompatiblen Anbieter in AnythingLLM oder Dify hinzu, sodass beide Anwendungen Ihr lokales Modell von überall aus aufrufen können – ohne Umwege über Docker. - [Verfolgen Sie Aufrufe Ihres lokalen Modells mithilfe von Langfuse](https://docs.tokios.com/de/guides/langfuse.md): Um alle Aufrufe Ihres lokalen Modells zu protokollieren, umschließen Sie den OpenAI-Client mit dem bereitgestellten Import-Modul von Langfuse und richten Sie ihn auf Ihre Tokios-Deployment ein. - [Alle mit Tokios kompatiblen Clients — vollständige Matrix](https://docs.tokios.com/de/guides/compatible-clients.md): 39 Clients, die nachweislich mit Tokios funktionieren: Coding-Agenten, Chat-Apps, SDKs, Observability-Tools und Gateways. Alle verwenden das Standard-API-Format von OpenAI oder Anthropic. - [Wann Sie Tokios einsetzen sollten – und wann es keine gute Wahl ist](https://docs.tokios.com/de/guides/when-to-use-tokios.md): Ein ehrlicher Leitfaden dazu, wann Tokios das richtige Werkzeug für Ihre lokale LLM-Deployment ist und wann Sie stattdessen Tailscale, Cloudflare Tunnel, LiteLLM oder eine selbst erstellte Lösung bevorzugen sollten. - [Tokios im Vergleich zu Tailscale für den lokalen Zugriff auf LLMs](https://docs.tokios.com/de/guides/tokios-vs-tailscale.md): Unterschiede zwischen Tailscale und Tokios beim Fernzugriff auf lokale Modelle – Netzwerkmodell, API-Schlüssel, Kompatibilität der Clients sowie die jeweiligen Einsatzgebiete. - [Tokios im Vergleich zu Cloudflare Tunnel für den Zugriff auf lokale LLMs](https://docs.tokios.com/de/guides/tokios-vs-cloudflare-tunnel.md): Unterschiede zwischen Cloudflare Tunnel und Tokios bei der Bereitstellung lokaler Modelle – SSE-Streaming, Proxy-Timeouts, API-Schlüssel, Konfigurationsaufwand sowie die jeweiligen Einsatzgebiete. - [Tokios im Vergleich zu LiteLLM für die Routing-Logik lokaler LLMs](https://docs.tokios.com/de/guides/tokios-vs-litellm.md): Unterschiede zwischen LiteLLM und Tokios – LiteLLM fungiert als Proxy/Gateway für mehr als 100 Anbieter; Tokios vereint Tunnel, Proxy, API-Schlüssel sowie ein Dashboard in einem verwalteten Service. - [Tokios im Vergleich zur eigenen Entwicklung einer lokalen LLM-Infrastruktur](https://docs.tokios.com/de/guides/tokios-vs-diy.md): Was erforderlich ist, um eine solche Infrastruktur selbst zu erstellen – also Laufzeitumgebung, Proxy, Tunnel, Authentifizierung, TLS, DNS sowie Überwachung – und wann sich das im Vergleich zu Tokios lohnt. - [Können 8 DGX Sparks das Kimi K3-Modell ausführen? Die Speicherberechnungen](https://docs.tokios.com/de/blog/kimi-k3-hardware-deep-dive.md): Kimi-K3-Hardware-Rechnung: 8 DGX Sparks fehlen 376 GB bis zur MoE-Gewichtsuntergrenze von K3 mit 2.8T Parametern (~1.4 TB bei 4-bit) – quellenbasiert, keine Schätzung. - [DeepSeek-V4-Flash-0731 lokal ausführen: Hardwareanforderungen](https://docs.tokios.com/de/blog/deepseek-v4-flash-local-hardware.md): Können 2 RTX PRO 6000-Karten, 2 DGX Spark-Systeme oder 2 Strix Halo-Plattformen DeepSeek-V4-Flash-0731 ausführen? Hier spielen Arbeitsspeicher, Interconnects, Reifegrad der Laufzeitumgebung sowie verfügbarer Kontextraum eine Rolle. - [175,000 exponierte Ollama-Server: ein Plädoyer für rein ausgehende Verbindungen (outbound-only)](https://docs.tokios.com/de/blog/why-outbound-only.md): Forscher haben rund 175,000 aus dem Internet erreichbare Ollama-Hosts Anfang 2026 erfasst – der Fehlermodus hinter dieser Zahl und warum ein rein ausgehender Ansatz (outbound-only) keinen hat. - [Ein Endpunkt, zwei Protokolle: OpenAI und Anthropic, ein Modell](https://docs.tokios.com/de/blog/one-endpoint-two-protocols.md): Wie das Tokios-Gateway Anthropic-Nachrichten sowie OpenAI-Antworten in Chat-Completions umwandelt, sodass eine einzige lokale Deployment-Instanz allen Clients zur Verfügung steht. - [Einen selbst gehosteten LLM absichern: eine Checkliste](https://docs.tokios.com/de/blog/self-hosted-llm-hardening-checklist.md): Eine praktische Checkliste für die Bereitstellung eines lokalen Modells – Adressbindung, Authentifizierung sowie Firewall-Regeln – sowie welche Risiken durch einen rein ausgehenden Connector gänzlich vermieden werden. ## Documentation en français - [Un seul point de terminaison pour tous vos modèles locaux](https://docs.tokios.com/fr.md): Pointez n'importe quel agent ou application vers vos modèles locaux — depuis n'importe où. - [Connectez votre modèle local à Tokios](https://docs.tokios.com/fr/quickstart.md): Connectez un runtime, vérifiez le fonctionnement de bout en bout, et configurez votre client — sans ports entrants, IP publique, ni modifications NAT. - [Fonctionnement de Tokios : vos modèles, votre matériel, un seul point de terminaison](https://docs.tokios.com/fr/how-it-works.md): Découvrez comment Tokios utilise un tunnel WebSocket unidirectionnel pour acheminer les requêtes API vers vos modèles LLM locaux, sans avoir à ouvrir de ports entrants ni à exposer d’adresse IP publique. - [Installer et appairer le connecteur Tokios](https://docs.tokios.com/fr/setup/connector-install.md): Lancez le connecteur Tokios à côté de votre modèle et appairez-le avec un code d'appairage à usage unique via WebSocket — aucun port entrant, aucune IP publique, aucun jeton à saisir manuellement. - [Enregistrez votre modèle dans la console Tokios](https://docs.tokios.com/fr/setup/register-model.md): Donnez un nom public au modèle de votre connecteur appairé sur api.tokios.com — la chaîne que les clients transmettent dans le champ model de chaque requête. - [Créer et gérer les clés API Tokios](https://docs.tokios.com/fr/setup/api-keys.md): Créez des clés Bearer (sk-tok-…) dans l'onglet Keys pour authentifier les requêtes vers api.tokios.com, éventuellement limitées à des modèles spécifiques. - [Activez la journalisation des requêtes pour votre espace de travail](https://docs.tokios.com/fr/setup/request-logging.md): Acceptez de conserver le contenu du prompt de chaque requête API — chiffré, sans pièces jointes, avec les données sensibles masquées, puis supprimé après 7 jours — et consultez-le via le tableau de bord Tokios. - [Créer des jetons d'automatisation pour les agents et les scripts](https://docs.tokios.com/fr/setup/automation-tokens.md): Créez un jeton d'automatisation (at-tok-…) à portée limitée et expirant pour qu'un agent de codage ou un script puisse configurer et gérer votre espace de travail Tokios via l'API sans votre mot de passe. - [Backends de modèles locaux pris en charge — Connecteur Tokios](https://docs.tokios.com/fr/setup/supported-backends.md): Pointez le connecteur Tokios vers Ollama, llama.cpp, vLLM, LM Studio, MLX Studio, MLX-LM Server ou Lemonade Server en définissant BaseUrl (/v1) dans tokios-connector.json — doit parler l'API Chat Completions d'OpenAI. - [Trouver un modèle adapté à votre matériel](https://docs.tokios.com/fr/guides/model-fit.md): Vérificateur interactif de compatibilité : trouvez quels modèles tournent sur votre GPU ou votre système à mémoire unifiée, avec les calculs de VRAM et les estimations de quantification. - [Recettes pour les LLM locaux](https://docs.tokios.com/fr/guides/local-llm-recipes.md): Configurations prêtes à copier-coller pour les setups LLM locaux courants : commandes exactes, paramètres et exigences matérielles pour chaque recette. - [Études de cas sur les LLM locaux](https://docs.tokios.com/fr/guides/local-llm-case-studies.md): Modèles de déploiement réels de équipes et d'individus exécutant des modèles locaux. Ce qui a fonctionné, ce qui n'a pas fonctionné, et ce qu'ils feraient différemment. - [Modèles LLM locaux : choisissez-en un, auto-hébergez-le, atteignez-le partout](https://docs.tokios.com/fr/models.md): Choisissez un LLM local à auto-héberger — comparez les familles open-weight avec lesquelles Tokios fonctionne (Qwen, DeepSeek, Llama, Gemma, et plus) et trouvez celle qui correspond à votre matériel. - [Sélectionnez un modèle local ainsi qu’un backend](https://docs.tokios.com/fr/guides/choose-a-local-model.md): Sélectionnez la configuration de déploiement Tokios qui convient le mieux à votre flux de travail, à votre matériel local, au backend et à vos exigences de performance. - [Quel modèle local convient à quelle tâche ?](https://docs.tokios.com/fr/guides/model-by-task.md): Choisissez une famille de modèles locaux en fonction de la tâche — programmation, dialogue, raisonnement, traitement de longs textes, vision, appel d’outils ou création d’embeddings — avant d’effectuer un déploiement. - [Comment lire un nom de modèle](https://docs.tokios.com/fr/guides/read-a-model-name.md): Décodez les noms de modèles open-weight, les étiquettes de quantification et les suffixes d'architecture : Q4_K_M, MoE et -Instruct, avant de télécharger. - [Comment lire une fiche de modèle](https://docs.tokios.com/fr/concepts/read-a-model-card.md): Trouvez les paramètres, l'architecture, la longueur de contexte, la licence et le format de fichier qui comptent vraiment avant de télécharger un modèle. - [Qu'est-ce que les éval ? Un guide pratique des benchmarks LLM](https://docs.tokios.com/fr/guides/what-are-evals.md): Comprendre MMLU, HumanEval, MT-Bench et d'autres benchmarks. Sachez quels scores comptent pour votre cas d'utilisation avant de choisir un modèle local. - [Exécutez Qwen3.6 en local et utilisez-le depuis n’importe quel endroit.](https://docs.tokios.com/fr/models/qwen3.6.md): Mettez en service Qwen3.6 — la famille multimodale la plus largement prise en charge de Qwen — via Ollama, LM Studio, vLLM ou SGLang, puis accédez-y grâce à un point de terminaison Tokios. - [Exécutez Qwen3-VL en local et utilisez-le depuis n’importe quel endroit.](https://docs.tokios.com/fr/models/qwen3-vl.md): Mettez en service Qwen3-VL — la famille dédiée de modèles visuel-langagiers de Qwen — via Ollama, LM Studio, vLLM ou SGLang, puis accédez-y grâce à un point de terminaison Tokios. - [Qwen3.8-27B : date de sortie, matériel, déploiement local](https://docs.tokios.com/fr/models/qwen3.8.md): Qwen3.8-27B est disponible sous Apache-2.0 avec vision native et contexte de 262K. Le GGUF fait 17.11 GB en Q4_K_M, donc un GPU de 24 Go le fait tourner — la balise Ollama est en ligne. - [DeepSeek V4.1-Flash : exécutez le dernier DeepSeek en local](https://docs.tokios.com/fr/models/deepseek.md): Exécutez DeepSeek V4.1-Flash en local — un MoE de 552B avec vision native, des paramètres actifs asymétriques 8B/16B, un contexte de 1M et une sortie de 384K. Comparez les modes de service, les exigences matérielles et le V4-Flash-0731 remplacé. - [Exécutez DeepSeek-R1 en local : versions distillées, compatibilité matérielle et installation](https://docs.tokios.com/fr/models/deepseek-r1.md): Vous pouvez mettre en service une version distillée de DeepSeek-R1 via Ollama, ou bien le modèle 671B R1 sur un serveur multi-GPU. Ensuite, accédez-y depuis n’importe quel client compatible OpenAI ou Anthropic grâce à Tokios. - [Exécutez GLM 5.2 et la famille GLM en local, depuis n'importe où](https://docs.tokios.com/fr/models/glm.md): Servez la famille GLM de Z.ai — GLM-4 pour un téléchargement local en une seule commande, GLM-4.5-Air pour les machines à grande VRAM, GLM-4.6 pour les serveurs multi-GPU, et le modèle frontier GLM-5.2. - [GLM-5.3 : poids, matériel et déploiement local](https://docs.tokios.com/fr/models/glm-5.3.md): Les poids de GLM-5.3 sont disponibles sur Hugging Face (zai-org/GLM-5.3). 753B paramètres au total, MoE à ~40B actifs, contexte de 1M tokens. Couvre le dimensionnement matériel, la licence et le service en local. - [Exécutez Gemma 4 en local et utilisez-le depuis n'importe où](https://docs.tokios.com/fr/models/gemma.md): Servez Gemma de Google — la famille open-weight multimodale et multilingue, de Gemma 3 à Gemma 4 — avec Ollama ou LM Studio, puis accédez-y via Tokios. - [Exécutez Muse Glimmer 30B en local : matériel, DFlash et configuration](https://docs.tokios.com/fr/models/muse-glimmer.md): Muse Glimmer 30B de Meta est sous licence Apache 2.0, tient sur un GPU de 24 GB en 4 bits et intègre un drafter DFlash pour des agents locaux 3.1x plus rapides. Tags, VRAM et configuration. - [Exécutez Muse Spark Open 816B en local : matériel, quantification et configuration](https://docs.tokios.com/fr/models/muse-spark-open.md): Muse Spark Open de Meta est un MoE de 816B/42B actifs avec un contexte de 1M, une entrée multimodale (texte, image, vidéo, audio) et des scores de codage agentique de niveau frontier. Matériel, variantes GGUF et configuration. - [Exécutez Llama 4 en local : Scout, Maverick et leur matériel](https://docs.tokios.com/fr/models/llama-4.md): Servez Llama 4 Scout et Maverick de Meta sur votre propre matériel. Calculs de mémoire MoE, tags Ollama, configuration de vLLM et la réalité du contexte de 10M tokens. - [Modèles Kimi : lequel pouvez-vous exécuter en local ?](https://docs.tokios.com/fr/models/kimi.md): Comparatif de la famille Kimi de Moonshot AI — K3 (poids publiés le 27 juillet) face aux modèles téléchargeables K2.6 et K2.7-Code — avec des exigences matérielles honnêtes pour auto-héberger chacun d'eux. - [Exécutez Kimi K3 en local : matériel et réalité de l'auto-hébergement](https://docs.tokios.com/fr/models/kimi-k3.md): Pouvez-vous exécuter Kimi K3 en local ? Le MoE de 2.8T paramètres de Moonshot AI nécessite ~1.4 TB à son plancher de 4 bits — aucun matériel grand public ou prosumer ne peut l'accueillir aujourd'hui. - [Kimi K3 ne rentre pas — quoi exécuter à la place, selon votre matériel](https://docs.tokios.com/fr/models/kimi-k3-alternatives.md): Kimi K3 nécessite ~1.4 TB et aucune machine grand public ou prosumer ne peut l'accueillir. Voici le modèle le plus proche à exécuter à la place sur Strix Halo, 1–4 DGX Sparks ou un seul GPU. - [Exécutez MiMo V2.6 en local — le modèle d'agent multimodal de Xiaomi](https://docs.tokios.com/fr/models/mimo.md): Exécutez MiMo V2.6 en local — le MoE de 1.02T de Xiaomi avec 42B actifs, multimodal natif (texte/image/vidéo/audio), contexte de 1M, licence MIT. La distillation 9B tient sur un seul GPU. - [Fonctionnement de l'inférence](https://docs.tokios.com/fr/concepts/how-inference-works.md): Suivez une invite du texte aux jetons jusqu'à la réponse diffusée en continu, et voyez l'impact de ce cycle aller-retour sur la mémoire de votre GPU. - [Cache KV et longueur du contexte](https://docs.tokios.com/fr/concepts/kv-cache-and-context.md): Qu'est-ce que le cache KV, pourquoi un contexte plus long coûte plus de mémoire, et le compromis contexte-vitesse qu'il crée. - [Dimensionnement de la mémoire et délestage](https://docs.tokios.com/fr/concepts/memory-and-offloading.md): La formule derrière la quantité de RAM ou de VRAM dont un modèle a besoin, et ce que le délestage fait lorsqu'il ne tient pas entièrement. - [La quantification expliquée](https://docs.tokios.com/fr/concepts/quantization.md): Qu'est-ce que la quantification, comment lire les noms de quantification GGUF comme Q4_K_M, et lequel choisir. - [Mixture of Experts (MoE) : routage, parallélisme d'experts et mémoire](https://docs.tokios.com/fr/concepts/moe-routing-and-expert-parallelism.md): Comprenez le Mixture of Experts (MoE) : fonctionnement du routage, pourquoi la mémoire évolue avec le nombre total de paramètres, et quels modèles open-weight utilisent le MoE. Inclut des formules de dimensionnement et un guide matériel. - [Présentation de l’entraînement conscient de la quantification (QAT)](https://docs.tokios.com/fr/concepts/qat.md): Le QAT désigne l’entraînement conscient de la quantification ; il explique en quoi il se distingue de la quantification post-entraînement et comment exécuter les points de contrôle Gemma QAT de Google en utilisant environ 4 bits de mémoire VRAM. - [Mise en service et mise à l’échelle d’un modèle](https://docs.tokios.com/fr/concepts/model-serving-and-scaling.md): Les termes figurant dans une commande d’exécution avancée — moteur d’inférence, précision, parallélisme tensoriel/pipeline/expert, ainsi que le décodage spéculatif (MTP) — sont ici expliqués simplement. - [Points de terminaison de l’API Tokios : référence OpenAI et Anthropic](https://docs.tokios.com/fr/reference/api-endpoints.md): Référence concernant les points de terminaison API de Tokios — /v1/chat/completions, /v1/messages, /v1/messages/count_tokens, /v1/responses, /v1/models — ainsi que les schémas de requête et de réponse. - [Référence de configuration de tokios-connector.json](https://docs.tokios.com/fr/reference/connector-config.md): Référence complète concernant le fichier de configuration du Connecteur Tokios ainsi que les paramètres de la ligne de commande — ID de modèle amont, Clé API, Routes, Modèles amont, paramètres de journalisation et mode de fonctionnement en tant que service. - [Résolution de problèmes de connexion des clients à Tokios](https://docs.tokios.com/fr/reference/troubleshooting.md): Corrigez les quatre causes les plus fréquentes pour lesquelles un client ne parvient pas à se connecter à Tokios — URL de base incorrecte, mauvais modèle, connecteur hors ligne, fonctionnalité non prise en charge — et consultez les codes d’erreur. - [FAQ Tokios : installation, connectivité et dépannage](https://docs.tokios.com/fr/reference/faq.md): Réponses aux interrogations courantes concernant l’installation de Tokios, les exigences de pare-feu, la compatibilité API, le streaming, la confidentialité des données, les backends pris en charge et la facturation. - [Glossaire](https://docs.tokios.com/fr/concepts/glossary.md): Définitions succinctes des termes rencontrés lors de l’utilisation de modèles locaux, chacune renvoyant à une explication plus détaillée. - [Référence matérielle](https://docs.tokios.com/fr/guides/hardware-reference.md): Comparez d'un coup d'œil le matériel pour l'inférence LLM locale. Caractéristiques, capacité en modèles, modèles recommandés et compromis pour chaque plateforme prise en charge. - [Utiliser Tokios avec des stations de travail IA locales](https://docs.tokios.com/fr/use-cases/local-ai-workstations.md): Exposez les modèles de vos NVIDIA GB10, DGX Spark, AMD Strix Halo, Ryzen AI Max, Macs avec puce Apple et autres stations de travail IA locales via un seul point de terminaison API Tokios. - [Formats de quantification et matériel nécessaire](https://docs.tokios.com/fr/models/quantization-and-hardware.md): La matrice format×matériel de la quantification des modèles locaux — quels formats (GGUF, AWQ, GPTQ, NVFP4, MXFP4, MLX) fonctionnent sur quels GPU, et lequel choisir. - [Transformez votre NVIDIA DGX Spark en point de terminaison de modèle privé](https://docs.tokios.com/fr/use-cases/dgx-spark.md): Offrez aux modèles de votre NVIDIA DGX Spark ou GB10 un point de terminaison unique compatible OpenAI et Anthropic, accessible depuis votre ordinateur portable, vos agents de codage et vos coéquipiers. - [Compatibilité des modèles avec DGX Spark — quels modèles tiennent dans 128 Go](https://docs.tokios.com/fr/guides/dgx-spark-model-compatibility.md): Quels modèles peuvent fonctionner sur la mémoire unifiée de 128 Go de NVIDIA DGX Spark, quels formats de quantification sont recommandés, et quel débit on peut attendre pour les modèles denses, les modèles MoE, Qwen3.8 ainsi que GLM-5.2 ? - [Installez et configurez vLLM sur NVIDIA DGX Spark](https://docs.tokios.com/fr/guides/vllm-dgx-spark.md): Installation de vLLM sur DGX Spark avec la quantification NVFP4, les paramètres optimaux pour les modèles MoE 35B, 70B et 120B, ainsi que la résolution des problèmes liés à ARM64 et SM121. - [Réglage de la mémoire et tests de performance sur DGX Spark](https://docs.tokios.com/fr/guides/dgx-spark-memory-tuning.md): Fonctionnement de la mémoire unifiée sur DGX Spark, dimensionnement du cache KV selon la longueur du contexte, compromis liés aux lots et paramètres de réglage pour une inférence stable sur 128 Go. - [Un ou deux DGX Sparks — quand procéder à un échelonnement et comment le configurer](https://docs.tokios.com/fr/guides/one-vs-two-dgx-sparks.md): Guide de décision entre un ou deux NVIDIA DGX Sparks : quand un seul suffit, le parallélisme tensoriel sur le lien 200Gb/s et la configuration distribuée de vLLM. - [Transformez une machine Strix Halo ou Ryzen AI Max en point de terminaison de modèle](https://docs.tokios.com/fr/use-cases/strix-halo.md): Offrez au modèle de votre machine AMD Strix Halo ou Ryzen AI Max+ 395 un point de terminaison compatible OpenAI et Anthropic, accessible depuis Claude Code et opencode. - [Compatibilité des modèles avec Strix Halo : ce qui tient dans 128 Go](https://docs.tokios.com/fr/guides/strix-halo-model-compatibility.md): Quels modèles fonctionnent sur AMD Ryzen AI Max+ 395 (Strix Halo) doté de 128 Go de mémoire unifiée ? Quelle quantification convient le mieux ? En outre, comment la différence entre modèles MoE et modèles denses influence-t-elle la vitesse de génération de tokens ? - [vLLM sur Strix Halo : état, échecs et alternatives](https://docs.tokios.com/fr/guides/vllm-strix-halo.md): vLLM ne fonctionne pas de manière fiable sur AMD Strix Halo (Ryzen AI Max+ 395). Voici pourquoi, et quoi utiliser à la place — llama.cpp avec Vulkan ou Ollama épinglé. - [Transformez votre Mac Studio en point de terminaison de modèle pour votre équipe](https://docs.tokios.com/fr/use-cases/mac-studio.md): Offrez au modèle servi par LM Studio, Ollama, MLX Studio ou MLX-LM Server dans la mémoire unifiée de votre Mac Studio un point de terminaison authentifié unique que vos coéquipiers et agents de codage peuvent appeler. - [Transformez votre station de travail RTX en point de terminaison de modèle privé](https://docs.tokios.com/fr/use-cases/rtx-workstation.md): Offrez au modèle de votre PC de bureau RTX 5090, 4090 ou 3090 un point de terminaison unique compatible OpenAI et Anthropic, accessible depuis votre ordinateur portable, votre agent de codage ou vos coéquipiers. - [Mettez à disposition des modèles depuis votre serveur GPU domestique pour toute votre équipe](https://docs.tokios.com/fr/use-cases/homelab-gpu-server.md): Offrez aux modèles présents sur votre boîtier GPU domestique sans interface utilisateur un point d’accès authentifié unique, accessible à vos collègues et applications, même derrière un CGNAT, sans avoir à ouvrir de ports entrants. - [Accès distant à Ollama sans définir OLLAMA_HOST=0.0.0.0](https://docs.tokios.com/fr/guides/ollama-remote-access.md): Comment joindre Ollama depuis un autre ordinateur sans configurer OLLAMA_HOST=0.0.0.0 ni rediriger le port 11434. Il suffit de le laisser sur localhost tout en ajoutant un mécanisme d’authentification. - [Utilisez un serveur LM Studio depuis n’importe où — en toute sécurité](https://docs.tokios.com/fr/guides/lm-studio-remote-access.md): Accédez à votre serveur LM Studio compatible OpenAI depuis d’autres machines sans activer le partage sur le réseau local — grâce à un connecteur sortant uniquement et à une véritable clé API. - [Unsloth Studio depuis n'importe où, en toute sécurité](https://docs.tokios.com/fr/guides/unsloth-studio-remote-access.md): Exécutez un modèle dans l'interface sans code d'Unsloth Studio et accédez-y depuis d'autres machines ou collègues via un point de terminaison authentifié. - [Utilisez un serveur llama.cpp depuis n’importe où — en toute sécurité](https://docs.tokios.com/fr/guides/llama-cpp-remote-access.md): Accédez à votre serveur llama.cpp compatible OpenAI depuis d’autres machines ou collaborateurs sans exposer le port 8080, grâce à un connecteur unidirectionnel et à une véritable clé API. - [Utilisez un serveur vLLM depuis n’importe où — en toute sécurité](https://docs.tokios.com/fr/guides/vllm-remote-access.md): Accédez à votre serveur vLLM compatible OpenAI depuis d’autres machines, agents ou collaborateurs sans exposer le port 8000, grâce à un connecteur sortant uniquement et à une clé API. - [Exécutez vLLM sous Windows en utilisant WSL2 et les GPU NVIDIA](https://docs.tokios.com/fr/guides/vllm-windows-wsl2.md): Installez et lancez vLLM sur un PC Windows doté de GPU NVIDIA via WSL2 et Docker ; configurez le transfert direct du GPU, démarrez l’inférence et exposez-la à l’aide de Tokios. - [Utilisez un serveur SGLang depuis n’importe où — en toute sécurité](https://docs.tokios.com/fr/guides/sglang-remote-access.md): Vous pouvez accéder à votre serveur SGLang compatible OpenAI depuis d’autres machines, agents ou collaborateurs sans avoir à exposer son port, grâce à un connecteur unidirectionnel et à une clé API. - [Utilisez un serveur Xinference depuis n’importe où — en toute sécurité](https://docs.tokios.com/fr/guides/xinference-remote-access.md): Accédez à votre serveur Xinference compatible OpenAI depuis d’autres machines, agents ou collaborateurs sans avoir à exposer son port, grâce à un connecteur unidirectionnel sortant. - [Utilisez un MLX-LM Server depuis n'importe où — en toute sécurité](https://docs.tokios.com/fr/guides/mlx-lm-server-remote-access.md): Accédez à votre MLX-LM Server depuis n'importe où sur Apple Silicon — configurez un accès distant sécurisé avec le connecteur Tokios et l'authentification par clé API. Commencez à servir en 5 minutes. - [Accès distant à Lemonade Server — NPU et GPU AMD](https://docs.tokios.com/fr/guides/lemonade-server-remote-access.md): Accédez à l'API de votre Lemonade Server depuis n'importe où — NPU AMD, Vulkan, ROCm, CUDA. Configurez un accès distant sécurisé avec le connecteur Tokios. Commencez à servir en 5 minutes. - [Exécutez vLLM en local et accédez-y depuis n’importe quel endroit via Tokios.](https://docs.tokios.com/fr/guides/remote-vllm-tokios.md): Installez vLLM, lancez un modèle, ajoutez le connecteur Tokios, enregistrez un déploiement, puis appelez votre serveur vLLM depuis n’importe quel client compatible avec OpenAI ou Anthropic. - [Ajouter des clés API aux modèles locaux : Ollama, vLLM et llama.cpp](https://docs.tokios.com/fr/guides/add-api-keys-to-local-models.md): Ollama ne dispose d’aucun mécanisme de gestion des clés API. vLLM et llama.cpp proposent une clé statique, à savoir 1. Tokios, quant à lui, attribue des clés sk-tok- véritables et limitées en portée à chaque utilisateur ou service, sans nécessiter de proxy inverse. - [Mettre à disposition un modèle LLM local derrière un CGNAT, sans adresse IP publique](https://docs.tokios.com/fr/guides/llm-behind-cgnat.md): Accéder à un modèle local depuis n’importe où, même lorsque le NAT de niveau opérateur bloque le transfert de ports — le connecteur Tokios effectue un appel sortant, sans nécessiter d’adresse IP publique. - [Accès à distance aux modèles LLM locaux — comparaison des aspects de sécurité](https://docs.tokios.com/fr/guides/remote-access-comparison.md): Comparez Tailscale, Cloudflare Tunnel, les tunnels SSH et Tokios pour exposer l’API d’un modèle local — compromis de sécurité, complexité de configuration et quand utiliser chacun. - [Tunnels, VPN et streaming LLM : ce qui casse et pourquoi](https://docs.tokios.com/fr/guides/tunnels-and-streaming.md): Cloudflare Tunnel, ngrok et Tailscale décrivent tous des limites en matière de mise en mémoire tampon, de délais d’attente et de bande passante pour le protocole SSE. Tokios, en revanche, a été conçu spécifiquement pour le déploiement d’API LLM en diffusion continue. - [Stratégies de routage pour les modèles locaux](https://docs.tokios.com/fr/guides/model-routing.md): Enregistrez plusieurs modèles locaux derrière 1 point de terminaison Tokios et routez les requêtes selon le type de tâche, le coût ou la résilience — du simple basculement aux chaînes de repli. - [Vous avez fine-tuné un modèle : transformez-le en API](https://docs.tokios.com/fr/guides/serve-your-fine-tune.md): Transformez un fine-tune Ollama ou llama.cpp en point de terminaison https://api.tokios.com sécurisé par clé, appelable par vos outils ou agents de codage. - [Tester votre déploiement](https://docs.tokios.com/fr/guides/benchmark-your-deployment.md): Exécutez des tests de fumée et comparez la latence, le streaming et le comportement de déploiements Tokios adossés à des modèles locaux. - [Fonctionnement du découpage de modèle](https://docs.tokios.com/fr/guides/model-sharding.md): Comprenez le parallélisme tensoriel, le parallélisme de pipeline, le parallélisme de données et le parallélisme d’experts. Déterminez quelle stratégie de découpage convient le mieux à votre matériel. - [Parallélisme tensoriel contre parallélisme en pipeline pour l’inférence locale de modèles LLM](https://docs.tokios.com/fr/guides/tensor-vs-pipeline-parallelism.md): Quand recourir au parallélisme tensoriel, au parallélisme en pipeline ou aux deux pour l’inférence de modèles LLM sur plusieurs GPU dans le cadre de DGX Spark, de stations de travail RTX ou de clusters multi-nœuds. - [Décodage spéculatif : modèles de brouillon, n-grammes, MTP et EAGLE](https://docs.tokios.com/fr/guides/speculative-decoding.md): Comprenez les techniques de décodage spéculatif qui accélèrent l'inférence LLM. Comparez les approches n-gramme, modèle de brouillon, prédiction multi-token et EAGLE. - [Decode, prefill et consommation électrique selon les niveaux de précision](https://docs.tokios.com/fr/guides/decode-prefill-power.md): Comprenez le débit de decode par rapport à la latence de prefill, l'effet de la précision sur chacun, et ce que cela implique pour la consommation électrique. Mesurez les performances de votre propre configuration. - [Configuration de SGLang et quand l'utiliser](https://docs.tokios.com/fr/guides/sglang-optimization.md): Configurez SGLang pour les charges de travail RAG et d'agents — RadixAttention pour la mise en cache des préfixes, matrice de décision vLLM contre SGLang et drapeaux d'optimisation propres à SGLang. - [Optimisez llama.cpp pour la vitesse et la mémoire](https://docs.tokios.com/fr/guides/llama-cpp-optimization.md): Réglez llama.cpp pour des performances maximales — flash attention, mmap contre mlock, réglage des threads, stratégie de délestage GPU, taille de lot, précision du cache KV et placement des experts MoE. - [Optimisez vLLM pour le débit et la latence](https://docs.tokios.com/fr/guides/vllm-optimization.md): Réglez vLLM pour un débit maximal ou une latence minimale — réglage du cache KV, mise en cache des préfixes, chunked prefill, service LoRA, options de quantification et changements de l'architecture V1. - [Optimisez Ollama pour la vitesse et la mémoire](https://docs.tokios.com/fr/guides/ollama-optimization.md): Réglez Ollama pour une vitesse maximale — fenêtre de contexte, délestage GPU, flash attention, quantification du cache KV et requêtes parallèles. Réduisez la latence de 2-5x avec ces paramètres. - [Optimisez LM Studio pour la vitesse et la mémoire](https://docs.tokios.com/fr/guides/lm-studio-optimization.md): Réglez LM Studio pour une vitesse maximale — délestage GPU, fenêtre de contexte, flash attention, quantification du cache KV et taille de lot. Réduisez la latence de 2-5x avec ces paramètres. - [Connectez Open WebUI à votre modèle local via Tokios](https://docs.tokios.com/fr/guides/open-webui.md): Ajoutez Tokios comme connexion OpenAI dans Open WebUI pour qu'une interface hébergée ou conteneurisée accède à un modèle exécuté sur votre propre machine. - [Utiliser Msty avec votre propre modèle local](https://docs.tokios.com/fr/guides/msty.md): Ajoutez Tokios comme fournisseur de modèles distant compatible OpenAI dans Msty pour que l'application de bureau accède à un modèle sur votre propre matériel. - [Utiliser Jan avec un modèle sur votre propre matériel](https://docs.tokios.com/fr/guides/jan.md): Ajoutez Tokios comme fournisseur OpenAI compatible personnalisé dans Jan pour que l'application atteigne un modèle plus volumineux sur votre poste ou serveur. - [Utiliser Cherry Studio avec votre propre modèle local](https://docs.tokios.com/fr/guides/cherry-studio.md): Ajoutez Tokios comme fournisseur OpenAI personnalisé dans Cherry Studio pour que l'application de bureau accède à un modèle sur votre propre matériel. - [Utiliser big-AGI avec votre propre modèle local](https://docs.tokios.com/fr/guides/big-agi.md): Ajoutez Tokios comme point de terminaison OpenAI compatible dans big-AGI pour que cette interface multi-modèles atteigne un modèle sur votre propre matériel. - [Connecter LobeChat à votre propre modèle local](https://docs.tokios.com/fr/guides/lobechat.md): Ajoutez Tokios comme fournisseur OpenAI dans LobeChat (app ou variables d'environnement) pour qu'une interface soignée atteigne un modèle sur votre matériel. - [Connecter LibreChat à votre modèle local via Tokios](https://docs.tokios.com/fr/guides/librechat.md): Ajoutez Tokios comme point de terminaison dans le librechat.yaml de LibreChat pour qu'une UI de chat hébergée accède à un modèle resté sur votre machine. - [Utiliser Chatbox avec votre propre modèle local](https://docs.tokios.com/fr/guides/chatbox.md): Ajoutez Tokios comme fournisseur OpenAI compatible personnalisé dans Chatbox pour que l'application de bureau atteigne un modèle sur votre propre matériel. - [Utiliser SillyTavern avec votre propre modèle local](https://docs.tokios.com/fr/guides/sillytavern.md): Configurez la source Chat Completion de SillyTavern pour pointer vers Tokios, point de terminaison OpenAI-compatible, et piloter un modèle sur votre matériel. - [Utilisez votre modèle local depuis votre téléphone](https://docs.tokios.com/fr/use-cases/local-model-on-your-phone.md): Gardez votre modèle chez vous et accédez-y depuis une application de chat iOS ou Android pointée vers votre point de terminaison Tokios avec une clé sk-tok-. - [Utiliser des agents de codage avec des modèles locaux via Tokios](https://docs.tokios.com/fr/guides/coding-agents-local-models.md): Dirigez Claude Code, OpenCode, Aider, Cline, Continue et bien d’autres vers vos modèles locaux via un seul point de terminaison Tokios ; vous pouvez changer de modèle sans reconfigurer les agents. - [Agents de codage qui fonctionnent avec des modèles locaux via Tokios](https://docs.tokios.com/fr/guides/coding-agent-compatibility.md): Une matrice de compatibilité des agents de codage 15 — basés sur un IDE et dans un terminal — qui se connectent à des modèles locaux via l'API compatible OpenAI et Anthropic de Tokios. - [Laisser un agent de codage configurer Tokios pour vous](https://docs.tokios.com/fr/guides/agent-setup.md): Remettez à Claude Code, à Codex ou à n'importe quel agent de codage un jeton d'automatisation et cette page. Il appaire le connecteur, publie votre modèle, crée une clé API et vérifie le chemin sans intervention. - [Utiliser des agents de codage avec des modèles locaux](https://docs.tokios.com/fr/use-cases/coding-agents.md): Connectez les agents de codage qui prennent en charge des points de terminaison OpenAI ou Anthropic personnalisés à des déploiements Tokios adossés à vos modèles locaux. - [Utilisez Claude Code avec votre propre modèle local](https://docs.tokios.com/fr/guides/claude-code.md): Utilisez Claude Code avec un modèle local sur Ollama, LM Studio, llama.cpp ou vLLM — définissez ANTHROPIC_BASE_URL et ANTHROPIC_API_KEY pour acheminer les requêtes via Tokios. - [Utilisez OpenAI Codex avec votre propre modèle local](https://docs.tokios.com/fr/guides/openai-codex.md): Utilisez OpenAI Codex avec un modèle local sur Ollama, LM Studio ou tout backend compatible OpenAI — ajoutez un fournisseur Tokios à config.toml et accédez-y depuis n'importe où. - [Utilisez OpenAI Codex avec un modèle sur votre propre matériel](https://docs.tokios.com/fr/guides/codex-local-model.md): Exécutez OpenAI Codex contre un modèle local sur une autre machine — Ollama, LM Studio, llama.cpp ou vLLM — via Tokios, qui prend en charge l'API Responses requise par Codex. - [Utilisez Cursor avec votre propre modèle local](https://docs.tokios.com/fr/guides/cursor.md): Pointez l'URL de base compatible OpenAI de Cursor vers Tokios afin que ses fonctionnalités de complétion et d'agent puissent atteindre un modèle local sur Ollama, LM Studio, llama.cpp ou vLLM. - [Utilisez Cline avec votre propre modèle local](https://docs.tokios.com/fr/guides/cline.md): Définissez le Base URL du fournisseur OpenAI Compatible de Cline sur Tokios et pilotez un modèle local sur Ollama, LM Studio ou vLLM depuis VS Code — accessible depuis n'importe où. - [Utilisez Continue avec votre propre modèle local](https://docs.tokios.com/fr/guides/continue.md): Pointez l'apiBase compatible OpenAI de Continue vers Tokios afin que le chat, l'édition et l'autocomplétion puissent atteindre un modèle local exécuté sur Ollama, LM Studio ou vLLM. - [Utilisez Aider avec votre propre modèle local](https://docs.tokios.com/fr/guides/aider.md): Indiquez à Aider l’emplacement d’un modèle local exécuté via Ollama, LM Studio ou vLLM en définissant OPENAI_API_BASE et OPENAI_API_KEY avec l’endpoint et la clé API Tokios. - [Utilisez Roo Code avec votre propre modèle local](https://docs.tokios.com/fr/guides/roo-code.md): Configurez le fournisseur OpenAI Compatible de Roo Code sur Tokios afin que l'extension VS Code puisse piloter un modèle local sur Ollama, LM Studio ou vLLM — y compris l'appel d'outils. - [Utilisez OpenCode avec votre propre modèle local](https://docs.tokios.com/fr/guides/opencode.md): Ajoutez Tokios en tant que fournisseur compatible OpenAI dans opencode.json afin que l'agent terminal d'OpenCode puisse accéder à un modèle local sur Ollama, LM Studio ou vLLM. - [Utilisez Goose avec votre propre modèle local](https://docs.tokios.com/fr/guides/goose.md): Ajoutez Tokios en tant que fournisseur OpenAI personnalisé dans Goose afin que son agent de codage puisse accéder à un modèle local sur Ollama, LM Studio ou vLLM — accessible depuis n'importe où. - [Utilisez Pi avec votre propre modèle local](https://docs.tokios.com/fr/guides/pi.md): Ajoutez Tokios en tant que fournisseur compatible OpenAI dans le models.json de Pi afin que son agent de codage terminal puisse accéder à un modèle local sur Ollama, LM Studio, llama.cpp ou vLLM. - [Utilisez omp (oh-my-pi) avec votre propre modèle local](https://docs.tokios.com/fr/guides/omp.md): Ajoutez Tokios en tant que fournisseur personnalisé compatible OpenAI dans le models.yml d'omp afin que son agent de codage terminal puisse accéder à un modèle local sur Ollama, LM Studio ou vLLM. - [Utilisez Zed avec votre propre modèle local — via OpenAI ou Anthropic](https://docs.tokios.com/fr/guides/zed.md): Configurez le fournisseur compatible OpenAI ou Anthropic de Zed pour atteindre un modèle local sur Ollama, LM Studio ou vLLM via Tokios — avec l'un ou l'autre point de terminaison. - [Utilisez JetBrains AI Assistant avec votre propre modèle local](https://docs.tokios.com/fr/guides/jetbrains-ai-assistant.md): Configurez le fournisseur compatible OpenAI de JetBrains AI Assistant sur Tokios afin qu'IntelliJ, PyCharm, GoLand et Rider accèdent à un modèle local sur Ollama, LM Studio ou vLLM. - [Utilisez GitHub Copilot dans VS Code avec votre propre modèle (BYOK)](https://docs.tokios.com/fr/guides/vscode-copilot.md): Pointez le paramètre Bring Your Own Key de GitHub Copilot Chat vers Tokios afin que le chat et le mode agent de Copilot puissent appeler un modèle local sur Ollama, LM Studio ou vLLM. - [Configurer AionUi pour utiliser votre propre modèle local](https://docs.tokios.com/fr/guides/aionui.md): Ajoutez Tokios comme modèle OpenAI compatible dans AionUi afin que son agent intégré et les CLI de codage qu'il orchestre tournent sur votre propre matériel. - [Indiquez à l’agent Hermes l’emplacement de votre point de terminaison Tokios](https://docs.tokios.com/fr/guides/hermes-agent.md): Configurez le moteur LLM de l’agent Hermes afin qu’il utilise un modèle local hébergé par Ollama, LM Studio ou vLLM ; ajoutez ensuite Tokios en tant que fournisseur compatible OpenAI personnalisé pour son boucle d’agent. - [Orientez OpenClaw vers votre propre modèle local](https://docs.tokios.com/fr/guides/openclaw.md): Ajoutez Tokios en tant que fournisseur personnalisé compatible OpenAI dans OpenClaw afin que votre agent IA exécute un modèle local via Ollama, LM Studio ou vLLM, accessible depuis n’importe quel endroit. - [Orientez NanoClaw vers votre propre modèle local](https://docs.tokios.com/fr/guides/nanoclaw.md): Configurez le backend du SDK Claude Agent de NanoClaw afin qu’il pointe vers le point de terminaison compatible Anthropic de Tokios, permettant ainsi à votre agent IA conteneurisé de s’exécuter sur un modèle hébergé sur votre propre matériel. - [Modèles locaux dans LangChain, LlamaIndex et le SDK IA de Vercel](https://docs.tokios.com/fr/guides/frameworks.md): Dirigez LangChain, LlamaIndex, le SDK IA de Vercel ou Pydantic AI vers votre déploiement Tokios en utilisant l’URL de base compatible OpenAI que chacun d’eux prend déjà en charge. - [Connectez AnythingLLM et Dify à votre modèle local](https://docs.tokios.com/fr/guides/app-builders.md): Ajoutez Tokios en tant que fournisseur personnalisé compatible OpenAI dans AnythingLLM ou Dify afin que chacune de ces applications puisse interroger votre modèle local depuis n’importe où, sans avoir recours à des astuces Docker. - [Suivez les appels à votre modèle local à l’aide de Langfuse](https://docs.tokios.com/fr/guides/langfuse.md): Enveloppez le client OpenAI dans l’importation directe proposée par Langfuse puis orientez-le vers votre déploiement Tokios afin de suivre chaque appel à votre modèle local. - [Tous les clients compatibles avec Tokios — matrice complète](https://docs.tokios.com/fr/guides/compatible-clients.md): 39 clients dont le fonctionnement avec Tokios est confirmé : agents de codage, applications de chat, SDK, outils d’observabilité et passerelles. Tous utilisent le format d’API standard d’OpenAI ou d’Anthropic. - [Quand utiliser Tokios — et quand ce n’est pas le bon choix](https://docs.tokios.com/fr/guides/when-to-use-tokios.md): Un guide honnête pour savoir si Tokios convient à votre configuration locale de modèles LLM, ou si vous devriez plutôt opter pour Tailscale, Cloudflare Tunnel, LiteLLM ou une solution personnalisée. - [Tokios contre Tailscale pour l’accès aux modèles LLM locaux](https://docs.tokios.com/fr/guides/tokios-vs-tailscale.md): Les différences entre Tailscale et Tokios pour l’accès à distance aux modèles locaux — modèle réseau, clés API, compatibilité des clients, et quand privilégier l’un ou l’autre. - [Tokios contre Cloudflare Tunnel pour l’accès aux modèles LLM locaux](https://docs.tokios.com/fr/guides/tokios-vs-cloudflare-tunnel.md): Les différences entre Cloudflare Tunnel et Tokios pour exposer des modèles locaux — streaming SSE, délais d’expiration du proxy, clés API, complexité de configuration, et quand choisir l’un ou l’autre. - [Tokios contre LiteLLM pour le routage de modèles LLM locaux](https://docs.tokios.com/fr/guides/tokios-vs-litellm.md): Les différences entre LiteLLM et Tokios — LiteLLM sert de proxy/passerelle pour plus de 100 fournisseurs ; Tokios regroupe tunnel, proxy, clés API et tableau de bord au sein d’un service géré unique. - [Tokios contre la création d’une pile LLM locale sur mesure](https://docs.tokios.com/fr/guides/tokios-vs-diy.md): Ce qu’il faut pour mettre en place une telle pile (moteur d’exécution, proxy, tunnel, authentification, TLS, DNS, surveillance) et dans quels cas cela se justifie par rapport à l’utilisation de Tokios. - [Les unités 8 DGX Sparks peuvent-elles exécuter Kimi K3 ? Analyse des contraintes mémoire](https://docs.tokios.com/fr/blog/kimi-k3-hardware-deep-dive.md): Calculs matériels pour Kimi K3 : 8 DGX Sparks restent 376 Go en deçà du plancher de poids du MoE de K3 à 2.8T paramètres (~1.4 To en 4 bits) — chiffres sourcés, pas une supposition. - [Exécuter DeepSeek-V4-Flash-0731 en local : exigences matérielles](https://docs.tokios.com/fr/blog/deepseek-v4-flash-local-hardware.md): 2 RTX PRO 6000, 2 DGX Sparks ou 2 systèmes Strix Halo peuvent-ils exécuter DeepSeek-V4-Flash-0731 ? Mémoire, interconnexions, maturité des environnements d’exécution et marge de contexte. - [175,000 serveurs Ollama exposés : plaidoyer pour une connexion sortante uniquement](https://docs.tokios.com/fr/blog/why-outbound-only.md): Des chercheurs ont cartographié environ 175,000 hôtes Ollama exposés à Internet au début de l’année 2026. Voici le mode de défaillance à l’origine de ce chiffre, ainsi que la raison pour laquelle aucun incident n’a été relevé dans les cas de déploiement en sortie uniquement. - [Un seul point de terminaison, deux protocoles : OpenAI et Anthropic, un seul modèle](https://docs.tokios.com/fr/blog/one-endpoint-two-protocols.md): Le fonctionnement du passerelle Tokios qui traduit les messages Anthropic et les réponses OpenAI en complétions de chat, permettant ainsi à un seul déploiement de modèle local de répondre à tous les clients. - [Renforcer la sécurité d’un LLM auto-hébergé : une liste de vérification](https://docs.tokios.com/fr/blog/self-hosted-llm-hardening-checklist.md): Une liste de vérification pratique pour la mise en ligne d’un modèle local — adresse de liaison, authentification et règles de pare-feu — ainsi que les risques éliminés par l’utilisation d’un connecteur sortant uniquement.