日前，在2026 CCF全國高性能計算學術大會上，是石科技發布TokenFleet分布式調度框架。該框架面向大模型推理集群的請求路由、跨機房容量協同和混合負載治理，嘗試通過提升有效Token（詞元）產出，降低單位有效產出的服務成本，為國產算力規模化推理提供新的調度思路。

隨著大模型應用從單點部署走向規模化服務，推理集群不僅要處理高並發請求，還要同時承載短對話、長上下文文檔、離線批量任務等多種業務。不同租戶對首Token響應、生成速度、完成時限等要求各不相同。若調度策略簡單，容易出現部分實例排隊、另一些容量閑置的情況，長請求與批量任務還可能擠壓實時交互，造成超時、取消和重復計算，消耗資源卻難以形成合格交付。

是石科技相關負責人介紹，TokenFleet分布式調度框架包含三項關鍵技術。TokenPilot負責同一模型池內的請求選點，既考慮KV緩存復用帶來的計算節省，也評估排隊等待代價。它會結合輸入規模、輸出預算、可復用前綴、隊列狀態、在途Token和預測延遲等因素篩選候選實例，避免請求集中涌向緩存命中率高的實例而產生新的等待。數據顯示，在所測顯卡集群與負載條件下，採用預測延遲路由后，P95（95分位）首Token延遲降低32.4%，P50（50分位）首Token延遲降低71.3%。

FleetMind面向跨機房容量協同。它匯聚各機房模型可用性、實時容量和網絡狀態，先選擇執行機房，再由本地決策引擎選擇具體實例。當熱點機房出現排隊時，系統會評估其他機房是否具備同版本模型就緒端點和服務余量，並在滿足權限與數據地域約束的前提下，判斷是否承接跨地域請求。

SLOMax負責混合負載治理。它依據輸入長度、輸出預算、任務類型和租戶服務目標識別工作量，按等級准入、分池排隊並協調容量，減少長容量壓力和批量負載對交互請求的干擾。相關測算示例顯示，採用流控協同調度后，達標輸出吞吐量提高約29.4%。

上述負責人表示，未來，公司將圍繞“國產Token優化工廠”持續打磨軟件能力，推動通用、高頻推理服務更經濟、更穩定地運行。（記者 馬愛平）