STONETEK G5208 AIO DS

产品简介

G5208 AIO DS推理服务平台一体机基于高性能G5208硬件平台，预装DeepSeek-R1模型及AIOS 3.0-DS操作系统，集成VLLM/Llama-box等推理引擎。产品提供从32B到70B的轻量级（Lite）至高性能（Premier）型号，适合需要快速响应的场景，支持私域知识库问答、代码补全、智能客服等高并发场景。

高度集成

工厂集成自动化软件环境

STONETEK AIOS V3.0

全新的推理服务平台

成熟基座

基于成熟G5208硬件平台

采用高品质原装计算卡

多家CSP一致选择

开箱即用

预装DeepSeek-R1

内置知识库问答系统

内置可视化开发平台

适用场景

DeepSeek一体机/Dify知识库应用/企业大模型首个应用平台

全开源环境，适合大多数大模型企业应用软件开发商。

产品参数

G5208 AIO DS推理服务平台一体机

	G5208 DS-32B-Pro	G5208 DS-32B-Premier	G5208 DS-70B-Lite	G5208 DS-70B-Premier
硬件参数
CPU资源	64核	64核	64核	64核
系统缓存	512G	512G	512G	512G
算力能力	96G显存、2048张量核、1.29PFLOPS算力	192G显存、4096张量核、2.58PFLOPS算力	96G显存、2048张量核、1.29PFLOPS算力	192G显存、4096张量核、2.58PFLOPS算力
软件环境
模型	DeepSeek-R1-Distill-Qwen-32B	DeepSeek-R1-Distill-Qwen-32B	DeepSeek-R1-Distill-Llama-70B-FP8-Dynamic	DeepSeek-R1-Distill-Llama-70B
操作系统	STONETEK AIOS 3.0 DS	STONETEK AIOS 3.0 DS	STONETEK AIOS 3.0 DS	STONETEK AIOS 3.0 DS
推理引擎	vLLM	vLLM	vLLM	vLLM
其他	集成PyTorch深度学习框架、WEB人机交互	集成PyTorch深度学习框架、WEB人机交互	集成PyTorch深度学习框架、WEB人机交互	集成PyTorch深度学习框架、WEB人机交互

技术白皮书

用户手册