G5208 DS

产品简介

G5208 DS推理服务平台一体机基于高性能G5208硬件平台，预装DeepSeek-R1模型及AIOS 3.0-DS操作系统，集成VLLM/Llama-box等推理引擎。产品提供从32B到70B的轻量级（Lite）至高性能（Premier）型号，适合需要快速响应的场景，支持私域知识库问答、代码补全、智能客服等高并发场景。

全面升级

全新的推理服务平台

更易用大模型工具

STONETEK AIOS V3.0

成熟基座

基于成熟G5208硬件平台

采用高品质原装计算卡

多家CSP一致选择

开箱即用

工厂自动化软件环境集成

内置人工交互界面

内置知识库问答系统

内置可视化开发平台

产品参数

STONETEK G5208 AIO DS一体机

	G5208 DS-32B-Pro	G5208 DS-32B-Premier	G5208 DS-70B-Lite	G5208 DS-70B-Premier
硬件参数
CPU资源	64核	64核	64核	64核
系统缓存	512G	512G	512G	512G
算力能力	96G显存、2048张量核、1.29PFLOPS算力	192G显存、4096张量核、2.58PFLOPS算力	96G显存、2048张量核、1.29PFLOPS算力	192G显存、4096张量核、2.58PFLOPS算力
软件环境
模型	DeepSeek-R1-Distill-Qwen-32B	DeepSeek-R1-Distill-Qwen-32B	DeepSeek-R1-Distill-Llama-70B-FP8-Dynamic	DeepSeek-R1-Distill-Llama-70B
操作系统	STONETEK AIOS 3.0 DS	STONETEK AIOS 3.0 DS	STONETEK AIOS 3.0 DS	STONETEK AIOS 3.0 DS
推理引擎	vLLM	vLLM	vLLM	vLLM
其他	集成PyTorch深度学习框架、WEB人机交互	集成PyTorch深度学习框架、WEB人机交互	集成PyTorch深度学习框架、WEB人机交互	集成PyTorch深度学习框架、WEB人机交互

技术白皮书

用户手册

产品手册