• 服务器 RTX5090 版:
• CPU:Intel Xeon 4314 2.4GHz 16C32T*2
• 内存:16*32GB 2666MHz
• 硬盘:8TB NVMe U.2 SSD*2
• GPU:NVidia 5090 32G*2(可扩展至4个GPU)
• 70b推理速度:18tokens/s ,每秒约30个汉字, 支持3~4人同时使用
• 32b推理速度:90tokens/s ,每秒约150个汉字, 支持15~18人同时使用