推理服务器选购指南

推理服务器什么样的好？最直接的答案：能匹配你实际推理场景、在延迟和吞吐之间做对取舍、并且总拥有成本可控的服务器，就是好服务器，别被一堆“旗舰显卡”“8卡互联”的参数带偏,先搞清你的业务到底要什么，推理服务器怎么选？先看你的推理负载长什么样很多团队问我推理服务器怎么选，我第一句话通常是：“你的推理是用户在网页上等……