关灯 特大 直达底部
亲,双击屏幕即可自动滚动
正文 第363章 六十一!
十一月九号。周一。



老周来得比林彻早。



林彻八点半到办公室的时候,老周已经坐在会客区的沙发上了,手里拿着一个平板,屏幕亮着,上面是一封邮件。他穿的是上周那件灰色卫衣,领口有点皱,像是昨晚没回家。



"等多久了?"林彻问。



"二十分钟。"



林彻放下包,没坐到自己的椅子上,直接走到会客区坐在老周对面。



"说。"



老周把平板递过来。



是一封发件人地址很长的英文邮件,林彻扫了一眼抬头,某美国芯片公司的亚太区合规办公室。



"三个型号,上周五下午收到暂停发货通知。"老周说,"主控芯片一款,ai训练卡两款。邮件措辞是'因出口合规审查需要,暂停向贵司交付以下产品型号,恢复时间另行通知'。"



另行通知。



林彻把平板放在茶几上。



"库存多少。"



"主控芯片库存够用五个月。两款ai训练卡库存不一样,a100系列只够三个半月,v100系列够六个月。综合来算,如果三个型号全停,维持当前服务规模的话,库存撑四个月。"



四个月。



林彻没说话,等他继续。



老周往前坐了一点,平板搁在膝盖上。



"我周末算了一遍国产替代方案。寒武纪的270可以替代v100的大部分推理任务,华为昇腾910可以替代a100的部分训练任务,主控芯片用飞腾或者鲲鹏都行。"



他顿了一下。



"但性能只有61。"



61。



打了六折。



"具体差在哪。"



"推理速度差20左右,可以接受,用户端感知不明显。但训练速度差40以上,同样的模型训练时间从两天变成三天半。更大的问题是良率,国产卡的故障率是进口的三到四倍,批量部署之后运维压力会很大。"



老周说到这里停了。他在等林彻的反应。



林彻靠在沙发上,手指搭在扶手上,没动。



他在想。



61的性能。听起来很难看,快接近不能用了。但"不能用"和"勉强能用"之间有一条线,这条线的位置取决于你怎么用。



单芯片跑不动的事情,多芯片可以跑。一张卡算不完的任务,四张卡并行可以算。推理速度差20,可以用缓存和预加载对冲,用户那边感知不到。训练速度差40,可以把非紧急的训练任务挪到夜间跑,白天只保留推理和在线服务。



异构计算。



上辈子2022年以后,所有被制裁的中国科技公司都在做这件事。用不同架构的芯片混合部署,用软件层的调度算法弥补硬件层的性能差距。不完美,很笨重,调度代码写起来想骂人。但能跑。



关键不是跑多快,是能不能跑。



用户不能感知到卡顿。企业核心业务不能受影响。微光协同的视频会议不能掉帧,信用购的风控模型不能延迟出结果,abyss的数据查询不能超时。



这三条守住了,61就够了。



守不住,100也不够。



他在脑子里过了一遍微光的业务优先级。第一梯队:信用购风控+abyss实时查询+协同视频会议,这三个对延迟最敏感,必须用最好的卡。第二梯队:云仓调度+企业服务后台+ai训练任务,可以容忍一定程度的降速。第三梯队:日志分析、数据备份、离线任务,完全可以跑在国产卡上。

<

本章未完,点击下一页继续阅读

(1/3)
  • 加入收藏
  • 友情链接