山中大熊 (@xiongchun007) “应聘 AI Agent 工程师，面试官问了一个这样的问题，我刚好做过，如图。 问：在 LLM 流” — TopicDigg
山中大熊
@xiongchun007
加入 December 2023
0 正在关注 0 粉丝
应聘 AI Agent 工程师，面试官问了一个这样的问题，我刚好做过，如图。
问：在 LLM 流式输出模式下，如何最大限度的保证 UI 渲染的性能？
核心是别让 UI 做蠢事：
1. 不要每次 token 到来都从头渲染整段内容
应该增量追加节点，或按节流窗口批量刷新。否则输出越长，每次重绘成本越高。
2. 不要塞重型 UI 组件。比如现成的代码高亮渲染、重型表格等，可以自己封装轻量渲染组件。
3. 流式渲染要节流
LLM token 来得很碎，UI 不需要跟每个 token 同频刷新。比如 100-300ms 合并一次，观感仍然实时，性能稳定很多。也可以结合字符串长度节流。
5. 交互能力和渲染能力分离
对输出内容的二次加工、审批动作等做分离。
一句话：LLM 流式 UI 的性能优化，不是更快地重绘，而是少重绘、轻节点、按需交互。
大家继续补充...
显示更多
