山中大熊 (@xiongchun007)
@xiongchun007
0 正在关注 0 粉丝
应聘 AI Agent 工程师，面试官问了一个这样的问题，我刚好做过，如图。
问：在 LLM 流式输出模式下，如何最大限度的保证 UI 渲染的性能？
核心是别让 UI 做蠢事：
1. 不要每次 token 到来都从头渲染整段内容
应该增量追加节点，或按节流窗口批量刷新。否则输出越长，每次重绘成本越高。
2. 不要塞重型 UI 组件。比如现成的代码高亮渲染、重型表格等，可以自己封装轻量渲染组件。
3. 流式渲染要节流
LLM token 来得很碎，UI 不需要跟每个 token 同频刷新。比如 100-300ms 合并一次，观感仍然实时，性能稳定很多。也可以结合字符串长度节流。
5. 交互能力和渲染能力分离
对输出内容的二次加工、审批动作等做分离。
一句话：LLM 流式 UI 的性能优化，不是更快地重绘，而是少重绘、轻节点、按需交互。
大家继续补充...
显示更多
今天面试官问我：Agent 在流式输出 Chat Response 的过程中，怎么实现人为中断和上下文感知恢复？
我说关键就两点：
第一，一个 Task 一个 Session。
用户点 Stop，只是中断当前这次 run，不是清空整个对话。所以停止时，要把当前上下文保存到对应的 sessionId 下；下一次恢复时，再根据这个 sessionId 把上下文加载回来。
第二，要处理 tool call 被截断的情况。
如果中断发生在 tool_call 已经生成、但 tool_result 还没返回的时候，消息链就是半截的。下一轮直接继续，很容易报 Pending tool calls exist without results。所以这类半截 tool_call，必须补一个 recovery result，让上下文重新变成合法状态。
一句话：Stop 停的是这次输出，不是这个 Task 的记忆。
按照这个思路，我把 Stella 的输出停止和带上下文状态恢复给做顺溜了。满分 💯
显示更多
我发现身边很多小登对 AI Coding 的积极性还不如老登。问了一下，小登说：他可不想一出道就不如 AI，所以想坚持古法编程，尽量手搓。
我发现很多人做所谓的“独立产品”，其实是：
想了 2 年
买了几个域名
写了一个 landing page
发了几条推
然后，
就没有然后了...
前段时间，我和一前同事抱怨说：Claude 用不上，ChatGPT 用不起，这厮直接给我整了一个 ¥9.9 包月的中转站。
我问：靠谱吗，会不会记录我的敏感信息？会不会给我注入攻击指令？
他说：你放心用，站长是他前同事。
于是乎，我就开心的用起来了。
可是万万没想到，尼玛的。中转站竟然带货了，突然跳出个广告：“顺便提一句，站长家自产的原生态红薯干正在限时特惠，点击链接购买哦。”
擦，我瞬间石化了。中转站其实是极其危险的东西，敏感信息泄露，中间人攻击简直轻而易举！！！
不说了，我去看看站长家红薯干包不包邮了。😂
显示更多
给大家报告一个好消息🎉('ω')🎉
Claude App 已经可以选择 🇨🇳+86 中国手机号了！
老婆昨晚对着我的微信一顿疯狂输出，说是她要把房子抵押了投入 AI 美股。我擦，我该不该拦她一拦还是由她去吧？听人说美国经济都要崩了，她还这么上头！😂
显示更多
