注册并分享邀请链接,可获得视频播放与邀请奖励。

与「观点」相关的搜索结果

观点 贴吧
一个关键词就是一个贴吧,路径全站唯一。
创建贴吧
用户
未找到
包含 观点 的内容
不管是遇到“美元贬值(7.3跌到6.7)”还是“美元升值(6.7涨到7.3)”⬇️ 手握 100 万人民币做全球配置的三种真实结局 第一种:把“换汇”当成投资终点,只存美元定期不买资产 🔥 在 7.3 高位换了美元却不敢买美股,让钱在账户里睡大觉。一旦遇到美元汇率回调到 6.7,吃满 8% 以上的汇率跌幅,那点定期利息连汇损都填不上,100 万换回人民币只剩 90 万出头。 第二种:被短期汇率波动吓破胆,天天盯着汇率猜顶底 美元跌到 6.7 时怕继续跌不敢换;等美元涨到 7.2 时又嫌贵不敢买。结果五年过去了,在汇率的小水坑里来回折腾,完美踏空标普 500 和纳指翻倍的主升浪。 第三种:无视短期汇率涨跌,换完美元立刻锁仓 60% VOO + 30% QQQM + 10% SGOV - 当美元贬值(人民币升值,如 7.3 跌到 6.7):虽然汇率账面少了 8.4%,但期间 VOO 涨了 30%+、QQQM 涨得更猛,折算回人民币依然净赚 20 多万;而且这时候拿人民币换汇,等于打 9 折买美股筹码! - 当美元升值(如 6.7 涨到 7.3):你直接享受“美股资产上涨 + 美元汇率升值”的戴维斯双击,两头吃肉。 我提出思考,分析这个,就是想分享给朋友们一个观点:汇率决定的只是你上车时的门票折扣,而换完美元之后买了什么资产,才真正决定你 5 年、10 年后的财富结局。 只要你买的是年化复合增长 10%–15% 的全球顶级科技与宽基资产,区区几个点的汇率波动,在十年复利面前连浪花都算不上。
显示更多
DeepSeek 官方说 deepseek-flash 能直接看图,三种传图方式,一次最多 600 张 建议收藏,用到时照着做。做完你能让 DeepSeek 读截图、看图表、描述图片。 这是 DeepSeek 官方 API 文档 Vision(视觉)一页。先说结论: 官方写明,deepseek-flash 模型可以文字加图片一起输入,用来描述图片、读截图里的字、分析图表。 先说清词。 Vision,视觉输入,意思是让模型看图。 base64,是把图片文件转成一长串文字,直接塞进请求里的编码方式。 file_id,是先把图片传到官方的 Files API(文件接口),拿回来的一个编号,之后用编号代替图片。 先把话说全: 官方支持的图片格式是 JPEG、PNG、GIF、WebP,官方说格式按文件真实内容判断,不看文件名。 官方写明,assistant(模型自己的)消息里放图片,会返回 400 错误;图片只能放在 user、system、tool 消息里。 一、三种传图方式 第一种:base64 内联。官方说最适合本地文件,把图片编码后做成 data: 开头的地址放进请求,整个请求体上限是 48 MiB。 第二种:外部图片链接。给一个公开的 http 或 https 地址,官方限制:链接最长 8192 个字符,图片最大 32 MiB,下载要在 60 秒内完成。 第三种:Files API 的 file_id。官方说同一张图要反复用,或者图太大,就先上传再用编号。这种方式图片可以到 64 MiB。 二、请求怎么写 第一步:model 写 deepseek-flash。官方说旧名字 deepseek-v4-flash-vision-exp 还能用,但已经退役,实际由最新的 Flash 模型处理。 第二步:messages 里 content 不再是一句话,而是一个列表,里面一块是 text 文字,一块是 image_url 图片。 第三步:Responses API 也能传图,图片放在 input_image 里,文字放在 input_text 里。 三、detail 清晰度开关 官方写明,image_url 可以加 detail 字段。low 会把图缩到 512×512 再看,更快更便宜;high、original、auto 目前都是保持原图。 四、费用和上限 官方说图片按尺寸换算成 token,和文字一起计费。每张图最多 1024 个 token,因为太大的图会先被缩到约 1300×1300 的像素量。 官方给的上限:每次请求最多 600 张图;单边最长 8192 像素,一次放 15 张以上时降到 4096 像素;不含 file_id 的图合计 64 MiB,含 file_id 最多 200 MiB。 五、用 Anthropic 接口也行 官方说把 base_url 写成 image 块,source 的 type 可以是 base64、url 或 file。用 file 时要加请求头 anthropic-beta: files-api-2025-04-14。 常见坑 3 条: 一、把图片放进 assistant 消息,会直接报 400。二、外链图片超过 32 MiB 或 60 秒下不完,就改用 file_id。三、一次放 15 张以上,单边别超过 4096 像素。 复制即用的提示词:请描述这张图片,列出图里所有文字,再用三句话总结它想说明什么。 收藏版:5 步速查 一、model 写 deepseek-flash。二、选 base64、链接或 file_id 传图。三、content 写成文字块加图片块。四、格式用 JPEG、PNG、GIF、WebP。五、别把图放进 assistant 消息。 S1哥 观点:官方把每张图封顶 1024 个 token,说明传图比很多人想的便宜,截图问答可以放心大量用。 一句话结论:DeepSeek 读图,认准 deepseek-flash,小图用 base64,大图或重复用 file_id。想让朋友少踩坑,复制链接发给他。 你是想让它读截图还是看图表?卡在第几步?同系列前几篇在我主页。 参考:DeepSeek 官方文档 Vision(S1哥 整理) 今天送:DeepSeek 看图请求自检清单,评论区第一条直接拿。
显示更多
很多人翻墙之后,只会刷推特 其实真正的信息差,藏在海外这些网站里。 下面这 10 个地方,建议全部收藏。每天花半小时逛一圈,信息获取能力可能超过身边 90% 的人! 1、Reddit 互联网最大的兴趣社区之一。AI、投资、编程、创业、科技,几乎任何领域都有专属 Subreddit。真人经验、深度讨论、行业内幕,挖宝圣地! 2、GitHub 全球最大的开源代码社区之一。AI Agent、LLM、大模型、自动化工具、开发框架,想找宝藏开源项目,这里简直挖不完! 3、Hacker News 硅谷程序员的情报站。AI、开源项目、技术趋势、创业故事,每天都有高质量讨论,技术信息密度爆表! 4、Product Hunt AI 工具和 SaaS 产品的发射场。每天都有新产品上线,很多爆火的 AI 项目都能在这里提前发现。 5、LinkedIn 千万别只把它当招聘网站。全球 CEO、投资人、创业者、科技公司高管都在这里分享一手行业动态。 6、Telegram 海外信息集散中心。AI、加密货币、投资、开源工具,各种频道和社群层出不穷,不少一手消息传播速度非常快。 7、Threads Meta 旗下社交平台。海外创作者、开发者、创业者聚集地,氛围比 X 更轻松,经常能看到有意思的新观点。 8、Discord 海外互联网社区的大本营。AI 项目、Web3、游戏、开发者社区都喜欢在这里建群,很多项目的核心讨论和早期动态都在 Discord。 9、Medium 海外技术和商业长文聚集地。AI 技术教程、创业复盘、投资思考、产品分析,适合系统性补充知识。 10、Substack 独立作者和行业专家的内容订阅平台。大量投资人、科技创业者、研究员在这里发布深度报告,有些内容比新闻媒体更有洞察力。 最后说一句: 不要把翻墙后的互联网,只当成一个刷 X 的娱乐工具。 Reddit 找讨论,GitHub 挖项目,Hacker News 看趋势,Product Hunt 找工具,Substack 追踪大佬观点。 这才是打开海外互联网的正确姿势! 建议收藏,也转发给还在只会刷 X 的朋友。 你还有哪些值得推荐的海外网站?评论区补充!
显示更多
0
23
64
4
转发到社区
派活给 AI,第一句该问的不是它能干什么,是这件活该去哪个地方? Anthropic 官方新课《Introduction to Claude Tag》第五课,先把一句话说死:问 Claude 就像问同事。Claude 像团队里的同事一样坐在工作区,问它和问人一样:会私信同事的事就私信它;只属于某个小组的事就去那个小组的非公开频道;全组都用得上的事就去公开频道。 地方选错了,活干得再好也白干。公开频道里同事能看到它的回答,你纠正一次,它以后回整个频道都更准;私信里只有你看得到答案,纠正的好处也只有你一个人得。 不止一个地方合适,就选公开频道,三个理由。第一,别人能接着干:同事看到帖子能补你没有的背景、改一个细节、你不在时把活接过去,它会读每一条回复。第二,它学到的东西帮整个频道:公开频道里存下的纠正进频道笔记,以后频道里每个人都受益。第三,设置一次全频道受益:频道连的工具、指示、定时活,所有人都能用,每加一次,下次问得更短、结果更好。 反过来,私信和非公开频道只适合只属于你、或只属于某个小组的活;别的活都往这两个地方塞,就是把本不用保密的活藏起来了。派活之前先问一句,这件活是给谁干的,问完就知道该去哪个地方。想确认这地方它能干什么,直接问它一句,你从这里能看到什么。 S1哥观点:说“派活给 AI,关键是把活说清楚”的人,和说“私信最稳妥,什么活都放私信里干”的人,错的是同一处,都没看懂第五课——问 Claude 就像问同事,地方选错了,活干得再好也白干。公开频道里问一句,同事能接着干、纠正能进频道笔记、设置一次全频道受益。反过来,只属于你、只属于某个小组的活,也别往公开频道里塞,那不是开放,那是给全组添噪音。分得清什么时候该私信、什么时候该非公开频道、什么时候该公开频道,才叫会用。你呢?你们团队有没有那种全组都用得上、却一直躺在某个人私信里的活?你第一件想搬到公开频道里干的活是什么?评论区说说。 收藏用清单(照着做): 1. 派活之前先问一句,这件活是给谁干的,只属于你的去私信,只属于某个小组的去非公开频道,全组都用得上的去公开频道。 2. 不止一个地方合适,就选公开频道,三个理由摆在那,别人能接着干、它学到的东西帮整个频道、设置一次全频道受益。 3. 派活之前先确认这个地方它能干什么,直接问它一句,你从这里能看到什么,摸清再派活。 4. 活干完先在帖子里看一遍,错了在帖子里纠正,公开频道里纠正一次,整个频道以后都更准。 转给那个还在私信里一个人改模板、改完再一条一条发给全组同事的人,先搬一件活到公开频道试试,再说它有没有用。 #Claude中文教程#
显示更多
保密的活交给 AI,第一句该问的不是它能干什么,是它会不会把秘密带出门? Anthropic 官方新课《Introduction to Claude Tag》第四课,先把一句话说死:非公开频道里的 Claude 和公开频道里是同一个同事,但它认墙。人事、财务、法务、带保密细节的客户升级,本来就放在非公开频道里,频道有墙,Claude 也认这堵墙——它在频道里学到的东西只留这个频道,出了频道,它就当这个频道不存在。 非公开频道里第三课的活照样干:财务频道里去开票系统把客户的账拉出来;人事频道里把面试反馈整理好贴回帖子;法务频道里把合同要改的几条标出来;客户升级频道里把跟进工单开好。活干完回帖子里,只有频道里的人看得见、改得了、接得上。 动手之前先分清两件事。第一,工具只给成员用:可以只连在这个频道上,比如财务频道里连上开票系统,只有频道成员能让 Claude 用它,它能干的,也只限那个账号被允许干的,权限给到刚好够干活。第二,成员名单就是权限名单:频道连上的工具账号能看到什么,频道里每个人通过 Claude 就都能看到什么,名单多一个人,就多一个人能看到,先把名单收紧。 还有一条要记死:它在这里学到的东西,只存这个频道的笔记里,绝不存全组共用的笔记里。公开频道里教给它的,这个频道能沾光;这个频道里学到的,别的频道沾不到。带客人的频道、和别的公司共用的频道里它回不回答,是管理员定的,它回答也只待在这个频道里。 S1哥观点:说“保密的活只能藏在私信里,一个人干”的人,和说“非公开频道就是人少一点的公开频道”的人,错的是同一处,都没看懂第四课——非公开频道不是人少的地方,是秘密不出门的地方。私信里一个人干是第 2 课的活,几个人才能干的保密活,本来就该放在非公开频道里;反过来,把不该进频道的人随手拉进来,名单一松,秘密就跟着出门了,那也叫不负责。分得清什么时候该私信、什么时候该公开频道、什么时候该非公开频道,才叫会用。你呢?你们团队有没有那种只有几个人能进、却没人敢第一个艾特它的频道?你第一件想让它在非公开频道里干的保密活是什么?评论区说说。 收藏用清单(照着做): 1. 先问清这个频道连了什么工具、能看到多少历史,再派活。 2. 再看一眼成员名单,名单里不该有的人先请出去。 3. 派活之前先想想这件活该放在这里吗,全组能看的挪到公开频道,只属于你的挪到私信。 4. 活干完先在帖子里看一遍,错了在帖子里纠正,说“以后这个频道都这样”。 转给那个还在私信里一个人翻账、再一条一条发给频道里几个人的同事,先派一件小活试试,再说它有没有用。 #Claude中文教程#
显示更多
这波60000左右底部抄的仓位一点没出,73000附近还加了不少币股的仓位,昨天把加的仓位都出掉了,之前抄的现货还继续拿着。65000-66000附近有个支撑位,但这种大级别的破前高出了higher high又跌下去形成fakeout,一般都会破前低,美股和黄金都已经破了7月的前低了,想想crypto也没有理由比其他资产还要硬。 现在复盘这波犯的错误挺愚蠢的,加密这么多利空,美股那边也崩了,短期没有涨的动能,但结果还是被btc看起来很硬的假象给迷惑了,该至少跑一半避险的。 也许这一两个月就能看到crypto这轮周期的最后一跌了,不知道会到哪里,盯插针和放量吧,这时候不太建议接飞刀或者上杠杆,活下来大于一切。中长期观点没有变化,btc对比美股和对比黄金都是在绝对底部,这波跌完资金会轮转到crypto的,未来俩月仍是最适合建仓现货去做周期交易的时候(下图btc vs qqq,btc vs 黄金)
显示更多
0
23
46
6
转发到社区
建议收藏,用到时照着做。做完你能让 DeepSeek 自己决定“要不要调用你写的函数”,并把结果用人话讲回来。 AI 能查天气、查订单,是它自己去查的吗?DeepSeek 官方一句话拆台:模型本身不执行任何函数 这是 DeepSeek 官方 API 文档里 Tool Calls(工具调用)一页。先说结论: 官方原话是,函数要由你自己提供,模型本身不执行具体函数。它只负责说“我想调这个函数、参数是这些”,真正去跑的是你的代码。 先说清词。 工具调用(Tool Calls),是让模型能用外部工具的功能,比如查天气、查数据库。 函数(function),是你自己写好的一段代码,模型只会“点名”它。 tool_call_id(工具调用编号),是模型每次点名时附带的一个号码,你回传结果时要带上它,模型才知道你在回答哪一次。 strict 模式(严格模式,Beta 测试版),是让模型点名时严格按你定义的格式填参数。 一个真实例子:官方示例问“杭州天气怎么样”,模型返回的是 get_weather 这个函数和参数 location 等于杭州,你的代码去查到“24℃”,再交给模型,模型才说“杭州现在 24 度”。 先把话说全: 官方示例用的是非思考模式,请求里加 extra_body 把 thinking 的 type 设成 disabled。 官方写明:从 DeepSeek-V3.2 开始,思考模式下也能用工具调用,细节看官方 Thinking Mode 一页。 官方写明:Chat Completion 接口不支持在对话中间插入不是模型生成的工具调用,要插的话请改用 Anthropic API 或 Responses API。 strict 模式目前是 Beta,要用测试版地址。 一、先看懂整个流程 官方给的执行流程是四步:用户问杭州天气;模型返回要调用 get_weather,参数是杭州;你的代码真的去调用 get_weather,把结果交给模型;模型用自然语言回答“杭州现在 24 度”。 二、照官方示例做一遍 第一步:去 DeepSeek 开放平台拿一个 API key,电脑装好 Python 和 openai 库。 第二步:创建客户端,base_url 写 DeepSeek 官方接口地址(官方文档第一屏就有),api_key 填你的。 第三步:写 tools 清单。每个工具包含 type 等于 function,再写 name(函数名)、description(描述,告诉模型什么时候用)、parameters(参数)。官方示例的函数叫 get_weather,描述是“获取某地天气,用户须先提供地点”,参数 location 是字符串,并且在 required 里。 第四步:发第一次请求,model 官方示例写 deepseek-flash,把 messages 和 tools 一起传,并加上 thinking 关闭的设置。 第五步:从返回里取 tool_calls 的第一项,先把模型这条消息原样追加进 messages。 第六步:你的代码去执行函数,再追加一条 role 是 tool 的消息,带上刚才的 tool_call_id,content 写结果,官方示例写的是 24℃。 第七步:再发一次请求,这次模型就会用自然语言回答。 三、想要更稳:strict 严格模式 第八步:base_url 改成官方文档里写明的 beta 版接口地址(就是原地址后面加 /beta)。 第九步:每个 function 都加上 strict 等于 true。 第十步:服务器会检查你的 JSON Schema(结构说明),格式不合规或用了不支持的类型,会直接返回错误信息。 官方支持的类型是:object、string、number、integer、boolean、array、enum、anyOf,另外 $ref 和 $def 可以复用和做递归。 四、strict 的硬规矩 对象里所有属性都必须写进 required,并且 additionalProperties 必须设成 false。 字符串可以用 pattern(正则)和 format,官方列出的格式有 email、hostname、ipv4、ipv6、uuid,但不支持 minLength 和 maxLength。 数字支持 const、default、minimum、maximum、exclusiveMinimum、exclusiveMaximum、multipleOf。 数组不支持 minItems 和 maxItems。 五、看到什么算成功 第一次返回的是函数点名,不是答案;第二次返回的才是自然语言答案,内容里有你的函数结果。 六、卡住怎么办 strict 报错:先检查是不是漏写 required 或忘了 additionalProperties 设 false,再检查有没有用到 minLength、maxItems 这类官方不支持的写法。 结论:工具调用不是模型替你干活,而是模型“点名”、你的代码“动手”。想让点名更准,就用 strict。把这条复制链接发给他,下次他说 AI 查不到东西,先让他确认函数是不是自己写了。 你卡在第几步?评论区告诉我。同系列前几篇在我主页。 收藏版:5 步速查 一、tools 里写清函数名、描述、参数 二、第一次请求拿到 tool_calls 三、自己执行函数,回传 role 为 tool 的消息并带 tool_call_id 四、第二次请求拿到自然语言答案 五、想更稳就用 beta 地址加 strict 等于 true 常见坑 3 条 一、以为模型会自己执行函数,其实要你的代码去跑。 二、回传结果忘了带 tool_call_id。 三、strict 里漏了 required 或 additionalProperties 设成 false。 复制即用提示词:我想让模型调用一个叫 你的函数名 的函数,它需要这些参数:写参数。请帮我写出符合 DeepSeek Tool Calls 格式的 tools 清单,每个参数都写 description,并改成 strict 模式需要的写法。 S1哥观点:这篇最狠的地方,是官方把话挑明了:模型不执行函数,只负责点名。很多人以为 AI 在后台自己动手,其实动手的永远是你的代码。 真正的信号是:工具调用的难点不在模型,在你把函数描述写得多清楚。就像派活给新人,说明写得含糊,他再聪明也会点错人。 你现在想让 DeepSeek 调用的是什么,查数据还是发消息?评论区告诉我。 今天送:DeepSeek 工具调用速查卡,评论区第一条直接拿。 参考:DeepSeek 官方 API 文档 Tool Calls(S1哥 整理)
显示更多
写了八课 AI 用法,却没有一句话能管住自己,这课不是白学了吗? 先说一句得罪人的话:创作者圈里最爱干的一件事,就是课一节一节地学,笔记记得满满的,接活时客户一问“你这活到底用没用 AI”,还是支支吾吾答不上来。Anthropic 给创作者的官方课最后一课却把问题换了一个问法:没有一条放之四海的用法,AI 用法没有统一立场,位置是在每个做法和每个任务上定的。守则不是背下来的,是你自己一页一页拼出来的。别人给的规矩管不住你的活,只有你自己拼的才管得住。 课里给的办法,是把前面攒的四样东西摊在桌上拼成一页守则:第 1 课的说法、第 2、3 课的透镜分析、第 6 课的决策备忘录、第 7 课的角色图。守则只锚定三个问题:AI 放在哪、不放在哪;跟谁交代、交代什么;什么时候回头重看。交代承诺要按对象分开写,跟客户交代什么,跟同行交代什么,各写一行。触发点要写死,工具换了、活变了、客户问住了,哪一条到了就重看。没有回头重看的触发点,守则放着就过期了,过期了都不知道。守则不是写给别人看的,是写给下一次接活的自己看的。 拼完还不算完,课里要求拿三个真实场景去撞一撞,挑三个正在做的真活,一个一个过守则,过不去就改守则,不改活。撞得住才签字。课末留了两个反思:守则里哪一个决定,要是没有前面的分析,根本不会有;从第 1 课的起点快照看过来,你的立场变了什么、没变什么,那个一开始的担心,是被回答了、被管住了,还是被划了线。下一步是一次短测评,通过了拿结课徽章,本门到此收尾。 S1哥观点:说“学完课就等于会用了”的人,和说“守则写了也是白写”的人,错的是同一处,都没拿三个真实场景去撞过自己的守则。没撞过的守则,签字签了等于没签。你呢?你的守则敢不敢拿三个真活去撞一撞,撞不过去,你改守则还是改活?评论区说说。 收藏用清单(照着做): 1. 把四样东西摊在桌上:说法、透镜分析、决策备忘录、角色图。 2. 写清 AI 放在哪、不放在哪,按做法和任务分开写。 3. 交代承诺按对象分开写,触发点写死。 4. 拿三个真实场景撞一撞,撞得住才签字。 转给那个学了八课、接活还是凭感觉的朋友,先拼一页守则,再谈会没会用。 #Claude中文教程#
显示更多
# 合并前先让 AI 挡一刀:一次审查 0.08 美元,假金钥加命令注入全被拦下 先说结论:让人工智慧审查程式码,贵的不是模型,是你以为要搭一整套系统才做得到。作者在 2026 年 11 月 13 日当天、在苹果电脑上、用 2.1.322 版实测,整个审查闸门的核心只有两样东西:一次非互动模式的呼叫,和一个退出码。审查结果是通过还是挡下,最后变成一个数字,零代表通过、一代表挡下,持续整合系统只认这个数字。 底线先说清楚:第一轮实测,作者故意埋了四个问题的分支被挡下,两高危加两中危,退出码一,约十秒、约 0.18 美元;修掉问题重跑,只剩两条低度备注,判定通过、退出码零,约 0.08 美元,一次审查只花一毛钱不到。两轮的差异只有二十五行,都跑了三轮对话。还要诚实说一句,搬上持续整合的那一段,作者没有真的在云端上跑过,因为那需要一个正式储存库和一把金钥,那一段是照官方文件写的,档案格式检查通过、没有实跑。 怎么做?先备一个很小的演示仓库,主分支放一支正常的计价函式和一支测试,功能分支加折扣、平均价和报表三个功能,同时故意埋四个问题:写死的假金钥、命令注入、折扣可以把总价算成负数、空清单求平均会崩溃。再写审查脚本,先把分支差异存成差异档案,再以非互动模式加结构化输出跑审查,审查者只有唯读权限,最多六轮、预算上限 0.5 美元,最后把判定结果转成退出码,通过是零、挡下是一。先在本机跑通挡下和通过两轮,两个退出码都亲眼看过,再搬上持续整合。 小心三件事。第一,审查只需要读档案,给它执行命令的权限,等于请一个没人看着的助手在你的机器上跑任意命令,只准读取,其他一律不给。第二,轮数、预算、逾时三个上限都要设好,轮数上限六轮、预算上限 0.5 美元、流程逾时十分钟,没设上限的任务卡住了会一直跑,烧掉的是持续整合的分钟数和模型的费用。第三,金钥要放进储存库的机密设定里,写进流程档案等于公开;分叉合并请求拿不到金钥,审查只对同一个储存库里的分支生效,外部来的合并请求这道闸门跑不起来。 顺序只有一个:本机脚本先通,再上持续整合,先挡下、再通过,两个退出码都亲眼看过才算通。还有一句要先想清楚,审查是判断、不是单元测试,同样的程式码跑两次,回来的备注可能不一样,判定结果可以当闸门,但不能当作程式码没问题的证明。闸门挡的是明显的问题,低度备注和写法差异还是要人工审查者看,两个角色是互补的,不是互相取代的。一句话:合并前多一道关卡,而这道关卡每次只花一毛钱不到。 S1哥观点:别再问人工智慧审查程式码是不是太贵、太麻烦了,贵的从来不是每次 0.08 美元,麻烦的也不是要搭一整套系统,是你还没亲手跑过一次。作者这篇最值钱的不是那支脚本,是两轮实测的对照:第一轮四个问题、退出码一,第二轮两个低度备注、退出码零,两个数字都亲眼看过,闸门才算真的立起来。更值得问的是,你上次合并请求出问题,是没有人审查,还是审查的人没看出来?如果是后者,一道只要一毛钱的闸门就能先挡下写死的金钥和命令注入这类最危险的问题,剩下的再交给人工审查者慢慢看。你第一个想让它挡下的问题是什么?评论区说说。 收藏用清单(照着做): 1. 备一个演示仓库,故意埋四个问题,改动集中在一个档案,审查者读的就是这份差异。 2. 写审查脚本,先存差异档案、再以非互动模式加结构化输出跑审查,最后把判定结果转成退出码。 3. 本机先跑通两轮,挡下的退出码一、通过的退出码零都亲眼看过,再搬上持续整合。 4. 金钥放机密设定、权限设最小化、审查者只有唯读权限,轮数、预算、逾时三个上限都设好。 转给合并请求出事才救火的朋友,一次审查只要八分钱,他今晚就能先跑一次演示。
显示更多
# 模型缩小四倍还不翻车?不是压得够狠,是量得够准 先说结论:大多数人以为量化是把模型压小一点、省一点显存,压得越狠、省得越多,这个想法只对了一半。量化真正值钱的地方不是省显存,是省钱加变快,模型缩小两到四倍之后,小批次推理常常反而更快,因为瓶颈不在算力,在记忆体频宽,搬的位元组少了,每秒吐出的字元单位就多了。作者第一次把大模型推到真实使用者面前,七 B 模型用十六位元载入,光权重就吃掉十四 GB 左右的显存,帐单难看得很,有人随口问一句要不要试试量化,她当晚掉进一堆缩写的兔子洞,才整理出这篇指南。 先说清楚底线:十六位元每权重两位元组,七 B 模型约十四 GB、十三 B 模型约二十六 GB。压到八位元,七 B 模型约七 GB、十三 B 模型约十三 GB。压到四位元,七 B 模型约四 GB、十三 B 模型约七 GB,模型缩小两到四倍。作者打了一个很准的比方,量化就像把照片从巨大原始档压成调校过的压缩图,手机上看起来几乎一模一样,体积却只剩一小部分。权重就是模型的照片,十六位元是原始档,四位元是压缩图,压得好,大多数人看不出差别,压得不好,细节先糊掉。关键在压得好不好,不在压得多不多。 怎么做?顺序只有一个,先用五分钟实验确认方向,再挑上线或随处跑的格式,最后拿自己的提示词量过再灰度发布。五分钟实验用四位元载入工具快速试,零校准资料、零转换步骤,一个下午就能知道显存占用下降约七成、模型还能不能讲话。显卡上线用服务引擎带量化参数直接起一个相容接口,热门模型在模型仓库里已经有现成的四位元检查点,不用自己压,没有就用压缩工具自己做一个。随处可跑的路是转成通用格式再量化,中央处理器、笔电和苹果晶片都能跑,四位元中档是尺寸与品质的甜蜜点,更保险就往上走五位元或六位元。 小心三件事。第一,压完只跑几个提示词就上线一定翻车,作者就是这样翻车的,结构化资料输出偶尔格式损坏,两天后才被使用者抓到,通用评测完全没抓到。第二,只看困惑度就放行不够,困惑度看起来没问题,任务品质可能已经悄悄下滑,它只能当参考,不能当唯一的验收标准。第三,别以为压完就一定变快,一种格式只有在服务引擎有对应的最佳化核心时才会真的变快,没在你自己的机器上实测过,纸上变快不算数。还要记住,键值快取不随权重量化缩小,长上下文服务照样可能爆记忆体,瓶颈在这里要另外看。 再往上加东西也有顺序:先写五十到一百条真实提示词,对照十六位元基线一条一条比,刻意去测最先崩的几类任务,长上下文、结构化 结构化资料 与函式呼叫、数学、程式码、非英文。验收不是打分数,是找变差的任务集中在哪里,集中在 结构化资料格式就升那类任务的位元,散在各处就整体升一档。真实负载下测延迟与吞吐量,不是空闲显卡上跑一条请求。最后先切一小部分流量灰度发布,没问题再全量,出问题立刻切回十六位元版,不要等到全部使用者都中奖才动手。 一句话:量化不是免费压缩,是一场交易,你只有量得够准,才有资格拿这场交易去换更小的帐单。今晚就能做的事:挑一个你正在跑的模型,用四位元载入工具跑一次五分钟实验,看看显存占用下降约七成之后,它回的第一句话还像不像它自己。 S1哥观点:别再问量化是不是把模型压坏的便宜行事,压坏模型的从来不是量化本身,是你压完只跑几个提示词、看一眼困惑度就敢上线。作者的教训就摆在那里,结构化资料输出偶尔格式损坏,通用评测完全没抓到,两天后使用者才回报。量化真正值钱的地方也不在省显存那一行,是小批次推理反而可能更快,因为瓶颈在记忆体频宽,搬的位元组少了,每秒吐出的字元单位就多了。更值得问的是,你现在跑的那个模型,是卡在帐单、卡在显卡太小,还是卡在速度?那个卡点,决定了你该挑哪种格式、压到几位元。你第一个想压小上线的模型是哪一个?评论区说说。 收藏用清单(照着做): 1. 先算帐再动手,七 B 模型约十四 GB,压到四位元约四 GB,模型缩小两到四倍,再留键值快取和执行开销的位置。 2. 挑对格式再压,快速实验用四位元载入工具,显卡上线用四位元的两种主流方法,笔电用通用格式,新款卡用八位元浮点。 3. 跑五分钟实验,确认显存占用下降约七成、模型回复正常,再写五十到一百条真实提示词对照十六位元基线逐条比。 4. 刻意测最先崩的五类任务,真实负载下测速度,先切小流量灰度发布,没问题再全量。 转给还在为模型帐单头痛的朋友,压小两到四倍再上线,量得准才不会翻车,他今晚就能先跑五分钟实验。
显示更多