与「猫在狗的世界」相关的搜索结果

看到 Redis 的作者 X 上发声，说总有人反复说中国的模型是蒸馏出来的，是根本不懂机器学习。 之前看到有人说中国的模型是蒸馏出来的我还都会辩驳一番，后来实在是见到太多了，累了不想说了，干脆写出来算了。 很多人说蒸馏其实根本不知道蒸馏是什么，他们背后的意思可能是收集了大量的 Claude/ChatGPT 的对话就能让自己的模型能力也变成和 Claude/ChatGPT 一样，但根本没考虑技术上的可行性。 举个图像识别的例子，如果有一个模型可以识别动物，我想把它蒸馏到我自己的模型。如果我只是拿图片和老师模型分类结果给到学生模型，那这个蒸馏毫无意义。因为这和我直接拿标注好的样本进行训练没有区别，甚至标注结果比老师模型更准确，用老师模型的结果反而会降低准确性。 如果老师模型的分类结果对蒸馏没有意义，那什么对蒸馏有意义？有意义的是最终结果前一层各个分类的权重。例如分类识别结果是猫，那前一层可能是猫的概率 80%，老虎概率 5%，豹子概率 7%，狗概率 0% ...，这一层其实才是模型的预测概率分布，是学生模型要学的。因为这里面比最后一个单一的结果包含了更多的隐含信息，比如猫和豹子更像，和狗更不像，这个更接近真实世界的概率分布。 在 LLM 里也是类似的，看似 LLM 是生成下一个 Token，其实生成的是下一个 Token 的一个概率分布。本质上 LLM 的参数是固定的，那么同样的输入，对应输出也是固定的。现在之所以每次对话生成都不一样，是因为在输出的时候并不是选择概率最大的那个 Token，而是在一定概率范围内随机挑一个 Token 导致的输出随机性。这也就是 Temperature, Top-k 这些参数干的事情，调整最后的概率分布，增加输出的随机性。 所以只是收集 Claude/ChatGPT 的大量对话输出并没有办法做严格意义的蒸馏，因为无法获得概率分布的信息，也就没有办法让模型快速收敛到 Claude/ChatGPT 的样子。 那么用这些对话输出做 SFT 呢，蒸馏概念扩张后也有人把这一类叫做语料蒸馏。理论上是可以的，但是 SFT 通常作用是把语言风格和偏好进行对齐，一般认为 SFT 会牺牲大模型本身的泛化能力和智能水平，变得更像一个专业模型，我个人倾向于认为这种方式无法让模型获得能力上的提升。 再有一种可能就是把这些对话内容直接作为预训练语料的一部分。在现有的模型论文里也可以看到预训练的时候已经开始使用生成数据了。但是一般认为这种工具调用和 agent 能力需要通过大规模的 RL 才能激发出来，在预训练阶段能发挥多大作用我比较怀疑。而且预训练其实更需要通用的能力，不可能让大量生成数据污染整体的数据质量。我个人倾向猜测预训练阶段会有一部分从 Claude/ChatGPT 来的数据，甚至很难避免，因为他们已经大量成为这个世界数据的一部分了，但靠这个是远远无法实现类似的编码和 agent 能力的。 你看别人只是说一句模型蒸馏，我要费那么大劲去解释，真的是不想再说了。

#黑猫警长在平行世界# #Félicette# 从流浪猫到宇宙猫王：她活着从太空归来，死在解剖台上 1963 年 10 月，一只在巴黎街头追求时尚和存在主义的小猫被可耻的人类抓走，之后的军训中这只黑白花小猫在 14 只猫中以优异表现成为「兵王」——她的颅骨里被植入9️⃣个电极，然后被射上太空。 这只名叫菲莉塞特/ Félicette 的小流浪猫成为人类历史上第一只被送入太空的猫。法国也成为美苏两个超级大国后第三个参与太空竞争的国家。 与苏联太空狗莱卡的命运不同，这次短暂的太空之旅虽然让她承受了十倍的重力体验，但幸运的是她成功活着返回了地面。 不幸的是，费利塞特在太空飞行后仅仅两个月就被实施了安乐死。 当年人类在巴黎街头一共捕获了 14 只流浪猫，均为雌性。 项目结束后，其余备胎猫全部被实施安乐死。仅有一只叫 Scoubidou 的小猫在植入电极产生排斥反应被淘汰，成为团队的宠物猫。 也许可以说：强者最先牺牲，弱者苟到最后。

6月，重庆“山姆打包哥”虐杀猫哥事件还未平息，6月28日，广州揭阳四少年虐杀狗妈妈旺旺和牠的三只幼崽，更是激怒世界。旺旺和牠的孩子也让人为之心碎。事件之残忍，编者无法复述，无力复述。借用今天文章中卢梭的名言：“世人啊，请保持你们的人道！这是你们的首要职责。倘若脱离了人道，你们还能什么智慧可言？” 在6月16日，书评曾刊发英国作家亨利·S·索尔特（ Henry Salt，1851–1939）的《动物权利：从社会进步的角度来考量》一书的第一章《动物的权利》，在这一章中，索尔特论证了动物有权免受不必要痛苦，并享有一定“受限自由”，即权利。本文选自最后一章，我们怎么该为动物争取权利呢？索尔特明确指出两条路径：教育与立法。索尔特还指出：“倡导动物权利远不止于为那些遭受虐待的受害者恳求同情或正义；我们为之辩护，不仅仅、也不主要是为了受害者，而是为了人类自身。我们真正的文明、我们种族的进步、我们的人性（在此词最完美的意义上），都与这一发展休戚相关；当我们践踏那些我们恰好对其拥有管辖权的同胞——无论是人类还是非人类——的权利时，我们伤害的恰恰是我们自己，是我们自己那充满活力的生命直觉。”“人类跨越一切时代的伟大进步，应当以人道的增长和残酷的消减来衡量”。 亨利·S·索尔特 | 为动物争取权利的方向：教育与立法

我有个朋友，穷屌一个，但是他 一年时间 睡了小区10多个美女 宝妈 刚毕业的小姑娘 做模特的 附近上班的白领 各种都有 一年后，直接搬家，换地方继续！ 他养了一只特别帅的狗 又养了一只特别黏人的猫 每天晚上下班 他就牵着狗在小区遛弯 狗一出现 小区女生自动降防： “它叫什么？” “它咬人吗？” “可以摸一下吗？” 如果对方好看 他就说： “不咬人，它很乖。” 如果对方不好看 他就说： “别摸，它认生。” 一来二去 他认识了小区不少人 大家都是养猫养狗的 话题也很自然： 狗粮买哪种 猫砂好不好用 宠物医院坑不坑 狗掉毛怎么办 猫半夜跑酷怎么治 养过猫和狗的都知道 大家都会经常交流哪家的猫砂好 哪家的狗粮便宜之类的 然后一句 我加你微信，你把连接分享下，我也去买回来试试 就这样，非常自然，丝滑的有了联系方式 你以为这就结束了？ 不，狗只是他的敲门砖而已 他家里的那只猫才是必杀技 他会偶尔在朋友圈晒他家的猫 比如猫趴在沙发上 猫钻进纸箱里 猫睡在阳光下面 配文也很简单： “这东西又霸占我枕头了。” “下班回家，它比我还像主人。” “有时候真怀疑我是给猫打工的。” 这种内容杀伤力很大 非常容易产生共情 因为喜欢狗的人，很多也喜欢猫 尤其是那种本来就有点孤独 下班后没什么社交 又喜欢小动物的人 很容易被这种生活感击中 她们会评论 他也不急 就正常回 并且他高明的是 在分享猫狗的同时 会很自然的暗示所有人 他还单身，一个人住 慢慢的就什么都聊了 聊猫粮，聊猫砂，聊宠物医院，聊掉毛，聊半夜跑酷，聊养宠物到底有多费钱 聊着聊着，就从宠物聊到生活 从生活聊到工作 从工作聊到感情 这哥们最恐怖的地方不是会聊天 是他很会把自己包装成一个“没有攻击性的人” 不油腻 不急色 不炫耀 不一上来就问人家有没有对象 他给人的感觉就是： 一个会生活、会做饭、喜欢小动物、情绪稳定的普通男人 这就很要命 因为很多女生防备的不是男人 防备的是那种目的性太强的男人 而他最会藏的，就是目的性 慢慢大家熟悉之后 他会继续晒那只猫 如果有非常熟悉的女孩评论 他就会试探着约她下班后到她家撸猫 不得不说他也是很用心的 然后他下班回家后 会把饭做好，还会准备点啤酒之类的 然后慢慢的，你们懂的 一次不行，两次，三次呢？ 一切都是TMD那么自然 完全就是水到渠成 对于女孩子来说 这个人有爱心、有耐心、会生活、阳光、简单没目的、还会做饭 这TMD谁能顶得住？ 他给我说，什么，爱啊，喜欢啊，发誓啊，谈恋爱那一套，他根本就用不上 泡妞花钱？花什么JB钱，当然了小钱还是有花一些的 比如送了一些狗粮、猫粮等东西 最后我问他，一年后就换地方，是不是怕东窗事发后挨打？ 他给我说，只是其中一部分，还有一个很大的原因 一个小区，美女资源就那么多，一年时间都没到手的那基本也没戏，所以换个地方继续 说白了，他所有的一切都不是在主动出击，而是很自然的被动，最少给那些女孩的感觉是这样的 他说，一个地方好看的傻白甜就那么多，所以必须换地方。

猫在当前社会根本不算“好东西”，我们说的好东西一般来说就是性价比高或者给我们创造正向价值的东西，再或者稀缺的东西，比如最新的iPhone、伟达的股票、黄金、古董字画。 但现在宠物猫这个物种，已经太多太多了，它的确小小的很可爱、相对干净、脾气相对温顺，但早就算不上好东西了，甚至网络上对爱猫女孩都打上了标签，现实中宠物猫只能每天圈养在混凝土笼子里，一个月都出不了一次门，比狗的待遇低多了。 现实中养狗的才会被社交羡慕，在大街上或者景区，牵着大狗狗的主人会被路人羡慕，这是狗狗给主人提供的特别的社交场情绪价值。狗狗的陪伴价值比猫要多得多，你可以跟狗互动沟通，它能乐此不疲的跟你玩俩小时，但猫更多的是提供一种随时可以拿来撸的活物玩具和远远看着好看的花瓶价值。

其实人都是非常复杂的，很难用一个词，一句话，或者一件事，去概括某个人， 曾经小侠跟热宝撕逼，作为小侠的朋友，我站在小侠那边，觉得热宝自私，女权。 今天得知，热宝 @hotbabyrebao 一个人养家里5口人，爸爸妈妈没工作，姐姐妹妹没工作， 全家5个人+一只猫一条狗，都靠她一个人养，热宝一天不挣钱，家里的狗就饿的嗷嗷叫，一个女生，成了家里的顶梁柱。 这明显并不是一个自私的人，这是一个自强自立的普通人努力往上爬撑起全家的人。 我特别佩服这样的人，普通人不甘心，尽一切努力往上爬，让自己/家人过得更好， 你可以说热宝擦边，可以说热宝搞灰灰，但普通人往上爬能有什么好的路径，体面的路径么？ 谁不想生下来就衣食无忧，谁不想大学毕业就回家里继承家业，谁不想大学毕业就进部队，烟草，电力？ 问题是，咱不是没有这样那样有权有势的爹妈吗？ 权贵那么多，好路子根本轮不到普通人，普通人只能另辟蹊径走不入流的路子往上爬，怎么还被指责不体面了呢？纯纯底层互害了。 一个女生，努力往上爬，养活全家，不离不弃，这明显一个高尚的人，一个大写的人。 至于他跟小侠的事，事后看，只能讲俩人不合适，而且热宝现在也体会到了小侠的不易和智慧。 币圈不少人都赚到过大钱，但是守住的，可能只有五分之一，小侠知道自己的问题，如果继续留在币圈加杠杆，可能会亏光， 于是选择了去炒股，买房，哪怕没赚钱，至少也没亏多少不是。 能意识到自己的问题，并脱离币圈，本身就是一种大智慧。 祝他们俩重归于好吧，其实两个人都挺好的，还蛮合适。@hotbabyrebao @traderxiaoxia

30 秒 0 撸 Bitget Wallet 官方定制周边！ 今天特意从官方那边给大家申请到了 Bitget Wallet 的限量版新年礼盒 🎁！ 大家看图，里面有超可爱的 MOEW 猫垫、红围巾和定制红包，实物特别好看！ 参与就一步：走我的链接下载注册个 BG 钱包，而且 BG 钱包可以交易美股、贵金属、还有全网自研胜率 Top 的金狗雷达，推送聪明钱潜力代币。我也会给大家设置 75% 的返佣。 链接： 邀请码：wqtx66 搞定的兄弟在评论区留下你的 BG 钱包地址。 48 小时后准时开奖，抽到的兄弟直接私聊我收货地址，官方直接发货。名额就一个，拼手速和运气啦！

买了个养猫狗宠物神器，紫光手电。 隐藏角落的猫尿一下就照出来了。 还有很多其他用途， 之前只在玩密室的时候用过， 才知道原来日常生活中也这么实用。

小孩专治成年人现场来了🤣大人还会照顾你的情绪，但小孩不会，小孩讲的那都是真话，主打一个真实🤣 比方问小孩：你爸爸最喜欢谁 小孩答：“小姨。” 哈哈哈哈，一句话 爸爸晚上估计要跪键盘了... 再比方说： 你觉得爸爸像什么？ 舔狗。爸爸说：完了。 小孩说：爸爸就是舔狗。 哈哈哈哈🤣 还有就是 你最大的优点？有钱。 主持人问：这算优点？ 小孩：难道不算吗？ 哈哈哈哈。 这一句真的绝，仅一时间让人无言以对 小孩子太会说真话，今天这个视频，猫哥建议千万别在吃饭的时候看，因为容易笑喷 老师问：作业为什么没交？ 小朋友：懒得写。没找理由，没装生病，没说忘带，主打一个诚实。 妈妈问：我和别人妈妈谁更好看？ 小朋友：别人妈妈有点好看。 你长得有点好笑…. 有时候，小孩一句话。 比任何扎心文案都狠都扎心，哈哈哈哈 所以猫哥觉得，千万不要轻易问小朋友问题。 因为成年人还知道照顾你的情绪，小孩子不会，他们负责真实你负责破防。😂 你听过哪个小朋友说过最扎你心的话吗？