注册并分享邀请链接,可获得视频播放与邀请奖励。

与「科学教育」相关的搜索结果

科学教育 贴吧
一个关键词就是一个贴吧,路径全站唯一。
创建贴吧
用户
未找到
包含 科学教育 的内容
在过去10年,我去了几次藏区和新疆,和推特上的人辩论过几回,这些经历和思辨改变了我的很多认知。 我认为中国在新疆和西藏打压保守宗教势力,推进世俗化科学教育,推广普通话普及,兴建基础设施,都是非常有利于普通藏人和维族人长远发展的好政策。西方人对这些政策的批评在总体上是不公正的。6/6
显示更多
AMD 宣布用约 82 亿美元收购李飞飞创办的 World Labs,这期是彭博科技节目主持人 Ed Ludlow 对两位当事人的联合采访。一位是 AMD CEO 苏姿丰,AMD 做 CPU 和 GPU,OpenAI、Anthropic、Meta 都是它的大客户。另一位是 World Labs 创始人兼 CEO 李飞飞,她主持建立的 ImageNet 图像数据集是这一轮深度学习浪潮的起点之一。两人聊了为什么要做这笔交易、李飞飞在 AMD 的新角色、开放生态,以及 AI 安全该由谁负责。 交易本身 这是一笔全股票交易,也就是 AMD 用自己的股票而不是现金来付款,对 World Labs 的估值约 82 亿美元,预计年底前完成,还需要监管审批。交易完成后,李飞飞出任 AMD 执行副总裁兼首席科学家,直接向苏姿丰汇报,World Labs 团队将成为 AMD AI 模型团队的核心。 两家公司的关系早就开始了。AMD 是 World Labs 的早期投资方,也给它供芯片。苏姿丰说她从 World Labs 只有几个研究员的时候就在看着这个团队成长。两人也都提到彼此认识多年,私下是朋友。 芯片公司为什么要买模型公司 苏姿丰的理由是,AI 现在还在很早期的阶段,而且越来越明显的是,硬件、软件、系统和模型这几层互相影响,对整条链路理解得越透,造出来的系统就越好。收购 World Labs,一方面是拿到李飞飞聚起来的一批顶尖研究人员,另一方面是让 AMD 对模型未来的发展方向有第一手的判断,反过来指导下一代硬件怎么设计。 李飞飞从模型公司的角度讲了同一件事。World Labs 越做越大,对算力的需求也越来越大;和 AMD 合在一起,模型可以用最前沿的硬件加速训练和推理,硬件团队也能提前看到模型未来的工作方式和需求。她把这叫作 AI 软件和 AI 硬件的“共同进化”。 主持人追问 AMD 是不是要开始卖模型、卖软件。苏姿丰说不会改变商业模式,AMD 仍然是一家平台和解决方案公司,软件是用来支撑硬件的。收购的最终目的是让 AMD 更好地服务那些最大的算力客户,也就是各家模型公司。 World Labs 做到了哪一步 World Labs 成立于 2024 年,到现在两年多,专攻空间智能和物理智能,也就是让 AI 理解和生成三维世界、懂得物理规律,这类模型通常叫“世界模型”。李飞飞说,他们想做的是语言模型之外的方向,因为创作者、设计师、教育、医疗都有这方面的需求,机器人技术也快要迎来爆发。 公司目前已经发布了两代模型,先是 Marble,然后是最新的 Atlas。李飞飞介绍 Atlas 是一个多模态的“全能模型”,能生成高质量的画面,同时保持三维和四维(三维空间加上时间)上的一致性,摄像机和智能体可以在它生成的世界里移动和交互。 团队也在扩张。World Labs 最近收购了 SceniX,这家公司做出了一套机器人仿真工作流程,以及训练机器人控制策略的模型,由此给 World Labs 补上了机器人方向的人才。 李飞飞为什么选择加入 AMD 苏姿丰说她给李飞飞的说法是“加入全世界最令人兴奋的 AI 公司”。李飞飞的作用也不只限于 World Labs 团队。苏姿丰说 AI 没有一种方案能通吃,除了大家熟悉的云端 CPU、GPU,物理 AI、机器人、从云端到边缘设备再到个人电脑的端到端 AI,都是 AMD 未来三到十年要重点增长的方向,而这些正好是 World Labs 擅长的领域。 World Labs 今年早些时候刚融过一大笔钱,发展势头也不错,主持人问李飞飞是否考虑过别的出路。她说公司从一开始就以使命为导向,这件事的关键在于双方的愿景是否一致,和有哪些选择关系不大。在她看来,这次合并会是“一加一大于二”,接着她笑着补了一句,AMD 显然比 World Labs 大得多。 至于加入后会不会只做空间智能,李飞飞说两人还没来得及细谈所有计划,World Labs 正在做的工作会继续,但她预计研究方向会扩大、节奏会加快。 开放生态与可选择性 苏姿丰说,AI 未来会同时有开源模型和闭源模型、大模型和小模型,它们跑在不同的硬件上,这一直是 AMD 规划高性能计算和 AI 产品线的前提。她和企业的 CEO、CIO 聊下来,没有人愿意被锁死在某一家的硬件或软件生态里,大家都想在不同时候挑最合适的。所以 AMD 会继续押注开放生态,她和李飞飞也讨论过怎样用 World Labs 已有的成果推动开源生态。 李飞飞补充说,现代 AI 的发展离不开开放。从科学界公开分享神经网络算法,到她自己做的 ImageNet,这个首批开放的大规模数据集就是现代 AI 革命的推动力之一。开放生态能让不同的发现、创新和创业机会互相促进。 AI 安全该由谁负责 主持人提到当前的一个争论:模型能力的进步速度超过了安全和对齐研究的进步速度。苏姿丰说这件事上“没有可选项”,技术必须好,也必须安全。她拿芯片行业做例子:最高性能的处理器在设计时就要把安全和数据保密作为优先事项来考虑,AI 行业也需要把安全放到同样的位置。她说自己是 AI 乐观派,相信行业能建立起合适的流程和防护措施,而且各家应该像硬件行业现在分享安全方面的经验那样,互相分享做法。 主持人进一步问,提供算力的公司对训练是否安全、推理时模型是否按预期行事,要负什么责任。苏姿丰说生态里每一方都要为自己的行为负责。对 AMD 来说,要保证硬件本身安全、按设计运行,模型在上面跑时数据是安全的,还要和模型公司一起处理好软硬件之间的交互。她认为这件事应该由行业主导,但因为 AI 是新东西,各方学习的速度不一样,所以她欢迎更多的行业协作,也欢迎一定程度的第三方评估。 李飞飞说,主持人上周问她监管、第三方评估、前沿实验室自我负责这几种方式该选哪个,她的回答是全都要。她认为 AI 是一项“文明级”的技术,和历史上所有这类技术一样,初衷是让人的生活和工作变得更好,但每项技术都是双刃剑,必须负责任地开发和部署。无论在斯坦福、World Labs 还是现在的 AMD,她都想推动个人、公司、行业和社会四个层面共同承担这份责任。 AMD 的下一步 主持人提到 AMD 市值已经到了 1 万亿美元,苏姿丰近来也多次和美国总统一同公开露面。苏姿丰说 AMD 过去做过好几笔对公司影响很大的收购,World Labs 是下一笔,而且是战略意义很重要的一笔。在她看来,技术如今和经济、国家安全都紧密相关,AMD 有机会真正影响计算的未来走向。 最后主持人请李飞飞预测 AI 下一个重大突破。她没有给具体的技术判断,只说接下来 AMD 和 World Labs 会一起打造未来,而这个未来必须对人类社会和人们的生活有益。苏姿丰在一旁说:“我会让她忙起来的。”
显示更多
一个思考:AI 模型的分水岭已经出现!大家要的不是最强的智能,而是最适合自己场景的智能 👀 过去一年,代码生成帮模型公司完成了能力跃迁。接下来,智能体应用正在分化出五个方向:个人便利、个人生产力、企业协作、娱乐生成、科研前沿。娱乐拼的是规模,它争夺所有人的时间;企业拼的是利润,它替代的是人类劳动。 Meta 的 Muse 给大众做了一次便利性的市场教育;Claude Code 证明了代码就是生产力,今年它和 ChatGPT 在企业市场已经打到白热化;字节的 Seedance 和红果短剧,让娱乐生成露出了端倪,这才刚刚开始。 不同玩家,会走不同的路。有终端渠道的公司主攻个人便利,因为用户不会为日常智能多付钱,谁便宜好用就用谁,赚钱靠平台,赢靠心智和流量。企业和专业生产力永远是利润最高的战场,全球知识劳动者一年的薪酬是三十多万亿美元,没有哪家前沿实验室会放手。 最值得关注的是科研前沿:模型公司不会卖科研模型,而是直接交付结果! Isomorphic Labs 不卖 AlphaFold,直接给礼来和诺华设计分子,拿预付款、里程碑和销售分成;Lila Sciences 建“AI 科学工厂”,成果交给合作伙伴和孵化公司落地;Periodic Labs 更彻底,由 ChatGPT 的共同创造者和谷歌材料发现团队的负责人联手创办,用 AI 加自动化实验室直接去找新材料、新超导体,种子轮就拿了 3 亿美元,现在估值 75 亿美元,资本押注的就是“发现本身”的价值。不过 OpenAI 也坐不住了,CFO 在达沃斯直言:别人用它的技术研发出新药,它要分一份利润,从“卖工具”转向“分利润”。 但这里有个关键区别:愿意亲自下场、共担风险、交付成果的公司,产业会接受;只卖工具、却想事后分成的,药企和大机构很难买单。第一批 AI 设计的药物能否走完临床,会决定“模型公司即研发公司”这条第二增长曲线能不能跑通 🤔
显示更多
东地中海:两位英国诗人的精神家园 诗人拜伦怀着对柏拉图、亚里士多德的无限崇拜来到希腊,却发现当时的希腊人大多是文盲、农民、虔诚的东正教徒,穿着土耳其式的服装。 正如欧洲人读过马可波罗的传记,想象了一个黄金般的东方文明,影响了大航海时代,向东寻求黄金的冒险旅程,开启了殖民地时期的全球化。 自认野蛮的英国,怀着乡下人的谦卑,憧憬着古代希腊神话、哲学与一切的浪漫主义美好。 这是西方文明的来处。 拜伦与他的挚友雪莱不惜笔墨,为想象中的希腊写下浪漫主义文学。 忧郁、反叛、对古典废墟的迷恋,以及为自由而自我毁灭的激情。 正如当今大城市里挣扎的中产阶级与浪漫主义中青年,将大理视作精神漂流的目的地一样。 之后希腊从古希腊的废墟中,已经有上千年不曾独立存在的希腊故土,开始挣扎着独立建国。 雪莱将浪漫主义叙事转为自由叙事,在雪莱眼中,塞浦路斯并非孤立的岛屿,而是那个“正待复兴与解放”的伟大的古典希腊母体的一部分。他用诗歌为地中海东部的反抗运动提供合法性,将塞浦路斯等地的流血冲突,升华为全人类理性与自由对抗专制暗夜的终极决战。 整个西方文明的宗教、哲学、艺术、科学、政治、司法模式,起源于古代希腊。 希腊通过自身的毁灭希腊化了征服者,从马其顿到古罗马,持续到西欧的崛起,与英国一起通过大航海将西方文明推向全球,并在美利坚重建罗马。 美利坚的建国贤者,那些知识渊博的联邦党人,尽管是商人、律师、金融家、小业主、小地主,却各个熟知和洞悉古希腊与古罗马的哲学、律法、政治、历史来源。 实际上,现代希腊在经济上已经沦为微不足道的南欧效果,曾经是古希腊重要组成的塞浦路斯岛也只是一个以旅游业与航运相关的小型经济体。两边的人口加起来面前超过了一千一百万人。 然而现代希腊并非古代灿烂文明燃烧后的灰烬,它是西方文明的起源地,是西方知识分子的乡愁。 诺兰前不久刚拍了票房惊人的《奥德赛》,尽管好莱坞试图在荷马史诗中加藏私货,把肤色与性向的政治正确,加入到一个古希腊吟游诗人赞颂的人生即旅程,旅程即痛苦,痛苦是通往人格完整与智慧通达的必由之路。 更换为一个美国大兵战争创伤综合征的救赎,与黑人、第三性必须是西方文明起源的一部分的叙事。 尽管诺兰以其惊人的光影艺术实现能力,将弗里德里希的浪漫主义艺术,写进一篇充实着美学盛宴的电影里。 但古希腊文明的叙事也正被现代人涂抹改变。 希腊人仍在西方与东方的前线,直面宿敌土耳其的奥斯曼帝国想象。 塞浦路斯同时在地理上属于中东,面对后能源时代的伊斯兰叙事改变、地缘政治的变化与经济趋势。 美国崛起为化石能源大国,中国崛起为再生能源大国之后,美元与人民币在中东争夺残余的铸币权。 实际上阿拉伯半岛、红海与海湾诸国都面对一个全球气候变暖的大趋势,如果北极航道顺畅开通,通过苏伊士运河的75%的中国商品可以经北极航道到达鹿特丹港,俄罗斯的原油可以直接从北极航道走到青岛、舟山港。 海湾诸国都面临化石能源需求下降,单一经济价值下降。 以色列已经在半个多世纪里,以全民的生存危机压迫,在沙漠里打造了一个高科技强国。 沙特、科威特、约旦等传统能源国,都面临国民福利奇高无比,但却没有工业与高科技体系的状况。 阿联酋、阿曼、卡塔尔已经率性转型为低税、自由港与金融中心。 希腊本土只能依赖整个欧洲的转型,走向新能源、数字中心、农业、文明图腾消费。 塞浦路斯实际上在强迫自己转型,不仅仅是依靠航运方便旗、旅游、外汇交易中心,而且在与以色列紧密合作,让利马索尔成为以色列之外的高科技研究中心,也在吸引欧洲与其他国家的高科技公司和高管,给与税收优惠。让帕福斯成为英国和欧洲人的旅居地。让俄罗斯人、中国人、以色列人和其他国家的富人获得黄金签证。 凭借地中海优良的阳光海岸、在西方文明的文化渊源、推销文化图腾和生活方式,提供性价比极佳的全面医疗与国际教育。 从拜伦描绘的残败中,恢复西方文明发源地想象共同体的乡土。 这使得塞浦路斯绝不敢成为排外的国家,也不敢成为重税国家。 去一下广告,我们在东地中海的旅游圣地,爱之岛的浪漫小城帕福斯正在开发公寓,团队有本地专业律师协助办理身份。 Wangantique@gmail.com
显示更多
这是很惊人的观点,如今孩子(Z世代)的认知能力在退化,已经不如前几代同龄人。 这是今年1月认知神经科学家霍瓦特博士在美国参院听证会上的发言。 过去的200来年,人们形成了固定的期待,认知能力的发展,每一代人的表现都优于前一代,这是因为受教育时间更长,社会进步更快,促进了年轻一代认知能力不断在提升。 Z世代却是在几乎所有方面都表现欠佳的一代:基本注意力、记忆力、读写能力、计算能力、执行力,甚至总体智商。 这种教育与认知能力提升的脱节始于2010年左右。 罪魁祸首是用于辅助学习的工具、数字技术和电子屏幕的广泛使用。 来自大约80个国家的数据显示,一旦数字技术在学校得到广泛应用,学生的学习成绩就会显著下降。 每天在学校使用电脑学习约5小时的孩子,成绩比很少或从不在学校使用电脑的孩子低了超过三分之二个标准差。美国各州的数据也呈现出类似的模式。 人类进化是为了向其他人学习,而屏幕绕过了这一过程。
显示更多
数据分析显示,德国每十名成年男性中就有四人没有子女。 这一数据来自莱布尼茨社会科学研究所(GESIS)受《法兰克福汇报周日版》委托进行的数据分析。1980年时,18岁以上男性中无子女者的比例略低于34%,而如今这一数字已升至40%。 值得注意的是,在人们通常组建家庭的人生阶段,即30至34岁,德国男性无子女者的比例自1980年以来从42%攀升至69%。在35至39岁年龄段,该比例从22%升至54%——这意味着该年龄段中超过半数的男性没有子女。 伴随着为人父者比例的下降,处于稳定伴侣关系中的男性比例也在减少。根据位于威斯巴登的联邦人口研究所(BiB)的一项研究,1986年时,有93%的男性处于稳定的伴侣关系中;而到了2024年,这一比例下降了14个百分点,降至79%。 研究者将这一趋势主要归因于社会环境的变化。德国格拉-艾森纳赫教育大学(Gera-Eisenach University of Cooperative Education)应用社会科学教授克劳迪娅·拉恩费尔德(Claudia Rahnfeld)指出:生儿育女需要稳定的职业、经济条件以及适宜的住房,对许多男性而言,这些目标的实现正变得越来越晚。 除了经济因素外,社会变革在人际关系的形成过程中也在悄然起着作用。如今,无论男女,在选择伴侣时都变得更加挑剔。经验表明,随着女性解放程度的提高,男性非自愿无子女的现象也在增加——“在斯堪的纳维亚国家,这一现象已经十分明显,”拉恩费尔德说道,独立自主、思想解放的女性在选择与谁共同生儿育女时,是经过非常审慎考量的。
显示更多
0
21
67
8
转发到社区
【 #科学家建议别与AI语音聊天# #,# #AI时代声音或是最大隐私威胁# #】你能从一个人的话语里听出来什么?教育水平?情绪状态?财务状态?现在,芬兰阿尔托大学的科学家警告,与AI语音聊天时,AI能从你声音里听到的远比你想象得多。# 随着语音处理和识别技术的发展,AI能从一个人的语音、语调、选词等特点判断出他的政治立场、健康状况、财务、职业等各种信息,成为个人最大隐私威胁。利用这些大量隐私信息,AI可对每个人的特点进行画像,被用于个性化商品或信息推荐、哄抬物价、性骚扰、跟踪、勒索等,且这些恶意行为是在人不知不觉中进行的。当今,我们的声音无处不在,尤其是与AI聊天机器人、AI客服聊天时,你说的每一句话可能都会被AI恶意利用,尤其是当客服告知你的通话可能会被录音时,更要警惕。 如何保护我们的声音?科学家称,首先要清楚自己想说的内容,这是毫无疑问的,其次是将相关语音转换为文本,让其无法被录音,无法知道语气、声调等,从而降低风险。#冷知识百科# #上涨知识# #
显示更多
三联周刊那个性经历调查我看了,一言以蔽之。 现代社会的低生育率和性衰退,本质上就是民智已开的副产品。 当教育普及,人开始习得批判性思维和自我意识后,原有的叙事就彻底崩塌了。 关于这几种情况的原因,我是这样总结。 首先是不性生活的原因。 国外Pronhub Onlyfans 国内91 吃瓜黑料网,黄推telegramjable missav 硬色情,不分男女,都是体验者,十几分钟弄完干自己的事,直接替代大范围性生活。(虽然从效果上根本无法替代性生活) 第二,替代品多,吃好吃的,看剧,桌游,酒吧,打游戏,娱乐,健身文化,这是大部分。少部分的话,就是科研工作,科学探究,论文工作很忙,没时间性生活。 有性生活但不结婚不谈恋爱的原因。 就说国内吧,看抖红,有钱的,各种类型聊完骚网上线下,速炮速换 ;没钱的,电子发情,和处理硬色情的方式一样。 不结婚的原因。 生存生活压力大,经济状况整体环境两极分化。有钱的自己有危机感,谈了怕仙人跳,想找速炮解决;没钱的不敢找,无私角度是婚生完怕照顾不了小孩,自私角度是,怕影响自己的生活质量。 说一千道一万,技术提供了生理替代方案,现实推高了亲密关系的门槛,而人的理性最终做出了最符合自身利益最大化的选择。 说白了,人就是懂得太多了。当年大部分人都是愚昧,之后,教育尚未普及,就会多生,教育一提高,会的多懂得多,烦恼多,思考的要素多,自己睡觉的时间都少,哪有时间睡别人,哪有时间生孩子。 一个清醒的个体发现,保持高质量的独身,其幸福感、自由度、风险控制程度,在账面上完爆任何一段传统亲密关系时,理性的唯一结果就是止损。因为情感和生育本就是反纯粹理性的,它需要一股热血和冲动。
显示更多
0
68
506
58
转发到社区
说一个暴论,如果想理解 AI 接下来怎么走,先把信息源换一批。 相信很多朋友和我一样,AI 关注列表里,有大量工具号、变现号、提示词号,这些当然有用。 但如果你想看更上游的东西,比如模型方向、Agent 演进、开源生态、机器人、推理、AI 安全、产品化趋势,可以优先关注这些人。 按 4 层来分,咱们一层一层看。 第一层:顶级研究者和思想源头 @karpathy 最适合普通人长期关注的 AI 技术解释者。LLM、训练、Agent、教育内容都讲得非常清楚。 @ylecun 图灵奖得主,Meta AI 代表人物。观点很锋利,经常和主流 LLM 路线辩论。 @fchollet Keras 作者,ARC-AGI 发起人。很适合看他对智能、泛化、评测的思考。 @ilyasut Ilya Sutskever,SSI 创始人。发得少,但每次都容易成为行业信号。 @geoffreyhinton 深度学习奠基人之一。AI 风险、智能本质、神经网络历史,都绕不开他。 @goodfellow_ian GAN 发明者。低频高信号,适合关注基础研究和技术判断。 @NoamShazeer Transformer 论文作者之一, 联合创始人。真正影响过这一代模型架构的人。 第二层:顶级实验室和负责人 @OpenAI 模型、Codex、Agent、开发者生态,一手更新源。 @AnthropicAI Claude、Computer Use、AI 安全和可控 Agent,非常适合关注 Agent 工作流的人。 @GoogleDeepMind Gemini、Alpha 系列、科学 AI、机器人和多模态研究。 @AIatMeta 开源模型、Llama、视觉和基础研究,开源生态必须看。 @xai Grok、X 算法、实时信息流和 AI 产品结合,和 X 内容生态关系很近。 @sama OpenAI CEO,看产品方向和行业节奏。 @DarioAmodei Anthropic CEO,看安全、Scaling、模型治理和长期判断。 @demishassabis DeepMind CEO,AI for Science 这条线非常重要。 第三层:Agent、工程化和真实工作流 @hwchase17 LangChain 创始人。LangGraph、Agent 架构、Evals、长期工作流,非常适合做 Agent 的人看。 @LangChain Agent 工程化更新源,LangGraph / LangSmith / Deep Agents 都在这里。 @jerryjliu0 LlamaIndex 创始人。RAG、知识库、数据层和 Agent 结合,实战价值很高。 @goodside Riley Goodside,提示词、模型行为、边界测试,很多案例都能直接启发工作流设计。 @HamelHusain 做 AI 系统测试、Evals、可靠性,非常适合看“怎么让 Agent 真正可用”。 @swyx AI Engineer 代表人物之一。Agent、AI UX、开发者生态、产品化趋势都很有密度。 @DrJimFan NVIDIA 机器人和具身智能方向,非常适合看 Physical AI、世界模型和机器人。 第四层:产品、创业和 AI 应用 @AndrewYNg AI 教育、应用落地、创业和职业建议,适合长期看。 @levelsio 独立开发者代表,AI 产品化和快速上线能力很强。 @steipete OpenClaw / 桌面 Agent 相关,适合关注本地 Agent、电脑控制和开发者工具。 @rileybrown Vibe coding 和 AI 产品实操,适合看普通人怎么把 AI 用成产品。 @gregisenberg AI 创业、创意、商业化,适合看需求和产品机会。 @yoheinakajima BabyAGI 作者,早期 Agent 探索者,适合看自主 Agent 的实验。 如果要选出 10 个一定要关注的,我会选下面这个列表, @karpathy @fchollet @ylecun @ilyasut @OpenAI @AnthropicAI @GoogleDeepMind @hwchase17 @goodside @DrJimFan 这 10 个基本能覆盖模型、研究、Agent、产品和未来方向。 工具号可以帮你追热点。 这些账号能帮你判断热点背后的趋势。
显示更多
0
21
222
46
转发到社区
OpenAI 发布的新论文太有趣了,有点探索人性底层原理的意味。 业界研究发现在对齐大模型的时候,有个很糟糕的现象叫 emergent misalignment(涌现失调): 一个模型如果在训练时被教着做一件坏事,比如写不安全的代码,它会自己泛化到其他领域,包括健康、教育、科学、法律等等。也就是说,坏行为会被泛化。 OpenAI 把问题反过来想:那好行为会不会也泛化? 如果训练模型在一个领域表现得诚实、透明、谦逊、可纠正,它会不会在别的领域也变得更好? 于是他们造了一批贴近现实的对话数据,专门测这些特质: -诚实 -认知谦逊(epistemic humility,就是"我不确定"的时候能说出来) -元认知透明(能解释自己的思考过程) -可纠正性(corrigibility,被指错能认) -普遍的公平 -对人的关心 数据覆盖健康、教育、科学、法律、工程这些领域。 然后用 RL 训练,只混进去一小部分这种数据,其余还是常规训练数据。 实验结束后,有三个核心发现: 第一,在训练领域内,模型确实变得更诚实、更透明、更容易认错。 第二,在训练领域外,44 个独立的、训练时没见过的评测上,模型都变好了。欺骗、谄媚、reward hacking、有害建议……全都降了。甚至就算只拿健康数据训练,非健康领域也变好了。 第三,这种改变在对抗压力下时也表现得更有韧性。不管是 adversarial prompt 还是恶意微调,都更难把它推向坏行为。而且模型并没有变得"不可塑造",正常指令它还是听的,只是对坏的方向变固执了。 这篇论文的启示是,RL 不仅可以强化代码,也可以强化道德。 也许对齐超级 AI 没有想象中那么复杂,只对齐底层逻辑就有很好的效果。 这跟人是很像的,人的各种行为在其底层存在一致性,通过一些小事就能看到一个人的底色。 很有意思。 论文地址:
显示更多
0
7
231
32
转发到社区