与「train」相关的搜索结果

End-to-End 4-Bit Training：让大模型用更粗糙的数字格式完成全流程训练，大幅缩短显卡训练时间 训练大模型需要处理海量数据，直接把数字精度压到4位虽然能加快计算，但四舍五入累积的误差会严重拖垮模型的学习效果。 为了解决这个矛盾，Thinking Machines Lab在英伟达GB300显卡平台上开发了名为BBBK的专用底层加速程序。采取了分工策略，在模型向前推理计算时使用高速度的4位数字格式NVFP4，在向后更新参数时切回较精细的8位格式MXFP8，并在传输数据时顺手进行旋转压缩与随机舍入修正，省去了传统训练完成后还要单独做低精度校准的麻烦步骤。 这套方案应用在Inkling 2 Small模型的全流程训练中，显卡的运算管道和传输带宽同时跑满，没有出现互相等待的卡顿。原本需要好几周才能跑完的同体量模型，现在在GB300机柜上只用了68小时就完成了预训练。对比全程使用8位格式训练，新方案在预训练阶段节省了8%的时间，在强化学习阶段直接提速了20%，省下了大量算力开销，同时模型最终的回答准确率几乎没有受到影响。 链接：

🚨 URGENT : menace d'enlèvement en France, besoin de la commu crypto FR J'ai reçu une info sérieuse : des personnes prévoient d'enlever, dans les prochaines heures, le propriétaire du wallet Ethereum wooooooow.eth 0x5231E31C3ca39DD94fF56beCB662Ea50bC4Da7D1 On ne connaît ni son nom ni sa ville. Impossible de le prévenir directement. Les autorités sont en train d'être alertées. Si tu connais cette personne, ou si tu reconnais ce nom ENS (Discord, DeFi, Convex, Aave, staking), préviens-la tout de suite en privé : • rester dans un endroit sûr • ne pas ouvrir à des inconnus • appeler le 17 ou le 112 À toi, propriétaire de wooooooow.eth : ce n'est pas une arnaque. Aucun lien, aucun DM, aucun argent demandé. Protège-toi et contacte la police maintenant. Merci de RT pour que le message arrive jusqu'à lui. @PoliceNationale @Gendarmerie @prefpolice @PowerHasheur @CryptoastMedia @coinacademy_fr @Ledger @zachxbt

大家都知道LLM，那SLM呢？ 小语言模型的三种主流构建方法 1. 知识蒸馏（Knowledge Distillation） 基于“教师-学生”框架迁移大模型能力， 代表模型有 DistilGPT、TinyLLaMA。 2. 从头轻量化训练（Training from Scratch） 设计轻量架构并在中等规模语料上独立训练， 代表模型有 MiniBERT、ALBERT. 3. 模型压缩技术（Model Compression） 在现有架构上通过剪枝、量化 或低秩分解缩减体积并保留性能

Je viens de regarder mon passage dans Quotidien. Évidemment, je suis qualifié d’« influenceur entrepreneur d’extrême droite ». Déroulons. Je ne sais pas si vous vous rendez compte à quel point le peuple français vous méprise. Vous êtes tellement déconnectés du réel que, dans votre petit monde, vous êtes persuadés d’avoir le monopole du bon sens. Alors je vais vous dire ce que vous êtes vraiment. Mais avant, je vais vous dire d’où je parle. Je suis breton. J’ai grandi dans un système scolaire profondément cassé. La majorité de mes profs étaient de gauche, et la plupart étaient déprimés. Pas méchants. Déprimés. Ils ne transmettaient qu’une chose : la conviction que le monde est injuste, que l’effort ne paie pas, et que demain sera pire qu’hier. Ce qui m’a sauvé, c’est d’avoir appris seul. J’ai commencé à coder à 12 ans. À 15 ans, j’avais créé un jeu qui me rapportait plus que le salaire de mes profs. Personne ne m’a donné la permission. Personne ne m’a subventionné. J’ai construit, des gens ont joué, j’ai été payé. La leçon d’économie la plus honnête de ma vie. Ensuite j’ai travaillé dans la tech, j’ai vécu dans la Silicon Valley, j’ai construit pas mal de choses. Et j’ai étudié l’économie par moi-même. Pas pour un diplôme. Pour comprendre comment le monde fonctionne vraiment. Et surtout, j’ai eu une chance que vous n’aurez jamais. J’ai été connecté, et je le suis encore, aux deux extrémités de la société. D’un côté, les couches les plus modestes, celles que vous prétendez protéger et incarner sans jamais leur parler. De l’autre, les couches les plus hautes : des milliardaires, des bâtisseurs, Elon Musk. Je fais le grand écart tous les jours. Et je peux vous dire une chose : en bas comme en haut, le diagnostic est le même. Vous, vous êtes au milieu, dans le seul étage de l’immeuble qui n’a pas de fenêtre. Ce que je vais dire maintenant, n’importe quelle personne saine d’esprit qui a un contact avec le réel le comprend. Yann, tu incarnes un mouvement et des idées qui ne représentent quasiment plus que vous. Ceux qui croient encore Quotidien et ses mensonges répétés en boucle, ce sont deux populations. Les gamins endoctrinés par une école capturée par l’idéologie. Et une partie des Français issus de l’immigration, qu’on manipule en leur répétant que les Français sont racistes. Un récit construit de toutes pièces par cette gauche mortifère, qui a besoin de victimes pour exister et qui les enferme dans ce rôle pour garder leurs voix. Les idées que vous défendez sont des idées de mort. Elles culpabilisent le travail. Elles humilient ceux qui construisent. Elles transforment chaque citoyen en assisté ou en suspect. Partout où elles ont été appliquées jusqu’au bout, elles ont produit la même chose : la pauvreté, la défiance, l’effondrement. Pas une exception. Pas une. Je le dis souvent : dans votre camp, il y a les cyniques et les believers. Les cyniques savent que ça ne marche pas, mais ça leur rapporte de l’audience, du pouvoir, des subventions. Les believers, eux, y croient sincèrement. Yann, je vais te laisser le bénéfice du doute. Je te range dans la case des believers. Alors un conseil : lis Hayek. La Route de la servitude. Ça se lit en un week-end, et ça t’expliquera pourquoi chaque bonne intention que tu défends à l’antenne pave exactement la route que tu prétends combattre. Tu as sans doute l’impression d’être du bon côté de l’histoire. Ils l’avaient tous. Mais tout ce que tu représentes enverra la France dans le chaos total. Les gens que tu appelles « extrême droite », ce sont des gens normaux. Des gens qui veulent vivre en sécurité, travailler, être payés dignement pour ce qu’ils font, et élever leur famille dans un pays qu’ils reconnaissent encore. C’est tout. Ce n’est pas une idéologie. C’est le bon sens que vous avez abandonné, puis insulté. Et je ne sais pas si vous mesurez ce qui est en train de se passer. Les peuples, dans leur intégralité, et avec eux les entrepreneurs, les créateurs de valeur, tous ceux qui font tourner ce pays, commencent à vous détester. Pas à vous critiquer. À vous détester, profondément, viscéralement. Chaque leçon de morale, chaque étiquette, chaque sketch condescendant creuse un peu plus le fossé. Alors un conseil d’ami : calmez-vous. Vraiment. Je viens d’un milieu très loin des salons feutrés parisiens et des dîners bobos où l’on décide entre soi qui a le droit de parler. Toi, tu vis dans une bulle. Une bulle confortable, chauffée, avec un public qui rit au signal. Mais le réel ne rit pas au signal. Plus personne ne vous croit. Et le réel vous jugera. Très sévèrement. Le replay a 27mn :

Safety evaluations are critical for understanding whether a model is ready to deploy, which safeguards to build for it, and where to focus training and research. On our Engineering Blog, we offer 10 recommendations for how to design, run and report them.

The girl in this video turned 18 on the streets of Kensington. She smokes fentanyl off tin foil and pays for it with dates, $50 to $100 a day. Her name is Sedona. She hates every date she goes on. She says if she gets clean, she wants to be a nurse, because she likes helping people. In the video below she describes her 18th birthday. "It was just like a normal day." How did it start? She tore her ACL in a bike crash and got prescribed Percocet. When pills on the street got too expensive, she switched to dope because it was cheaper. Where's her family? Her grandma kicked her out. "I don't really have parents. They're addicts too." School? She made it to junior year. She once got three months clean. Her grandma got her into rehab, and she started playing ice hockey. She was a goalie. Two weeks before this interview, she relapsed. How else does she make money? Asking for change on the train. Stealing. On a day without a date, she makes $5 or $10. What are the men like? "Some of them are just lonely men. None of them are fun." Why does she smoke it instead of snorting? She likes the taste. The worst thing she's seen out there: someone stabbed to death. "I still think about it to this day." People on the block tell her all the time that she's too young to be there. Her three wishes: to get sober with no cravings. A ton of money. And a PC for Fortnite. She's 18, so on paper every choice is hers now. Is she a kid who never had a chance, or an adult who has to own this?

Back in 2012, AlexNet was trained on two NVIDIA gaming GPUs. Jensen understodd what that meant before almost anyone else, and bet the company on it. A couple weeks ago he spent a good chunk of a meeting with us nerding out on our little $400 open-source microrobot. Why it runs hot, which chip would get more FLOPs, how many watts it would draw 🤓 His latest big bet has been open models, his very first post on X 👇 If open models had only one champion, this week would have been the end. They have millions of builders, including plenty inside NVIDIA who’ve been messaging us the same thing: keep building in the open. We will.

AI铁王座空出来了，再聊聊老黄的辞职及影响：1、大家没注意的是老黄昨晚不仅辞掉了CEO、总裁连董事会成员的身份也辞掉，可以说退的干干净净跟英伟达彻底切割了，以后老黄只是英伟达最大的个人股东而已。一方面可能婚外情属实，另一方面也说明老黄应该也是面临了巨大的压力，不然董事会成员也不会辞掉。 2、33年以来英伟达董事会首次任命了一位董事会主席，这是跟老黄裸辞一样重要的信息，就是英伟达董事会改组。从“首席独立董事”机制改成正式董事长制，董事会的控制权也在进一步收拢。 英伟达董事会首任主席HarveyC.Jones（哈维·琼斯），1993年加入董事会，前 电子设计自动化巨头新思科技（Synopsys）的CEO和执行董事长，也是投资机构SquareWaveVentures的管理合伙人。 3、对产业的影响可能更深远 如开头所说AI铁王座空下来了，产业教主倒下了，现在看还没人能顶的上去 ：要么产业身位不够、要么资历和影响力也不够。 1）对英伟达来说，短期算是利空落地。如昨晚老黄辞职消息出来前聊到，“如果老黄离任最终消息出来，短线可以博一个大反弹毕竟核心竞争力没那么快就没了，但长期就得边走边看、看实际经营状况，看接任者是不是能真的撑得住”。老黄辞职的消息出来、昨天英伟达也确实低开高走； 2）老黄辞职，英伟达少了一个有远见、有决断力和魄力的掌舵人和领航人，需要特别注意老黄在任时几十名高管都直接向他汇报，那说明英伟达得高管没有谁能有他这样的全局视野、现在看未来是会受限的。 老黄还主导一批用英伟达的信用给数据中心建设兜底的项目，例如之前给OpenAI的合作，同时几家新云厂商特别是CRWV也都是老黄扶持起来的；影响自然也不小。 3）但有受损的就有受益的 老黄离开、英伟达的竞争对手不得笑开怀。AMD、谷歌的TPU、亚马逊的Trainium估计都看到了进一步追赶的可能性。为谷歌和亚马逊自研芯片的核心供应商博通和MRVL又能分到更多的蛋糕了。 4）对整个产业链来说 教主走了，扛大旗没有了，凭老黄一己之力扶持起来的算力产业链可能要放缓，但产业趋势已经形成，最多只是延缓并并不是停滞。 这两天在思考一个点，“slower for longer”的节奏可能更好，不需要动不动就高歌猛进、时不我待的。节奏稍稍降下来、会走的更稳更远。 4、而对整个市场来说 还是维持一周前 会到前面说的“slower for longer” ，过去几年的大干快干让硬件层分走了绝大部分利润，而慢下来，就是在模型层/应用层/平台层/硬件层之间做利润的重分配，资金的投入方喘口气，甚至于硬件层也不是通杀，流动性恐慌后，最终会回到不同环节的供需紧张程度出现定价分化。

I am actually disgusted by the timing of this drop. And this will get a bit more technical. Let’s do a real technical teardown of this "1,385-sigma Blackwell weight fingerprint" report that OpenAI and Anthropic are breathlessly promoting today, because banking on nobody reading past the headline is how DC narratives get manufactured. ​First, look at the actual CUDA maths: when PyTorch initialises model weights (torch.nn.init) with a fixed PRNG seed, curand/Philox parallelises random number generation across the GPU’s Streaming Multiprocessors (SMs). Because Hopper has 132 SMs and Blackwell has 148 or 152 SMs, the exact same seed lays out initial weights in a different spatial pattern depending on the GPU’s SM count. In huge MoE models, certain low-gradient null-spaces or unrouted slices preserve faint directional traces of those step-0 weights even after training. ​So yes, brute-forcing the seed and SM grid can show that a model’s step_0 weight initialisation script ran on a 148/152-SM Blackwell GPU. Now read what the summary explicitly admits in the fine print: 1. Initialisation is not full training: The report literally states that these signatures show how the weights were created, and "support (but do not prove) the inference that Blackwell also participated in model training". Initialising a model checkpoint takes seconds on a single rented dev node before loading the safetensors onto a standard Hopper cluster. The "2,000 to 3,000 Blackwell GPUs" and "$500 million" cluster numbers do not come from the weight fingerprint and Depue admits in his own thread that he simply "estimated" cluster sizes from release schedules and model details. ​2. Zero geolocation and zero proof of smuggling: The final sentence of the executive summary explicitly admits that the findings "do not establish the physical location of the chips, how they were acquired, or whether export control regulations were violated". Depue himself rented a cloud GB200 instance just to run his verification test. Commercial labs that are not on the Entity List renting bare-metal Blackwell nodes in offshore clouds (Singapore, Japan, or the Middle East) is completely legal under BIS rules and leaves the exact same SM fingerprint. Now ask yourself why a former OpenAI researcher dropped this on November 12, the exact day Jensen Huang was pushed out, with OpenAI and Anthropic immediately stepping in to "independently verify" it. US closed-source labs are watching their paid API moats get eaten alive by free Chinese open-weights models. Conflating a step-0 PRNG initialisation seed with a "$500M smuggled Blackwell cluster" hands DC hawks the exact pretext OpenAI and Anthropic want to regulate global cloud compute and kneecap open-source AI.