与「爬虫」相关的搜索结果

他爸妈一直以为他天天关房间里备考研究生。其实那台900块的红米手机，每个月都能帮他赚1.47万美元。 他在深圳，22岁，还是在校大学生。 手机调好之后，每30分钟会自动打开6个国内新闻App。 它会自己截图，挑出有用的信息发给Claude分析。 AI拿着这些新闻，对照Polymarket的行情，找机会下单。 他不用写一行代码。 开源工具PhoneDriver就能搞定，它能识别屏幕画面，自己点App，跟人手动玩手机一样。 说白了，靠的就是信息差。 国内消息出来更早，国外做交易的人，要晚20到50分钟才反应过来。 微博、头条消息更新最快，Polymarket上面的价格要过一会儿才跟着变。 这6个新闻App里面，有3个不让爬虫去抓数据。 PhoneDriver是识别屏幕像素来工作的，不受这个限制。 一台900块的红米，一个开源工具，再加免费大模型。 看完这件事我觉得，真正难的地方从来不是有没有钱。 而是能不能比别人早一步看到消息。

我网站里每天都有很多爬虫在抓取，就让AI去分析日志，发现元凶是各大AI巨头，GPT和Claude这帮流氓每天玩命抓我的网站，耗费我网站的流量，迫使我不得不更换服务器，简直比搜索引擎还流氓，至少搜索引擎抓取之后还会给我带来流量，这帮AI巨头们光吸我的血，不给我带回任何回报，真是典型的网络流氓。

有位开发者用 Rust 从零构建了一款浏览器，专门给 AI Agent 执行任务用！ 这个开源项目叫 Moli。 以前让 Claude Code、Codex 去操作网页，往往得把 Chrome 拉起来，占内存厉害，速度还拖沓。 Moli 的思路相当激进：既然网页不用给人看，那就索性不做渲染！ 网页抓取、JavaScript 执行、自动化操作它都覆盖，Playwright、CDP、WebDriver 同样兼容。 项目测试中，Moli 的内存开销显著低于 Chrome，用于 AI 爬虫、Agent 自动化、批量网页处理格外合适。 以后为 AI 配备浏览器，未必再要死死绑在 Chrome 上。 GitHub： ⁠

爸妈以为他天天在房间备考研究生。其实那台900块的红米，每个月替他赚1.47万美元。 深圳，22岁大学生。 手机设置好之后，每隔30分钟，自动打开6个国内新闻App。截图，挑出有用信息，发给Claude分析。AI拿着这些新闻，对照Polymarket的行情，找机会下单。 一行代码不用写。 开源工具PhoneDriver就能干。它认得屏幕画面，自己点App，跟人玩手机一模一样。 吃的就是信息差。 国内消息出得早。国外做交易的人，要慢20到50分钟才反应过来。微博、头条跑得最快，Polymarket上的价格，得等后面才动。 那6个新闻App里，3个不让爬虫抓。PhoneDriver靠识别屏幕像素，完全不受限制。 一台900块的红米，一个开源工具，一个免费的大模型。 我看完最大的感受：真正的门槛，从来不是钱。 是你能不能在别人还没醒的时候，先看到那条消息。

数据才是“印钞机”，这话含金量还在涨 Gary Brewer 从 2007 年起就默默用爬虫记录每一个域名的 HTTP 响应头、HTML 源码特征、DNS 记录和 JS 脚本调用 这份数据集，长达 20年。即便谷歌当下用 100名高级工程师，也不能做到准确回答以下问题： “耐克官方网站是在哪一年哪一月把收单网关从传统银行切换到 Stripe 的？”、 “全球前 10 万个头部电商独立站，在过去 5 年里使用 Klaviyo 邮件营销工具的渗透率曲线是怎样的？”

【招聘｜AI Agent 工程师 · 预测方向】 📍 新加坡 / 远程（新加坡时区）｜全职 💰 SGD 8,000–14,000 / 月 🤖 生产级 LLM Agent 帮客户招一位 AI Agent 工程师。团队在做能预测未来、并公开记分的 AI：政策、市场、地缘事件的每一次预测，都在结果揭晓前锁定，再由现实检验对错。团队精干，已经和机构伙伴合作，只看你做过什么，不看头衔。 你要做的： 构建能自主搜索、阅读、逐步推理并给出校准概率的 Agent，跑大规模多智能体政策与市场模拟，让每个预测都可审计，并作为生产级服务交付给机构客户。 我们希望你： 1. 3 年以上软件工程经验，至少上线过一个有真实用户在用的 LLM Agent 或多步骤 AI 系统 2. Python 和后端扎实：异步服务、API、数据管道、数据库、云 3. 评测思维：先建评测，再谈效果提升 4. 熟悉工具调用、检索、结构化输出和上下文管理，用过多家模型及开源模型 5. 每天用 coding agent，能用英文清楚表达技术决策 加分项： 1. 有自己得意的预测机器人、Agent 项目或公开战绩 2. 做过多智能体系统，或市场、机构、人群的 agent-based 模型 3. 搜索与信息管道：爬虫、新闻流、带时间维度的检索 4. 有预测、预测市场或金融数据相关经验 📩 感兴趣的朋友，欢迎到 moledao 搜索「AI Agent Engineer, Forecasting」投递并给我留言，附上你最得意的 Agent 或代码仓库（链接见评论 👇） 欢迎转发给身边合适的朋友！ #新加坡招聘# #远程工作# #AIAgent# #招聘#

杀穿反爬圈的 Rust 神器彻底封神了！ 狂揽 3.2 万星的现象级开源项目 Obscura 迎来史诗级更新，终于把 Chromium 彻底踢出局了！ 以前跑 Browser Agent 或海量爬虫，要么被 Chrome 几百兆的内存吃干抹净，要么被全网反爬盾拦截成筛子。 Obscura 走的是纯底层重构路线：直接甩掉整个 Chromium，用 Rust + 原生 V8 引擎手搓了一套轻量无头内核。 这次大版本更新的实测表现极其残暴： · 彻底告别 Chromium 依赖：最新版原生渲染引擎正式落地！不再依赖任何外部 Chrome 环境，纯靠内置引擎搞定截图、Live 推流、导出 PDF 与 DOM 解析。 · 内存暴跌 85%：传统无头 Chrome 动不动吃 200MB+，Obscura 运行时内存压到了惊人的 30MB，体积仅 70MB，单台轻量 VPS 能轻轻松松并发开上百个实例！ · 毫秒级闪电启动：网页加载 85ms，启动时间从 Chrome 的 2 秒降到零感秒开，爬取与交互速度直接起飞。 · 工业级全套防风控：基于 BoringSSL 底层重编译，自动伪造 TLS/JA3 指纹与硬件特征，强制锁定 event.isTrusted=true，原生屏蔽 webdriver 并内置 3500+ 反爬探针黑名单，直接把主流盾打穿。 · 零成本无痛迁移：原生支持 CDP（Chrome DevTools 协议），你的 Playwright、Puppeteer 或 Coding Agent 工具链，改个端口直接无缝平替！ 连 Cloudflare 官方做下一代无头浏览器引擎，第一个原型都是把 Obscura 移植到 Workers 上跑通的。 做自动化爬虫、AI 网页操作 Agent 和风控对抗的兄弟建议直接马住！ 开源地址： 你平时跑浏览器自动化，被内存爆掉和反爬盾拦截折磨得最惨的是哪次？ #Rust# #开源# #AI# #爬虫# #Playwright# #开发#

深圳有个22岁的大学生，花900块买了台红米手机，一个月赚了大概1.47万美元。 他爸妈完全没察觉，还以为他天天闷在房间里面备考研究生。 手机设置好之后，每隔30分钟就自动打开6个国内新闻App。 自动截图，挑出新闻里有用的信息，发给Claude去分析。 AI拿着这些新闻，对照Polymarket的行情，找机会下单交易。 不用写任何代码，开源工具PhoneDriver就能做到，它认得屏幕画面，自己点App，和人玩手机一样。 说白了就是吃信息差，国内消息出来早，国外做交易的人要慢20到50分钟才反应过来。 微博、头条消息跑得最快，Polymarket上面的价格，要等后面才会变动。 6个新闻App里面，有3个不让爬虫抓取，PhoneDriver靠识别屏幕像素，不受这个限制。 #Polymarket#

今早 Reddit 爬虫Bot 抓到一个自动调节 Codex 模型的提示词，利用 Jev 判断任务深浅，路由模型。 我在想，如果能路由请求到异构模型，就更棒了。比如小任务丢给豆包，Kimi, Deepseek, 只有大任务才需要从 Luna, Sol, Astra, 甚至 Fable 一路升级上来 不知道社区是否已经有这样的实现？