Predm3t @PredmetCh

🩷 #ハッピーシュガーライフ

@MaxForAI

#名探偵プリキュア #たんプリ #森亜るるか

今年的 DEF CON 之后，似乎安全行业的 AI 焦虑更严重了，无独有偶， JS0N Haddix 也发布了一篇 DEF CON 观后感表达自己对这种焦虑的看法。 二人的观点是相似的，我整合之后如下： 一、机器不必比你优秀，只要比你便宜 人们讨论 AI 替代时，常把问题设计成一场人机擂台赛：AI 能不能独立完成一次大型源码审计？能不能比顶尖漏洞研究员更快找到复杂漏洞？能不能理解没有写进文档的业务逻辑？ 今天，一名研究员让 Claude 或 Codex 分析自己最熟悉的问题，看到模型连续犯五个错误，然后得出“我的职业很安全”的结论。因为企业采购的通常不是完美，而是足够好、足够快和足够便宜。 所以，“模型还会幻觉”、“上下文窗口仍然有限”、“模型看不懂复杂业务”等等这些都是有效的工程判断，但这判断从 AI 的长远发展以及岗位经济性看未必站得住脚。 二、历史从未证明所有人都会平安无事 历史上的手工织工、剪绒工和后来的报业排字工，最终都因为失去经济价值而消失。技术可能扩大整个行业的产出，同时摧毁行业内部某一层工作的价格。摄影术出现后，也有人认为画家即将失去价值。摄影确实替代了部分对精确肖像和场景记录的需求，但绘画没有消失，相反，当“准确复制现实”不再是画家的独占能力，绘画的价值开始转向相机无法自然提供的表达。 1997年，IBM 的“深蓝”击败世界冠军卡斯帕罗夫。如果一台机器已经能在这项被视为人类智力象征的活动中击败最强的人，似乎没有理由继续雇用人类进行纯粹的棋局计算，这部分工作确实被机器拿走了。但国际象棋没有因此消失。 这并不证明“人机结合永远优于机器”。随着引擎继续增强，这种优势后来也发生了变化。它真正证明的是：价值不是固定在人身上的，也不是固定在机器上的，它会随着工具能力继续移动。技术从来不是只替代或只增强人类。它往往先替代一部分任务，再增强另一部分人，最后重新定义这个职业。 三、安全研究其实已经“死过”很多次 1990年前后，Barton Miller 团队使用随机输入让约四分之一到三分之一的标准 UNIX 工具崩溃。模糊测试，也就是 Fuzzing，开始证明机器可以批量向程序喂入异常数据，并自动寻找崩溃。当时的担忧是，漏洞挖掘将退化成按一下按钮。后来，按钮确实按得越来越多，简单崩溃也越来越不值钱，但研究并没有结束。价值转向了语法感知模糊测试、覆盖率引导、Sanitizer、复杂状态机和代码可达性分析。工具吃掉了最底层的工作，又在上方制造了几层更难的问题。 2003年前后，Metasploit 降低了漏洞利用门槛。“现在任何人都能利用漏洞”的说法，听起来和今天“任何人都能让 AI 挖洞”几乎一样。结果不是漏洞利用开发消失，而是研究重点逐渐转向 ASLR、DEP、栈保护和 CFI 等缓解机制的绕过。工具降低了入门难度，同时提高了高水平研究的门槛。 从子域名枚举、自动扫描到 Nuclei 模板和大规模资产侦察，过去十年的工具也在重复这个过程。原始侦察能力因为自动化而迅速贬值，研究价值则转向目标选择、信任边界分析，以及从一万个扫描结果中判断哪一个真正影响生产环境。 安全研究每次被宣布死亡，死掉的通常不是行业，而是行业中最容易重复的一层。 四、AI已经改变研究，但还没有独立创造研究方向 JS0N Haddix 在 Black Hat 评审中观察到，大量优秀研究已经使用 AI，而且使用得很深入。但 AI 大多承担的是研究流程的中间部分，也就是研究员先注意到异常，例如某个协议状态机可能存在盲区，某类解析器可能继承了相同缺陷，或者一个认证流程在面对第二种实现时不再成立。随后，AI 负责生成测试框架、构造样本、枚举多个实现、分类崩溃并验证案例。过去可能需要一个研究团队花费数月完成的工作，如今一个人借助模型就能做出相当规模的验证。 Roni 用自己的研究做了一个例子，他曾在 DEF CON 33 提出 npx used-confusion 漏洞类型，后来，第三方开发了 npxconfuse，自动检测他描述的问题，但他并不觉得他的研究被工具取代。反而认识到，一个漏洞类型被自动化检测，恰恰证明这项研究已经从个人经验变成可复用知识，发表研究的目的，本来就应该是让后续工具能够接管重复执行。工具会追上研究员已经公开的工作，却很难自动站到研究员尚未抵达的前方。 五、会生成补丁，不等于能够安全修复 JS0N Haddix 的文章引用了 Off-by-1 Labs 的一项研究。研究人员让两个模型围绕六个近期披露的 CVE 生成6080个补丁，涉及 Linux、Chrome、Apache ActiveMQ、Spring AI、Exim 和 Gemini CLI 等真实软件。 结果是： 26%的补丁完整修复漏洞，同时没有改变应用原有行为； 20%的补丁修复了漏洞，却改变了应用行为； 剩余54%未能正确修复、引入了新漏洞，或者两者同时发生。 在一个 freenginx 漏洞案例中，模型生成了270次修复尝试。其中114个补丁关闭了原漏洞，但这114个补丁全部引入了新的问题。 AI 可以非常快地生成一个“看起来像修复”的代码差异，但证明它可以进入生产环境，仍需要经验丰富的人进行审查。甚至有研究者认为，把 AI 补丁审查到足以安全上线，耗费的专家工作量可能接近重新写一个可靠补丁。 于是，一个有些反直觉的局面出现了：AI 会以前所未有的速度发现漏洞，却暂时无法以同样速度可信地修复漏洞。 六、真正值得担心的是初级岗位断层 过去，行业把新人扔进告警队列，让他们在两年重复劳动中积累模式识别能力。这个过程谈不上科学，却构成了一种意外形成的学徒制。现在，AI 可以吃掉队列中的大量机械劳动，但新人并不会因此自动获得高级判断力。我们一边取消初级岗位，一边要求候选人拥有三到五年经验，最后只会发现市场上没有足够的中高级人才。 未来需要的是一种主动建立的学徒制度：让新人接受明确的导师指导、岗位轮换和真实案例训练；利用 AI 生成大量可重复的告警、事件和攻击场景，让训练环境替代过去低效的生产队列；把新人培养到所谓的“1.5级”，让他们入职时就能做初步判断，而 AI 负责其下方的机械工作。 评价方式也要改变：关闭多少工单、写了多少报告、跑了多少扫描，本来就不等于安全判断力。企业应该更多考察候选人如何处理陌生问题、如何提出验证假设、如何识别模型看似合理的错误。 七、攻击者获得AI，不会让防守需求下降 AI 正在降低大规模侦察、多语言钓鱼、恶意代码变体、漏洞分析和社会工程的成本。过去需要一个成熟攻击团队才能获得的能力，正在逐渐被包装为产品、服务甚至订阅。当攻击者的单位成本下降，结果通常不是同样数量的攻击由更少的人完成，而是更多组织遭到更多攻击。原本只针对大型企业的攻击手法，会下沉到中型企业，甚至普通机构。 安全本身还有近乎无穷的历史欠账。几乎每家企业都有从未完整审查的代码、没有认真测试的网络区域、无法及时升级的老旧系统，以及只靠一份问卷和良好愿望维持的第三方安全管理。当单位安全服务成本下降，企业未必只会裁掉人员、维持原有产出。它们也可能开始购买过去因为昂贵而长期推迟的安全能力。 防守自动化之后，攻击者也会升级；攻击者升级之后，企业又必须提高防守。AI 不只在替代安全工作，也在制造新的攻击面和新的安全需求。 八、行业将从“逐个补洞”走向“消灭漏洞类型” AI 大规模发现漏洞后，企业可能很快遇到另一个问题：有效漏洞太多了。当发现一次只出现一个，团队可以逐个打补丁；当发现以数百、数千计出现，逐个处理将不再具备经济可行性，组织只能寻找能够消灭整类问题的办法。 Code Red、Nimda、SQL Slammer 和 Blaster 等蠕虫的大规模传播，迫使微软进入可信计算时代，推动安全开发生命周期，以及栈保护、DEP、ASLR 等系统级缓解措施。SQL 注入长期泛滥，最终促使参数化查询和 ORM 成为常规工程实践；XSS 大量出现后，模板引擎开始默认进行输出转义；Heartbleed 暴露关键开源基础设施维护不足，进而推动更多资金进入相关项目；持续数十年的内存破坏问题，则让内存安全语言从学术讨论走向政府指南和真实工程。 行业进步往往不是因为某个漏洞被优雅地修复，而是因为同类问题多到整个系统再也无法忍受。AI 可能带来的最大价值，也许不是让我们更快地追逐单个漏洞，而是制造足够大的修复压力，迫使编程语言、框架、平台和产品默认选择更安全的路径。而如此庞大的工程，不可能无人负责。 九、未来最值钱的不是提示词，而是三种能力 模型会继续更新，成本会继续下降，工具会继续变得更容易使用。依靠当前缺陷保护职业，只是在等待保护墙自动倒塌。未来几乎每个安全岗位都会变成“原有领域能力加 AI 工程能力”，而不是简单被 AI 工程取代。 其中最重要的有三种能力。 第一是分解。把一次红队测试、漏洞研究或检测工程任务拆成多个边界明确、可以验证的小问题。模型擅长处理定义清楚的局部任务，但只有真正理解业务和攻击面的专家，才知道应该如何拆解。 第二是编排。知道哪些任务交给模型，哪些交给静态分析器、模糊测试器或规则引擎，哪些位置必须设置人工检查点。还要知道哪些错误只是浪费一点 token，哪些错误可能直接导致生产事故。 第三是维护。一次成功演示不等于稳定能力。模型会升级，提示词会失效，攻击方式会变化，企业代码和资产也会持续漂移。能够长期运行、评估和调整 AI 安全系统的人，会比只会搭建 Demo 的人更稀缺。 结语：不要守住任务，要追着价值移动 Roni 和 JS0N Haddix 的文章都没有否认 AI 的冲击。他们只是拒绝把“机器能够完成某项任务”，直接等同于“完成这项任务的人已经失去全部价值”。 那些完全建立在重复执行已知方法上的工作，会被压缩，甚至消失。初级人才的成长路径也可能遭到破坏，一部分人将在转型中付出真实代价。但安全研究从来不只是发现一个 Bug，正如绘画不只是准确复制现实，国际象棋也不只是计算下一步。 所以，AI 会不会让安全研究员失业？它只是又一次抬高了门槛。对安全从业者来说，真正危险的从来不是机器学会了昨天的方法，而是我们仍然把昨天的方法，当成自己的全部职业能力。

Lupin @0xLupin

6 days ago

“Security researchers are doomed because of AI.” I kept hearing versions of this, so I went back through 500 years of people saying the same thing every time a machine learned a human skill. Some were idiots. Some were right. Here’s where I landed. x.com/i/article/2087…

86 259 1K 228K 1K

キュアアルカナ🪽🤍

圣人不死，大盗不止。我们需要可解释性+避免幻觉误操作；但A\的AI安全试图主动给LLM灌入一些宪章，然而懂得纪律才会懂得违纪

@teortaxesTex If not, 0813 has great performance -> empower bio research -> Musk / He Jiankui gene edit experiments -> cute whale girl -> same result ???

@MinLiBuilds 还是等好用的MoE模型吧 稠密模型对低带宽大显存不友好

总之DS涨价之后一些以前手快直接扔给DS做的代码工作现在不得不调度到没在用的K3大会员5小时区间了，或许下周把工位的Dual Spark搭起来之后仍然能给大家不错的token水龙头。脏活成本上升时更明智的做法是接着优化自己的思路，避免做脏活。

#まのさばネタバレ #まのさば二次創作

Got @0xSero 's REAPed 0731 working on my single DGX Spark. avg tg > 40 tok/s. It still preserves the great and fun CoT but it runs like Landau after a car accident, making more mistakes and having to fix w/ a lot of extra thinking. Still call for a ling 3.0 size model for Spark.

keyboard_arrow_left Previous keyboard_arrow_right Next

ノアアン✨✨

@ClSlaid 说明是意料之外的过拟合，后训练背大锅了（

#きみが死ぬまで恋をしたい FA♡

为了做这个事情我需要： 一个堪比DSH的框架，如果不走dsh，是不是F#调pi比较好？模型未必很懂F#，但如果要找到一个同时严格描述环境和描述LM的语言，确实还是回归ML系好？ 一个方便蒸小模型的框架。好难啊 一个能对更广泛场景做测试和评估的体系。这个也很难，很多时候还是靠人类，人类要满意

虽然我觉得DSH想的是RSI 但他这一套可能反而适合RSF（Fitting） 能不能Improve很难说 但做指定环境的Fitting是好的

我洗澡的时候突然想到， 就是你可以把外面的agent或者flow想象成一个熔融铁 然后开发环境的时候我们做两个事情 首先是拿大的模型去把铁打成100%能适应工作流程环境的一个玩意 这个玩意可能叫做DSH或者其他之类的 但DSH的思想认为FP才能做到无副作用完美捕获工作流程，不管是工作到LM，还是LM到工作，