Phoenix Lee @locsic

生命不息，折腾不止。 I guess it comes down to a simple choice:get busy living or get busy dying locsic.com Beijing Joined September 2008

Tweets

7K
Followers

407
Following

843
Likes

24

Phoenix Lee @locsic

2 months ago

@Gorden_Sun 方便发个邀请码吗

0 0 0 238 0

View Details

OpenMed 一口气开源了 380 多个医疗 NER 模型，永久免费！在大健康行业摸爬滚打过你就知道我此刻的心情是有多激动。这壮举，真的值得点三炷香。过去十年，医疗 AI 领域绝大部分公司一直卡在缺失行业模型的阶段。尤其像 NER 这种基础能力，说它基础，但又复杂得几乎没人能自己训出来；说它重要，又几乎支撑了所有下游任务，比如病历结构化、药物识别、编码归类、知识图谱、文本生成、用户脱敏……，这 380 多个模型，直接打通了最难搞的第一公里。把“医疗 NLP 能力”从象牙塔拉到产品前线的动作。作为从业者，这次我最震撼的亮点有这几个： 1️⃣ 细分场景做得极细，真的懂业务药物识别（PharmaDetect）、疾病抽取（DisorderDetect）、肿瘤实体（OncoDetect）、解剖结构、基因组学、社会健康因素（如生活习惯、环境影响）……全部单独建模，直接贴近实际业务线。 2️⃣ 性能好到不像开源，能直接上线用在 13 个公开医学数据集上打到 F1 0.98+，有的甚至接近 0.998，是我们过去买商用模型都不敢想的指标，而现在，免费下载、开箱即用，连 license 都不设限。 3️⃣ 部署门槛极低，团队试错成本几乎为 0 三行代码就能跑，支持 CPU、GPU，能跑在本地、服务器、小型集群，让我们这种做实际业务的人能动手、能组合、能快速做出一个 demo 上线试错。 4️⃣ 工程化思路完整，不是科研项目的半成品命名规范统一、model card 详细、支持批量 inference、评估标准全开放，不像很多医学模型是“发表即完工”。举几个例子吧： AI 视频科普生成 → 需要做医学术语提取 + 解释医生端知识总结 → 需要从临床 EMR 中提取药品、病症私域问诊服务分析 → 需要自动结构化用户的主诉信息健康档案风控 → 需要做实体识别 + 隐私脱敏 + 标签补全你要说大模型也能做，但是只有 60 分水平。在严肃的行业里垂类的模型价值还是太大了。说句真心话，OpenMed 把医疗 AI 的入场门槛拉到了脚后跟，让我们这些原本要跪着做模型、拿着小数据硬撑业务的人，终于有了能站起来干活的基础设施。如果你也是同行，请别错过这波模型。我已经有些想法在发酵了。

Maziyar PANAHI @MaziyarPanahi

11 months ago

🚀 Big news in healthcare AI! I'm thrilled to announce the launch of OpenMed on @huggingface, releasing 380+ state-of-the-art medical NER models for free under Apache 2.0. And this is just the beginning! 🧵

87 477 2K 503K 2K

31 325 1K 172K 1K

View Details

宝玉 @dotey

3 years ago

推荐阅读：《多模态和多模态大模型 (LMM)[译]》这是一篇相当详尽的讲述多模态和多模态大模型的文章！内容分为三部分。 * 第 1 部分围绕多模态的概念展开，讲述了使用多模态的原因、不同类型的数据模态以及多模态任务的种类。 * 第 2 部分深入探讨了多模态系统的核心原理，以 CLIP 和 Flamingo 为例，分别为未来多模态系统的发展奠定了基础，并通过 Flamingo 的卓越表现引领了大语言模型（LLM）的兴起。 * 第 3 部分聚焦于大语言模型（LLM）的当前研究热点，探讨了生成多模态输出和高效多模态训练适配器的新进展，涉及了像 BLIP-2、LLaVA、LLaMA-Adapter V2、LAVIN 等新兴多模态系统。如果你想深入了解多模态模型，这是一篇相当好的科普文章！原文：Multimodality and Large Multimodal Models (LMMs) huyenchip.com/2023/10/10/mul… 译文：baoyu.io/translations/l…

8 121 310 36K 255

View Details

宝玉 @dotey

3 years ago

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

Andrej Karpathy @karpathy

3 years ago

New YouTube video: 1hr general-audience introduction to Large Language Models youtube.com/watch?v=zjkBMF… Based on a 30min talk I gave recently; It tries to be non-technical intro, covers mental models for LLM inference, training, finetuning, the emerging LLM OS and LLM Security.

534 3K 17K 5.1M 11K

75 1K 3K 1.1M 3K

View Details

Phoenix Lee @locsic

3 years ago

@Amemmmm 加油👏

0 0 2 38 0

View Details

AI Will @FinanceYF5

3 years ago

Y Combinator 一直在悄悄建立一系列令人难以置信的 AI 初创公司。下一波人工智能产品即将改变世界。这里有 10 家新的 YC 人工智能公司值得关注（W23）我们来一起看看他们的Demo：

90 520 1K 336K 1K

View Details

宝玉 @dotey

3 years ago

如何借助大语言模型对一本13万tokens的长篇小说生成摘要？今天把 @lxfater 推荐的这个视频仔细看了一下，作者关于Langchain的系列视频都做的非常棒。视频介绍了几种常用的对文本生成摘要的方法，其中最值得学习的是对长篇小说的总结方法，因为他示例的完整的小说内容一共有13万tokens，GPT4-32K也只能到3万多tokens，另外价钱也不会便宜，至少要5美元起。所以他先对小说内容拆分，拆成78个小文档，然后对这些小文档借助Embedding转成向量，再对向量进行聚集，把相似的小文档放在一起。聚集算法用的是K-means，并且按照他的实验，11个聚集相对是一个效果比较好的数字。另外他还做了一件很酷的事情就是把OpenAI的1536维向量数字变成了2维的数字，然后78个文档的向量二维化后，变成了二维坐标上的点，再按照各自所属的聚集标注出颜色，就可以清楚的看到文档的位置和相互关系，效果很酷。接着在每一个聚集中，按照向量值找出离质心位置最近的文档作为代表，并按照编号排序，这样可以确保摘要时顺序是对的。然后把这11个小文档放在一起分别用GPT3.5生成摘要，最后得到了一个4K tokens的摘要数组，最后把摘要数组拼一起给GPT-4生成最终摘要，最终摘要效果还不错。油管视频：youtube.com/watch?v=qaPMdc…

49 156 522 126K 377

View Details

ashu @ashu_mest

3 years ago

掌握 prompt 的关键在于深入理解，而非堆积大量低质量的模板。相信我，多数模板对你来说不实用，且用起来不顺手。掌握 prompt，读这两份 OpenAI 文档即可 - 8 项 prompt 最佳实践 - prompt 的常见示例 help.openai.com/en/articles/66…

34 249 861 72K 470

View Details

Damon Chen @damengchen

3 years ago

Just tried headshotpro.com 🔥 Looks like the job of a photographer might become a thing of the past soon!

222 1K 9K 2.0M 7K

View Details

Phoenix Lee @locsic

4 years ago

时隔28年再进4强，祝贺女篮⛹️‍♀️

0 0 1 0 0

View Details

Phoenix Lee @locsic

4 years ago

还记得你何时加入 Twitter 吗？我知道！#我的Twitter周年纪念日

0 0 0 0 0

View Details

Phoenix Lee @locsic

4 years ago

@miaowuwumiao 像个男孩

1 0 0 0 0

View Details

Phoenix Lee @locsic

4 years ago

Roger Waters 人间清醒

0 0 0 0 0

View Details

Phoenix Lee @locsic

4 years ago

@CJie 同意，看得我都睡着了

0 0 1 0 0

View Details

Phoenix Lee @locsic

4 years ago

@jerrymice 真是难过😫

0 0 1 0 0

View Details

Phoenix Lee @locsic

5 years ago

漂亮

0 0 0 0 0

View Details

Phoenix Lee @locsic

5 years ago

@Cathy21CN 赞👍

0 0 0 0 0

View Details

Phoenix Lee @locsic

5 years ago

Tesla最新的V11版升级，UI设计绝对是脑残，我都怀疑设计师没有开过Tesla的车，核心功能和状态信息居然都塞到二级或三级菜单了，各类功能的访问率难道没有数据统计吗，有意识的牵引和塞💩能一样，尼玛facebook出来的UI就是不行

0 0 0 0 0

View Details

Phoenix Lee @locsic

5 years ago

为啥《黑寡妇》里，寡姐的身材不忍直视呢，又矮又胖还腿短？寡妹就更不用说了，简直就是个矮胖子

0 0 0 0 0

View Details

瞎玩菌 @Blind___Gamer

5 years ago

分享一个实用到炸的公共网站中国法律服务网 ai.12348.gov.cn/pc/ ✨特点： - 中国司法部出品 - AI 提供免费法律咨询，出具智能法律意见书，历史满意度 90% 以上 - 覆盖婚姻、收养、继承、交通事故、借贷等你能想到的所有问题 - 可以请律师、办公证、求法援、找调解、寻鉴定 - 支持无障碍浏览