字节豆包大模型团队提出稀疏模型架构,推理成本最高可降低83%
《科创板日报》12日讯,据豆包大模型团队消息,字节跳动豆包大模型Foundation团队近期提出UltraMem,一种同样将计算和参数解耦的稀疏模型架构,在保证模型效果的前提下解决了推理的访存问题。据介绍,该架构有效解决了MoE推理时高额的访存问题,推理速度较MoE架构提升2-6倍,推理成本最高可降低83%。
快科技2月3日消息,《黑天鹅》一书的作者、著名风险分析师纳西姆·塔勒布(Nassim Taleb)认为,英伟达股价暴跌或仅是更大灾难的开端。 近日,塔勒布在迈阿密对冲基金周上向媒体表示,英伟达接下来的跌幅可能会是1月27日周一(17%下跌)的两到三倍。 他表示,这是人们适应现实的开始,并补充说,英伟达的股票表现不再完美无缺,而且已经开始出现裂痕。 抛售发生之际,投资者担心美国顶级科技股可能被高估,尤其是在人工智能领域。 勒布将这种情况与1999 年的互联网泡沫进行了比较,称早期的互联网投资者押注AltaVista(当时全球最知名的搜索引擎公司)——只是谷歌后来脱颖而出并占据主导地位。 他指出,市场现在已经意识到英伟达并非绝对永远上涨,之前被忽视的风险逐渐暴露。随着AI开发成本的降低,企业可能会减少对高价芯片的依赖,或转向定制化解决方案,这将进一步冲击英伟达的营收预期。投资者对英伟达乃至西方科技股的信心动摇,可能引发更大规模的抛售。 今年1月,中国人工智能初创企业深度求索公司发布最新开源模型R1,打破人工智能开发“越大越好”迷思。 据美国市场观察网站报道,英伟达公司市值在过
快科技2月2日消息,最快的N卡和最快的A卡跑DeepSeek谁更快?最新消息显示,RTX 5090在DeepSeek R上的推理性能比AMD的 RX 7900 XTX快得多,性能至少翻了一倍。 测试显示,在多个DeepSeek R1型号中,RTX 5090明显领先于RX 7900 XTX,也比RTX 4090快了不少。 在Distill Qwen 7b和Distill Llama 8b模型中,该RTX 5090每秒可运行200个Tokens,几乎是RX 7900 XTX 的两倍。 1月31日,NVIDIA宣布,NIM已经可以使用DeepSeek-R1。NIM,即NVIDIA Inference Microservices,是一种云原生微服务技术,可简化生成式AI模型在云端、数据中心及GPU加速工作站上的部署流程 NVIDIA官网发布文章指出,DeepSeek-R1是最先进的推理开放模型,会对查询进行多次推理处理,使用连锁思维、共识和搜寻方法来生成最佳答案。 文章写道,为了帮助开发者安全地试验这些功能,并构建自己的专门代理,DeepSeek-R1模型现已作为NVIDIA NIM
开源工具
SVFR 是一种用于人脸视频修复的统一框架,支持BFR、着色、修复等任务以及它们在一个内聚系统中的组合。 SVPR 由厦门大学和腾讯优图实验室推出,能够实现很好的视频人脸修复效果。 我们截取了一些使用SVPR的例子。就例子来看,SVFR还能通过绘制蒙版去除视频中的水印,非常适合用来修复老旧的黑白色彩、低分辨率或是包含水印的视频。
显卡市场
NVIDIA 于今天发布 RTX 50 系列显卡。银杏AI第一时间整理了相关参数数据,附上 RTX 5090 D 的数据和 RTX 4090 的数据作为对比。 具体参数如下表。其中 RTX 5090 拥有 3352 TOPS Tensor Core 算力,约为 4090 的 2.5 倍。RTX 5090使用 GDDR7 显存,显存大小为 32GB。RTX 5070 Tensor Core 算力约为 4070 的两倍,显存带宽约为 4070 的 1.3 倍。 NVIDIA
显卡市场
快科技1月7消息,2025 CES消费电子展(1月7日至10日,美国拉斯维加斯)开幕在即。北京时间1月7日 (星期二)上午10:30,NVIDIA举办主题演讲,CEO黄仁勋担任主讲。 黄仁勋身着新皮衣亮相,一点也不废话,上来就公布了RTX 50系列Blackwell显卡的价格,一共四款: RTX 5090售价1999美元、RTX 5080 售价999美元、RTX 5070 Ti售价749美元,RTX 5070售价549美元。 其中,RTX 5080将于1月21日率先上市。 怎么样,惊不惊喜,意不意外? 公布价格之前,黄仁勋还特别提到了RTX 4090的价格。去年它的首发价是1599美元,而如今RTX 5070用549美元,就可以提供和4090相媲美的性能。 以RTX 5090售价1999美元的价格来看,折合人民币是1.46万元左右,国内大家可以猜猜。 规格方面,这一代RTX 50系列带来了重大的硬件升级,包括 PCle
开源工具
ZLUDA 允许在非 NVIDIA GPU 上运行未经修改的 CUDA 应用程序,由 Andrzej Janik 发布,于 2020 年首次出现,起初它支持 Intel 显卡,CUDA 被称为 Nvidia 在人工智能领域的护城河,是人工智能生态中的重要一环。 然而,ZLUDA 于 2021 年 2 月从 GitHub 上被下架,Janik 的理由是“私人原因”。这与英特尔和 AMD 有关。当 Janik 第一次开始开发 ZLUDA 时,他是英特尔员工,正在内部游说公司采用它。英特尔要求 Janik 在评估该项目时取消该项目,但正如开发人员所说,“英特尔认为没有在英特尔 GPU
显卡市场
Steam 每月进行一次调查,收集客户正在使用的电脑软硬件种类的数据。 在2024年12月硬件和软件调查中,显卡的使用率为:英伟达 75.43%、AMD 16.52%、英特尔 7.72%。
显卡市场
根据两位爆料者 kopite7kimi 和 hongxing2020 的说法,NVIDIA 的 GeForce RTX 5090 和 RTX 5080 将分别具有 575 W 和 360 W TDP。此前有传言指出,这些 GPU SKU 配备 600 W 和 400 W TGP。 kopite7kimi 此前还爆料了以下数据 GeForce RTX 5070 PG146/147-SKU70 GB205-300-A1 6144FP32 192-bit GDDR7 12G 250W GeForce RTX 5070 Ti PG147-SKU60 GB203-300-A1
AI资讯
【深圳,2025年1月3日】深圳元始智能有限公司(以下简称“元始智能”)宣布已于 2024 年 12 月 25 日走完工商变更,成功完成数千万级人民币天使轮融资,本轮投资方为天际资本。此次融资将为元始智能加速生态发展、增强技术实力以及推出更多面向 C 端的 AI 应用提供有力支持。 RWKV是国产开源的首个非Transformer架构的大语言模型,最初由彭博(Bo Peng ,BlinkDL)提出,结合了RNN和Transformer的最佳特性,具有线性注意力的特点。2023 年 9 月 20 日,RWKV 开源项目正式加入 Linux 开源基金会。 资本市场持续认可,一年内完成两次融资 元始智能成立于 2023 年 6 月,是一家专注于研发大模型架构和 AI 应用的高新技术企业。作为在人工智能领域迅速崛起的新兴力量,元始智能凭借其创新的技术和清晰的发展战略,
据彭博社1月3日报道,Canyon Bridge Capital Partners 已聘请 Lazard Inc. 为芯片设计公司 Imagination Technologies 寻找买家。 据知情人士透露,这家与中国国有投资者有联系的私募股权公司认为,它可以获得比 2017 年为 Imagination 支付的 5.5 亿英镑(6.81 亿美元)更多的资金。拥有这家芯片制造商的 Canyon Bridge 基金的固定期限即将结束。
近日有消息称 Imagination Technologies 的首席执行官 Simon Beresford-Wylie 因该公司将关键技术转让给中国而辞职。 在他离职之前,有报道称,开发用于军事系统的先进人工智能的中国工程师获得了 Imagination 的设计。 Imagination 发言人表示,Beresford-Wylie 将在 2025 年年满 67 岁,并且一直在考虑他的退休计划。他已承诺在找到继任者之前继续留任,尽管尚未确定具体的离职日期。 2017 年,Imagination 被中国支持的投资公司 Canyon Bridge Capital 收购,导致其从伦敦证券交易所退市。2024 年 12 月的报告显示,该公司将先进的 GPU 知识产权使用权出售给了壁仞科技和摩尔线程,这两家公司都被列入美国贸易黑名单。 Imagination 表示,它一直遵守出口法律,从未将其技术出售用于军事用途。它还否认核心资产被转移到中国。 Imagination 是一家英国半导体公司,其主要业务是设计PowerVR移动图形处理器(GPU),网络路由器(
ScriptViz 由斯坦福大学 Anyi Rao 等人发布,用以辅助编剧剧本创作过程。 具体来说,用户通过 ScriptViz 以下操作: 1. 输入剧本: * 用户在界面的文本框(A)中输入剧本。 2. 添加属性控制: * 用户在属性控制(B)组件中添加SQL代码,以指定剧本中固定和可变的视觉属性。这些属性可能包括场景设置、角色特征、时间等。 3. 提交查询: * 用户点击提交按钮(C),ScriptViz 将根据用户输入的剧本和属性检索相应的电影场景。 4. 获取可视化输出: * ScriptViz 提供可视化输出(D),包括不同电影场景的图像,每个场景包含一个建立镜头的概览和剧本中每行对话对应的图像。 5. 迭代剧本: * 编剧可以根据S
据X用户 TTPlanet 报道,该脚本将需要 16GB 显存,仅使用图像输入来训练视频 Lora。 @Kohya released the training code for Hunyuan Video. It will allow 16GB VRAM Graphic card to train video Lora with image input only. Due to there is no GUI, and with a lot of job to setup. I have made a package
自GPT4以来,OpenAI不再公布GPT系列模型的参数量,然而这并不能阻止人们对这一系列模型技术细节的好奇。 微软发表在arxiv中的一篇论文MEDEC: A BENCHMARK FOR MEDICAL ERROR DETECTION AND CORRECTION IN CLINICAL NOTES中透露了OpenAI闭源模型的参数量。其中包括几个不同版本的GPT-4模型: GPT o1-preview约300B参数,GPT-4o约200B,GPT-4o-mini约8B 另外还有o1 mini 和 o1 preview 版本,分别拥有约100B和300B参数。 不过该论文也提到多个LLMs(例如GPT、Gemini 2.0 Flash)的具体参数数量尚未公开。大多数参数的数量都是估计的,以便为理解模型的性能提供更多背景。也就是说这个数据可能并不真实。不过就编者的经验和这些模型的具体表现来看,这个数据较为可信。
以下是2025年一月nvidia显卡AI算力数据,数据采集于英伟达官网。 40 系 显卡型号 Shader Core (TFLOPS) Tensor Core (AI TOPS) RTX 4090 83 1321 RTX 4090 D 74 1177 RTX 4080 SUPER 52 836 RTX 4080 49 780 RTX 4070 Ti SUPER 44 706 RTX 4070 Ti 40 641 RTX 4070 SUPER 36 568 RTX 4070 29 466
ExtractThinker 是一款灵活的文档智能工具,它利用大型语言模型 ( LLMs ) 从文档中提取结构化数据并进行分类,其功能类似于 ORM,可实现无缝文档处理工作流程。 该工具支持PDF、图片、表格等多种格式,可以自定义提取规则、自动分类、自动判断文件类型,并根据不同的类型提取不同的信息。支持异步处理大文档,批量处理多个文档。 关键特性 * 灵活的文档加载器:支持多种文档加载方式,包括Tesseract OCR、Azure表单识别器、AWS Textract、Google文档AI等。 * 可定制的提取:使用Pydantic模型定义自定义提取,以实现精确的数据抽取。 * 高级分类:使用自定义分类和策略对文档或文档部分进行分类。 * 异步处理:利用异步处理高效管理大型文档。 * 多格式支持:无缝处理各种文档格式,如PDF、图像、电子表格等。 * ORM风格交互:以类似ORM的方式与文档和语言模型(LLM)交互,以便直观开发。 * 分割策略:实施惰性或急切的分割策略,以逐页或整体处理文档。 * 与LLM集成:轻松集成不同的语言模型提供商,如OpenAI、
Story-Adapter 是 Github 上的开源项目,能够根据故事提供一致性的可视化。 作者在Story-Adapter项目页面上这样介绍: 故事可视化,即基于叙述生成连贯图像的任务,随着文本到图像模型的出现,尤其是扩散模型,已经取得了显著的进步。然而,在长时间的故事可视化中(例如,多达100帧),保持语义的一致性、生成高质量的细粒度互动以及确保计算上的可行性仍然是具有挑战性的。在这项工作中,我们提出了一种无需训练且计算效率高的框架,称为Story-Adapter,以增强长故事的生成能力。具体来说,我们提出了一个迭代范式来优化每个生成的图像,该范式既利用了文本提示也利用了前一次迭代中生成的所有图像。我们框架的核心是一个无需训练的全局参考交叉注意力模块,它汇总了前一次迭代中生成的所有图像,以在整个故事中保持语义一致性,同时通过全局嵌入最小化计算成本。这个迭代过程通过反复融入文本约束逐步优化图像生成,从而实现更精确和细粒度的互动。广泛的实验验证了Story-Adapter在改善语义一致性和生成能力方面,特别是在长时间故事场景中的优越性,对于细粒度互动尤为如此。 从
Nvidia 完成了对 Run:ai 的收购,这是一家软件公司,它使得客户更容易编排用于人工智能的 GPU 云服务。Nvidia 表示将会开源该软件。 虽然收购价格未公开,但据报道当 Nvidia 在四月首次宣布其有意完成这笔交易时,价格被定为7亿美元。Run:ai 在其网站上发布了这一消息,并同样表示 Nvidia 计划将软件开源。Run:ai 的软件能够远程调度 Nvidia GPU 资源以在云端运行 AI 应用。 两家公司均未解释为何要将 Run:ai 平台开源,不过原因可能不难理解。由于 Nvidia 成为了全球第一大 AI 芯片制造商,其股价飙升至3.56万亿美元,成为世界上最有价值的公司。这对 Nvidia 来说是好事,但这也让其难以进行收购,因为会受到反垄断审查的影响。 Nvidia 的发言人仅在声明中表示,