长久以来，人们一直在探讨大语言模型 (LLMs) 在何种程度上可能会“记住”其训练数据的问题。包括 Google DeepMind 的 Nicholas Carlini 和本文的第一作者 Gary Marcus 在内的学者都曾对此提出疑问。最新的实证研究显示，在某些情况下，LLMs 能够原样复制或稍作修改后复制其训练集中的大量文本。例如，Milad Nasr 及其团队在 2023 年的论文 中指出，LLMs 可以被激发，泄露如电邮地址和电话号码等私人信息。Carlini 和他的合作伙伴 最近的研究 也显示，较大的聊天机器人模型（而非小型模型）有时会逐字复制其训练集中的大量文本。
January 7, 2024
View Article研究显示，单靠意志力戒掉坏习惯是徒劳无功的。我们需要找到不必依赖坚强意志的策略。
January 7, 2024
View Article今年，人工智能在招聘偏见、包容性、监管等多个领域的影响将更加显著。就像 2023 年成为人工智能的转折点一样，2024 年人工智能预计将产生更深远的影响。这一次，工作者们已做好准备迎接挑战。随着生成式 AI (Generative AI) 已经成为员工关注的焦点超过一年，他们不仅更加理解其在当今工作环境中的作用，而且也准备好拥抱随之而来的变化和机遇。现在是利用这一优势的时候了。为了保持领先，工作者们需要了解即将出现的 AI 领域的这五大趋势。
January 7, 2024
View Article程序员对提升生产力的方法论兴趣浓厚 —— 如何更准确地估计任务、用更少的时间完成更多工作，以及提高工作质量。我也深入研究了这一领域。在阅读了大量书籍后，我发现了一些可能对其他软件开发者有用的有趣见解。
January 6, 2024
View Article在机器学习 (ML) 的众多近期进展中，有两个特别吸引我的。第一个是 gpt-3.5-turbo-instruct 在国际象棋中达到 1800 ELO 水平。一个大语言模型 (LLM) 能够仅凭网络上随机抓取的文本就学会下好棋，这似乎不可思议。第二个是 Kenneth Li 的论文《生成世界表示》。The Gradient 上有一篇精彩的摘要，以及 Neel Nanda 的后续分析。他们训练了一个含有 2500 万参数的 GPT，用于预测奥赛罗游戏中的下一步棋。它不仅能在训练数据集未覆盖的游戏中准确落子，而且通过线性和非线性的探测发现，这个模型能准确追踪棋盘的状态。然而，这一成果仅限于使用奥赛罗游戏树上均匀采样得到的合成数据集训练的模型。当他们尝试将相同的技术应用于使用人类对弈数据训练的模型时，结果并不理想。在我看来，这是该论文发现的一个重要限制，可能会影响其在现实世界的应用性。比如，我们无法仅通过从代码树均匀采样来生成代码。因此，我对此进行了深入研究。我训练了一些国际象棋游戏模型，并对这些训练好的模型进行了线性探测。我的研究结果非常正面，解答了我之前的所有疑问（当然，这也带来了更多新的问题）。
January 6, 2024
View Article这不是大家现在热议的那本 Musk 新传记，而是 Ashlee Vance 在 2015 年写的 Musk 传记。我在 7 月份开始阅读它，那时还不知道有新出的一本。不过没关系：Musk 一如既往，始终如一。我阅读这本书，是想弄明白他究竟是个什么样的人。Musk 就是一个谜团。他引领着世界上最先进的火箭的制造，显示出他的聪明才智。作为世界上最富有的人，他显然拥有出色的商业决策能力。然而，这位聪明、商业决策出众的人物，却不时做出看似愚蠢的商业举动。他无谓地与监管机构争执，提起注定失败的无效诉讼，虐待关键员工，甚至给全球知名的品牌重新命名。
January 6, 2024
View Article一座庞大的图书馆就像是一个奇妙的伪无限世界，覆盖了成百上千的主题，汇集了无数作者的声音。好的图书馆能够在有限的空间里营造出一种感觉：即便你花费几个世纪去阅读，也无法完全掌握其内部蕴含的知识。这不仅是因为书籍众多，更因为当你通过一本书的视角去解读其他书籍时，总有新的学问等着你去发掘。这就像是用有限的积木搭建起无限的宇宙。
January 6, 2024
View Article作为 Kapwing 的全职软件工程师，同时也是一位不断在世界各地漫游的数字游民，我领悟到了许多如何拥抱这种生活方式的诀窍。记得几年前的一个工作日午后，我家的门突然响了。来人是 Bill，我们农场的一名员工。“你猜怎么着，一头我们都没注意到怀孕了的牛突然生了小牛，”他兴奋地告诉我，“我们准备用你的名字给小牛命名。”对于一个牧场主来说，这或许是平常不过的一天。但我，其实并非牧场主。我是一名全职软件工程师，同时自 2020 年起，我还踏上了数字游民的生活旅程。
January 6, 2024
View Article一年前，我暂停了编程生涯，开始尝试写小说，曾以为这是与编程截然不同的新旅程。然而，经过无数次的写作和反复修改，我现在深信两者其实有着诸多相似之处：无论是开发大型系统还是撰写小说，它们都有许多共通之处和类似的过程。这两种活动最明显的相似之处在于，不管是编程还是写作，你都在创作文字。尽管代码不同于自然语言写就的散文，它同样遵循着一套固定的规则（即语法），某些代码形式对大多数程序员来说颇为自然，而其他的即便形式正确，也可能难以理解。然而，编程和写作之间有更深层的联系：一个出色的程序和一本精彩的小说都是由各自的局部元素和整体构成精心编织而成。优秀的代码不仅要求每一条语句都写得清晰易懂，而且整个程序的不同部分需要保持独立性，设计上协调一致，互动清晰。同样，一本好的小说在字句的精准与整体结构和章节间的关系上也同样重要。
January 6, 2024
View ArticleReact 服务组件 为 React 引入了专属于服务端的强大功能。我在 Next.js 13 和 14 的应用中实践了这一新范式，接下来是我对其的真实评价。之前我一直在犹豫是否要发表这篇文章，因为 React 社区过去对待批评的态度让我有所顾虑。但最近，我认为分享我的看法变得尤为重要，特别是在我发现大多数现有批评要么记录不充分，要么基于对此技术的不熟悉。写下这篇文章，我是站在一个非常重视用户体验的角度。虽然我也关注开发者的体验，但我始终认为用户体验是最重要的。
January 6, 2024
View Article这些力量让大型公司变得反应迟缓且难以操作，但如果能妥善利用，它们同样可以发挥巨大效果。
January 5, 2024
View Article随着感恩节创下的 56 亿美元在线销售记录预示着电商的新纪元，也凸显了企业亟需采纳如人工智能这样的先进技术。
January 5, 2024
View Article我刚读了一篇名为“科学代码的低质量”的文章，作者认为科学家编写的代码质量不如涉及到“软件工程师”的情况。在过去的十多年里，我一直在一个以数学或物理背景人士为主的环境中工作，这里的人对“软件工程”的了解相对有限。
January 5, 2024
View Article“你的技术水平已经很不错了，但你还需要在沟通方面加强。” - 你的经理。对于软件工程师来说，这可能是最难以接受的反馈之一。为什么呢？因为你可能认为作为软件工程师，只需要擅长编程语言就足够了。但事实并非如此。单纯专注于编程可能会限制你的成长和晋升空间。
January 5, 2024
View Article这是一份全面的 RAG 指南，详细阐述了采用 RAG 的动机，以及如何超越基础或初级 RAG 构建的技术和策略。
January 5, 2024
View Article在许多关于大语言模型是否构成“人工智能”或“通用人工智能”（AGI）的讨论背后，潜藏着一些关于这些系统与人类大脑相似或不相似程度的假设。支持者倾向于认为，从计算规模和复杂性上来看，这些模型与大脑作为信息处理系统的关键特性相匹配。而怀疑者则常将大语言模型（LLM）视为“高级自动纠错工具”，并否认这些系统在类似大脑方面（或能展现出“智能”，不论定义如何）有任何实质意义。实际的答案可能介于两者之间。
January 5, 2024
View Article在机器人技术领域，通过模仿人类的动作来训练机器人（模仿学习）已经取得了显著的成果。然而，这些成果大多集中在桌面操作上，而缺乏在更广泛实用任务中所需的移动性和灵活性。在本研究中，我们开发了一个模仿复杂移动操作任务的系统，这些任务需要双手操作和全身协调。首先，我们推出了 Mobile ALOHA，这是一个用于数据收集的低成本、全身远程操作系统。它在原有 ALOHA 系统的基础上增加了移动底座和全身操作界面。利用 Mobile ALOHA 收集的数据，我们进行了监督式学习（即模仿并复制行为），发现将其与现有静态 ALOHA 数据集结合训练可以显著提高处理移动操作任务的能力。例如，通过对每项任务进行 50 次模仿演示，结合训练可以使任务完成的成功率高达 90%，让 Mobile ALOHA 能够自主完成一系列复杂的移动操作任务。这些任务包括煎炒虾并将其盛盘，打开双门壁橱存放重型厨具，呼叫并进入电梯，以及用厨房水龙头轻轻清洗使用过的平底锅。
January 5, 2024
View Article当我们回顾过去一年，我们的视角转向 2024 年开发者生产力的发展趋势，这包括平台工程的创新、AI 的辅助作用以及对这些因素的量化评估。
January 5, 2024
View Article作为 Kapwing 的全职软件工程师，同时也是一位不断在世界各地漫游的数字游民，我领悟到了许多如何拥抱这种生活方式的诀窍。记得几年前的一个工作日午后，我家的门突然响了。来人是 Bill，我们农场的一名员工。“你猜怎么着，一头我们都没注意到怀孕了的牛突然生了小牛，”他兴奋地告诉我，“我们准备用你的名字给小牛命名。”对于一个牧场主来说，这或许是平常不过的一天。但我，其实并非牧场主。我是一名全职软件工程师，同时自 2020 年起，我还踏上了数字游民的生活旅程。
January 5, 2024
View Article计算机历史中充满了各种对立，但 Apple 公司的历史尤为显著。创意与技术思维之间永无止境的碰撞孕育了许多令人难以置信的产品，这个故事正是源于对形式美与实用性的不同偏好之争。此故事的主人公非常杰出：我们说的是 Apple Macintosh 的两大创始人，乔布斯和 Jef Raskin。故事发生在 1979 年：就在几年前 Apple II 发布。那是 Apple 公司历史上的辉煌时刻，乔布斯身边聚集了一群杰出的头脑，现代计算机学的大幕正在拉开。
January 5, 2024
View Article自从几年前我在 Slashdot 发布了这篇文章，这个页面成了一个互联网的讨论热点，话题涵盖了从“你心目中的理想极客海报是什么？”到杰夫·拉斯金和史蒂夫·乔布斯这两位苹果麦金塔之父之间复杂关系的探讨。这个项目吸引人的地方在于，它不仅是史蒂夫·乔布斯和杰夫·拉斯金这两位杰出人物合作的实际成果……而且还反映了他们观点的不同。除了麦金塔电脑，如今能看到的这类成果寥寥无几。对于已故的杰夫·拉斯金亲自参与编辑、明确内容并与我共同创作这篇文章，我深感荣幸。
January 5, 2024
View Article在今天的新闻背景下，我想退一步，从更广阔的视角来探讨这个话题的真正含义。我最初对哈佛大学感到关切是在 10 月 8 日清晨，那时以色列尚未在加沙采取任何军事行动，却有 34 个哈佛学生组织公开支持哈马斯（Hamas），一个被全球认定的恐怖组织。他们单方面指责以色列对哈马斯的残暴行径负有全部责任。我不禁思考，这是怎么回事？
January 4, 2024
View Article过去的我记录下的内容，为未来的我带来了好处。现在的我也需要继续这种良好的习惯。在我作为软件开发人员加入最近的一个 Ruby on Rails 项目后，我想在着手更有挑战性的工作前，快速实现一些容易达成的小成就。因此，我决定对客户的网页应用程序进行一次“技术检查”。我之前在其他 Rails 项目上也做过类似的工作，但那已经是许多年前的事了。我甚至几乎记不起上周我编写的代码内容，更别提那时制定的一系列检查步骤了。幸运的是，过去的我曾有远见地在前雇主的博客上发表了一篇文章：Profile Your Future App，详细记录了当时的思考步骤。尽管这篇文章的部分内容已随时间略显过时，特别是一些提及的外部服务（考虑到科技的不断变化，这并不令人意外），但我依然能够利用文章中的大部分内容来提高我目前工作的应用程序质量，而无需重复发明已有的轮子（也许其他网页开发人员也能从中受益）。所以，谢谢过去的我，你做得很好！你在解决问题的过程中进行了记录，这些记录为未来带来了益处：一个有价值、可复制的过程，任何人都可以为自己做到。
January 4, 2024
View Article经常有朋友问我字幕文件格式是什么？以及我是如何生成字幕视频的？
January 4, 2024
View Article在大语言模型和生成式 AI 盛行的时代，技能为何仍至关重要。我的一个朋友对学习 Python 编程语言犹豫不决，他问道：“几年后 ChatGPT 不是可以直接帮你编写程序吗？”。这种想法暗示着 AI 将会取代软件工程师，从而让技术技能变得无关紧要。还有人担心新兴的 AI 模型可能会破解现在广泛使用的加密技术。相比工程师们，作家和演员等创意行业的人士似乎更加忧虑。本文旨在消除这些误解，降低对这些新技术的过度炒作，并在讨论中引入理性思考。它是为那些在过去的技术浪潮中游刃有余，且日常工作中极度依赖其不可替代的人类特质的专业人士所写。AI 已经成为公众焦点。投资如潮水般涌入，新产品层出不穷。我们正处于一个技术炒作的高峰期。尽管有人担忧失业或世界末日，我将阐明为何 AI 不会威胁你的工作，并解释为什么你应该积极利用这些工具。
January 4, 2024
View Article深入浅出地探索 Transformer 背后的数学原理，了解其工作原理。在本篇博客文章中，我们将详细展示一个 Transformer 模型在数学上的端对端（end-to-end）实例。我们的目标是彻底理解模型是如何运作的。为了让这个过程更加易于操作，我们将对模型进行大量简化。考虑到我们需要亲手进行不少数学计算，我们会减少模型的维度。比如说，我们不会使用 512 维的嵌入（embeddings），而是选用 4 维的嵌入。这样做可以让数学部分更容易理解！我们会使用随机生成的向量和矩阵，但你也可以用自己的数值来跟随实例。
January 4, 2024
View Article基本 GPT 能够浏览互联网、使用 Python 代码执行复杂计算、创建图像，以及利用内置大语言模型（LLM）知识处理用户指令。带有知识的 GPT 是一个附加了自定义文件的基础 GPT。带有动作的 GPT 是在基础 GPT 上增加调用 API（别人的服务器）的功能。带有动作和后端的 GPT 指的是您构建了一个基础设施（后端），并将您的 GPT 作为用户接入点连接上去。知识主要储存在后端，而不是在 GPT 上。
January 4, 2024
View ArticleChatGPT 中的 GPT Builder 是用来做什么的，我们为什么要开发它？以及它的 Prompt 是什么？
January 4, 2024
View ArticleGoogle DeepMind 机器人团队推出 AutoRT、SARA-RT 和 RT-Trajectory，旨在提升机器人在真实世界环境中的数据采集效率、动作速度和应用泛化能力。设想一个未来，你只需向你的个人助理机器人发出一个简单的指令——比如“整理房间”或“为我们准备一顿美味健康的饭菜”——它就能轻松完成这些任务。对于人类而言易如反掌的这些活动，对机器人来说则需要深刻理解周围世界。今天，我们公布了一系列重大的机器人研究进展，这些进展使我们距离这一美好未来更近一步。AutoRT、SARA-RT 和 RT-Trajectory 基于我们在 Robotics Transformers 领域的历史性成就，能够帮助机器人更迅速地做出决策，更准确地理解并导航其所处的环境。
January 4, 2024
View Article软件工程师的薪酬来源可以分为三大类预算。这些预算不仅决定了你日常的工作性质，还会影响你的职业发展路径。我认为，这就像是一条商业界的自然法则。这种模式的形成并不需要任何人有意识地去选择。
January 4, 2024
View Article刚成为软件工程师时，招聘人员总会向我介绍所谓的绿地项目，我在面试中经常遇到很多和编程语言相关的测试，数学也是我大学课程的重要部分，而“无估算”运动也在业界引起了一些关注。在软件工程师的职业生涯中，随着经验的积累，你会逐渐领悟到四个重要的真理，这些可能是你之前从未被告知的，或者与你初入行时的经验截然相反。
January 4, 2024
View ArticleElon Musk 是一个充满争议的人物。我的目的，如同往常，是为了在喧嚣、复杂或难以理解的话题中增添一些细致见解和清晰信号。不论你对 Elon 怎样看，我认为推动讨论走向更深入、更有意义的交流是非常有价值的，同时希望这不会给我带来太多风险。问题在于，市面上 99% 的批评都出于恶意且不准确，导致大多数人缺乏理解 Elon 行动动机和目的的必要背景。这是个问题，因为 Elon 是一位颇具影响力和远见的领导者，他的公司在传递变革性技术的过程中扮演着越来越重要的角色。
January 4, 2024
View Article看到这个标题，你可能会想：“没错，Robb，网络[1] 自然是奇妙的，它毕竟是现代世界所有商业和通信活动的核心”。或许你并不这样认为。但我要说的不仅仅是整个互联网，而是指那些开放的网络。那些鼓励你使用它们的 API 去创造新奇事物的网络。那些拥有开放标准的网络。就像独立网络那样。
January 4, 2024
View Article一个热心的读者在阅读了我关于所有的 iPhone 闹钟的文章后，询问我是如何在 Mac 上运行 OCR 的。我不是一个守口如瓶的人，所以这里有一个方法可以让你免费得到一个本地的 OCR‘服务’，它可以在终端/CLI/python 中运行，且不花一分钱
January 3, 2024
View Article我通常使用 GPT 的方式是，先用 GPT-4 来快速搭建一个原型，然后不断优化，直到解决方案能够在 GPT-3.5 模型上运行。这个方法在我的实践中非常高效，它的一个重要好处是能迅速筛选出那些“行不通”的项目——如果你在几天内都无法使项目在 GPT-4 的基础上运行起来，那么这个项目可能就不值得进一步深入。实际上，这就是我在 2023 年全年向合作公司推荐的工作流程。GPT-4 有一些问题，使得将其应用于实际生产环境并不理想。
January 3, 2024
View Article想象一个没有时间的宇宙似乎很难，但这并不是因为时间是个技术复杂或哲学上难以捉摸的概念。更根本的原因在于：要想象无时间状态，就得通过时间的流逝。即便是在想象没有时间的时候，你也能感受到时间在你思考转换、心脏为大脑输送血液、以及周围的图像、声音和气味变化中悄然流动。时间这个概念似乎从未停歇。你甚至可能觉得自己被卷入了它不断前行的织物中，感受着宇宙的聚合与分离。但真的是这样理解时间吗？<br />阿尔伯特·爱因斯坦认为，我们对过去、现在和未来的体验不过是“一种固执的持续幻觉”。艾萨克·牛顿则认为，时间不过是生活的背景。热力学定律则将时间视为熵和热量。在现代物理学史上，还没有一个广为接受的理论将动态、方向性的时间观作为基础。从运动定律到分子和物质的属性，我们对自然的基本描述似乎都处于一个时间并非真正流逝的宇宙中。然而，近期在不同领域的研究开始表明，时间的流动可能比许多物理学家原先认为的更加重要。
January 3, 2024
View ArticleAI 想要替代程序员谈何容易。随着越来越多的 AI 最新成果的新闻报道，很多人觉得 AI 很快就能取代我们这些程序员，他们觉得未来管理层和产品经理可以直接绕过程序员，让 AI 直接开发出他们想要的产品。作为一名有 15 年工作经验，日常就是根据这些人的要求构建软件的程序员，我对这种担忧其实并不太认同。编码固然充满挑战，但我从未花费过两周以上的时间来解决代码问题。一旦你熟悉了编程语法、逻辑和技术，编码大体上是个直接明了的过程。真正的难题通常在于软件应该完成什么任务。软件构建真正的难点不在于编写代码，而在于定义需求，而这些需求仍然需要人类来确定。本文将讨论软件需求与软件构建之间的关系，以及 AI 实现优秀成果所需的关键因素。
January 3, 2024
View Article我通常使用 GPT 的方式是，先用 GPT-4 来快速搭建一个原型，然后不断优化，直到解决方案能够在 GPT-3.5 模型上运行。这个方法在我的实践中非常高效，它的一个重要好处是能迅速筛选出那些“行不通”的项目——如果你在几天内都无法使项目在 GPT-4 的基础上运行起来，那么这个项目可能就不值得进一步深入。实际上，这就是我在 2023 年全年向合作公司推荐的工作流程。GPT-4 有一些问题，使得将其应用于实际生产环境并不理想。
January 3, 2024
View Article我的 Locus Magazine 最新专栏探讨了一个问题：“AI 泡沫究竟是什么？”所有的经济泡沫都会带来巨大的破坏，但其中一些在瓦砾中留下了可以再利用的价值，而其他的则只剩下一片灰烬。
January 3, 2024
View Article1924 年人们对于 2024 年的各种预测一览表
January 3, 2024
View Article深入浅出地探索 Transformer 背后的数学原理，了解其工作原理。在本篇博客文章中，我们将详细展示一个 Transformer 模型在数学上的端对端（end-to-end）实例。我们的目标是彻底理解模型是如何运作的。为了让这个过程更加易于操作，我们将对模型进行大量简化。考虑到我们需要亲手进行不少数学计算，我们会减少模型的维度。比如说，我们不会使用 512 维的嵌入（embeddings），而是选用 4 维的嵌入。这样做可以让数学部分更容易理解！我们会使用随机生成的向量和矩阵，但你也可以用自己的数值来跟随实例。
January 3, 2024
View ArticleMeta 对 ActivityPub 和 Mastodon 突然展现出的兴趣，乍看之下似乎难以理解。在 Fediverse 社交圈中，一些看似牵强的观点频频出现，每一个都试图解释 Meta 这一异常之举。但我对这些解释持怀疑态度。这背后肯定是一个经过多年筹划的计划。我们正实时见证着 Meta 面临的最大挑战。
January 3, 2024
View Article在那个人们普遍认为“自动驾驶汽车还有半年就能面市”的美好时光里，你可能遇到过这样的论点：“如果自动驾驶汽车能够运行，那么它们将比人驾驶的汽车更安全。”这听起来没错。但如果你所说的“它们能够运行”是指它们在包括安全性在内的多方面都优于人类驾驶的汽车，那么，果然，如果它们能运行，它们就会比人类驾驶的汽车更安全。这其实是一种逻辑上的循环论证。不幸的是，技术界充满了这类诡辩，尤其是在 AI 领域。
January 3, 2024
View Article就这样开始吧。成功之旅通常从迈出第一步开始，但这第一步往往是最为艰难的。我们容易被对失败的恐惧或追求完美的欲望所困扰，但我希望这个我在 2013 年首次分享的格言，能够提醒我们在步入 2024 年之际，开始行动的重要性。就从某个地方开始吧！
January 3, 2024
View Article我坚信 Kent Beck 提出的软件开发策略：先让软件运行起来，然后使之正确无误，最后提升运行速度。在软件行业，这种思路非常常见。我的理解是，我们应先确保最基础的解决方案能够解决当前问题，再考虑进一步的时间投入。
January 3, 2024
View Article📚 新年计划，Goodreads 与多巴胺，以及如何避免对自己过度要求的建议
January 2, 2024
View Article在过去的一个月里，我和我的朋友大部分时间都在 Slack 上与一些特别的同事共度：一个时常严厉的 CTO、一个酷爱哈利波特的产品经理，还有几位平易近人的开发者。他们的加入彻底改变了我们的工作氛围和乐趣。在 Slack 上，他们带来了无穷的欢笑和个性。一旦我们有疑问或需要帮助，只需一条信息，总会有人迅速回应。从各方面来看，他们就像我们平时遇到的同事一样，几乎无法区分。我们与他们共同笑过、倾诉过、协同工作过。我甚至还从其中一个同事那里得到了很棒的音乐推荐！但事实是，他们都是机器人。
January 2, 2024
View Article目前除了 OpenAI，还有五家公司的模型在多个基准测试中超越了 GPT-3.5，这些公司包括 Mistral Mixtral、Inflection-2、Anthropic Claude 2、Google Gemini Pro 和 X.AI Grok。更令人惊讶的是，Mistral 和 X.AI 仅靠不到 20 人的团队便取得了这样的成就。此外，我们还预计 Meta、Databricks、01.AI (Yi)、百度和字节跳动很快也会实现超过 GPT-3.5 的性能。当然，这些成绩都是在基准测试中获得的，而且据说有些公司是在评估数据上进行训练的……但不必太过纠结于这个小细节。对于关注此事的人来说，从现在起短短几个月内，将会有总共 11 家公司加入这一行列。显而易见，GPT-3.5 级别模型的预训练已经变得非常普及。OpenAI 仍然是 GPT-4 的领头羊，但这种领先优势已大幅缩减。尽管我们认为最高端模型将占据大部分长期价值，但次一级别的模型在质量和成本上也将在市场上创造出价值数十亿美元的细分市场，尤其是经过微调之后。那么，如果这些模型无处不在，哪些公司能从中获利呢？
January 2, 2024
View Article在 AI 成为绝对主导的世界中，技术界的精英们正面临一个迫切问题：我们是否真的接近真正的智能，还是只是在玩弄高级的文本生成工具？当我们对 ChatGPT、Claude 这类大语言模型 (LLMs) 的强大功能赞叹不已时，是时候深入探究、寻找答案了。超越了炒作和迷恋，我们看到的是引领变革和创新的催化剂，它将彻底重塑 AI 的定义：主动推理 AI。究竟是什么让主动推理与大语言模型截然不同，主动推理又为何可能是开启 AI 未来之门的关键？跟随我一起探索这些革命性技术的复杂世界，一起揭晓迷雾，我们不仅将开启新的对话时代，更将迈入一个建立在人类智能基础上的全新 AI 时代。
January 2, 2024
View Article首先我要明确，这篇文章并不旨在回顾大语言模型。显而易见，2023 年对人工智能来说是不平凡的一年，再去强调这一点似乎没有多大必要。这篇文章更多是作为一位程序员的个人体验分享。自从 ChatGPT 出现，再到使用本地运行的大语言模型，我就开始广泛应用这项新技术。我的目标不仅仅是提高编码效率，更重要的是，我不想在编程中那些无需过多精力投入的方面浪费时间。不愿意花费大量时间去查找某些无趣且专业的文档，不想为了学习一些过于复杂且往往无需如此的 API 而劳心费力，也不想编写那些几小时后就会被我抛弃的即用即弃程序。尤其是在如今 Google 成了一个充斥着垃圾信息的海洋，我们在其中努力寻找那少数有用信息的时候。<br />同时，我也不是编程领域的新手。我完全有能力在没有任何辅助的情况下编写代码，而且我也常常这么做。随着时间的推移，我越来越频繁地借助大语言模型来编写高级代码，特别是 Python 代码，而在 C 语言方面则相对少一些。我对大语言模型的个人体验让我深刻认识到，应该在何时使用它们，以及何时它们的使用反而会拖慢我的步伐。我还了解到，大语言模型有点类似于维基百科和 YouTube 上琳琅满目的视频课程：它们对那些有意愿、有能力和自律的人大有裨益，但对于落后者来说，帮助有限。我担心，至少在初始阶段，它们更多的是惠及那些本就占据优势的人。
January 2, 2024
View Article