OpenAI 宣布部分解除 ChatGPT 无法联网限制，引入插件策略，在应用上将带来哪些实际影响？

现在的ChatGPT，已经变成了一个无所不包的生态系统。虽然很多应用尚在早期，还待探索，但ChatGPT能拓展的疆域，可以说是无限的。

李飞飞高徒、英伟达AI科学家Jim Fan激动地说，如果说曾经ChatGPT的横空出世可以看作「iPhone的出现」，今天第三方插件的集成，就是「iOS App Store」级别的事件。

咱们来看看，ChatGPT现在的能力有多惊人。

首先我们需要安装一波插件。

紧接着，就可以提问了。

比如，「我正在旧金山，这个周末想吃素食，能不能建议下，我周六去哪家参观，周日按什么食谱做菜？请用WolframAlpha计算出食谱的热量，最后在Instacart上订购食材。」

所有你需要的信息，立马完美呈现。

食谱出来后，它立马贴心地帮你在购物网站Instacart上下单，需要什么食材，ChatGPT已经帮你选好了。你需要做的，就是付个账。

能上网、会代码、擅分析，OpenAI诚意满满

ChatGPT官方提供的插件，可以分为三大类：

• Web浏览器：在循环中添加必应搜索
• 代码解释器：在一个沙盒和防火墙的执行环境中添加一个实时的Python解释器
• 检索：对个人和组织文件进行语义搜索

Web浏览器

OpenAI做的第一款插件Web浏览器，可谓是诚意满满。

这一插件会利用新必应的API，在互联网上搜索问题的相关信息，然后给出具体答案。

比如你可以问ChatGPT：「今年奥斯卡获奖电影的票房和最近上映的电影相比，谁高谁低？」

它就会立刻上网进行搜索，然后给出答案。显然，这是它以前无法做到的事。

此外，ChatGPT还会根据查询的内容，判断是否需要给出必应的接口。

然后，我们就可以通过答案中的索引，跳转到具体的链接了。

虽然这个功能必应也能做到，但ChatGPT的插件不止能检索实时信息，还能绑定API，直接执行操作。

打个比方，必应可以告诉你航班和酒店，但ChatGPT能直接帮你订航班和酒店了！

这个浏览功能，使用的是必应的搜索API，微软在两方面下了大功夫：

（1）保证信息来源的可靠性和真实性；
（2）开启「安全模式」，防止检索不适当的内容。插件在一个孤立的服务中运行，因此ChatGPT的浏览活动与其他部分是分开的。

所以，有了这一插件，你还会用必应吗？

目前，OpenAI从安全角度考虑，允许这个插件只支持GET请求，不支持POST。这意味着，它只能获取数据，却不能发送。

此外，OpenAI还做了一些爬虫限制，配置为robots.txt文件，以避开禁止抓取的内容。

如果在使用过程中出现「点击失败」，是正常的。

代码解释器

昨天，GitHub发布了一个基于GPT-4的代码生成工具GitHub X，已经让许多码农遭到降维打击。

而这次，OpenAI推出的「代码解释器」编程插件，动嘴编程序更强了。

目前，这一插件用的是处于实验阶段的ChatGPT模型。

该模型被放置在了一个受防火墙保护的沙盒中，并会分配一些少量的临时磁盘空间。

另外，在用户进行交流对话时，代码会被保存在会话中，可以随时调用。

这款解释器有几个特别的用例：

1. 解决定量和定性的数学问题；

2. 进行数据分析和可视化；

3 .快速转换文件格式。

随着这款插件的使用人群增加，OpenAI鼓励用户多进行尝试，挖掘出代码解释器更多的功能。

借助这个代码解释器，我们就能ChatGPT实现各种无敌的功能了！

比如，让ChatGPT编辑视频——只要给出一个指令，ChatGPT就会对上传视频文件进行处理，稍等片刻之后，就可以直接下载了。

没错，就是这么炸裂。

检索

此外，OpenAI开源了知识库检索插件的代码，允许用户托管他们自己的数据，并使其在ChatGPT内部可访问。

检索插件库的地址：https://github.com/openai/chatgpt-retrieval-plugin

这一插件可以从数据中获取最相关的文件片段，如文件、笔记、电子邮件或公共文档。

在此，开发者可以部署自己的插件版本，并在ChatGPT注册。通过嵌入OpenAI，允许开发者选择一个矢量数据库（Milvus、Pinecone、Qdrant、Redis、Weaviate或Zilliz）对文档进行索引和搜索。

与此同时，这些信息源可以使用webhooks与数据库同步。

「Chat Store」来了

除了自家的插件外，OpenAI这次还发布了11款第三方插件：

其中，第一批插件由Expedia、FiscalNote、Instacart、KAYAK、Klarna、Milo、OpenTable、Shopify、Slack、Speak、Wolfram和Zapier创建。

这些插件涵盖了实时信息检索、订机票、在线点餐、交通导航、企业办公、流程优化等功能。

没错，ChatGPT全宇宙里，一家子就是要整整齐齐。

此外，OpenAI还鼓励开发者一起做插件。然而，这个权限不是人人都有的，需要一个「入场劵」。

你首先需要先加入waitlist申请，申请时最好填上个人GitHub地址。这也是OpenAI用来判断开发能力的标准之一。

创建一个插件需要三个步骤:

- 构建 API

- 使用OpenAPI yaml或JSON格式记录API文档

- 创建一个JSON清单文件，定义插件的相关元数据

理工科神器Wolfram|Alpha

而且，Wolfram|Alpha插件的注入，让「数学菜鸡」ChatGPT也有翻身的机会了。

此前，人们就发现ChatGPT做「鸡兔同笼」的题总是出错。这引起了Wolfram语言之父Stephen Wolfram的注意。

当时，Wolfram就曾提出要解决ChatGPT的数学短板，方法便是结合进自己的Wolfram|Alpha知识引擎。

作为一个在线自动问答系统，Wolfram|Alpha不仅具备强大的结构化计算能力，而且也能理解自然语言。

这不，历经2个半月，ChatGPT已经获得了「Wolfram的超能力」。

让我们看一看ChatGPT的计算超能力。

1月份，Wolfram曾用ChatGPT演示的简单例子「从芝加哥到东京有多远」生成结果不是正确的。

加入插件后，ChatGPT的能力立刻增强了，不仅生成了正确的结果，而且给出了可视化的图片。

这是如何实现的？ChatGPT为W|A构建一个查询系统，然后将其发送到 Wolfram|Alpha 进行计算，然后根据读取到的结果「决定要说什么」。

你可以通过点击「使用Wolfram」框来查看这个前后过程 (通过查看这些信息，你可以确认ChatGPT没有「编造任何东西」) 。

同样的，此前Wolfram就注意到，ChatGPT只是「捏造」了看似合理 ，但却是错误的数据。

输入的prompt如下，在调用了Wolfram插件后，ChatGPT输出了一个正确且权威的答案。

我们甚至还能用ChatGPT做出图表。

Wolfram还给了一个全景图，你能用ChatGPT+Wolfram|Alpha能做的事情，可太多了。

大佬们都炸了！直呼ChatGPT是宇宙中心

几个小时前，ChatGPT之父直接翻出2022年4月曾说的话：「我们需要为这种新的计算机界面命名，用自然语言告诉计算机你想要什么，然后直接让它们执行操作。大家有想法吗？」

或许在那时，ChatGPT Plugins的想法就已经在他的脑海中酝酿了。

OpenAI的首席科学家Andrej Karpathy表示：

GPT类模型是一种运行在文本上的新型计算机架构，它不仅可以与我们人类交谈，也可以与现有的软件基础设施「交谈」，API是第一步，插件是第二步。

我们所处的时代也太炸裂了……

「如果把OpenAI比作苹果，那GPT-4就是iPhone，ChatGPT则是iOS，而这次发布的Plugins就是App Store了。」

而国内网友立马就设想出了一系列应用场景——现在可以用ChatGPT预定酒店航班、点外卖、网购了，而这些插件最擅长的就是Marketplace，现在，ChatGPT是真成宇宙中心了吧……

欢迎关注新智元，了解人工智能最新动态~

变天了。

都说 ChatGPT 是 AI 的 iPhone 时刻，那么插件就是 ChatGPT 的 App Store 时刻，这是最精准的比喻。

ChatGPT 真的要颠覆所有行业的玩法了，OpenAI 让人兴奋又绝望。

今天一早，我们高强度讨论了很多这个玩意，想象力巨大，越想越头皮发麻。

简单来说，插件补上了 ChatGPT 最后的短板。ChatGPT 的强大已经不需要反复赘述和证明了，但它的缺点非常致命，那就是没有实时的信息，容易胡编乱造，给出错误答案。

现在，一是解决联网问题，解决信息问题；二是赋能更多行业，带来更多可能性和玩法。

这意味着，ChatGPT 不再是一个单独的对话框，而是有可能成为一个真正的生态环境了。

生态有多重要？看看 App Store 对 iOS 的帮助，看看小程序对微信的帮助。

ChatGPT的弊病在于对事实性问题胡编乱造，如果OpenAI官方与这些平台的官方合作，在ChatGPT的能力基础上，有针对性地精准回复准确有效的真实信息，算不算颠覆行业玩法？会不会服务普罗大众？提高工作生活的效率？

看看首批放出来的官方示例吧：

覆盖了出行、财税、购物、住宿/打车、翻译……

最重要的还有两个：数学和 Zapier。

Wolfram 不用我介绍了，解决数学能力的短板。

更重要的是这个 Zapier 啊朋友们，用过 Zapier 的都知道这是用来干什么的……是用来跨 App 数据传递和自动交互的……这个太能激发想象力了，可做的事情可太太太太太多了……

ChatGPT 就要创造一个新宇宙了……

以上。