微软的 Copilot 现在可以浏览网页并为您执行操作

微软为其50岁生日,教AI驱动的Copilot聊天机器人一些新技巧。

微软表示,Copilot现在可以在“大多数网站”上采取行动,使其能够预订机票、预订餐厅等等。该机器人已经具备记住与您有关的特定事项的能力,类似于OpenAI的ChatGPT,比如您喜欢的食物和电影。它还可以分析手机上的实时视频,并在所“看到”的情况下回答问题。

升级的同时,据称微软正在考虑对Copilot进行改版,该机器人历来由OpenAI的AI模型提供动力,而现在更多地采用自家技术。Copilot经常落后于竞争对手ChatGPT和谷歌的Gemini,近几个月他们的功能推出速度只增不减。

截至周五,Copilot可以在网页上完成类似“Agentic”工具的OpenAI的Operator的工作。微软表示,他们与1-800-Flowers.com、Booking.com、Expedia、Kayak、OpenTable、Priceline、Tripadvisor、Skyscanner、Viator和Vrbo合作,以便第一天就可以兼容。输入一个提示——例如“给我的伴侣送花束”——Copilot将尝试帮您完成这个特定的待办事项。

借鉴搜索引擎Perplexity的做法,Copilot现在还可以为您跟踪在线交易。告诉机器人寻找物品的价格下降和销售优惠,它会在它们发生时通知您,并为您提供购买链接。

Copilot在执行各种任务时效果如何目前还不清楚。微软对这项功能工作的细节透露得很少,与一些竞争对手不同的是,并没有发布显示Copilot可能遇到困难或需要人类干预的数据。

可以假设网站也可能阻止Copilot,就像他们能够阻止OpenAI的Operator一样。如果一家公司担心更少的直接访问其应用可能损害其广告收入,他们可能会这样做。

幸运的是,Copilot的其他新功能没有那么模糊,并有潜在的争议。

升级后的Copilot可以生成类似于Google NotebookLM中的Audio Overviews的“播客”。给定一个网站、研究或其他来源,Copilot将在两个合成主持人之间创建一个来回对话。与Audio Overviews一样,您可以在任何时候打断主持人提问,他们会承认并回答。

在Android和iOS上,Copilot现在可以看到手机摄像头中的内容或您的照片库中的内容,并回答相关问题(例如“这是什么奇怪的花?”)。在Windows上,经过改进的Copilot应用程序可以查看您桌面屏幕上的内容,以搜索、更改设置、组织文件等。它将首先在下周开始接受Windows Insider计划成员的使用。

本报道希望已经有合理的保障措施防止Copilot阅读私人文件或犯下破坏桌面的错误。但在截稿前,难以获得相关信息。

此外,Copilot有一个新的项目整合页面功能,受到ChatGPT Canvas和Anthropic的Claude Artifacts工具的启发。Pages将笔记和研究放入一个Copilot可以帮助组织并转换成文档的画布。

与页面类似,Copilot的新Deep Research功能能够从在线来源、文件和图片中找到、分析和结合信息,以回答更复杂的问题,就像ChatGPT Deep Research和Gemini的Deep Research一样。

最后,正如前面提到的,Copilot现在可以记住更多关于您的信息。微软表示,随着您与它互动,这个机器人将会注意到您的偏好,提供“定制解决方案”、“主动建议”和提醒。

如果一个聊天机器人记住您过去对话中的私人细节的前景让您感到不安,微软指出,您可以删除单个“记忆”或完全选择退出。

“Copilot通过用户仪表板和选择记住您哪些信息或完全选择退出的选项来给您控制,”微软在提供给TechCrunch的博客文章中写道。“您始终掌控。”