
如何让人工智能从屏幕中走出来,成为我们可以物理接触和互动的东西?这个问题是麻省理工学院课程4.043/4.044(交互智能)的核心基础。该课程专注于设计一类新型的AI驱动交互物体,即大语言模型物体(LLOs)。这些物理界面将大语言模型扩展到现实世界中,其行为可以针对特定的人或应用而特意生成,交互方式也能从简单逐步演进为更复杂的形式——为新手和专家用户提供有意义的支持。
麻省理工学院建筑系副教授、设计智能实验室主任马塞洛·科埃略表示,虽然这些新型智能形式功能强大,但仍然对语言之外的世界缺乏了解。它们缺乏对物理环境、身体体验和社会关系的实时、上下文理解。相比之下,大语言模型物体具有物理位置,能够与物理环境进行实时互动。这门课程旨在弥补这一差距,并为AI时代开发一种新的设计学科。
学生雅各布·佩恩和艾亚·马哈茂德受到了1969年霍尼韦尔316厨房电脑的启发,这台电脑由美国高档百货公司尼曼·马库斯公司销售,价格为10000美元,但没有销售记录。他们设计的设备名为"厨房宇宙"(Kitchen Cosmo),是一台"食谱生成器"。
开发"厨房宇宙"的过程中,学生们面临的一个挑战是促使大语言模型能够始终认识到真实的烹饪参数,例如加热、计时或温度。他们需要让大语言模型识别风味特征和香料,使其准确反映世界各地不同地区和文化的菜肴,以支持更广泛的菜系。故障排除包括品尝"厨房宇宙"生成的食谱,而不是每一个早期食谱都能产生赢家菜肴。
学生们对设备进行了微调,以适应人们准备餐点的无数方式。这是早餐、午餐、晚餐还是零食?你的烹饪水平如何?你有多少餐食准备时间?你会做多少份?学生们还编程设置了饮食偏好,以及你想要达到的心情或氛围。你是感到怀旧还是想庆祝?这些都可以通过转盘进行调整。
与大多数倾向于隐形的AI交互不同,佩恩和马哈茂德希望他们的设备在厨房中更像是一个"伙伴"。触觉界面经过精心设计,以构建交互的结构,让用户可以物理控制AI的反应方式。
完成电子工作后,学生们用纸板设计了一系列模型,最终选定了最终外观,佩恩将其描述为"复古风格"。外壳在3D建模软件中设计并打印。作为对原始霍尼韦尔电脑的致敬,他们将其涂成红色。
"厨房宇宙"是一台身高约18英寸的薄矩形设备,配有一个活动铰链的网络摄像头,可以扫描放在柜台上的食材。它将这些食材转换为考虑到大多数家庭中常见的常用香料和调料的食谱。集成的热敏打印机会打印出可以撕下来的食谱。食谱可以存储在其底座上的塑料容器中。
虽然"厨房宇宙"在设计杂志中引起了不少关注,但两名学生都对这个项目的未来迭代充满了想法。佩恩希望看到它"利用我们在厨房中拥有的大量数据,并使用AI作为调解人,为如何改进你当前正在烹饪的菜肴提供建议"。
马哈茂德正在研究如何为她的论文优化"厨房宇宙"。同学们也给出了升级其能力的反馈建议。一个建议是提供多人说明,为完成食谱所需的任务分配给多个人。另一个想法是创建一个"学习模式",在这个模式中,一个厨房工具(例如削皮刀)被放在"厨房宇宙"面前,它会提供如何使用该工具的说明。马哈茂德还一直在研究食品科学历史。
"我想更好地理解如何训练AI完全理解食物,以便它可以根据用户的喜好定制食谱,"她说。
马哈茂德从地质学专业开始她的麻省理工学院教育,后来转向设计,这对她来说是一次启示。每节设计课都令人鼓舞。科埃略的课程是她第一节包括与AI设计的课程。参考经常被提及的麻省理工学院学生的比喻"喝不完的消防栓",马哈茂德说这门课程为她在产品设计方面的职业生涯指明了方向。
"在那堂课里,我第一次感到自己终于尽可能地吸取知识,而没有感到不知所措。我看到自己长期从事设计工作,这是我之前对技术不会说的事情。"
Q&A
Q1:什么是大语言模型物体(LLOs),它与普通的大语言模型有什么区别?
A:大语言模型物体(LLOs)是将大语言模型扩展到现实世界中的物理界面。与普通的大语言模型不同,LLOs具有物理位置,能够与物理环境进行实时互动。它们可以感知真实的上下文、物理环境、身体体验和社会关系,从而实现更加智能的交互。
Q2:厨房宇宙(Kitchen Cosmo)具体是如何工作的?
A:厨房宇宙是一台约18英寸高的红色复古设备,配有网络摄像头可以扫描柜台上的食材。它通过识别这些食材,利用大语言模型生成考虑烹饪参数(如加热、计时、温度)和饮食偏好的食谱。集成的热敏打印机打印出食谱供用户使用。
Q3:大语言模型在烹饪应用中面临哪些挑战?
A:大语言模型在理解真实烹饪参数、风味特征和文化差异方面存在困难。它需要对人类口味有根本的理解才能创建好的食谱。此外,理解主观形容词(如怀旧、庆祝)并将其转化为食谱建议也是一个挑战。