在人工智能的快速发展中，任务型对话 Agent 正成为提升用户体验和工作效率的关键技术。这类系统通过自然语言交互，专注于高效执行特定任务，如预订酒店或查询天气。尽管市场上的开源框架如 Rasa 和 Microsoft Bot Framework 在对话理解和管理方面已经取得了不错的进展，但仍存在一定的局限性，包括对大量领域数据的依赖、对固定模板的依赖，以及在个性化服务和复杂任务处理方面的不足。 大型语言模型（LLM）的兴起为任务型对话 Agent 的设计和开发带来了新机遇。LLM 强大的语言理解和生成能力，能够有效提高对话系统的准确性和用户体验。得益于这些特点，我们有机会进一步简化任务型对话 Agent 的开发流程，并显著提高开发效率。 本文将重点介绍由 Gluon Meson 平台孵化的创新框架——Thought Agent，探讨如何利用大型语言模型来设计和实现任务型对话 Agent 。该框架已在一家大型银行的智能对话 Agent 项目中得到成功应用。本文旨在为读者提供新的视角，帮助快速构建以 LLM 为辅助的任务型 Agent。
OpenAI 发布的视频生成模型 Sora(https://openai.com/sora)，能根据文本生成长达一分钟的高质量视频，理论上支持任意分辨率，如 1920x1080 、1080x1920 ，生成能力远超此前只能生成 25 帧 576x1024 图像的顶尖视频生成模型 Stable Video Diffusion。 一起公布的，还有一篇非常简短的技术报告，报告大致介绍了 Sora 的架构及应用场景，并未对模型的原理做过多的介绍。技术报告链接：https://openai.com/research/video-generation-models-as-world-simulators 笔者参考了大量的资料，试着深入理解 Sora 的技术原理，最终将 Sora 生成视频的原理总结
从openai sora[1]的技术报告首段可以看出sora的野心远远不止视频生成，他们的目标是通过视频数据来学习一个世界模型或者世界模拟器，这才是真正令人兴奋和激动的部分。
紧接着对于2023年的回顾，我想斗胆做些2024-25年可能发生的事情的预测。写这篇文章的时候正赶上OpenAI Sora、Google Genie、Mistral Large的发布，不少内容也经历了些修改。真是还没等写就都做出来了…… 作为小作坊创业者，在大模型时代是没有办法拥有底层技术的，技术护城河也更加难；于是，稍微早一点点预判，找到一个没有大鱼的“小水洼”就尤其重要，所以我也愿意花些力气来做今天这番思考梳理。不过，既然是预测，其中不免有不精确、不准确、过于科幻的推演；我也希望可以给大家一些启发，但也可能把人带沟里……不过纠结一番，还是觉得要把这些对于2024的猜想先写下来，立个Flag，一年之后作为笑话来看看也不是坏事。以及，大家也完全可以把这篇文章当作科幻文学作品来看。
在分析 Sora 之前，研究者首先盘点了视觉内容生成技术的沿袭。 在深度学习革命之前，传统的图像生成技术依赖于基于手工创建特征的纹理合成和纹理映射等方法。这些方法在生成复杂而生动的图像方面能力有限。
