LLM（大语言模型）因其强大的语言理解能力赢得了众多用户的青睐，但LLM庞大规模的参数导致其部署条件苛刻；在网络受限，计算资源有限的场景下无法使用大语言模型的能力；低算力，本地化部署的问题亟待解决。ChatGLM-6B在60亿参数的情况下做到了优秀的中英文对话效果，且能够支持在消费级显卡本地部署；因此在HuggingFace Trends上很快登顶。6B的参数量虽然能够做到本地部署，但是目前的实现依赖库较多，如Pytorch, transfomer；对于端侧部署来说要求仍然较高。因此我们尝试将该模型转换为MNN模型，极大降低了部署时的依赖项，能够更方便的在各类端侧设备上部署与测试；同时我们对MNN模型进行了低bit量化，并实现了反量化与计算融合的计算kernel，大大降低了内存需求。实测PC端小显存显卡能够成流畅运行浮点模型，在Android手机上能够流畅运行量化模型。
最近我们在调查某个 bug 涉及到 C++ 异常。平时较少用 C++ 异常，借此机会把 C++ 异常机制梳理清楚。互联网上现有的资料不多，大多过于深奥。因此写下这篇文档备忘。 C++ 异常的实现机制有 SJLJ、Dwarf CFI、EHABI。具体选择哪种实现和操作系统及体系结构相关。它是 C++ ABI 的一部分。这里我们仅关注 Dwarf CFI，它是 Linux 在 x86_64 和 arm64 上的默认实现。 完整的 C++ 异常机制需要编译器生成的代码、C++ 运行时（libstdc++ 或 libc++）、unwind 库分工协作完成。本文为了描述浅显易懂，并不区分它们三者。
我们新推出大淘宝技术年度特刊《长期主义，往往从一些小事开始——工程师成长总结专题》，专题收录多位工程师真诚的心路历程与经验思考，覆盖终端、服务端、数据算法、技术质量等7大技术领域，欢迎一起沟通交流。
在系列的前一篇文章中，阐述了 Paxos 的单法令教会协议，也在文章的总结中提到了教会协议只是作为 Paxos 最核心的共识算法，并不具备实际的单独应用场景。本篇文章接着教会协议，一步一步地阐述如何基于它来推导出实用的多法令议会协议。
本文介绍了LangChain框架，它能够将大型语言模型与其他计算或知识来源相结合，从而实现功能更加强大的应用。接着，对LangChain的关键概念进行了详细说明，并基于该框架进行了一些案例尝试，旨在帮助读者更轻松地理解LangChain的工作原理。
本文主要讲述了应对复杂性的一些原则和经验，通过实际案例解构设计思想，个人认为好的设计是体现在「职责分离」、「抽象分层」和「变化扩展」上，在类的结构设计上尤其要花心思去想，如「变与不变分离」、「配置域与执行域分离」、「查询与命令分离」。
G6VP 是由蚂蚁集团 AntV 图可视化小组开源的图可视化与分析平台。用户可以在 G6VP 中连接自己的数据，包括本地文件上传，或多种图数据库，并组装 G6VP 提供的丰富图可视化与分析资产，进行数据分析，或设计和开发出自己的图可视分析产品，嵌入到自己的系统当中。
