Llmsys llmsys@lists.openkylin.top
综述
工作目标：大语言模型系统小组（LLMsys）致力于以大语言模型推理系统优化和加速为核心，深度融合大语言模型（LLM）与操作系统技术，特别强调推理阶段的性能提升、资源效率优化，以及依托 openKylin 操作系统特性释放推理系统的实用价值。具体包括：
1、推理系统性能优化：基于操作系统的资源管理特性，解决大语言模型推理阶段的延迟降低、吞吐量提升、算力利用率优化等问题，例如通过算子优化、内存调度协同、硬件加速适配等手段，确保推理过程高效稳定 ； 2、推理 - 系统资源协同：利用操作系统的资源调度能力，解决推理系统与系统其他服务的资源竞争问题，实现推理任务的动态资源分配，在保证推理性能的同时，不影响操作系统核心功能的正常运行。
要联系列表所有者，请使用以下的电子邮件地址： llmsys-owner@lists.openkylin.top
存档
你也可以直接订阅而不需要创建帐户。 如果你想要这么做，请填写下面的表格。