Llmsys llmsys@lists.openkylin.top
Summary
工作目标：大语言模型系统小组（LLMsys）致力于以大语言模型推理系统优化和加速为核心，深度融合大语言模型（LLM）与操作系统技术，特别强调推理阶段的性能提升、资源效率优化，以及依托 openKylin 操作系统特性释放推理系统的实用价值。具体包括：
1、推理系统性能优化：基于操作系统的资源管理特性，解决大语言模型推理阶段的延迟降低、吞吐量提升、算力利用率优化等问题，例如通过算子优化、内存调度协同、硬件加速适配等手段，确保推理过程高效稳定 ； 2、推理 - 系统资源协同：利用操作系统的资源调度能力，解决推理系统与系统其他服务的资源竞争问题，实现推理任务的动态资源分配，在保证推理性能的同时，不影响操作系统核心功能的正常运行。
To contact the list owners, use the following email address: llmsys-owner@lists.openkylin.top
Archives
Subscription / Unsubscription
To subscribe or unsubscribe from this list, please log in first. If you have not previously logged in, you may need to set up an account with the appropriate email address.
You can also subscribe without creating an account. If you wish to do so, please use the form below.