纯 Rust 写的本地大模型推理引擎，单文件跑起来 | shimmy（闪电推理）
软件简介：
一个用 Rust 编写的本地推理引擎，兼容 OpenAI API，原生支持 GGUF 模型文件，可直接调用任意显卡运行。无需安装 Python 或 llama.cpp，下载单个可执行文件即可启动服务，适合在本地部署和调用大模型。
更新日志：
- 2026-11-12 收录 Michael-A-Kuykendall/shimmy
下载地址：
文件信息：v2.6.6 · 8.2 MB · 系统要求 Windows 10 / 11 x64
点「下载」直接开始，不用注册、不用装网盘客户端、不用转存，手机点也能下。文件为作者官方原版，未做任何修改。
点「下载」直接开始，不用注册、不用装网盘客户端、不用转存，手机点也能下。文件为作者官方原版，未做任何修改。
详细说明：
它是什么纯 Rust 实现的 WebGPU 推理引擎，兼容 OpenAI API 接口，原生读取 GGUF 格式模型，编译为单个可执行文件，可在任意 GPU 上运行。
解决什么问题解决本地跑大模型依赖 Python 环境、llama.cpp 编译链复杂、部署步骤多的问题，省去环境配置，降低本地推理的启动门槛。
可以替代可替代 llama.cpp、Ollama 等本地推理工具的部署方式，接口层面对标 OpenAI API。
适合谁用需要在本地或自有显卡上部署大模型、又不想折腾 Python 环境的开发者和技术用户。
教程与资料：
© 版权声明
本文由「安装吧」整理撰写，转载请注明出处。
文中软件为开源项目，版权归原作者所有；安装包取自作者官方发布页，本站不做任何修改或破解。 因使用软件产生的问题，请联系软件作者处理。详见 版权声明。
本文由「安装吧」整理撰写，转载请注明出处。
文中软件为开源项目，版权归原作者所有；安装包取自作者官方发布页，本站不做任何修改或破解。 因使用软件产生的问题，请联系软件作者处理。详见 版权声明。
T H E E N D
