YutoGPT

小米手机 本地部署 Deepseek R1 大模型,亲爱的米粉们积极尝试

AI 可引用摘要

小米手机 本地部署 Deepseek R1 大模型,亲爱的米粉们积极尝试,“凌晨3点,我的红米K50突然开始整活。请打开小米手机,开始部署 Deepseek R1 大模型!

小米手机 本地部署 Deepseek R1 大模型,亲爱的米粉们积极尝试

这里是人工智能最前沿。“凌晨3点,我的红米K50突然开始整活。” — 我正在回国飞机上。

以下是 DeepSeek R1(1.5B 模型)在手机和两台电脑上的运行情况

项目

骁龙8+(12GB)

RTX 4090

苹果M2

启动速度

8.3秒

6.1秒

7.9秒

10轮对话功耗

3%电量

300W

18W

隐私安全指数

★★★★★

★☆☆☆☆

★★★☆☆

今天这篇文章,将教你如何用一台小米手机本地运行 Deepseek-R1 大模,但成本仅为电费!

**请打开小米手机,开始部署 Deepseek-R1 大模型!**

* 设备要求:支持骁龙8+或更高,至少 12GB 内存,建议预留 20GB 存储空间。

* 系统要求:安卓 12 或以上版本。

步骤一、下载安装 Termux

打开链接后,直接下载:https://f-droid.org/F-Droid.apk

步骤二、打开 Termux 配置环境

启动 Termux,更新软件包:

pkg update && pkg upgrade

安装 Python 和 pip:

pkg install python

安装必要的 Python 库:

pip install torch torchvision transformers

步骤三、先在电脑上下载 DeepSeek R1(1.5B)模型

下载模型网址:https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B/files

步骤四、优化模型以适配安卓设备

由于安卓设备计算能力有限,需使用 bitsandbytes 或 ggml 工具对模型进行量化再传输到安卓。

在电脑上完成量化:

from transformers import AutoModelForCausalLM, AutoTokenizer

移动优化推理库:

推荐使用 PyTorch Mobile 或 TensorFlow Lite:

pip install torch==1.11.0+cpu torchvision==0.12.0+cpu -f https://download.pytorch.org/whl/cpu/torch_stable.html

步骤五、并运行模型

把优化后的模型用usb数据线传输到安卓机内,至于创建一个文件夹放起来就不用多说了。

然后在 Termux 中运行以下 Python 脚本加载模型:

from transformers import AutoTokenizer, AutoModelForCausalLM

**步骤六、编写对话脚本,更方便

**

在 Termux 中创建一个 Python 脚本文件,例如 chat.py

nano chat.py

然后复制以下代码到文件中,保存并退出(按 Ctrl + O 保存,Ctrl + X 退出)。

from transformers import AutoTokenizer, AutoModelForCausalLM

在 Termux 中运行该脚本:

python chat.py

开始对话

欢迎使用 DeepSeek R1!输入 '退出' 结束对话。

输入问题或话题,例如:

你好,你是谁

模型会生成回复,例如:

DeepSeek R1:你好!我是deepseek,一个AI助手!

评论区聊聊:你搞定了吗 ---------------

如果你喜欢这样的教程,记得 点赞+转发,星标置顶。带你解读更多 AI 黑科技。

感谢您的阅读!关注本公众号,发送985三个数字后,您会立即免费获得一份价值799的《AI 变现资源》。 ----------------------------------------------------

---

这里是人工智能最前沿。 -----------

---

图片
图片
扫码关注变量棱镜公众号