day5[8G 显存玩转书生大模型 Demo]

happyrainyday-2024 / 2024-09-21 / 原文

使用 Cli Demo 完成 InternLM2-Chat-1.8B 模型的部署,并生成 300 字小故事,记录复现过程并截图。

1,创建开发机

2.环境配置
在 /root/share/pre_envs 中配置好了预置环境 icamp3_demo

3.并创建一个 cli_demo.py。

4.通过 python /root/demo/cli_demo.py 来启动我们的 Demo。

效果如下图所示: