泰晓社区推出口袋AI盘,普通PC即插即跑

泰晓社区推出口袋AI盘,普通PC即插即跑

原创 晓泰 泰晓科技 2024-12-03 06:57

简介

泰晓社区之前相继推出了:
1. Linux 内核实验盘

  1. Linux 系统盘

  2. 儿童 Linux 系统盘

经过数月的开发,本次正式推出了口袋 AI 盘,不仅继承了
智能启动、透明倍容、出厂恢复等基本特性,而且首次支持了 AI 功能,插上并启动以后,立即就能通过主机的浏览器获得类似 ChatGPT 的互动效果。

在虚拟机下,默认配置能够较好地运行 0.5b 的大模型,在采用 Nvidia GPU 的 PC 上,则能更为顺畅地跑起来 1.5b 的大模型。如需运行再大的模型,则需要更好的 CPU、内存和 GPU 配置。

演示视频

快速选购

目前已上架 B 站工房,如需在某宝选购,可私信客服留言。

更多用法

插入主机自动引导后,可直接输入本地网址http://pocket-linux/ 访问:

在下面的消息输入框,可以向大模型提各类问题,语数英物地化编程均可:


由于普通 PC 能跑的模型规模较小,默认运行的 0.5b 有时候可能犯糊涂,可以从这里切换或下载 1.5b 甚至 3b 的模型,更多模型可从 ollama.com 检索。

可以在这里重命名或删除历史对话记录:

注意事项

如需在虚拟机下运行,建议保证 PC
至少配有 8GB 内存、8 核心 CPU。如果有 Nvidia GPU 则建议独立开机运行,速度体验更佳。

普通 PC 不建议尝试 7b 或以上的大模型,除非有非常强大 CPU、GPU 和内存配置。

任何使用问题建议下单后联系 tinylab 微信号进 AI 交流群讨论。

另外,目前仅支持 64 位 x86 电脑,请保证有稳定的 USB3.0 接口。

致谢

感谢 Ollama, Open-WebUI 和 Qwen2.5 等项目。