电子产业一站式赋能平台

PCB联盟网

搜索
查看: 982|回复: 0
收起左侧

聆思CSK6语音视觉AI大模型开发板硬件详解(附硬件资料下载)

[复制链接]

19

主题

50

帖子

593

积分

二级会员

Rank: 2

积分
593
发表于 2024-6-12 19:42:15 | 显示全部楼层 |阅读模式
本帖最后由 ListenAI 于 2024-6-12 19:51 编辑 / W6 p0 J' w6 _- G

" j3 M! ^/ E8 H1 t% M" V9 t$ a  f2 Y) Y
视觉语音大模型 AI 开发套件( CSK6-MIX )是围绕 CSK6011A 芯片设计的具备丰富语音图像功能与硬件外设的开发板,采用具备丰富组件生态的 Zephyr RTOS作为操作系统,支持了十几种开源SDK,包含大模型语音交互、大模型拍照识图、文生图、人脸识别、头肩追踪、手势识别、坐姿提醒等。
聆思科技还支持了模型训练推理工具将自己的算法模型部署至芯片上,也可以配合这个工具构建自己的 AI 应用。

4 W% N! h' B* D- t) D% S9 ]) j
功能特性
功能概述
● 使用聆思 CSK6011A 芯片作为主控,板载 16MB Flash
● 集成摄像头、麦克风、扬声器、屏幕等丰富外设配件
● 配套多模态应用示例,支持快速上手体验大模型语音交互、智能视觉等 AI 应用
● 板载 DAPLINK 调试器,外接一条USB 线即可实现烧录、调试、串口日志查看
● 板载网络模组,支持开发联网类应用
大模型示例SDK清单
SDK集成了星火大模型,可以二次开发改接其他大模型,示例清单见下表,可以直接通过链接进行固件烧录并下载:
序号
大模型功能
使用教程
功能说明
1
大模型多模态
套件出厂默认应用。包含大模型语音问答、拍照识图、大模型绘图等丰富供能示例,支持语音唤醒、多轮语音交互。
2
智能对话
除了大模型语音对话,还集成了可离线运行的坐姿检测算法,是一个 大模型在线服务+离线AI能力 的示例。
3
智能对话 + 文生图 + 设备控制
该示例展示了如何通过大模型实现语音输入意图的理解,实现对话、绘图和控制开发板屏幕颜色进行切换,用户可参考代码与教程自行修改。
4
接入自定义应用
讲解如何在云端快速建立一个自定义大模型应用并接入到开发套件上实现语音交互,由浅入深地展示如何开发自己的大模型助手。
离线AI能力示例SDK清单
语音唤醒 + 坐姿检测:https://do**2.listenai.com/x/i_84jJ5pd
头肩检测 & 手势识别:https://do**2.listenai.com/x/eiRAtqX7_
LNN AI示例SDK清单
LNN是用于移植适配算法至CSK6芯片的工具,**了视觉、语音相关的示例SDK,如果想在CSK6上移植适配自己的算法,可以参照这些示例:
开发板设计资料下载
大模型开发套件V2.0 硬件设计https://oshwhub.com/lshuangyu/leaf-technology-multimodal-devel
CSK6系芯片引脚功能表 V1.0https://do**2.listenai.com/zz/3294.xlsx?shortId=nTn9kMMCU
" @7 f9 z6 V& U& z& B
附件大纲:
功能概述
├──大模型示例SDK清单
├──离线AI能力示例SDK清单
├──LNN AI示例SDK清单
开发板硬件资源
开发板设计资料下载
开发板尺寸V2.0
开发板配件
├──摄像头模组

├──摄像头安装

├──触摸屏模块

├──触摸屏安装

├──网络模组
更多使用说明
├──供电
├──DAPLink UsB口的使用
开发环境
; J4 B7 ?6 F. H( }! N/ V- d

/ p6 ?7 _5 J- V2 u  j: o
" X  J. d% ~& D# [

: |& F1 g2 C* L( i! k6 ~- g' l
+ k# |& u( g& i( e) y: j: P8 X
1 i4 V2 ]4 s7 x7 y8 N6 p* K
6 [$ i/ |2 I! g: @2 t

+ d4 L8 q" _7 U5 n9 Y8 K
截图202406121950577492.png

聆思CSK6语音视觉AI大模型开发板硬件介绍.pdf

1.07 MB, 下载次数: 1, 下载积分: 联盟币 -5

回复

使用道具 举报

发表回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则


联系客服 关注微信 下载APP 返回顶部 返回列表