產(chǎn)品與課程
“探智-VS”視覺與語音實驗箱
配套的實驗課程：《機器視覺與AI》、《機器視覺綜合實踐》、《人工智能綜合實踐》、《具身智能綜合實踐》、《語音大模型綜合實踐》。
對應(yīng)的競賽：一個白名單大賽的2個項目，及一個機器人競賽指數(shù)榜單大賽的2個項目。
“探智-VS”是一款面向人工智能專業(yè)及其他涉及Python編程、機器視覺、自然語言處理、人工智能、機械臂控制、人機自然交互等課程的工科專業(yè)的實驗教學(xué)平臺。處理器搭載瑞芯微RK3588S芯片，具備8核的CPU和6TOPS等效AI算力的NPU，處理能力強大且均衡，視覺與語音識別模型均在本地進行邊緣計算部署，符合人工智能技術(shù)在智能硬件產(chǎn)品上的應(yīng)用趨勢。配置桌面工業(yè)級機械臂、攝像頭、麥克風(fēng)、揚聲器、觸摸交互顯示屏等模塊，將機械臂控制、機器視覺、人工智能、人機交互等技術(shù)結(jié)合起來，圍繞上述知識點，聚焦智能分揀應(yīng)用場景，設(shè)計了大量的實驗，配套不同的調(diào)試與開發(fā)軟件。算法高度封裝，支持一行Python代碼直接調(diào)用獲取推理結(jié)果，或通過Python編程讀取預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，也可以對神經(jīng)網(wǎng)絡(luò)模型與算法重新訓(xùn)練與優(yōu)化，滿足不同層次的教學(xué)需求。
配套的實驗課程大綱如下：
|
Python智能硬件編程（24課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
Python簡介 |
了解智能硬件中的Python應(yīng)用，了解為什么Python是機器人很重要的開發(fā)語言，使用vscode配置Python開發(fā)環(huán)境。 |
2 |
|
2 |
Python數(shù)據(jù)結(jié)構(gòu) |
在嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)Python中的變量，數(shù)組與數(shù)據(jù)類型。 |
2 |
|
3 |
Python運算符 |
在嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)Python中的加減乘除移位等各類數(shù)字邏輯運算符。 |
2 |
|
4 |
Python的控制結(jié)構(gòu) |
在嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)if-else，while等各類控制結(jié)構(gòu)。 |
2 |
|
5 |
Python的函數(shù)與指針 |
在嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)并了解函數(shù)與指針。 |
2 |
|
6 |
Python的面向?qū)ο缶幊?span style="display:none">SwW北京博創(chuàng)尚和科技有限公司 |
在嵌入式AI處理器中，開發(fā)Python應(yīng)用程序，學(xué)習(xí)并了解面向?qū)ο缶幊獭?span style="display:none">SwW北京博創(chuàng)尚和科技有限公司 |
2 |
|
7 |
AI+硬件常用Python庫 |
Python中機器人開發(fā)常用的標(biāo)準(zhǔn)庫，如Numpy，MatPlotlib等知識，嵌入式AI處理器中開發(fā)案例調(diào)用標(biāo)準(zhǔn)庫。 |
2 |
|
8 |
Python串口編程 |
了解Python的串口庫pyserial，安裝串口調(diào)試助手，了解Python如何調(diào)用系統(tǒng)中的串口，與Windows主機進行通信。 |
2 |
|
9 |
Python網(wǎng)絡(luò)編程 |
了解Python的網(wǎng)絡(luò)編程類socket，了解數(shù)據(jù)交換格式Json，安裝網(wǎng)絡(luò)調(diào)試助手，了解Python如何與Windows主機進行網(wǎng)絡(luò)通信。 |
2 |
|
10 |
UI編程框架PyQt |
了解Python的UI編程架構(gòu)PyQt，基于PyQt編寫UI程序，查詢嵌入式AI處理器信息。 |
2 |
|
11 |
環(huán)境管理工具Conda |
了解Python為什么要做環(huán)境隔離，在嵌入式AI處理器系統(tǒng)中安裝并使用環(huán)境包管理工具Conda。 |
2 |
|
12 |
交互式開發(fā)工具Jupyter |
了解Jupyter開發(fā)工具，在嵌入式AI處理器系統(tǒng)中安裝Jupyter并進行交互式Python開發(fā)與調(diào)試。 |
2 |
|
數(shù)字圖像處理基礎(chǔ)（24課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
OpenCV簡介 |
了解數(shù)字圖像處理的基本內(nèi)容，了解最常用的數(shù)字圖像處理庫OpenCV。 |
2 |
|
2 |
圖像采集 |
熟悉實驗設(shè)備，打開并配置相機，進行圖像拍攝與保存。 |
2 |
|
3 |
圖像生成 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，生成圖像，并對圖像進行操作。 |
2 |
|
4 |
圖像濾波 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，實現(xiàn)圖像的各種濾波操作。 |
2 |
|
5 |
圖像變換 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進行圖像的平移旋轉(zhuǎn)縮放等各類操作。 |
2 |
|
6 |
圖像特征提取 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進行圖像的點特征和線特征提取。 |
2 |
|
7 |
圖像的像素處理 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進行圖像的像素計算。 |
2 |
|
8 |
圖像顏色空間 |
了解灰度，RGB，HSV等各種顏色空間，并在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序進行各類顏色空間轉(zhuǎn)換。 |
2 |
|
9 |
形態(tài)學(xué)運算 |
在嵌入式AI處理器中，開發(fā)OpenCV應(yīng)用程序，進行對圖像的腐蝕膨脹與開閉運算。 |
2 |
|
10 |
閾值處理與圖像分割 |
了解圖像二值化的原理，了解閾值分割的方法，在嵌入式AI處理器中開發(fā)程序基于圖像像素顏色閾值進行分割。 |
2 |
|
11 |
特征匹配 |
了解特征匹配算法原理，在嵌入式AI處理器中開發(fā)程序?qū)崿F(xiàn)多種特征匹配算法。 |
2 |
|
12 |
霍夫變換 |
了解霍夫變換算法原理，在嵌入式AI處理器中開發(fā)程序，基于霍夫變換提取出直線，線段，圓形特征。 |
2 |
|
機器視覺技術(shù)（24課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
圖像采集 |
基于Python+OpenCV實現(xiàn)圖像加載、保存，USB攝像頭視頻流獲取，WEB視頻流獲取，攝像頭圖像錄制，繪制圓形、方形、線條、文字等操作。 |
2 |
|
2 |
相機內(nèi)參標(biāo)定 |
理解相機成像模型，使用Python和OpenCV實現(xiàn)經(jīng)典的張正友標(biāo)定法相機標(biāo)定。 |
2 |
|
3 |
機械臂運動控制 |
了解機械臂運動控制，了解機械臂的正逆運算，了解機械臂控制的Python接口，學(xué)習(xí)如何使用Python控制機械臂執(zhí)行動作。 |
2 |
|
4 |
手眼標(biāo)定 |
了解物理坐標(biāo)系與像素坐標(biāo)系的關(guān)系按步驟部署相機，標(biāo)定攝像頭與機械臂的相對位置。 |
2 |
|
5 |
二維碼識別 |
了解如何使用Python和OpenCV的庫檢測定位二維碼位置并識別二維碼信息。 |
2 |
|
6 |
AprilTag檢測與抓取放置 |
了解AprilTag的原理，學(xué)習(xí)如何使用AprilTag定位物體信息，并基于機械臂實現(xiàn)AprilTag物塊的抓取放置。 |
2 |
|
7 |
顏色識別與抓取放置 |
HSV顏色空間、圖像二值化、形態(tài)學(xué)運算等處理方法，基于Python+OpenCV實現(xiàn)顏色目標(biāo)檢測與分類，結(jié)合顏色識別實現(xiàn)抓取放置。 |
2 |
|
8 |
形狀識別 |
了解霍夫變換的原理，基于霍夫變換實現(xiàn)形狀識別，結(jié)合形狀識別實現(xiàn)抓取放置。 |
2 |
|
9 |
長度測量 |
了解如何基于像素結(jié)果判斷物體長度，并以此檢測作物大小是否合格。 |
2 |
|
10 |
面積測量 |
了解如何基于像素結(jié)果判斷物體面積，并以此檢測作物大小是否合格。 |
2 |
|
11 |
表盤讀數(shù) |
通過機器視覺算法提取儀表盤的指針終點與圓心，通過刻度分析當(dāng)前儀表盤數(shù)值。 |
2 |
|
12 |
缺陷檢測 |
基于顏色直方圖的方法識別缺陷，判斷完好物體與缺陷物體。 |
2 |
|
人工智能技術(shù)（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
視覺與AI框架簡介 |
了解機器視覺的基本內(nèi)容，了解最常用的數(shù)字圖像處理庫OpenCV，了解機器學(xué)習(xí)與深度學(xué)習(xí)的原理和通用框架。 |
2 |
|
2 |
Conda入門 |
了解Python下的環(huán)境配置架構(gòu)Conda，學(xué)習(xí)如何通過Conda管理各個功能環(huán)境，進行版本隔離。 |
2 |
|
3 |
Jupyter入門 |
了解交互式編程環(huán)境Jupyter NoteBook，如何在Jupyter中進行簡單的Python開發(fā)與調(diào)試。 |
2 |
|
4 |
機械臂運動控制 |
了解機械臂運動控制，了解機械臂的正逆運算，了解機械臂控制的Python接口，學(xué)習(xí)如何使用Python控制機械臂執(zhí)行動作。 |
2 |
|
5 |
圖像采集與相機標(biāo)定 |
熟悉實驗設(shè)備，打開并配置相機，進行圖像拍攝與保存，標(biāo)定攝像頭與機械臂的相對位置。 |
2 |
|
6 |
人臉識別 |
使用機器學(xué)習(xí)的Haar特征實現(xiàn)人臉檢測識別，使用深度學(xué)習(xí)模型實現(xiàn)基于AI的人臉檢測與識別，體驗深度學(xué)習(xí)邊緣計算的優(yōu)勢，開發(fā)基于人臉識別的考勤系統(tǒng)。 |
2 |
|
7 |
目標(biāo)跟蹤 |
使用機器學(xué)習(xí)KCF目標(biāo)跟蹤方法實現(xiàn)目標(biāo)跟蹤，使用深度學(xué)習(xí)實現(xiàn)目標(biāo)跟蹤，體驗深度學(xué)習(xí)邊緣計算的優(yōu)勢，開發(fā)基于目標(biāo)跟蹤的抓取搬運系統(tǒng)。 |
2 |
|
8 |
深度學(xué)習(xí)目標(biāo)檢測 |
基于Yolo-V5卷積神經(jīng)網(wǎng)絡(luò)模型，部署在AI處理器上，實現(xiàn)目標(biāo)檢測與分類，結(jié)合機械臂完成任務(wù)。 |
2 |
|
9 |
表情識別的人機交互 |
基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)表情識別的人機交互系統(tǒng)。 |
2 |
|
10 |
手勢識別的人機交互 |
使用MediaPipe實現(xiàn)手勢識別，基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)手勢識別的人機交互系統(tǒng)。體會不同類型深度學(xué)習(xí)算法的不同應(yīng)用。 |
2 |
|
機器視覺綜合實踐（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
圖像采集 |
基于Python+OpenCV實現(xiàn)圖像加載、保存，USB攝像頭視頻流獲取，WEB視頻流獲取，攝像頭圖像錄制，繪制圓形、方形、線條、文字等操作。 |
2 |
|
2 |
機械臂運動控制 |
了解機械臂運動控制，了解機械臂的正逆運算，了解機械臂控制的Python接口，學(xué)習(xí)如何使用Python控制機械臂執(zhí)行動作。 |
2 |
|
3 |
手眼標(biāo)定 |
了解物理坐標(biāo)系與像素坐標(biāo)系的關(guān)系按步驟部署相機，標(biāo)定攝像頭與機械臂的相對位置。 |
2 |
|
4 |
AprilTag檢測與抓取放置 |
了解AprilTag的原理，學(xué)習(xí)如何使用AprilTag定位物體信息，并基于機械臂實現(xiàn)AprilTag物塊的抓取放置。 |
2 |
|
5 |
顏色識別與抓取放置 |
HSV顏色空間、圖像二值化、形態(tài)學(xué)運算等處理方法，基于Python+OpenCV實現(xiàn)顏色目標(biāo)檢測與分類，結(jié)合顏色識別實現(xiàn)抓取分揀。 |
2 |
|
6 |
標(biāo)記排序位置 |
確定排序規(guī)則，將AprilTag物塊按照ID排序，確定分揀規(guī)則，將顏色塊按照顏色分揀到不同區(qū)域，將待分揀區(qū)域標(biāo)記在圖像位置。 |
2 |
|
7 |
進程管理 |
學(xué)習(xí)Python下的進程管理與進程間通信，為實現(xiàn)分揀任務(wù)做好基礎(chǔ)，將分揀動作封裝成進程函數(shù)可調(diào)用。 |
2 |
|
8 |
線程管理 |
學(xué)習(xí)Python下的線程管理與線程通信，為實現(xiàn)分揀任務(wù)做好基礎(chǔ)，將通信等封裝成線程函數(shù)。 |
2 |
|
9 |
AprilTag排序碼垛 |
結(jié)合多進程，多線程，實現(xiàn)AprilTag按照ID順序排序碼垛。 |
2 |
|
10 |
顏色識別分揀 |
結(jié)合多進程，多線程，實現(xiàn)將不同顏色的物塊分揀到不同位置。 |
2 |
|
人工智能綜合實踐（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
人工智能與AI硬件 |
了解機器視覺與數(shù)字圖像處理的基本內(nèi)容，了解最常用的數(shù)字圖像處理庫OpenCV，了解機器學(xué)習(xí)與深度學(xué)習(xí)，了解AI如何賦能智能硬件。 |
2 |
|
2 |
WSL2安裝 |
在個人電腦上安裝WSL2，配置Conda和Jupyter，配置VSCode開發(fā)環(huán)境，為后續(xù)實驗打下基礎(chǔ)。 |
2 |
|
3 |
Conda入門 |
了解Python下的環(huán)境配置架構(gòu)Conda，學(xué)習(xí)如何通過Conda 管理各個功能環(huán)境，進行版本隔離。 |
2 |
|
4 |
Jupyter入門 |
了解交互式編程環(huán)境Jupyter NoteBook，如何在Jupyter中進行簡單的Python開發(fā)與調(diào)試。 |
2 |
|
5 |
數(shù)據(jù)集采集 |
熟悉實驗設(shè)備，打開并配置相機，進行圖像拍攝與保存，采集數(shù)據(jù)集。 |
2 |
|
6 |
圖像標(biāo)注 |
在WSL2中安裝Label-Studio，進行數(shù)據(jù)標(biāo)注，生成Yolo格式的標(biāo)注數(shù)據(jù)。 |
2 |
|
7 |
數(shù)據(jù)增強與數(shù)據(jù)集劃分 |
了解為什么要進行數(shù)據(jù)增強，在Jupyter中進行數(shù)據(jù)增強，將增強的數(shù)據(jù)集劃分為訓(xùn)練集和測試集。 |
2 |
|
8 |
模型訓(xùn)練 |
基于Yolo-V5模型，在Pytorch下訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型。 |
2 |
|
9 |
模型轉(zhuǎn)化 |
將Pytorch訓(xùn)練出的pt模型轉(zhuǎn)化為onnx中間模型，再轉(zhuǎn)化為可硬件推理的rknn模型，邊緣計算芯片可部署推理。 |
2 |
|
10 |
深度學(xué)習(xí)分揀 |
結(jié)合機械臂，實現(xiàn)水果分揀案例，將不同類型的水果分揀到不同位置。 |
2 |
|
語音與大模型綜合實踐（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
場景分析 |
分析當(dāng)前機器人接入大模型的應(yīng)用場景，剖析機器人接入大模型的技術(shù)路線和技能方法，了解如何通過Python為機器人接入大模型，學(xué)會使用機器人開發(fā)。 |
2 |
|
2 |
機械臂驅(qū)動 |
了解機械臂運動控制，了解機械臂的正逆運算，了解機械臂控制的Python接口，學(xué)習(xí)如何使用Python控制機械臂執(zhí)行動作。 |
2 |
|
3 |
圖像采集 |
基于Python+OpenCV實現(xiàn)圖像加載、保存，USB攝像頭視頻流獲取，WEB視頻流獲取，攝像頭圖像錄制，繪制圓形、方形、線條、文字等操作。 |
2 |
|
4 |
AprilTag檢測與抓取放置 |
了解AprilTag的原理，學(xué)習(xí)如何使用AprilTag定位物體信息，并基于機械臂實現(xiàn)AprilTag物塊的抓取放置。 |
2 |
|
5 |
麥克風(fēng)數(shù)據(jù)處理 |
調(diào)試并獲取機器人上麥克風(fēng)信息，使得麥克風(fēng)接入系統(tǒng)，可實現(xiàn)語音獲取。 |
2 |
|
6 |
語音轉(zhuǎn)文字 |
基于離線AI模型，實現(xiàn)ASR功能，讀取麥克風(fēng)的信息并轉(zhuǎn)換為文字。 |
2 |
|
7 |
文字轉(zhuǎn)語音 |
基于離線AI模型，實現(xiàn)TTS功能，將文字信息轉(zhuǎn)化為語音信息并通過揚聲器播放。 |
2 |
|
8 |
語義理解 |
分析語音識別的文字，并提取其中的意圖和序列，實現(xiàn)語音控制機器人。 |
2 |
|
9 |
場景理解 |
為機器人接入視覺大模型，理解看到的場景，并通過語音播報出來。 |
2 |
|
10 |
具身智能綜合案例 |
串聯(lián)上述知識點，編寫接口程序，實現(xiàn)可語音控制機械臂分揀，根據(jù)指定的指令讓機械臂將看到的物體分揀到各個位置。 |
2 |
|
具身智能綜合實踐（20課時） |
|||
|
編號 |
實驗名稱 |
實驗內(nèi)容 |
學(xué)時 |
|---|---|---|---|
|
1 |
具身智能分析 |
了解什么是具身智能，了解具身智能的基本原理與應(yīng)用場景。 |
2 |
|
2 |
機械臂驅(qū)動 |
了解機械臂運動控制，了解機械臂的正逆運算，了解機械臂控制的Python接口，學(xué)習(xí)如何使用Python控制機械臂執(zhí)行動作。 |
2 |
|
3 |
麥克風(fēng)數(shù)據(jù)處理 |
調(diào)試并獲取機器人上麥克風(fēng)信息，使得麥克風(fēng)接入系統(tǒng)，可實現(xiàn)語音獲取。 |
2 |
|
4 |
機器人定位導(dǎo)航 |
調(diào)用機器人搭載的MoveBase框架，可編寫節(jié)點發(fā)布Action實現(xiàn)機器人自主定位導(dǎo)航。 |
2 |
|
5 |
麥克風(fēng)數(shù)據(jù)處理 |
調(diào)試并獲取機器人上麥克風(fēng)信息，使得麥克風(fēng)接入ROS系統(tǒng)，可實現(xiàn)語音獲取。 |
2 |
|
6 |
語音轉(zhuǎn)文字 |
基于離線AI模型，實現(xiàn)ASR功能，讀取麥克風(fēng)的信息并轉(zhuǎn)換為文字。 |
2 |
|
7 |
文字轉(zhuǎn)語音 |
基于離線AI模型，實現(xiàn)TTS功能，將文字信息轉(zhuǎn)化為語音信息并通過揚聲器播放。 |
2 |
|
8 |
大模型問答 |
注冊大模型AI工具，編寫程序通過大模型API，調(diào)用Json實現(xiàn)智能問答。 |
2 |
|
9 |
語義理解 |
分析語音識別的文字，并提取其中的意圖和序列，實現(xiàn)語音控制機器人。 |
2 |
|
10 |
大模型機器人集成 |
串聯(lián)上述知識點，編寫接口程序，實現(xiàn)可語音控制并語音交互的大模型接入機器人。 |
2 |