“探智”視覺與語音實驗箱
配套的實驗課程：《AI軟件開發(fā)基礎》《機器視覺與人工智能》《機器人人機交互》《具身智能綜合實踐-智能分揀系統(tǒng)設計》。
對應的競賽：一個機器人競賽指數(shù)榜單大賽的1個項目。
“探智”是一款面向人工智能專業(yè)及其它涉及Python編程，機器視覺，自然語言，人工智能，機械臂控制，人機自然交互等課程的工科專業(yè)的實驗教學平臺。由嵌入式人工智能處理器與桌面級柔性高精度機械臂、攝像頭、麥克風、揚聲器、觸摸交互顯示屏等硬件模塊組成，將機械臂控制，機器視覺，人工智能，人機交互等技術(shù)結(jié)合起來，圍繞與上述課程教學大綱中的知識點設計了大量的實驗，配套不同的調(diào)試與開發(fā)軟件，以智能分揀為應用場景，助力高校人工智能與機器人相關(guān)專業(yè)的實驗教學。
配套的實驗課程大綱如下
AI軟件開發(fā)基礎
|
AI軟件開發(fā)基礎（16課時） |
|||
|---|---|---|---|
|
課次 |
課程名稱 |
內(nèi)容 |
課時 |
|
1 |
Linux基礎 |
Linux特點，指令集，權(quán)限與用戶。 |
2 |
|
2 |
Linux進程 |
Linux系統(tǒng)進程的概念，進程管理。 |
2 |
|
3 |
Python初級 |
Python在機器人開發(fā)中的作用，Python語言簡介，Python運算符，數(shù)據(jù)結(jié)構(gòu)，控制結(jié)構(gòu)等基本語法。 |
2 |
|
4 |
Python進階 |
Python文件操作，Python面向?qū)ο缶幊獭?span style="display:none">0i8北京博創(chuàng)尚和科技有限公司 |
2 |
|
5 |
Linux串口通信 |
基于Python + Linux系統(tǒng)的串口通信開發(fā)。 |
2 |
|
6 |
Linux網(wǎng)絡通訊 |
基于Python + Linux系統(tǒng)的網(wǎng)絡通信開發(fā)。 |
2 |
|
7 |
Python驅(qū)動機械臂 |
基于Python，通過API控制機械臂完成正逆運算與驅(qū)動。 |
2 |
|
8 |
Python常見庫應用 |
基于Python常見的第三方庫Numpy，Jupyter等熟悉與應用。 |
2 |
機器視覺與人工智能
|
機器視覺與人工智能（24課時） |
|||
|---|---|---|---|
|
課次 |
課程名稱 |
內(nèi)容 |
課時 |
|
1 |
圖像基本操作 |
圖像的加載、保存，攝像頭視頻流獲取，WEB視頻流獲取。 |
2 |
|
2 |
圖像基礎 |
圖像描述，像素訪問，顏色空間轉(zhuǎn)換。 |
2 |
|
3 |
圖像處理 |
圖像平滑，圖像銳化，圖像二值化，縮放與旋轉(zhuǎn)。 |
2 |
|
4 |
特征提取 |
邊緣檢測，角點檢測，輪廓檢測。 |
2 |
|
5 |
特征匹配 |
基于特征/模板的匹配方法。 |
2 |
|
6 |
目標檢測1 |
基于顏色/形狀的目標檢測。 |
2 |
|
7 |
目標檢測2 |
基于Haar特征的人臉檢測。 |
2 |
|
8 |
目標檢測3 |
基于HOG特征的行人檢測。 |
2 |
|
9 |
目標跟蹤 |
基于卡爾曼濾波/光流法的目標跟蹤。 |
2 |
|
10 |
相機標定 |
基于棋盤格對相機進行外參標定。 |
2 |
|
11 |
二維碼檢測 |
使用Apriltag進行二維碼的識別和定位。 |
2 |
|
12 |
深度學習的目標檢測 |
基于PaddlePaddle訓練Yolo模型，并部署在機器人上，進行目標檢測與分類。 |
2 |
機器人人機交互
|
機器人人機交互（8課時） |
|||
|---|---|---|---|
|
課次 |
課程名稱 |
內(nèi)容 |
課時 |
|
1 |
基于界面的人機交互實驗 |
基于Pyqt編寫圖形界面實現(xiàn)人機交互。 |
2 |
|
2 |
智能語音人機交互實驗 |
基于人工智能技術(shù)實現(xiàn)語音轉(zhuǎn)文字和文字轉(zhuǎn)語音，并通過語音控制不同形態(tài)的機器人運動。 |
2 |
|
3 |
基于人臉識別的人機交互 |
基于人工智能技術(shù)實現(xiàn)人臉識別的人機交互，實現(xiàn)機器人交互解鎖功能。 |
2 |
|
4 |
基于深度學習手勢識別的人機交互 |
基于視覺與人工智能技術(shù)實現(xiàn)機器人手勢識別的人機交互，可以基于不同的手勢執(zhí)行不同的動作。 |
2 |
具身智能綜合實踐-智能分揀系統(tǒng)設計
《具身智能綜合實踐-智能分揀系統(tǒng)設計》是一門高度貼合人工智能技術(shù)在智能制造行業(yè)應用的綜合實踐課程，課程特點是聚焦在國產(chǎn)AI芯片上的邊緣計算技術(shù)，在國產(chǎn)嵌入式AI芯片與部署架構(gòu)下實現(xiàn)視覺檢測，并依托桌面四軸機械臂實現(xiàn)相應的分揀，充分滿足教學與實踐的需求。綜合實踐課程支持32課時或者1-2周的集中式教學模式。
|
具身智能綜合實踐-智能分揀系統(tǒng)設計（32課時） |
|||
|---|---|---|---|
|
課次 |
課程名稱 |
內(nèi)容 |
課時 |
|
1 |
場景導入與任務分析 |
介紹智能制造行業(yè)應用場景，從行業(yè)應用場景導入視覺檢測與分揀系統(tǒng)的設計思路及需要的性能參數(shù)。熟悉設備的各個組成部分，啟動設備，連接AI控制器系統(tǒng)并運行經(jīng)典案例。 |
2 |
|
2 |
設備開發(fā)指導 |
對如何在設備上基于Python編程開發(fā)進行教學與實踐，對機械臂驅(qū)動進行調(diào)試。 |
2 |
|
3 |
攝像頭與視覺系統(tǒng)調(diào)試 |
對攝像頭驅(qū)動進行開發(fā)，通過簡單的Python編程獲取攝像頭數(shù)據(jù)并進行保存等。 |
2 |
|
4 |
神經(jīng)網(wǎng)絡數(shù)據(jù)集制作與標注 |
基于攝像頭，對數(shù)據(jù)進行采集和標注。 |
2 |
|
5 |
圖像增強 |
運用常見的數(shù)字圖像處理技術(shù)進行圖像增強，保證數(shù)據(jù)集的多樣性。 |
2 |
|
6 |
數(shù)據(jù)集生成 |
對采集的數(shù)據(jù)集進行分類，生成訓練集、驗證集和測試集。 |
2 |
|
7 |
模型訓練 |
使用Pytorch框架，基于Yolo訓練目標模型，并進行目標識別。 |
2 |
|
8 |
模型部署 |
了解邊緣計算的概念，完成Pytorch模型到Onnx模型，再到可本地加速推理的Rknn模型的轉(zhuǎn)換。 |
2 |
|
9 |
邊緣計算推理 |
將轉(zhuǎn)換后的模型部署在國產(chǎn)AI芯片上，進行加速與推理，感受并行運算優(yōu)化加速的優(yōu)勢，體會芯片國產(chǎn)化的意義。 |
2 |
|
10 |
視覺模型校準 |
對圖像坐標系和機械臂坐標系進行校準，為后續(xù)分揀抓取做準備。 |
2 |
|
11 |
視覺圖像調(diào)試 |
實現(xiàn)基于單目視覺相機識別要搬運的物體，并使用深度視覺定位此物體，為抓取提供參考。 |
2 |
|
12 |
語音系統(tǒng)調(diào)試 |
基于機載芯片本地加速模型推理，實現(xiàn)語音轉(zhuǎn)文字，文字轉(zhuǎn)語音，通過語音指令為抓取邏輯提供參考。 |
2 |
|
13 |
整體業(yè)務邏輯編程開發(fā)與調(diào)試 |
在機器人上進行編程開發(fā)，串聯(lián)各個模塊，并進行調(diào)試，完成自主搬運任務。 |
6 |
|
14 |
演示與匯報 |
結(jié)合場景任務進行演示與匯報。 |
2 |