技术标签: unity mediapipe Unity 计算机视觉 挥手 opencv
OpenCV+Mediapipe+UDP+Unity挥手翻页
其实很简单,基本都是现成的东西。
主要做的事情:
这里有个坑:
pyinstaller打包的exe,总提示找不到mediapipe路径,需要打包时手工加入mediapipe库:pyinstaller --add-data="E:/MyPythonProjects/HandTouch/venv/Lib/site-packages/mediapipe/modules;mediapipe/modules" -w main.py
第二个坑:打包完的Exe路径不能含有中文字符,否则还是提示找不到路径。
关键代码段也就这么些:
cap = cv2.VideoCapture(usbpt)
if width > 0 and height > 0:
cap.set(cv2.CAP_PROP_FRAME_WIDTH, width)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, height)
if vfps > 0:
cap.set(cv2.CAP_PROP_FPS, vfps)
mpHands = mp.solutions.hands
hands = mpHands.Hands(max_num_hands=1)
mpDraw = mp.solutions.drawing_utils
pTime = 0
while True:
success, img = cap.read()
if success:
if bFilp:
img = cv2.flip(img, 1)
imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
h, w, t = img.shape
result = hands.process(imgRGB)
if result.multi_hand_landmarks:
lm = result.multi_hand_landmarks[0]
hd = lm.landmark[0]
x = int(hd.x * w)
y = int(hd.y * h)
if bShowHand:
mpDraw.draw_landmarks(img, lm, mpHands.HAND_CONNECTIONS)
cv2.circle(img, (x, y), 3, (0, 255, 255), 3)
skt.sendto(('[%d,%d]' % (x, y)).encode('utf-8'), (host, port))
if bShowFps:
cTime = time.time()
fps = int(1 / (cTime - pTime))
pTime = cTime
cv2.putText(img, str(int(fps)), (20, 60), cv2.FONT_HERSHEY_PLAIN, 3, (255, 0, 255), 3)
if bShowImg:
cv2.imshow("Image", img)
if bEscQuit and (cv2.waitKey(1) & 0xff == 27):
break
else:
cv2.waitKey(1)
cv2.destroyAllWindows()
cap.release()
数据收到后,有穷自动状态机,解析一下数据:
// 数据接收线程
private void ReceiveFrom()
{
EndPoint remote = new IPEndPoint(IPAddress.Any, 0);
byte[] data = new byte[1024];
while (IsStart)
{
try
{
int len = m_socket.ReceiveFrom(data, data.Length, SocketFlags.None, ref remote);
for (int i = 0; i < len; ++i)
{
switch (m_state)
{
case ReceState.START:
if (data[i] == '[')
{
m_state = ReceState.XDATA;
m_pos.x = 0;
}
break;
case ReceState.XDATA:
if (data[i] >= '0' && data[i] <= '9')
m_pos.x = m_pos.x * 10 + (data[i] - '0');
else if (data[i] == ',')
{
m_state = ReceState.YDATA;
m_pos.y = 0;
}
else
m_state = ReceState.START;
break;
case ReceState.YDATA:
if (data[i] >= '0' && data[i] <= '9')
m_pos.y = m_pos.y * 10 + (data[i] - '0');
else if (data[i] == ']')
{
thePosition.Enqueue(m_pos);
m_state = ReceState.START;
}
else
m_state = ReceState.START;
break;
}
}
}
catch {
}
}
}
对于收到的数据,进一步解析,获得手势:
这里只是用了很简单的判断方式:
private void OnReceivePos(Vector2 pos)
{
if( bCanTrigger )
{
waitTime = 0.333f;
if (posCount++ > 0)
{
float delta = pos.x - lastPos;
totalDelta += delta;
if (posCount > 5 )
{
if (totalDelta > flipValue)
{
bCanTrigger = false;
interval = autoFlip.PageFlipTime;
lastPos = 0;
totalDelta = 0;
posCount = 0;
PrevPage();
}
else if (totalDelta < -flipValue)
{
bCanTrigger = false;
interval = autoFlip.PageFlipTime;
lastPos = 0;
totalDelta = 0;
posCount = 0;
NextPage();
}
}
}
lastPos = pos.x;
}
}
文章浏览阅读2w次,点赞4次,收藏91次。目录1. window10中下载ubuntu镜像2. 制作U盘启动盘3. Ubuntu 分配硬盘空间1. window10中下载ubuntu镜像下载地址2. 制作U盘启动盘安装制作工具:UltraISO(点我下载),下载完成后安装插入用来做启动盘的U盘(最好是usb3.0接口,16GB或以上),并清空里面的文件打开安装好的UltraISO,点击继续试用按钮工作界面进入工作界面后,点击菜单栏文件(F),在弹出的选项卡里点击打开在弹出的文件选择对话框中找到下载好的 Ubuntu18.04._ubuntu18.04
文章浏览阅读203次。2019独角兽企业重金招聘Python工程师标准>>> ..._toad no valid oracle client
文章浏览阅读521次。来自:http://blog.51cto.com/simeon/1981572作者介绍陈小兵,高级工程师,具有丰富的信息系统项目经验及18年以上网络安全经验,现主要从事网络安全及数据库技术研究工作。《黑客攻防及实战案例解析》《Web渗透及实战案例解析》《安全之路-Web渗透及实战案例解析第二版》《黑客攻防实战加密与解密》《网络攻防实战研究:漏洞利用与提权》作者,在国内多本学术期..._mysql 5.0.16入侵
文章浏览阅读135次。https://learn.microsoft.com/zh-cn/sql/ssms/release-notes-ssms?view=sql-server-ver16#previous-ssms-releases_sql server历史版本哪儿下
文章浏览阅读2.5k次。简介自学的【狂神JAVA】MyBatis分享自写源码和笔记,希望对大家有帮助本人配置jdk13.0.2 (jdk1.7以上均可)Maven 3.6.3MySQL 5.7.23 (mysql5.6以上均可)1. 配置官网文档: https://mybatis.org/mybatis-3/zh/getting-started.htmlpom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://_jdk1.7的mybatis
文章浏览阅读913次。调度中心的代码启动源码是从:XxlJobAdminConfig 入口;直接进入: xxlJobScheduler.init();第一个: initI18n() 处理国际化;第二个:JobRegistryMonitorHelper.getInstance().start(); 创建启动后台线程来维护在线的执行器组下的机器列表,从上篇学习笔记—分布式调度之xxlJob执行器的启动源码解析可以..._xxl 调度失败:执行器地址为空
文章浏览阅读2k次,点赞4次,收藏25次。(visual studio 2019可运行)输入及输出要求见《数据结构C语言(第二版)》严蔚敏版【本文仅用于啥都看不懂还想交作业选手】#include<iostream>#include<map>#include<string>#include<stdio.h>#include<memory.h>using namespace std;typedef struct{ char c; int weight; in_基于哈夫曼树的数据压缩算法c语言
文章浏览阅读1w次。Teams Bot App 代码解析_adaptivecards.declare(rawlearncard).render(this.likecountobj)
文章浏览阅读2.5k次。RawImage(Script)Texture 纹理 要显示的图片,注意:图片类型可以是任何类型 Color 颜色 图片的主颜色 Material 材质 渲染材质 Raycast Target 光线投射目标 是否可接收射线碰撞事件检测 UV Rect UV矩形 显示效果:X、Y属性用于控制纹理左右..._unity原始图像
文章浏览阅读2k次。随着互联网应用的复杂性增加,越来越多的公司选择使用微服务架构模式进行应用开发,将单体应用拆分成多个小型服务,每个服务部署在不同的服务器上。同时,为了提升系统的可用性、容错性和可扩展性,需要考虑分布式事务问题。本文将介绍 Spring Boot 在分布式事务中的一些实现方案,并给出相关原理。
文章浏览阅读2.8k次,点赞12次,收藏90次。权当学习笔记吧_黑马微信小程序笔记
采用Spring Boot框架进行后端开发,结合前端技术(如Vue.js、React等)进行页面设计,数据库采用MySQL进行数据存储,确保系统的稳定性和性能。本项目旨在设计并实现一个基于Spring Boot的旅游网站,为用户提供便捷的旅游信息查询、预订服务,以及旅游资讯分享功能,提升用户旅游体验。通过市场调研和用户需求分析,了解用户对旅游网站的需求和偏好,明确系统的功能和特点,确保系统能够满足用户的旅游需求。进行全面的系统测试,包括功能测试、性能测试、安全性测试和用户体验测试,确保系统的质量和可靠性。