虚拟现实/混合现实、机器视觉与机器学习；游戏人工智能；膜计算
虚拟现实/混合现实（VR/MR）、机器视觉与机器学习：
作为下一代人机交互技术和5G科技、元宇宙的前沿应用，VR/MR与其带动的相关产业正在迎来新一轮的机遇。眼球跟踪、环境感知等新的智能技术正在应用于下一代的VR/MR设备，使其在远程医疗、军事训练、数字娱乐、教学等较多领域初露锋芒，然而相关的科学应用还未完全展开，体验等相关的技术也有待提升，相关理论与应用的研究是当下的一个热点。
实验室团队拥有的“VR实验室”配备有目前最先进的、全部品牌门类的VR/MR设备，包括微软出品的HoloLens 2，HTC出品的全套：VIVE Pro、VIVE Pro Eye、VIVE COSMOS Elite、Focus Plus，Oculus出品的全套：Quest、Rift S，以及VR万向跑步机、数据手套、肌电手环等穿戴设备，团队成员具备丰富的VR/MR开发经验，为相关研究提供技术支持。
具体研究包括：
1、实物识别与虚实融合（依托成都飞机工业（集团）项目）；
2、基于机器视觉和SLAM（即时定位与地图构建）的研究与应用（依托陆军军医大学项目）；
3、情绪感知VR研究（高校科研合作）：感知用户情绪的轻便VR头显，打开元宇宙的新入口。（世界范围内首创）
[世界周刊]故事：虚拟“新”现实（央视网2020.7.19）
游戏人工智能：
游戏被誉为人工智能研究的“果蝇”,随着深度学习研究的兴起和Alpha Go、OpenAI等成果的推出，游戏人工智能成为继图像、文本之后机器学习领域的又一大研究热点。其对下一代智能游戏产业起到核心推动的作用，还被用于虚拟仿真训练、智能无人平台、军事等众多领域，谷歌、腾讯、中科院等越来越多的机构陆续投入相关研究。然而，基于深度学习的游戏人工智能研究尚且属于交叉学科，从事研究的人员较少，人才缺口较大，是当下相关科研和产业的一个风口。
实验室团队依托的大数据与机器学习系拥有深度学习领域教师近10人、研究生20余人，为相关研究提供理论支持；“VR实验室”拥有师生30余人，具有丰富的项目开发经验，RTX2070以上开发用终端10余台，为相关研究提供技术支持。
具体研究包括：
1、深度强化学习（依托中国兵器科学研究院项目），研究即时战略/战术（RTS）类游戏的人工智能对抗；
PS-MAGDS强化学习训练微操的框图
2、基于深度学习的关卡自动生成；
“愤怒的小鸟”关卡生成结构
3、基于游戏引擎（Unity）仿真训练的机器学习研究；
自动驾驶汽车（Autonomous Cars）
使用强化学习（PPO）和监督式学习来训练自动驾驶的汽车
膜计算和膜进化算法研究（高校科研合作）
膜计算旨在从生命细胞的结构与功能中以及从组织和器官等细胞群的协作中，抽象出的分布式并行计算模型（P系统），其算力对比传统计算模型有显著优势。基于P系统对图论算法进行改写和改进；对强化学习策略与膜进化算法的结合进行理论性研究。
从细胞的结构和功能中抽象出膜系统
承担科研项目（按项目起始时间排序）
纵向项目 |
项目名称 |
项目来源、类别 |
项目起止时间 |
协同图像检索 |
中央高校基本科研业务费资助项目（重点项目） |
2011.1–2012.12 |
基于SLG的机器人足球新型博弈模型 |
中央高校基本科研业务费资助项目 |
2013.6–2014.12 |
基于回合制战棋机器博弈的用树搜索算法研究 |
重庆市基础科学与前沿技术研究计划项目 |
2015.9–2018.8 |
VR/MR在辅助驾驶中的研究和应用 |
校级项目 |
2017.5–2020.5 |
基于电路仿真的VR数字电路实验系统 |
重庆市教委（一般项目） |
2019.10–2022.9 |
横向项目 |
制扇模拟系统虚拟现实课程建设 |
企事业单位委托 |
2020.4–2020.5 |
VR驾驶教学系统 |
企事业单位委托 |
2020.4–2020.12 |
腾讯•罗布乐思作品征集活动官方签约优秀作品研发 |
企事业单位委托 |
2021.3–2021.6 |
机务保障中机翼安装工作的AR技术应用研究 |
企事业单位委托 |
2021.9–2023.6 |
国家电网图像识别信息化和数字孪生技术应用研究 |
企事业单位委托 |
2021.10–2023.9 |
基于充电桩自动插枪图像识别的研究 |
企事业单位委托 |
2021.12–2022.12 |
“创伤综合数据库系统”与“严重创伤3D伤情和手术模拟数据库”的项目的软件研发 |
企事业单位委托 |
2022.1–2022.6 |
模拟伤员数据库 |
企事业单位委托 |
2022.4–2023.4 |
中印边境军事冲突中前伸损伤控制复苏决策软件系统 |
企事业单位委托 |
2022.9–2022.11 |
AR拓展融合工具开发 |
企事业单位委托 |
2022.10–2023.10 |
参研项目 |
基于区块链的AI计算资源共享系统 |
企事业单位委托 |
2018.6–2019.5 |
非线性多智能体网络的信息传播安全性与一致性控制研究 |
重庆市教委,科学技术研究项目(青年) |
2020.10–2023.10 |
面向社交媒体的用户人格倾向分析及其在网络谣言传播中应用研究 |
国家自然科学基金 专项项目 |
2022.1–2022.12 |
面向边缘智能驾驶视觉空间的联合目标检测与跟踪方法研究 |
重庆市科委，重庆市基础研究与前沿探索专项(重庆市自然科学基金)一般项目 |
2022.8–2025.7 |
以上合计：本人承担经费 214.75万元， |
期刊论文
(1) Hai Nan, Bin Fang*, Guixin Wang, Weibin Yang, Emily Sarah Carruthers, Yi Liu, Turn-based War Chess Model and Its Search Algorithm Per Turn, International Journal of Computer Games Technology, 2016, 1-14
(2) Hai Nan, Bin Fang*, Weibin Yang, Jiye Qian, Ming Li, Yi Liu, Yushu Zhang, Cryptanalysis and Improvement of the Robust and Blind Watermarking Scheme for Dual Color Image, Mathematical Problems in Engineering, 2015, 1-10
(3) Aijuan Wang, Junyang Li, Hai Nan*, Achieving Light-Weighted Secure Scheme for Communication in a Smart Grid, IEEE Access, 11.
(4) Hong Liu*, and Hai Nan, Color image security system using chaos-based cyclic shift and multiple-order discrete fractional cosine transform, Optics & Laser Technology, 2013, 50: 1-7
(5) Wei Zeng, Junjian Huang,* , Wei Zhang, Hai Nan, Zhenjiang Fu, SlowFast Action Recognition Algorithm Based on Faster and More Accurate Detectors, Electronics, 2022, 11(22): 3770.
(6) Yushu Zhang, Di Xiao*, Wenying Wen, Hai Nan, Cryptanalysis of image scrambling based on chaotic sequences and Vigenère cipher, Nonlinear Dynamics, 2014: 1-6
(7) Yushu Zhang, Di Xiao*, Hong Liu, Hai Nan, GLS coding based security solution to JPEG with the structure of aggregated compression and encryption, Communications in Nonlinear Science and Numerical Simulation, 2014, 19(5): 1366-1374
(8) Yushu Zhang, Di Xiao*, Wenying Wen, Hai Nan, Moting Su. Secure binary arithmetic coding based on digitalized modified logistic map and linear feedback shift register, Communications in Nonlinear Science and Numerical Simulation, 2015, 27(1): 22-29
(9) Jiye Qian, Bin Fang*, Weibin Yang, Xiao Luan, Hai Nan, Accurate tilt sensing with linear model, Sensors Journal, IEEE, 2011, 11(10): 2301-2309
(10) Ming Li, Di Xiao*, Zhongxian Peng, and Hai Nan, A Modified Reversible Data Hiding in Encrypted Images Using Random Diffusion and Accurate Prediction, ETRI Journal, 2014, 36(2): 325-328
(11) Ming Li, Di Xiao*, Yushu Zhang, and Hai Nan, Reversible data hiding in encrypted images using cross division and additive homomorphism, Signal Processing-Image Communication, 2015.11, 39: 234-248
(12) 张小川*，李琴，南海，彭丽蓉，改进UCT算法在爱恩斯坦棋中的应用，计算机科学，2018，45（12）：196~200
(13) 廖晓峰*，岳蓓，周庆，南海，用混沌映射的图像加密算法实现 FPGA， 重庆大学学报：自然科学版，2008，31（10）：1189~1193
(14) 张梓靖，张建勋，全文君，南海*，多元时序的深度自编码器聚类算法，计算机应用研究，2023，31(07)：2600-2611
(15) 张泽崴，张建勋，邹航，李林，南海*，多智能体深度强化学习的图像特征分类方法，计算机工程与应用，2023，08(12):12-16
会议论文
(1) Hai Nan, Wanping Liu, Chao Liu, Chengyun Song*, Weak Ordering Space Search in Turn-based War Chess Gaming, 2018 International Conference on Security, Pattern Analysis, and Cybernetics, 2018, p141-145
(2) Wenjun Quan, Qing Zhou, Hai Nan*, Yanbin Chen, Ping Wang, A user-satisfaction-based clustering method, Proceedings of International Conference on Mathematics and Artificial Intelligence, 2018, 56-60
(3) Wenjun Quan, Qing Zhou, Hai Nan*, Ping Wang, An original data understanding process, International Conference on Computer Science and Application Engineering (CSAE), 2018.10, Hohhot
(4) Yu Chen, Ling Bai, Yao Tan, Yahui Liu, Hai Nan*, Research on turn-based war chess game based on reinforcement learning, Network Technology, Computer Engineering and Modeling, 2022.CN631
[2] 团队建设
作为创始人创建“理工VR实验室”，致力于虚拟现实及混合现实技术研究、游戏人工智能研究、原创应用及独立游戏的创新设计；目前开发、策划及3D建模的师生团队（含工程师、教师、硕士、本科）30余人；所在系具备百万余元相关硬件设备；成立三年来获得腾讯NI银奖、计算机设计竞赛冠军等国家级学科竞赛奖14项、省部级13项；已培养数十名毕业生从事相关行业工作；逐步在我校数字多媒体交互领域的教学、竞赛、就业指导等方面形成特色和优势。近三年来：
与中国兵器科学研究院（重庆高新区飞马创新研究院）共建重庆市研究生联合培养基地；
成功入驻重庆理工大学大学生创新创业基地；
主持省部级基金“战棋机器博弈研究”等纵向课题多项；
负责无人集群策略、缝隙图像检测等多项校企合作项目，总经费200余万元；
获得市种子基金30万元；孵化大学生创业公司2个；
获得国家级学科竞赛奖励14项、省部级13项，显著提高行业竞争力；
应邀参加中国图形图像学学会、VR产学研大会、市科委、科协等行业会议并做报告，在该项领域取得一定的知名度；
培养学生研制多款原创游戏并成功上线，取得一定社会关注度；
为游戏和VR相关领域输送毕业人才数十人（包括入职腾讯天美工作室王者荣耀组，等），其中部分已获得较高的行业评价（包括2018迅龙创威企业年度之星、2019金海豚奖，等）；
2019年获得学院“优秀指导教师”；2020年疫情在线授课期间获得“重理工最美主播”称号。
[3] 主要产品
人工智能 领域
1、面向无人机集群的在线博弈与策略收集技术（军科委项目）：
通过广泛收集并深度分析多类型多层次用户完成任务的不同策略，提炼出高效鲁棒的集群协同任务执行策略。打破了国外无人机集群作战策略的技术壁垒，对国防事业起到了积极作用；
无人集群协同策略收集分析平台
2、策略类游戏机器博弈平台及人工智能算法（重庆市科委基金支助项目）：
基于深度强化学习和战棋类游戏特点研究解决策略类游戏机器博弈的通用解决方案，对提高战棋博弈人工智能的水平，进而增进整个策略类游戏的产品活力有着重要意义。
策略类游戏机器博弈平台（“三国志战棋”）
图像识别 领域：
1、缝隙图像工业检测：
针对缝隙图像错位扭曲、难以还原的问题，提出一种基于计算几何和特征行的自动无缝图像拼接算法，在嵌入式系统中实现对缝隙图像实时采集、智能拼接、内容识别。算法具有较好的实时性和鲁棒性，满足较苛刻环境的要求。
2、充电桩自动插枪图像识别：
多模态复杂环境下的图像抗干扰识别是充电桩自动插枪识别的关键。通过充电枪与车辆连接端口的图像处理与识别，控制硬件平台完成电动汽车充电过程中不同车型的自动插枪功能。
3、MR技术中的三维跟踪注册：
对现实场景中的图像或物体进行跟踪与定位。系统在真实场景中根据目标位置的变化来实时获取传感器位姿，并按照使用者的当前视角重新建立空间坐标系并将虚拟场景渲染到真实环境中准确位置。
VR/MR 领域：
1、机务保障中机翼安装工作的AR技术应用研究（军工课题）；
2、严重创伤3D伤情和MR手术模拟数据库（军医大学课题）；
3、VR驾校：含科目二5个课程的训练与考试；
4、VR安全飙车（重庆理工大学“大家杯”一等奖）：原创的全套交通规则检测下的联机竞速系统；
5、VR自驾游（2017重庆青年智能科技创新大赛 第二名）：足不出户即可与亲朋好友联机遨游世界景点的仿真驾驶系统；
6、VR学外语——Polly with Me（2020中国大学生计算机设计大赛 二等奖）：基于VR人机语音对话和任务驱动的沉浸式外语学习系统；
7、VR云阳旅游（2017重庆首届青年生态旅游创意大赛VR+旅游类获 第二名）：对云阳景区进行VR探险；
8、VR数字电路实验（重庆市教委基金支助项目）：原创的VR环境下全仿真的数字电路实验系统及智能教学；
9、VR荣昌博物馆（政府项目）：对荣昌传统工艺中的安陶、夏布、折扇进行博物馆展示和全流程制作的操作教学，弘扬荣昌古文化；
10、VR地震逃生和救护训练（政府项目）；
11、VR物理实验：原创的基于载具组装与驾驶的VR物理游戏，寓教于乐；
12、VR高尔夫球训练机：结合机器视觉测速和MR头显的高尔夫球训练系统。
AR飞机维护保障系统：改进三维注册、虚实融合等技术，研制出基于AR的机翼诱导安装和维护流程平台，解决图纸表达不直观和信息不集中等问题，打破国外的技术垄断，提高了机务保障效率。
MR严重战创伤3D伤情和手术模拟：利用3D环视图像技术，结合混合技术建立3D伤情和手术模拟数据库，并进行MR手术教学演示与训练。
VR驾校&自驾游：VR技术引入学车系统，配合高度仿真的驾驶设备，进行驾校科目二的指导和考试；同时利用3D建模重现重庆的都市风貌，营造一种寓教于乐的自驾游体验
Polly with Me：基于VR人机语音对话和任务驱动的沉浸式外语学习系统，通过养宠物等喜闻乐见的事务，营造留学般沉浸式的外语环境
VR心跳云阳：将云阳特色景点与虚拟景物结合，模拟不同时间、天气的变化，在VR中品味不同的云阳美景，以及玻璃断裂、跳伞等更多的交互式体验
VR数字电路实验：实现真实焊接电路的体感，克服材料花费、元器件不稳定等教学难题，开启生动逼真、交互性强、高效性的教学模式
VR荣昌博物馆：对荣昌传统工艺中的安陶、夏布、折扇进行博物馆展示和全流程制作的操作教学，弘扬荣昌古文化
VR地震逃生和救护训练：营造宾馆、教室、家庭等各种环境下突发地震的情景，并训练逃生和救护伤员
VR熊冒险：独创的VR物理益智类游戏，亲手组装车子、飞机等载具，并亲自驾驶找到迷宫的出口
VR高尔夫球训练机：利用双目高速相机对发球进行机器视觉测速，并传输到MR头显，实现无场地的高尔夫球仿真和训练
独立游戏 领域
1、蔬菜兔（腾讯GAD•2016全国高校游戏创意设计大赛 第二名）：富有创意的基于组装与操纵的物理益智类游戏，以及原创的基于AI的弱联网模式；
2、纸飞机（腾讯GAD•2017全国高校游戏创意设计大赛 全国30强）：富有创意的小清新游戏、寓教于乐的折纸系统，以及原创的“非对称联机”新型联机竞速模式；
3、Umbra本影（2021独立营Indie Camp游戏创作挑战赛 最佳视听表现奖）：“光污染”给世界带来了紊乱，玩家清理污染光源，重回光影调和的和谐世界。采用原创的“阴影碰撞”创意，通过计算几何学等技术，操控影子进行益智解谜。
4、龟溯（2019中国大学生计算机设计大赛 一等奖）：富有创意的基于“时间回溯”的物理益智类游戏，以及原创的时间回溯下新型联机玩法；
5、溯影（2020中国大学生计算机设计大赛 重庆赛区三等奖）：基于时光倒流和物理交互的原创益智类游戏；
6、折纸鸟（2020中国大学生计算机设计大赛 重庆赛区三等奖）：利用机器视觉识别折纸的寓教于乐的原创动作类游戏；
7、绿茵战记（第六届华人原创大赛 第五名）：原创的基于“兵棋推演”的策略类游戏，以及高级AI。
蔬菜兔：原创的弱联网组装对战游戏，针对不同的敌人和地形，利用道具组装成载具，并操纵去战斗；具有丰富战术深度，释放玩家的想象力
纸飞机：富有创意的小清新游戏、寓教于乐的折纸系统，以及原创的“非对称联机”新型联机竞速模式
Umbra本影：采用原创的“阴影碰撞”创意，通过计算几何学等技术，操控影子进行益智解谜。
龟溯：世界上最后一只玳瑁龟，在其他濒危动物的帮助下，寻找新的家园。富有创意的基于“时间回溯”的物理解谜和新型联机玩法
溯影：猎人捕杀鸟儿的镜头被摄影师拍到，他利用倒带（时光逆转）和PS操作在视频里“拯救”鸟儿，是基于物理交互的原创益智类游戏
折纸鸟：利用机器视觉识别折纸的寓教于乐的原创动作类游戏
绿茵战记：用策略类游戏玩法诠释足球比赛的配合艺术，并用深度强化学习训练出高级AI，赋予策略类游戏新的生命力
亘古尤一日：“正时间跑酷、逆时间解谜”的创新玩法，开创性做出“玩家自己制造谜题”的新模式；通过对物理底层架构的修改，开发出“逆时间”里诸多反物理规律的行为；故事也引发玩家对“自由意志与宿命论”的深思
微信小游戏 领域
1、三十六计；
2、每天切水果；
3、流浪星球；
4、蹴鞠。
[4] 主要获奖
比赛名称 |
奖项 |
年份 |
腾讯GAD•2016全国高校游戏创意设计大赛 |
年度最佳游戏创意奖 |
2016 |
中国大学生游戏开发创作大赛 |
最佳创意、最佳主题提名 |
2021 |
第五届独立营Indie Camp游戏创作挑战赛 |
最佳视听表现奖 |
2021 |
腾讯•罗布乐思作品征集活动 |
官方签约优秀作品 |
2021 |
国际虚拟现实技术及应用创新大赛 |
三等奖 |
2018 |
中国大学生计算机设计大赛 |
一等奖（第一名） |
2019 |
中国大学生计算机设计大赛 |
二等奖 |
2021、2020、2018 |
全国高校移动互联网应用开发创新大赛 |
应用挑战赛一等奖 |
2016 |
百度校园青春技术Show |
最佳百度云奖 |
2013 |
Cocos游戏开发大赛 |
最具市场潜力奖 |
2015 |
第二届中国大学生游戏设计大赛金辰奖 |
优秀奖 |
2018 |
创想未来•101创想世界赛场 |
优秀奖 |
2018 |
比赛名称 |
奖项 |
年份 |
Image Cup微软“创新杯” |
中国区校区选拔赛二等奖 |
2013 |
百度开放云编程马拉松 |
成都赛区最具市场潜力奖 |
2013 |
重庆市全国大学生工程训练综合竞赛 |
三等奖 |
2021 |
中国大学生计算机设计大赛重庆市级赛 |
一等奖 |
2021、2019 |
中国大学生计算机设计大赛重庆市级赛 |
二等奖 |
2020、2018 |
大学生创新创业训练计划项目 |
重庆市级（2项） |
2020 |
重庆青年智能科技创新大赛 |
二等奖（第二名） |
2017 |
重庆青年生态旅游创意大赛 VR+旅游类 |
二等奖（第二名） |
2017 |
重庆青年移动电子商务应用开发大赛 |
优秀奖 |
2014 |
重庆市大学生移动应用创新大赛 |
一等奖 |
2014 |
