《一种基于深度强化学习的SDWN路由方法》作者：张校衔，刘绍华，孙毓声【PDF】

书呆熊

一种基于深度强化学习的SDWN路由方法
张校衔，刘绍华，孙毓声
（北京邮电大学电子工程学院，北京市100876）
摘要：在移动互联网设备指数级增长和新型服务需求多样化的双重驱动下，传统无线局域网（WLAN）架构在动态资源调度和差异化服务质量（QualityofService,QoS）保障方面面临严峻挑战。作为新型网络架构，软件定义无线网络（Sofiware-DefinedWirelessNetworking,SDWN）通过控制平面与数据平面的解耦，虽然能够实现网络状态的全局感知和策略的动态部署，但在多业务并发场景下仍存在链路资源分配效率不足、流量QoS需求难以精准匹配等关键问题。为此，本文提出了一种融合深度强化学习（DeepReinforcementLeaming,DRL）的智能路由决策框架，旨在构建面向差异化QoS保障的动态资源优化机制。
本文将SDWN路由决策建模为马尔可夫决策过程（MarkovDecisionProcess,MIDP），通过精细设计状态空间和动作空间，构建基于近端策略优化（ProximalPolicyOptimization,PPO）算法的深度强化学习模型。针对多业务流的差异化QoS需求，提出动态奖励函数：综合考虑吞吐量、时延和丢包率并根据业务调整权重。为实现智能路由控制，设计基于概率转发的动态路由协议，通过OpenFlow流表项的实时更新机制，实现策略网络输出与数据平面转发的闭环控制。实验环境采用Ryu控制器与Mininet-Wifi构建的SDWN仿真平台，实验结果表明，在不同业务场景下，相较于传统几种路由算法，本文提出的方法在平均时延、丢包率和吞吐量方面均有明显提升。说明本文提出的路由算法能够根据保证多种业务类型的Qos需求，为多流共存场景下的网络资源调度问题提供了新的思路。
关键词：软件定义无线网络；流量分类；路由优化；深度强化学习
中图分类号：TP393