强化学习主要算法的研究

介绍了强化学习模型,分别提出了7个主要的强化学习算法并讨论了它们之间的区别和联系,最后指出了强化学习算法中有待解决的问题.     

基于PS-PDDPG算法的网络路由优化研究

当前基于深度强化学习算法实现网络路由优化主要面临算法的难以收敛和可扩展性差两个问题。该文在深度强化学习PDDPG算法的基础上,提出了动态权重策略,设置了共享经验回放池,融合共享参数更新了公式,并搭建不同规模的网络实验环境,将深度强化学习优化算法PS-PDDPG应用到网络路由优化中。结果显示,PS-PDDPG算法在不同网络负载均衡环境下,它的网络延时较短且稳定,说明PS-PDDGP算法的收敛速度和可扩展性得到了提升。     

统计VB数组中不同数的七种算法辨析

在学习VB程序设计过程中，对一组数据按一定要求进行处理一直是个难点．文章就“统计数组中不同数”这一任务，循序渐进地介绍了7种算法（其中6种为正确算法，1种为初学者经常出现的错误算法）的具体实现过程，帮助初学者拓展思维定势、强化基本算法训练，并触类旁通地学习、掌握更为艰深的算法．     

基于行动分值的强化学习与奖赏优化

针对强化学习算法收敛速度慢、奖赏函数的设计需要改进的问题，提出一种新的强化学习算法．新算法使用行动分值作为智能行为者选择动作的依据．行动分值比传统的状态值具有更高的灵活性，因此更容易针对行动分值设计更加优化的奖赏函数，提高学习的性能．以行动分值为基础，使用了指数函数和对数函数，动态确定奖赏值与折扣系数，加快行为者选择最优动作．从走迷宫的计算机仿真程序可以看出，新算法显著减少了行为者在收敛前尝试中执行的动作次数，提高了收敛速度．     

一种基于强化学习的自适应变步长路径规划算法

在基于神经网络结构的机器人全局路径规划算法中，利用强化学习的思想，引进评价预测学习的自适应变步长算法，实现了步长的在线自动调节，加快了路径规划的计算速度。仿真试验表明，该算法能有效实现步长参数的在线自动调节，并使路径规划收敛速度平均提高了10倍以上。     

一种自适应概率规划规则抽取算法

在已知状态迁移条件下，利用传统概率规划技术能够获得确定的规划规则，而强化学习技术能够在未知环境条件下，利用试错和奖赏函数在线学习动态环境的策略知识。因此一种自适应的概率规划规则抽取算法被提出。该算法首先在强化学习获得的最优状态－动作对值函数基础上，通过迭代得到有折扣无奖赏的值函数和无折扣无奖赏的值函数。然后通过子规划剪枝将大于指定规划步数的子规划去除，并得到子规划剪枝后的状态－动作对值函数。最后通过Beam search算法从值函数中抽取满足概率规划条件的规划知识，从而在规划模型变化的条件下。也可以获得确定的概率规划规则。实验证明，这种自适应概率规划规则抽取算法是有效的。     

神经网络学习算法中的奇点及振荡算法

以前向神经网络为基础，基于梯度下降规则，推导了ＯＩＮＮ的学习算法，说明由梯度下降规则推导出的学习算法中存在奇点。奇点经常导致学习陷入“伪局部极小”，大大影响了学习进程，奇点产生的原因是对节点特性函数的求导，对节点特性函数的修改可使算法避免奇点，提出了一种振荡算法可有效地克服局部极小。     

一种用于MIMD平台的并行遗传／神经网络混合学习算法

本文提出了一种用于多层前馈神经网络训练的新算法，它把遗传算法与自适应变形梯度学习算法集成起来。这种并行混合学习算法已经在ＭＩＭＤ平台实现了。通过把该算法用于二个图像识别领域例子，对它的性能进行了评估，本文学显示了所 拼行混合神经网络学习算法的良好的收敛性。     

基于高斯混合模型的EM学习算法

本文研究了一类基于无监督聚类学习的算法——EM算法的算法实现．EM算法通常用于存在隐含变量时的聚类学习，由于引入了隐含变量，导致算法难以保证收敛和达到极优值．本文通过将该算法应用于高斯混合模型的学习，引入重叠度分析的方法改进EM算法的约束条件，从而能够确保EM算法的正确学习．     

一种快速强化学习方法研究

在对资格迹理论研究的基础上,提出了一种延迟快速强化学习算法DFSARSA(λ)(延迟快速SARSA(λ)算法).算法的主要思想是通过对资格迹的重新定义和对即时差分TD(λ)偏差的跟踪,使强化学习中Q值在需要时进行更新,而SARSA(λ)每一步都对Q值进行更新,该方法使SARSA(λ)算法的更新计算复杂度从O(|S||A|)降到了O(|A|),提高了强化学习速度,仿真实验证明了该算法的有效性.     

中国小皮伞属已知种类及其分布

对中国小皮伞属（Marasmius Fr．）真菌进行了整理、修订,对有关分类学问题进行了简要讨论。文献记载我国该属有141个名称,分布于29个省区。其中,有效名称103个（包括96种、6变种和1变型）,无效或不合格名称29种,错拼名称9种,存疑种15种,中国特有种9个。     

重庆万州区珍稀濒危植物的研究和保护

据调查统计，重庆万州区国家级珍稀濒危植物18种，隶属13科18属，其中蕨类1种，裸子植物3种，被子植物14种，从它们的生存现状看，有2个濒危种，9个稀有种，7个渐危种，本文论述了万州珍稀濒危植物的种类与分布状况，并在分析珍稀濒危植物致濒机理和保护现状的基础上提出了相应的对策。     

衢州珍稀濒危植物区系的研究

调查统计表明,衢州共有野生珍稀濒危植物22种,隶属12科19属,其中国家1级保护植物3种,2级保护植物19种.衢州珍稀濒危植物区系具有种类丰富、过渡性强、成分特有及起源古老等特征.还探讨了它们与邻近地区珍稀植物区系的关系.     

非紧H-空间中新的极大元存在定理及其应用

在非紧Ｈ－空间中应用拓扑方法证明了几个新的极大元存在定理,作为应用,用所得的结果研究了定性对策和抽象经济的平衡问题,并得出了几个平衡存在定理。     

海产无脊椎动物呼吸强度的比较

对测试的１８种海产经济无脊椎动物的呼吸强度进行的系统比较研究表明：日本和螺类，随时间的延长其呼吸强度呈逐渐下降趋势。说明对氧的含量的敏感性强；而蛤类则随时间的延长其呼吸强度呈逐渐上升趋势，说明对氧的含量的敏感性差．呼吸强度与动物的生活习性有关．习见织纹螺、短滨螺接近陆生生活，呼吸强度最强；日本呼吸强度次之；再次为一般螺类；最弱的为蛤类．     

脑膜瘤的CT、MRI表现与病理对照研究

目的：探讨脑膜瘤的CT、MRI表现与病理分型之间的关系．方法：收集经CT、MRI诊断和手术病理证实的脑膜瘤185例，CT和MRI检查均采用增强前后常规扫描，病理为手术巨检和切片光镜下所见．结果：典型脑膜瘤多为过渡型或纤维母细胞型脑膜瘤，密度(信号)均匀，明显均匀强化，15％～20％伴有钙化，无或轻度瘤周水肿．不典型脑膜瘤以合胞体和血管母细胞瘤型脑膜瘤为主，密度(信号)不均匀，无或不均匀强化，瘤周水肿较重．恶性脑膜瘤为混杂密度(信号)肿块，强化不均匀，形状不规则，瘤周水肿明显，伴有骨质破坏．结论：CT、MRI平扫 增强是诊断脑膜瘤的最主要方法，准确率为95％，在一定程度上可提示脑膜瘤的病理学分型，为术前选择手术方案及判定预后提供信息．     

桃金娘科9属21种木材的比较解剖

用光镜和扫描电镜比较了桃金娘科（Ｍｙｒｔａｃｅａｅ）９属２１种木材的解剖结构。结果表明：多数种木材生长轮不明显,几乎都为散孔材,木材分子非叠生,导管分子单穿孔板,管间纹孔具附物,胞间道和管状分子壁螺纹加厚壁缺如,少数种有分膈纤维。２亚科间木材结构有明显差异,桃金娘亚科（Ｍｙｒｔｏｉｄｅａｅ）木材结构较细籽亚科（Ｌｅｐ－ｔｏｓｐｅｒｍｏｉｄｅａｅ）原始。     

蒸汽吞吐井采出过程的压力温度场数值模拟

蒸汽吞吐井采出稠油时，经常利用电缆加热，正确设定电缆加热时间、温度、范围可以节约开采成本，提高生产效益，本首先建立了井筒径向传热和产液径向传热模型，适用于产液需要或不需要电缆加热两种情况，然后对产液、油管、套管、水泥环的温度分布和产液的压力分布进行了数值模拟，最后比较了预测值与实测值，分析了误差产生的原因，总体结果表明预测值与实际值相符，这种数值模拟方法能有效地指导生产。     

中条山的真菌(一)

本文报导了山西省中条山的真菌116种和1个变种,隶属于24科67属,食用菌64种,药用菌20种,毒菌8种,木腐菌39种,菌根菌7种;其中35种是山西省新记录。全部标本由秦孟龙、赵春贵于1985年8月22日至29日采自沁水县。全部标本保存在山西大学真菌标本室。     

广西海岛昆虫生态地理

报道广西沿海岛屿昆虫生态地理考察结果，已定名的种类有３１９种，分别隶群于１４目８８科２３４属，磷翅目为２８．５％，鞘翅目为１９．１２％，直翅目为１６．１６％。与整岛种数多，反之较少，与是否陆联岛无关，不同岛屿昆虫种数不一样，面积大的岛种数多，反之较少，与是否陆联岛无关。不同岛屿的昆虫各类组成不一样，在涠洲岛上有５８．２％的鳞翅目种娄及５４．７％的直翅目种类出现，在龙门岛上有５０．８％的鞘翅目种类出