强化（精选8篇）
篇1：强化
强化党政主导强化工作职能 强化部门联动
涟源市以人为本构建大信访格局
本报讯 “感谢涟源市委政府的关心，感谢信访局的帮助。我父亲的问题终于得到解决，他在九泉之下也能瞑目了啊！”10月23日，上访群众黄荣英握着涟源市市长助理、信访局长刘潮建的双手，感激之情溢于言表。这是涟源市坚持以人为本、倾心信访为民排忧解难的一个缩影。
近年来，涟源市委政府致力于强化信访工作职能，强化部门联动，构建党委政府主导的大信访工作格局，化解了大量的社会矛盾和信访问题，全市集体上访、越级上访、非正常上访明显下降。其经验得到了国家信访局、省信访局的通报表扬。最近，中央信访工作督导组组长郝明金在涟源市督查指导时，充分肯定了该市全力构建大信访工作格局所取得的显著成绩。
强化党政主导，营造良好信访工作氛围。市委书记余明庭、市长曾益民多次强调，市委、政府要象分析经济形势一样分析社会矛盾，象抓重点建设一样抓信访突出问题的解决，象考核经济工作一样考核信访工作。该市推行信访代理工作制度，市级设立信访代理中心,各乡镇（办事处）及市直单位设立信访代理服务站。今年7月开展大接访活动以来，全面推行每周一市委书记接访制度，建立大接访公示制度，推动大接访活动的制度化和规范化。对一些疑难复杂的信访问题，按照“包调处、包接返、包稳
定、不反弹”的要求，明确市级领导包案解决。今年来由市级领导包案处理信访问题241个。
强化工作职能，支持信访部门履行职责。信访部门完善政策建议权、改进工作建议权、给与处分建议权得到了充分落实。近年来，该市共研究采纳信访部门提出的政策建议40多条，从政策源头上预防和减少了一大批信访问题的发生。该市改制大集体企业职工因养老和医疗保险问题，多次越级集体上访。信访部门调研后提出了政策建议，市委政府及时进行讨论研究，在上级没有明确政策的情况下，每年筹资1000多万元，较好地解决了这一问题，确保了这一群体稳定。对家庭生活特别困难、衣食无着的群众，根据信访部门建议，市里设立信访救助基金300万元实行重点救助。
强化部门联动，构建齐抓共管工作格局。信访工作纳入全市“三个文明”目标管理和综合治理考核，市财政每年安排50万元的信访工作奖励基金。层层签订《信访工作目标管理责任书》，确保责任落实。市直部门的信访工作由党组书记或局长分管，在30多个市直部门设立信访办，乡镇(办事处)都设立了信访室，设立了群众来访接待场所；村组(社区)配备信访联络员、信息员。建立行政调解、司法调解、人民调解“三调联动”机制，市信访局和市司法局共同设立司法信访接待室，乡镇（办事处）与当地法庭建立工作联席制度，免费为上访群众提供法律咨询和法律援助。建立市委督查室与市政府督查室、市纪委与市监察局、市联席办与市信访局“三线”联合督查督办机制，规定初任副科实职
干部到信访局担任2－3个月的信访督查员，进一步加大了信访督查督办力度，确保信访问题解决在当地，人员稳控在当地。
（本报记者陈超通讯员梁绍辉李彦）
篇2：强化
--省农委召开信访和安全生产工作会议
省农委党组高度重视信访和安全生产工作。今年6月16日，召开全委党员领导干部大会，对抓好信访、安全工作提出了明确要求，作出了具体部署。6月24日，又召开了全省农经农业系统办公室主任会议，就贯彻落实“五个专项活动”作了部署。7月21日，委党组会议研究部署了信访稳定工作，要求排出涉农信访矛盾和隐患，切实拿出方案、推动落实。7月21日、22日，委主要领导两次作出批示，强调稳定、安全、值班等工作，努力实现省委提出的目标任务。为贯彻落实省委、省政府有关工作部署，根据委党组的要求，7月23日，我委召开信访和安全生产工作会议，对当前涉农信访和安全生产工作进行再部署、再落实。蔡恒副主任出席会议并讲话。
会议指出，委各处室（单位）、宁外直属单位要清醒地认识到当前面临的严峻形势，把思想和行动统一到省委、省政府的部署要求上来，将涉农信访和安全生产工作摆上重要位置，切实抓紧抓好抓出成效。着重抓好四个方面。一要注重把握政策。近年来，国家和省里先后出台了一系列有关信访和安全生产的新文件、新规定。农委的干部职工，尤其是直接从事信访工作的同志，要认真学习、研究吃透有关文件精神和规定要求，准确把握政策界限，要把这些文件规定作为我们做好新形势下信访工作的“指南”。二要注重源头预防。继续加大信访矛盾纠纷排查力度，8月10日前，对去年以来接待处理的农民来信来访集中开展一次“回头看”。要重点加强农产品质量安全、动物疫病防控、农村土地确权登记等工作方面的检查指导，强化对用电用水设施、实验室设备及药品、食堂、工地等重点单位、重要场所和重要环节的管理和监控，排查隐患要细、要实，把安全隐患和问题解决在萌芽状态。三要注重工作实效。结合指导市县开展群众路线教育实践活动、“三解三促”、党员干部直接联系农民群众制度等，深入农村基层，变被动接访、被动受理为主动下访、主动化解。要突出做好信访重点人员的稳控工作，力争稳控在当地、吸附在基层。四要注重应急处置。委信访办要安排精干力量，加强应急值守，各处室（单位）要全力配合。委机关服务中心要进一步强化消防值班，确保不发生安全生产事故。宁外直属单位的机构多、人数多，要抓紧完善应急预案，落实好应急措施，确保各项应急措施到位。
篇3：强化
在过去几年里, 很多家汽车零部件制造商找到维尔贝莱特, 要求提供适宜的强化设备来加工他们的零件, 以符合其客户或零件设计工程师制定的规格标准。强化工艺并没有想象中那么困难和令人望而生畏, 关键在于是否选对了强化设备。维尔贝莱特 (集团) 资深工程师Kumar Balan先生在接受专访时, 揭开了强化设备设计的神秘面纱。
问:设备是如何改变并控制丸流和工件的移动?
答:丸流的移动有几种方式。在一台自动气喷式强化设备中, 喷嘴被固定在一个喷嘴机械手上, 该机械手根据输入程序所设定的行走路线移动。对于离心力式的抛丸强化设备, 则通过定向套的作用来调整丸流方向。
至于工件的移动则根据具体应用。强化圆形或盘状零件, 如离合片、齿轮, 压缩盘等, 通常是独立地安放在一个旋转工作台上, 工件边旋转边接受喷/抛丸强化。若处理的是长型零件和一些结构件, 则可通过一个辊道输送系统。
问:设备是否用这样的系统, 即只有当喷嘴/抛头启动时, 压缩空气或丸流才能启动?
答:我们所有的自动强化机器都设有零速开关控制环路, 当控制中心侦测到喷嘴/抛头处于零速状态, 即会锁住压缩空气或丸流介质。此外, 一个独立的闭合环路, 能确保将喷嘴移动情况同步反馈回“控制中心”, “控制中心”下达执行命令后, 喷嘴才能新开始或重复一个操作循环。“电子眼”将随时监视喷嘴和抛头的动向, 确保强化作业准确无误。
问:所有的流程监测系统和/或测量量具是如何做校对的?
答:我们的自动强化设备都设有电子或模数测量仪, 监测并显示强化过程中的各种参数, 如压力、流速等。这些测量仪出厂前都进行过严格校对, 之后客户通常都不需要再做校对。除了量具外, 操作员人机界面, 如触摸屏或P C显示屏都可以显示喷嘴位置、转台或辊道速度、丸流流速等。有些如流程控制阀、测试筛可每年做一次校对即可。
问:测量量具有测量范围的要求吗?
答:强化强度与喷丸压力直接相关。大多数的喷丸应用, 其压力要求在90PSI (620kPa) 之内, 因此非常重要的是要确保您使用的量具量测范围至少可达100P S I (689kPa) 。
问:如何实现介质质量控制?
答:丸料的尺寸、形状和均匀性对于强化非常重要。不当的尺寸、形状, 丸粒大小不一将直接影响强化效果, 甚至起反作用, 破坏零件表面。维尔贝莱特 (集团) 强化系统都设有振动丸料筛选器, 对喷丸进行100%的介质尺寸筛分, 对抛丸进行抽样筛分。
问:强化设备是否都配有丸料回收系统, 可实现连续介质筛分及循环回收?
答:所有喷丸强化设备的丸料回收都是连续的, 并配有持续通风和除尘系统。
问:喷丸强化设备是否设有低压警报?
答:设计良好的喷丸强化系统内置闭环压力控制及反馈系统。操作员输入要求的压力值, 机器工作后, 压力传感器感测压力罐里的气压, 并与输入的设定值进行比对。两个数值间的任何差异, 系统的模数配比调节器都会自动进行调节, 确保压力罐的气压与设定值吻合。我们强化设备除了具有闭路回报系统外, 还可设定时间带宽值。例如, 系统设定的带宽为30s, 当压力不能维持预设值长达30s之久, 系统就会自动关闭。
问:在强化过程中, 除压力外, 如其他参数超出预设值, 系统是否会自动关闭?
答:如运行中系统探测到某项参数超出预设范围一定时间 (即设定好的允许带宽时间) , 会自动关闭。
问:对每次自动关闭, 系统是否会生产一份关闭原因的报告?
答:系统因工作参数超出预设范围而自动关闭后, 会生成一个出错原因的报告, 显示在“警报”屏幕上。
篇4：强化
以实验为基础是化学学科的重要特征之一。化学实验可激发学生的学习兴趣，帮助学生理解化学知识，掌握实验技能，启迪科学思维，训练科学方法，培养学生的科学情感、态度和价值观。中学生对化学实验的浓厚兴趣固然令人欣喜，但在实验中也表现出一些令人担忧之处，如：重实验现象，轻对现象的理性探究；重实验结果，轻实验过程及操作规范；重用语言表达对环境的担忧，轻在实验中的具体实施。为了加快实验教学改革的步伐，化学教师要利用每一次实验机会对学生进行正确的引导。这里笔者仅谈谈自己在教学中的一些体会。
一、在实验教学中进行的探索
1.对实验改革实行“四自”
在改革化学实验教学中，要求学生大胆实践，勇于探索，实行“四自”管理，即：自行设计实验方案，自行配制实验药品，自主选择实验仪器，自觉完成实验操作。
2.对实验改革采取“四不”
为了改革实验教学，让学生在实验中去发现问题，寻找方法，探求途径，在实验改革中采取“四不”教学方式，即：不规定实验内容，不限定实验方法，不固定实验步骤，不统一实验报告。
3.对实验改革要求“四新”
在实验教学中进行改革，为了加快改革步伐，实验时要突出“四新”思想，即：实验中的新思维，实验中的新能力，实验中的新探索，实验中的新发明。
4.对实验改革做到“四多”
即：在实验操作中要多看，在实验过程中要多练，在实验改革中体现多动，在实验教学中提倡多疑。
总之，在化学实验教学改革的过程中，既要遵循“教师为主导，学生为主体”的教学规律，又要不断加强实验教学的改革，以激发学生学习化学的兴趣、注重学生的能力培养为主旨，发扬勇于创新、敢于创新的精神，全力培养学生的创新意识和实践能力。
二、在学生实验中强化四个意识
1.强化安全意识
科学研究需要大无畏的献身精神，但科学研究的终极目标是为了改善生活境遇，提高生命质量。对学生进行安全教育，培养学生的安全意识，是化学教师义不容辞的责任。例如，浓硫酸有脱水性，能强烈腐蚀有机物，如果皮肤沾上浓硫酸会引起严重灼伤。所以该实验要特别强化安全意识，同时也是进行安全教育的好机会。不过，在对学生进行安全教育时，不能言过其实、危言耸听，以免造成学生望而却步的不良后果。
2.强化规范意识
学生在实验中暴露出的两种思想意识应引起教师的警惕：一是做实验比较放松而把做实验看作一种休闲活动；二是认为不规范操作照样能得到预期的现象，无所谓。如：学生在实验室无所顾忌地大声说话，站起坐下频繁；试剂用量“多多益善”，致使反应液溢出试管；试剂用完不及时归位，瓶塞张冠李戴；铁夹口朝下致使试管跌落，铁夹太紧导致试管破裂，等等。所以，在学生实验中强化规范意识非常必要，且需要化学教师坚持不懈的努力。如浓硫酸性质实验是对学生进行规范教育的好机会，因为对浓硫酸不规范的操作就是对他人的不负责。
3.强化环保意识
绿色化学实验以减少用量、重复使用、可回收、能再生、排斥有毒物等为原则，其中心思想是用最少的原料得到最多的产品（原料经济论），避免或减少有毒物的发生（预防污染论）。比如，学生对浓硫酸强氧化性的认识，是通过铜与浓硫酸反应中，蓝色硫酸铜溶液的生成及使品红试纸褪色的二氧化硫气体的生成完成的。二氧化硫是有刺激性的有毒物体，是造成大气污染（形成酸雨）的罪魁祸首。实验中二氧化硫的逸出会影响正在进行实验的学生的健康。实验中可引导学生采取措施预防和减少污染。
4.强化探究意识
实验探究能培养学生发现问题的能力、根据具体情况设计实验方案解决问题的能力、对实验现象做出合理解释的能力，使学生养成科学的思维习惯。比如，“浓硫酸的性质、硫酸根离子的检验”中有很多值得探究的问题。这些问题的提出及解决，必然会加深学生对浓硫酸的认识，必然会提高学生的实验技能，必然会使学生对绿色化学实验产生向往，必然会使学生产生进一步研究硫酸的愿望，也必然能锻炼学生的思维，使学生养成探究习惯。
化学实验中蕴含着巨大的教学资源。笔者愿意与同行一起，用研究的眼光设计每一次实验教学，充分挖掘每一次实验的功能及价值，用绿色化学的思想进行教学，用最少赢得更多。
（作者单位：河南省开封县第一高级中学）
篇5：强化
新型势下强化强化农机安全监管措施
农机化的.根本出发点就是转变农业增长方式,提高农业综合生产能力,实现粮食稳定增产和农民持续增收.近年来,随着农机总量的快速增加,农机安全监理工作的任务加重.
作 者：赵勇 作者单位：辽宁省清原满族自治县农机监理所刊 名：湖北农机化英文刊名：HUBEI NONGJIHUA年，卷(期)：2009“”(2)分类号：S2关键词：
篇6：强化
强化缓冲算子的性质与若干实用强化算子的构造
在科学预测过程中,常常由于扰动项干扰使得预测模型失去应有的功效,问题不在于模型本身的好坏,而是系统的行为数据受到扰动项的`干扰而失真.冲击扰动项的存在,一直是预测人员感到十分棘手的问题,为了能够提高预测精度,必须通过对原始数据的整理来寻求其变化规律,通过某种生成弱化其随机性,消除冲击扰动项的干扰,使失真的数据恢复其本来面目,呈现其应有的规律性.
作 者：谢乃明 刘思峰 作者单位：南京航空航天大学刊 名：统计与决策 PKU CSSCI英文刊名：STATISTICS AND DECISION年，卷(期)：“”(7)分类号：C8关键词：
篇7：强化
最近一段时间以来，我组工作纪律松懈，管理上出现漏洞，有些职工、博士后和学生随意不上班，也不请假，工作成效不甚显著，已经严重影响我组的科研工作进展。为了加强工作纪律性、引起大家注意，提出如下建议（要求）：
一、组里每位职工和博士后要首先起表率作用，最起码要遵守一周五天、每天8小时工作制度（当然有许多职工常常加班加点，已经远远超过此基本要求，应予以表扬），具体要求李丹（山上）、牛培琳二位督导检查。
二、对职工和博士后，要遵守如下要求：
（一）病假、事假半天（4小时）以上都必须向秘书（李丹、牛培琳）或组长请假告知，由秘书登记。无人知晓去向，无故不按时上班者视为旷工。出差时向秘书、组长告知。
（二）请假二天以上的，需本人提前填写《请假单》，经组长审核同意后，交秘书留存备案登记。
（三）请假天数
1．事假：登记累计。原则上个人有事可以请假，但事后应该通过延长工作时间和休假日加班等工作方式补回来请假所花的工作时间；每年累计超过一定天数的应考虑报人事处按劳动纪律要求酌情扣除工资。
2．病假：因病治疗需休养者，须有医院出具证明并经所卫生所同意。3.在遵守八小时工作制、按时上下班的原则下：如工作日遇堵车等迟到的，可相应延长下班时间；或可以周末自觉上班弥补，不计入请假天数。
4.无故旷工不请假者，除向组长检讨外，按旷工时间报人事处扣除工资。
（四）奖惩
1.对于按时出勤、表现良好者，在工资调整、职称晋升时优先予以考虑。
2.对于经常不请假、甚至无故旷工，除将按天数扣除其工资外，将影响个人年终绩效考核。情况严重者，博士后将劝其退站，职工将考虑是否能继续保留本岗位工作。
三、对学生：
1.上述要求也适用于学生。要求每个小组长督导日常纪律检查工作。2.每个学生和博士后（甚至一些年轻职工）必须在规定的组会上汇报自己的工作和取得的研究进展，即使没有取得研究进展，也要汇报做了什么工作（事情），以说明自己在这段时间实验室的工作。3.原则上不赞成利用较短的假期和周末外出长途旅游而占用前后工作时间，并带来安全等问题。
篇8：强化
关键词：单agent强化学习,多agent强化学习,博弈论
目前agent系统及多agent系统已成功地应用于包括机器人团队、分布控制、资源管理、远程通信、电子商务等许多领域[1]。其中的许多任务由于不可能预见agent可能遇到的所有情形,这要求agent在线学习新的行为,以适应环境复杂性和动态性,改善agent自身或整个系统的性能[2]。现在,越来越强调agent的学习能力,学习、交互及其组合对建立健壮、自主agent很关键[3]。根据环境对agent的反馈的差别,机器学习一般分为三种类型:监督学习、非监督学习和强化学习(reinforcement learning,缩写为RL)[4,5]。从自主agent的观点来看,强化学习最有意义,它是自主的在线学习,通过agent与环境的“试错”(trial-and-error)交互进行学习,这与agent的自主、主动特性相一致。
Agent强化学习包括单agent强化学习(Single-agent RL,缩写为SARL)和多agent强化学习(Multi-agent RL,缩写为MARL)两种类型。其中单agent强化学习是研究环境中只有一个agent的强化学习问题,它相对简单,目前的研究已取得很大进展[6,7,8],其中包括:典型的单agent强化学习框架———马尔可夫决策过程模型和一些典型的学习算法。agent强化学习的研究重点已由单agent强化学习转移到多agent强化学习。多agent强化学习是研究多个agent作用于环境时的强化学习问题,每个agent不仅要考虑它与环境的交互,还要考虑它与其它agent之间的相互作用和影响,多agent强化学习比单agent强化学习复杂。近年来,用于求解多agent强化学习所面临的问题和挑战的主要方法是多种技术的集成与综合,其中包括单agent强化学习、博弈论以及直接策略搜索等,将博弈论用作为多agent学习策略分析工具,以博弈论与马尔可夫决策过程相结合的随机对策作为多agent强化学习框架,在此框架下研究了合作、对抗、非合作和完全合作系统中的强化学习以及重复博弈中的强化学习等[8,9,10]。
单agent强化学习与多agent强化学习从环境模型到学习算法等多方面存在相关性,也存在不少差别。本文对单agent强化学习与多agent强化学习进行了比较研究,从基本概念、环境框架、学习目标、实现算法等方面进行了对比分析,指出了它们的区别和联系,并讨论了它们所面临的一些开放性的问题。
1 单Age nt强化学习与多a ge nt强化学习比较
1.1 基本概念
单agent强化学习(SARL)是指在环境中只有一个agent,这个agent通过“试错”的方法与环境进行交互,从中学习最优策略,使自己的效用最大化。这种成功得到奖励,失败得到惩罚的反馈称为强化(reinforcement)。agent强化学习的基本假设为:离散环境状态、有限行动、离散时间、随机状态转移、完全观察、理性。
多agent强化学习(MARL)是指在多agent系统中,每个agent通过“试错”的方法与环境,每个agent都对环境产生作用和影响,agent之间彼此可能存在复杂的交互,彼此之间的利益可能是一致的、不完全一致的或完全相反的,agent之间可能彼此合作、或彼此竞争、或既有合作也有竞争。在这种环境条件下,每个agent从中学习最优策略,使其效用最大化。
单agent强化学习中只有一个agent与环境交互,只处理它与环境的关系。多agent强化学习比单agent强化学习复杂,其中每个agent不仅与环境交互,同时还必须agent之间进行交互,由于agent之间的效用彼此相关,可能存在冲突,每个agent的效用不能单独最大化。
多agent系统可用来很自然的模拟与抽象现实中分布、动态、开放、复杂的问题,多agent强化学习具有许多优势,主要包括[10]:
(1)agent利用任务的分布结构,并行计算。
(2)经验共享帮助agent更快更好的学习类似任务。如:agent可以用通信交换信息,熟练的agent可作为学习者的老师,或学习者可以观察和模仿熟练的agent。
(3)在多agent系统中,当一个或多个agent失效时,剩下的agent能接管它们的部分任务。
1.2 形式框架
单agent强化学习通常采用马尔可夫决策过程(Markov Decision Process,简称MDP)作为环境模型,其形式定义如下:
定义1马尔可夫决策过程可定义为四元组
多agent强化学习通常采用随机对策(Stochastic game,简写为SG,也称Markov博弈、随机博弈)作为环境模型[11],其形式定义如下:
定义2随机对策可定义为五元组
多agent强化学习的环境模型与单agent强化学习的情形相似,但多agent强化更复杂,它采用是马尔可夫对策(马尔可夫决策过程的扩展)作为环境模型,每个agent都有自己的状态转移模型、回报函数和效用值,但环境只有一个,每个agent的状态转移模型、回报函数和效用值都依赖于所有agent的联合行动。
1.3 学习目标
Agent从某一初始状态s开始,经过一系列中间状态及其行动选择,最终到达目标状态。在此过程中,Agent所进行的一系列行动选择,称为策略π。对于单agent强化学习,Agent在策略π下处于状态s所得到的期望折扣效用和U(s)可表示为:
扣因子,满足:γ∈[0,1]。
单Agent强化学习的目标是学习最佳策略π*,使期望折扣效用和最大,即:π*=argmπaxU(s)。
对于多agent强化学习,所有agent的联合效用为:其中Ui表示agent i的效用。πi:S×Ai→[0,1]表示agent i的策略。由于agent之间交互关系不同,彼此间可能存在合作、对抗、竞争等多种关系,agent之间的效用彼此相关且不能单独最大化。按agent之间关系的不同,对多agent强化学习问题分为三种类型:完全合作型、完全竞争型和混合型[10]。对于完全合作型多agent学习系统,agent强化学习的目标是最大化联合效用。但对于其它类型的多agent强化学习问题,很难具体给出一个好的学习目标,通常将学习过程的稳定性和对其它agent动态行为的适应性作为学习目标[7,8,10]:
誗稳定性是指学习结果收敛于固定策略,基本要求是均衡,如:Nash均衡。
誗适应性用于性能维护或改进,包括理性和无悔。理性是指当其它agent稳定时,收敛于最好响应。
1.4 学习方法
对于单agent强化学习,由于agent对MDP环境模型是未知的,不知道转移模型T和回报函数R,因此不能直接利用迭代算法求解最优期望效用值和最优策略[6]。根据学习过程的不同,单agent强化学习方法可分为基于模型(model-base)的方法和无模型(model-free)的方法。基于模型的方法必须从观察中学习转移模型T和回报函数R,而无模型的方法则不需要学习环境的转移模型和回报函数。表1列出了单agent强化学习算法的分类及常见学习算法。
Q-学习[12]算法是单agent强化学习中典型算法,它是通过学习行动-价值函数Q(s,a)来实现学习目标,Q-学习算法的迭代公式为:
其中α是学习速度参数。Q学习算法在一定条件下收敛,包括agent以一定概率不断测试所有状态的所有行动。这意味着agent必须不时探索,即完成非当前贪心策略所规定的其它行动。
多agent强化学习算法源于单agent强化学习、博弈论、直接搜索技术的扩展与综合,表2是按agent之间的交互关系对多agent强化学习算法的一种分类[10]。
在多agent强化学习算法中,一类算法是单agent强化学习算法和博弈论的综合应用,利用博弈论分析agent之间不同交互关系时的策略选择。典型应用包括:minmax-Q学习算法用于零和博弈中两个agent之间的完全对抗。Nash-Q学习算法利用Nash均衡解概念,求解非零和随机对策中的最优策略。Friend-and-Foe-Q学习算法则同时考虑零和及非零和两种博弈模型。CE-Q学习算法是对Nash-Q学习算法和Friend-and-Foe-Q学习算法的综合。
1.5 存在的问题和挑战
单agent强化学习和多agent强化学习共同存在的问题与挑战包括以下两个方面:
(1)探索与利用的均衡agent必须在充分利用(exploitation)当前知识以便回报最大化(反映在当前效用估计上)和探索(exploration)以便长期利益最大化之间进行均衡。探索策略对于强化学习算法的至关重要。多agent系统中探索更复杂,agent探索获得信息不仅包括环境,还包括其它agent(如对这些agent建模)。然而,太多的探索能破坏其它agent学习的动态性,使得探索agent的学习任务更困难。
(2)维数问题大量的离散状态和行动数使得状态—行动空间指数地增长。对于基本的单agent强化学习算法(如Q学习),为每一可能的离散状态或状态—行动对估值,这一增长直接导致它们的计算复杂度指数地增长。对于多agent强化学习,因为包含多个agent,每个agent将自己的变量加入联合状态—行动空间,使得维数问题更严重。
除了探索与利用的均衡、维数问题外,多agent强化学习还包括以下问题[10]:
(1)学习目标对于静态博弈,多agent强化学习的目标可以形式描述,通常包括学习过程的稳定性和对其它agent的适应性。对于具有动态、学习agent的动态任务,多agent强化学习的目标是一个开放性的问题。
(2)非稳定性由于系统中所有agent同时学习,每个agent面临活动目标:最佳策略随着其它agent的策略改变而改变。
(3)协调agent行动对环境的影响也依赖于其它agent的行动。因此为了获得有意图的效果,agent的行动选择必须保持相互一致性。协调典型地归结为在同一行动或策略中保持一致性。虽然协调典型地合作时必需,对于自利的agent所需要的,如:通过协调,agent行动更可以预测,可简化其学习任务。
1.6 应用实例
单agent强化学习的应用实例很多。单agent强化学习的一个有力例证是1992年Gerry Tesauro实现的TD-Gammon系统[4],将强化学习应用到西洋双陆棋(backgammon)中,取得了很大成功,达到与人类顶级棋手旗鼓相当的水平。其它的应用包括:乒乓控制的小车连杆问题、库存管理、动态频率分配、机器人操纵、路径规划、停车场管理、电梯调度器等等。
多gaent强化学习也已应用于多种问题领域,主要是仿真,也有一些现实任务,在现实中的应用多直接来源于单agent强化学习。典型应用领域包括[10]:
(1)分布控制包括过程控制、交通信号控制和电力网络控制等。
(2)机器人团队机器人团队是多agent系统最自然的应用。机器人用MARL获得了广泛的技能,从基本的行动(如:导航)到复杂行动(如:机器人足球比赛)。
(3)自主交易软件交易agent在电子市场代表公司或个人交换商品,采用如协商或拍卖机制。这些问题涉及时序差分或Q学习agent。
(4)资源管理常见的资源管理领域是网络路由管理。在资源管理中多agent形成一个合作的团队,它们可以是资源的管理者(如电梯群控制),也可以是资源的客户(如自适应负载平衡)。
2 结语
通过从基本概念、环境框架、学习目标、实现算法等方面对单agent强化学习与多agent强化学习对比分析可以看出,它们之间既有区别,也有联系,它们之间存在一定的演进关系,很多算法的具体实现很相似。在多agent强化学习中,由于远比单agent强化学习复杂,多agent强化学习遇到一些新的挑战,很难定义多agent强化学习的目标,很多情况下每个学习agent必须跟踪其它学习agent,只有它们能协调行动,才能得到一致联合行动的结果。多agent系统的不稳定性导致多数单agent强化学习算法的无法收敛。算法到现实问题规模的扩展性问题,多agent强化学习比单agent强化学习更突出。
在单agent强化学习中,对于离散的状态和行动空间已很好的解决,连续空间的情况没有解决,已应用到中等规模的问题。目前多agent强化学习应用于仿真和小规模的实际问题,如静态博弈和小规模网格世界,算法的实用性有待进一步的提高,多数多agent强化学习不能用于现实中具有很大(或连续)状态和行动空间的多agent问题,很少算法能处理不完全、不确定观察。为了解决具有很大(或连续)状态和行动空间,以及具有处理不完全、不确定观察的多agent强化学习问题可通过扩展单agent强化学习和领域知识等方法来解决。
参考文献
[1]Wooldridge M.石纯一,张伟,徐晋晖,等译.多Agent系统引论[M].北京:电子工业出版社,2003.
[2]Weiss G.Multiagent Systems:A Modern Approach to Distributed Artifi-cial Intelligence[M].Cambridge,MA:MIT Press,1999.
[3]Peter Stone.Learning and Multiagent Reasoning for Autonomous Agents[A].In20th International Joint Conference on Artificial Intelligence(IJ-CAI-07)[C],Hyderabad,India,2007:13-30.
[4]Russell S,Norvig P.Artificial Intelligence:A Modern Approach(Second Edition)[M].北京:清华大学出版社,2006.
[5]高阳,陈世福,陆鑫.强化学习研究综述[J].自动化学报,2004,30(1):86-100.
[6]R.S.Sutton,A.G.Barto.Reinforcement Learning:An Introduction[M].Cambridge,MA:MIT Press,1998.
[7]王珏,周志华,周傲英.机器学习及其应用[M].北京:清华大学出版社,2006.
[8]赵志宏,高阳,骆斌,陈世福.多agent系统中强化学习的研究现状和发展趋势[J].计算机科学,2004,31(1):23-27.
[9]L.P.Kalebling,M.L.Littman,A.W.Moore.Reinforcement learning:A survey[J].Journal of Artificial Intelligence Research,1996,(4):237-285.
[10]Busoniu,L.Babuska,R.De Schutter,B.A Comprehensive Survey of Multiagent Reinforcement Learning[J].IEEE Transactions on Systems,Man,and Cybernetics-Part C:Applications and Reviews,2008,38(2):156-172.
[11]M.L.Littman.Value-function reinforcement learning in Markov games[J].Journal of Cognitive Systems Research,2001,(2):55-66.
