人工神经网络与模拟进化计算 (2008 年度畅销榜NO.1840 )

本书较系统全而地讨论了人工神经网络与模拟进化计算的理论和工程应用。特别在学习理论与网络结构选择、动态神经网络、自组织网络、贝叶斯方法的应用以及模拟进化计算中的一些理论问题等方而的论述更为系统深入。\r\n\r\n 编写中结合了编者多年为研究生讲授这方面课程的教学经验和一些科研成果，同时参考了国内外有关书籍和教材的大量最新文献资料。内容深入浅出，并尽量反映这一领域的最新进展和发展方向；书中附有习题和丰富的参考文献，便于自学。\r\n\r\n 本书适合作为研究生课程的教材，或作为希望深入学刁神经网络和进化计算的科技工作者的自学参考书。\r\n\r\n \r\n
\r\n

第1章 绪论 \r\n\r\n 1. 1 神经网络的发展与应用 \r\n\r\n 1. 2 人工神经元模型 \r\n\r\n 1. 3 用有向图表示神经网络 \r\n\r\n 1. 4 网络结构及工作方式 \r\n\r\n 1. 5 NN的学习 \r\n\r\n 1. 5. 1 学习方式 \r\n\r\n 1. 5. 2 学习算法 \r\n\r\n 1. 5. 3 学习与自适应 \r\n\r\n 习题 \r\n\r\n 参考文献 \r\n\r\n 第2章 前馈网络 \r\n\r\n 2. 1 线性阂值单元 \r\n\r\n 2. 1. 1 用线性阈值单元实现布尔函数 \r\n\r\n 2. 1. 2 线性可分性 \r\n\r\n 2. 1. 3 n维欧氏空间中m个点上可实现的线性可分函数的个数 \r\n\r\n 2. 2 多层前馈网络的计算能力及函数逼近 \r\n\r\n 2. 3 感知器学习算法 \r\n\r\n 2. 4 反向传播学习算法 \r\n\r\n 2. 5 改进反向传播算法收敛速度的措施 \r\n\r\n 2. 5. 1 加入动量项 \r\n\r\n 2. 5. 2 高阶导数的利用 \r\n\r\n 2. 5. 3 共辆梯度法 \r\n\r\n 2. 5. 4 递推最小二乘法 \r\n\r\n 2. 5. 5 神经元空间搜索法 \r\n\r\n 2. 5. 6 一些其他措施 \r\n\r\n 2. 6 多层前馈网络作用的分析 \r\n\r\n 2. 6. 1 线性网络 \r\n\r\n 2. 6. 2 非线性情况 \r\n\r\n 2. 7 应用举例——手写体数字识别 \r\n\r\n 习题 \r\n\r\n 参考文献 \r\n\r\n 第3章 径向基函数网络 \r\n\r\n 3. 1 4可分性 \r\n\r\n 3. 2 函数逼近与内插 \r\n\r\n 3. 3 正规化理论 \r\n\r\n 3. 4 RBF网络的学习 \r\n\r\n 3. 5 RBF网络的一些变形 \r\n\r\n 3. 6 CMAC网络 \r\n\r\n 3. 6. 1 模型结构 \r\n\r\n 3. 6. 2 工作原理分析 \r\n\r\n 3. 6. 3 学习算法 \r\n\r\n 3. 7 概率神经网络 \r\n\r\n 3. 8 小波网络 \r\n\r\n 3. 9 泛函连接网络 \r\n\r\n 参考文献 \r\n\r\n 第4章 学习理论与网络结构选择 \r\n\r\n 4. 1 学习的统计性能 \r\n\r\n 4. 1. 1 经验风险最小化原则 \r\n\r\n 4. 1. 2 VC维数 \r\n\r\n 4. 1. 3 一致收敛的速度 \r\n\r\n 4. 1. 4 结构风险最小化 \r\n\r\n 4. 2 学习的复杂性问题 \r\n\r\n 4. 2. 1 PAC学习的模型 \r\n\r\n 4. 2. 2 PAC学习的例子 \r\n\r\n 4. 2. 3 PAC学习模型的一些扩展 \r\n\r\n 4. 2. 4 多层前馈网络的样本数问题 \r\n\r\n 4. 2. 5 学习的计算复杂性 \r\n\r\n 4. 3 学习的动态特性 \r\n\r\n 4. 3. 1 通用学习方程 \r\n\r\n 4. 3. 2 LMS规则 \r\n\r\n 4. 3. 3 Hebb规则 \r\n\r\n 4. 3. 4 Oja学习规则 \r\n\r\n 4. 4 推广问题 \r\n\r\n 4. 4. 1 定性分祈 \r\n\r\n 4. 4. 2 平均推广能力 \r\n\r\n 4. 4. 3 从数学上研究一般的推广问题 \r\n\r\n 4. 4. 4 样本量问题 \r\n\r\n 4. 1. 5 推广误差的实验估计 \r\n\r\n 4. 5 预测学习 \r\n\r\n 4. 5. 1 模型 \r\n\r\n 4. 5. 2 根本困难 \r\n\r\n 4. 5. 3 维数灾难问题 \r\n\r\n 4. 5. 4 方差与偏置折衷 \r\n\r\n 4. 6 网络模型选择 \r\n\r\n 4. 6. 1 定性分析 \r\n\r\n 4. 6. 2 正规化方法 \r\n\r\n 4. 6. 3 修剪与网络构造法 \r\n\r\n 4. 7 将号学习与神经网络结合 \r\n\r\n 4. 8 支承向量机 \r\n\r\n 4. 9 新一代神经元模型及其计算能力的研究 \r\n\r\n 4. 9. 1 布尔函数的计算 \r\n\r\n 4. 9. 2 连续输入的情况 \r\n\r\n 4. 9. 3 脉冲锅合神经元 \r\n\r\n 习题 \r\n\r\n 参考文献 \r\n\r\n 第5章 反馈网络与联想存储器 \r\n\r\n 5. 1 联想存储器 \r\n\r\n 5. 2 反馈网络 \r\n\r\n 5. 2. 1 离散Hopfield网络 \r\n\r\n 5. 2. 2 连续Hopfield网络 \r\n\r\n 5. 3 用反馈网络作联想存储器 \r\n\r\n 5. 4 相关学习算法 \r\n\r\n 5. 5 容量分析 \r\n\r\n 5. 6 伪逆学习算法 \r\n\r\n 5. 7 基于线性可分性的学习算法 \r\n\r\n 5. 8 Li与Miche1的设计方法 \r\n\r\n 5. 9 线性规划方法 \r\n\r\n 5. 10 多余吸引子问题 \r\n\r\n 5. 11 双向联想存储器 \r\n\r\n 5. 12 玻耳兹曼饥 \r\n\r\n 5. l2. 1 随机神经元 \r\n\r\n 5. 12. 2 模拟退火算法 \r\n\r\n 5. 12. 3 玻耳兹曼机 \r\n\r\n 5. 12. 4 玻耳兹曼机的学习 \r\n\r\n 5. 12. 5 平均场学习规则 \r\n\r\n 参考文献 \r\n\r\n 第6章 神经网络用于优化计算 \r\n\r\n 6. 1 概述 \r\n\r\n 6. 2 连续Hopfield网络用于求解优化问题 \r\n\r\n 6. 3 CHNN用于优化计算时存在的问题 \r\n\r\n 6. 4 神经网络用于求解货流问题 \r\n\r\n 6. 5 用于解数学规划的电路举例 \r\n\r\n 6. 6 在通信网络中的应用举例 \r\n\r\n 习题 \r\n\r\n 参考文献 \r\n\r\n 第7章 自组织系统(I)一一Hebb学习 \r\n\r\n 7. 1 引言 \r\n\r\n 7. 2 自组织特征检测——一个简单的实验 \r\n\r\n 7. 3 主成分分析 \r\n\r\n 7. 4 单个神经元抽取最大主分量 \r\n\r\n 7. 5 单层网络朋于抽取一组主分量 \r\n\r\n 7. 6 有侧向连接的自适应PCA \r\n\r\n 7. 7 最小均方误差重建学习 \r\n\r\n 7. 8 次分量的提取和应用 \r\n\r\n 7. 8. 1 最优拟合问题 \r\n\r\n 7. 8. 2 用单个神经元实现 \r\n\r\n 7. 9 PCA算法的进一步扩展 \r\n\r\n 7. 9. 1 非线性PCA \r\n\r\n 7. 9. 2 鲁棒PCA算法 \r\n\r\n 7. 10 用于特征拙取的网络 \r\n\r\n 7. 10. 1 正态分布的数据 \r\n\r\n 7. 10. 2 类内. 类间距离的计算 \r\n\r\n 7. 10. 3 Bhattacharya距离 \r\n\r\n 7. 11 独立成分分析 \r\n\r\n 7. 11, 1 IC与肓源分离 \r\n\r\n 7. 11. 2 高阶累积量 \r\n\r\n 7. 11. 3 基于信息的判据 \r\n\r\n 参考文献 \r\n\r\n 第8章 自组织系统(II)—一 竞争学习 \r\n\r\n 8. 1 Hamming网络与WTA网络 \r\n\r\n 8. 2 自组织特征映射 \r\n\r\n 8. 3 等效的SOFM算法 \r\n\r\n 8. 4 向量量化 \r\n\r\n 8. 5 广义向设量化 \r\n\r\n 8. 6 讨论 \r\n\r\n 8. 7 应用举例——指纹识别 \r\n\r\n 8. 8 自适应共振理论 \r\n\r\n 8. 3. 1 ART的基本原理 \r\n\r\n 8. 8. 2 ART作为分类器时的学习算法 \r\n\r\n 习题 \r\n\r\n 参考文献 \r\n\r\n 第9章 自组织系统(III)——基于信息论的模型 \r\n\r\n 9. 1 信息论简介 \r\n\r\n 9. 2 最大信息保持原则 \r\n\r\n 9. 2. 1 单个神经元受噪声干扰 \r\n\r\n 9. 2. 2 输入受加性噪声干扰 \r\n\r\n 9. 2. 3 更复杂些的情况 \r\n\r\n 9. 3 拓扑有序映射的产生 \r\n\r\n 9. 4 基于最大熵原则的拓扑映射 \r\n\r\n 参考文献 \r\n\r\n 第10章 动态信号与系统的处理 \r\n\r\n 10. 1 延时单元网络 \r\n\r\n 10. 2 时空神经元模型 \r\n\r\n 10. 2. 1 模型 \r\n\r\n 10. 2. 2 FIR网络的学习算法 \r\n\r\n 10. 3 部分反馈网络 \r\n\r\n 10. 4 有反馈网络的学习算法 \r\n\r\n 10. 4. 1 随时间演化的反向传播算法 \r\n\r\n 10. 4. 2 实时递归学习 \r\n\r\n 10. 5 应用举例 \r\n\r\n 10. 6 讨沦 \r\n\r\n l0. 7 再励学习的主要算法 \r\n\r\n 10. 7. 1 时间差分法 \r\n\r\n 10. 7. 2 RL的主要算法 \r\n\r\n 10. 8 再励学习在控制中的应用举例 \r\n\r\n 习题 \r\n\r\n 参考文献 \r\n\r\n 第11章 神经网络中的动力学问题 \r\n\r\n 11. 1 运动稳定性的基本知识 \r\n\r\n 11. 1. 1 运动微分方程 \r\n\r\n 11. 1. 2 平衡状态及其稳定性 \r\n\r\n 11. 1. 3 定性方法, 系统的分类 \r\n\r\n 11. 1. 4 Liapunov定理 \r\n\r\n 11. 1. 5 吸引子 \r\n\r\n 11. 2 反馈网络的基本模型及其稳定性 \r\n\r\n 11. 2. 1 基本模型 \r\n\r\n 11. 2. 2 稳定性分析 \r\n\r\n 11. 2. 3 离散模型 \r\n\r\n 11. 2. 4 离散时间连续状态模型 \r\n\r\n 11. 3 递归反传算法 \r\n\r\n 11. 4 混沈神经网络的初步介绍 \r\n\r\n 11. 4. 1 一个简单的非线性映射 \r\n\r\n 11. 4. 2 混沌神经元模型 \r\n\r\n 11. 4. 3 用混沌神经网络作联想记忆 \r\n\r\n 参考文献 \r\n\r\n 第12章 模块化神经网络 \r\n\r\n 12. 1 引言 \r\n\r\n 12. 2 混合专家网络 \r\n\r\n 12. 3 分层混合专家网络 \r\n\r\n l2. 3. 1 工作原理 \r\n\r\n l2. 3. 2 EM算法概述 \r\n\r\n 12. 3. 3 EM算法用于HME \r\n\r\n 12. 3. 4 IRLS算法 \r\n\r\n 12. 3. 5 EM算法的步骤 \r\n\r\n 12. 4 应用举例 \r\n\r\n 参考文献 \r\n\r\n 第13章 误差函数与参数优化方法 \r\n\r\n 13. 1 误差平方和 \r\n\r\n 13. 1. 1 网络输出的含义 \r\n\r\n 13. 1. 2 更一般的条件分布的建模 \r\n\r\n 13. 2 后验概率估计 \r\n\r\n l3. 2. 1 误差平方和准则 \r\n\r\n l3. 2. 2 隐单元的作用 \r\n\r\n 13. 2. 3 R范数误差 \r\n\r\n \r\n
\r\n

当今的时代被称为信息时代. 信息科学技术的快速发展和广泛渗透已经成为现今社会的一个重要的时代特征. 人类社会的生产活动和生活质量, 比以往任何时代都更加得益于和. 依赖于信息技术的成就和发展. 自动化是信息技术领域的主要组成部分之一, 包括信号和信息处理. 模式识别. 知识工程. 控制理论. 自动化技术. 传感技术. 自动化仪表. 系统工程. 机器人控制. 计算机控制与应用. 网络技术等在内, 都和信息科学与技术有着直接和密切的关系, 几乎涉及到了信息的检测. 分析. 处理. 控制和应用等所有方面. 正是基于当今时代特点和科技发展态势这个大视野, 结合自动化类专业人才培养模式及教学内容体系的改革, 我们规划和组织了这套丛书的编写和出版. 这套丛书的读者, 定位为自动控制. 过程自动化. 计算机. 电子工程. 电气工程. 动力工程. 机械自动化等系科的高年级大学生和研究生, 以及这些领域和部门的科学工作者和工程技术人员.

十年前, 我们曾经组编和出版过一套《信息. 控制与系统》系列教材, 产生了比较大的社会影响, 其中的许多著作至今仍然被国内很多高等学校用作教材, 并被广大相关的科技人员作为进修和自学读物. 现在组编和出版的这套《信息技术丛书》, 从一定意义上可以说, 就是先前的那套系列教材的发展和延伸, 以反映新的进展和适应新的需求, 匹配于变化了的时代和发展了的科技. 列入这套丛书中的著作, 大都是清华大学自动化等系所开设的课程中经过较长教学实践而形成的, 既有在多年教学经验基础上新编而成的教材, 也有属于原系列教材中的部分教材的修订版本. 总体上, 这套丛书仍将保持原系列教材的求新与求实的风格, 力求反映所属学科的基本理论和新近进展, 力求做到科学性和教学性的统一, 力求体现清华大学近年来在相应学科和领域中科学研究与教学改革的成果.

我仍希望这套丛书, 既能为在校大学生和研究生的学习提供内容较新和论述较为系统的教材, 也能为广大科技人员的继续学习与知识更新提供适合的和有价值的参考书. 我们同时热忱欢迎, 选用这套丛书的老师. 学生和科技工作者提出批评和建议.

《信息技术丛书》编委会

1999年10月

现在国内有关神经网络和模拟进化计算的书不少, 其中也不乏优秀之作, 但作为研究生教材, 就编者多年的教学经验看, 在广度和深度方面尚不能完全满足要求. 研究生课程学时较少, 来自各专业的研究生参加了各种各样的科研任务, 所提出的问题非常广泛和深入, 希望教材有一定深度和广度, 以便他们进一步扩展和深入, 本书向这个方向作了一些努力.

著名学者D.Marr认为, 对一个复杂的信息处理系统的研究可分为3个层次, 即计算理论层, 算法层和实现层. 计算理论层解决处理的目的, 用什么理论, 并说明所用理论为何能达此目的, 算法层解决为实现计算理论所采用的算法, 实现部分应给出可执行的或硬件实现的具体算法. 编者认为, 对于神经网络来说, 计算理论层主要是学习理论, 而现在的学习理论是基于统计决策理论的. 算法部分是非线性优化方法(所有的学习算法都可归结为一种优化算法). 实现层背后的理论牵涉到非线性动力学系统的稳定性. 可靠性理论等, 从这一观点出发, 本书加强并扩展了以下几方面的内容.

1. 学习理论与网络结构选择, 第4章较系统地介绍了学习理论方面最近的研究成果, 从工程应用的角度简要介绍了V.Vapnik的统计学习理论和经验风险最小化方法, 特别强调了有限样本下的学习和网络结构选择问题. 贝叶斯理论是研究归纳学习的有力工具, 第14章从贝叶斯学习的观点进一步讨论了参数学习和网络结构选择问题.

2. 优化方法, 第13章专门讨论了误差函数和参数优化方法, 介绍了一些不同的误差函数, 重点讨论了各种基于梯度的优化方法, 而进化计算部分则主要讨论全局优化方法.

3. 动态系统和信号的处理, 神经网络在系统辨识和随时间变化的信号处理(如时间序列的建模和预测)等方面的应用越来越多, 第10章专门讨论了这方面的问题. 第15章讨论神经网络在信号处理中的应用, 可看作是第10章的扩展.

模拟进化计算的具体算法及其改进很多, 本书不去求全, 只结合最常用的遗传算法和进化策略从理论上作了较深入的分析.

在编写过程中, 参考了Haykin S. 编写的“Neural Networks, A Comprehensive Fundation”(1994年版)以及Bishop. C. M 编写的“Neural Networks for Pattern Recognition”(1995年版)两本书. 有许多内容取材于最近的国内外文献. 各章后面都附有较多的参考文献, 以便读者查阅.

本书各章安排如下：1～15章为第一部分. 第l章是绪沦. 介绍了人工神经元模型. 网络结构和工作方式以及一些重要的学习方法. 第2, 3, 4章讲述前馈网络, 其中第2章讨论了前馈网络的一般问题, 反向传播学习算法, 为便于理解前馈网络作用的机理, 2.6节对前馈网络各层的作用从物理概念上作了分析. 第3章讲述径向基函数网络和与之有关的概率神经网络等. 第4章主要讨论学习和网络结构选择问题, 同时也介绍了新近出现的一些神经元模型. 第5, 6京讲述单层全反馈网络. 第5章讨论反馈网络的—般问题和联想存储器, 重点讨论了联想存储器的设计. 最后介绍了玻耳兹曼机. 第6章讲述反馈网络用于优化计算中的一些问题. 第7, 8, 9章讲述自组织网络. 第7章讨论基于Hebb学习的自组织网络, 讲述了主成分分析网络和独立成分分析问题. 第8章讨论基于竞争学习的自组织网络, 重点讨论常用的自组织特征映射算法和向量量化算法. 对自适应谐振理论也做了介绍. 第9章从信息理论角度研究自组织过程. 第10章专门讨论用于处理动态系统和信号的神经网络. 介绍了带外加延时的前馈网络和部分反馈网络这两种最常用的模型, 讨论了动态网络的一些主要学习算法, 最后介绍了再励学习算法. 第11章讨论反馈网络的动力学问题, 由于反馈网络是一个非线性动力学系统, 从数学上严格分桥很困难, 只能从工程应用的角度, 对一些常用的网络模型的稳定性作了定性分析, 最后, 对混沌神经网络作了介绍. 第12, 13, 14章的内容主要针对前馈网络. 第12章讨论了用多个子网络组成复合网络来解决一些较复杂问题的方法, 第13章针对学习过程中误差函数的作用和重要的参数优化方法作了介绍, 第14章讨论了基于贝叶斯理论的学习方法和网络结构选择问题. 第15章主要讨论神经网络在信号处理中的应用, 它是第10章内容的深入和扩充. 第l 6—20章属于本书的第二部分. 第16章对进化计算的一般概念作了介绍, 系统讲述了进化策略的基本原理和算法. 第l7章讨论遗传算法, 介绍了标准的遗传算法, 对遗传算法的理论和收敛问题做了较深入的讨论. 第18章进一步从实现的角度讨论遗传算法的设计和实现, 包括编码方法, 适应度函数的选择, 遗传算子和参数选择问题. 第19, 20章讲述遗传算法的应用, 分别讨论了在神经网络结构选择和权值学习中的应用以及在作业调度中的应用.

作为教材, 第1～6章. 第8章和第10章, 16. 1, 17. 1, 17. 2, 17. 3节属于基本内容, 其余各章可作为专题内容.

本书第l一15章由阎平凡编写, 第16～20章由张长水编写. 清华大学出版社为本书的编写出版做了大量工作, 在此表示衷心的感谢.

限于作者水平, 书中错误遗漏之处在所难免, 恳请读者批评指正.

编 者

1999年12月25日