Sklearn 与 TensorFlow 机器学习实用指南
零、前言
- 1、机器学习海啸
- 2、您项目中的机器学习
- 3、目标和方法
- 4、准备条件
- 5、路线图
- 6、其他资源
- 7、本书中的一些约定
- 8、使用代码示例
- 9、O’Reilly Safari
- 10、如何联系我们
- 11、致谢
一、机器学习概览
- 什么是机器学习？
- 为什么使用机器学习？
- 机器学习系统的类型
- 批量和在线学习
- 基于实例学习
- 机器学习的主要挑战
- 测试和确认
- 练习
二、一个完整的机器学习项目
- 使用真实数据
- 项目概览
- 获取数据
- 数据探索和可视化、发现规律
- 为机器学习算法准备数据
- 选择并训练模型
- 模型微调
- 启动、监控、维护系统
- 实践！
- 练习
三、分类
- MNIST
- 训练一个二分类器
- 对性能的评估
- 多类分类
- 误差分析
- 多标签分类
- 多输出分类
- 练习
四、训练模型
- 线性回归
- 梯度下降
- 多项式回归
- 学习曲线
- 线性模型的正则化
- 逻辑回归
- 练习
五、支持向量机
- 线性支持向量机分类
- 非线性支持向量机分类
- SVM 回归
- 背后机制
- 练习
六、决策树
- 决策树的训练和可视化
- 开始预测
- 估计分类概率
- CART 训练算法
- 计算复杂度
- 基尼不纯度或是信息熵
- 正则化超参数
- 回归
- 不稳定性
- 练习
七、集成学习和随机森林
- 投票分类
- 在 sklearn 中的 Bagging 和 Pasting
- 随机贴片与随机子空间
- 随机森林
- 提升
- Stacking
- 练习
八、降维
- 维数灾难
- 投影（Projection）
- 保留（最大）方差
- 核 PCA（Kernel PCA）
- 其他降维方法
- 练习
九、启动并运行 TensorFlow
- 安装
- 创造第一个图谱，然后运行它
- 管理图谱
- 节点值的生命周期
- Linear Regression with TensorFlow
- 实现梯度下降
- 手动计算渐变
- Using autodiﬀ
- 使用优化器
- 将数据提供给训练算法
- MINI-BATCH 完整代码
- 保存和恢复模型
- 名称作用域
- 模块性
- 共享变量
十、人工神经网络介绍
- 从生物到人工神经元
- 生物神经元
- 神经元的逻辑计算
- 感知器
- 多层感知器与反向传播
- 用 TensorFlow 高级 API 训练 MLP
- 使用普通 TensorFlow 训练 DNN
- 构造阶段
- 执行阶段
- 使用神经网络
- 微调神经网络超参数
- 隐藏层数量
- 每层隐藏层的神经元数量
- 激活函数
- 完整代码
- 练习
十一、训练深层神经网络
- 梯度消失/爆炸问题
- 非饱和激活函数
- 批量标准化
- 梯度裁剪
- 复用预训练层
- 复用 TensorFlow 模型
- 复用来自其它框架的模型
- 冻结较低层
- 缓存冻结层
- 调整，删除或替换较高层
- Model Zoos
- 无监督的预训练
- 在辅助任务上预训练
- 更快的优化器
- 动量优化
- Nesterov 加速梯度
- AdaGrad
- RMSProp
- Adam 优化
- 训练稀疏模型
- 学习率调整
- 通过正则化避免过拟合
- 早期停止
- L1 和 L2 正则化
- Dropout
- 最大范数正则化
- 数据增强
- 实践指南
- 练习
十二、设备和服务器上的分布式 TensorFlow
- 一台机器上多设备
- 管理 GPU 内存
- 简单放置
- 并行运行
- 控制依赖关系
- 多个服务器的多个设备
- 开始一个会话
- 主机和辅助服务
- 固定任务的操作
- 跨多个参数服务器的分片变量
十三、卷积神经网络
- 视觉皮层的结构
- 卷积层
- 卷积核/过滤器
- 叠加的多个特征映射
- TensorFlow 实现
- 内存需求
- 池化层
- CNN 架构
- LeNet-5
- AlexNet
- GoogLeNet
- ResNet
- TensorFlow 卷积操作
十四、循环神经网络
- 循环神经元
- 记忆单元
- 输入和输出序列
- TensorFlow 中的基本 RNN
- 时间上的静态展开
- 时间上的动态展开
- 处理变长输入序列
- 处理变长输出序列
- 训练 RNN
- 训练序列分类器
- 为预测时间序列而训练
- 深度 RNN
- 在多个 GPU 上分布式部署深度 RNN 网络
- Dropout 的应用
- 长时训练的困难
- 窥孔连接
- GRU 单元
- 单词嵌入
- 练习
十五、自编码器
- 有效的数据表示
- 用不完整的线性自编码器执行 PCA
- 栈式自编码器（SAE）
- TensorFlow实现
- 关联权重
- 一次训练一个自编码器
- 可视化重建
- 可视化功能
- 无监督预训练使用栈式自编码器
- 降噪自编码（DAE）
- TensorFlow 实现
- 稀疏自编码器
- TensorFlow 实现
- 变分自编码器（VAE）
- 生成数字
- 其他自编码器
十六、强化学习
- 学习优化奖励
- 策略搜索
- OpenAI 的介绍
- 神经网络策略
- 评价行为：信用分配问题
- 策略梯度
- 马尔可夫决策过程
- 时间差分学习与 Q 学习
- 探索策略
- 近似 Q 学习
- 学习去使用深度 Q 学习来玩 Ms.Pac-Man
- 练习
- 感谢
附录 C、SVM 对偶问题
附录 D、自动微分
- 手动微分法
- 符号微分
- 数值微分
- 前向自动微分
- 反向自动微分

在多个 GPU 上分布式部署深度 RNN 网络

浏览 212 分享 2020-03-28 12:54:42

在多个 GPU 上分布式部署深度 RNN 网络

评论列表正在加载评论...