亚图跨际
国际网址https://viadean.notion.site

PyTorch自然语言处理

 二维码 30

特点

  • 展示如何使用基于 Python 的深度学习库 PyTorch 应用这些方法

  • 演示如何使用 PyTorch 构建应用程序

  • 探索计算图和监督学习范式

  • 掌握 PyTorch 优化张量操作库的基础知识

  • 概述传统的 NLP 概念和方法

  • 学习构建神经网络所涉及的基本思想

  • 使用嵌入来表示单词、句子、文档和其他特征

  • 探索序列预测并生成序列到序列模型

  • 学习构建自然语言处理生产系统的设计模式

内容

  • 介绍

    • 监督学习范式

    • 观察和目标编码

    • 计算图

    • PyTorch 基础知识


  • 自然语言处理

    • 语料库、令牌和类型

    • Unigrams, Bigrams, Trigrams, …, N-grams

    • 引理和词干

    • 对句子和文件进行分类

    • 分类词:POS 标记

    • 分类跨度:分块和命名实体识别

    • 句子结构

    • 词义和语义


  • 神经网络的基础组件

    • 感知器:最简单的神经网络

    • 激活函数

    • 损失函数

    • 深入了解监督训练

    • 辅助训练概念

    • 示例:对餐厅评论的情绪进行分类


  • 自然语言处理的前馈网络

    • 多层感知器

    • 示例:使用 MLP 进行姓氏分类

    • 卷积神经网络

    • 示例:使用 CNN 对姓氏进行分类

    • CNN 中的其他主题


  • 嵌入单词和类型

    • 介绍

    • 示例:学习词嵌入的连续袋

    • 示例:使用预训练嵌入进行文档分类的迁移学习


  • 序列建模

    • 循环神经网络简介

    • 示例:使用字符 RNN 对姓氏国籍进行分类


  • 中间序列建模

    • Vanilla RNN(或 Elman RNN)的问题

    • 门控是普通 RNN 挑战的解

    • 示例:用于生成姓氏的字符 RNN


  • 高级序列建模

    • 序列到序列模型、编码器-解码器模型和条件生成

    • 从序列中捕获更多:双向循环模型

    • 从序列中捕获更多:注意力

    • 评估序列生成模型

    • 示例:神经机器翻译


  • 经典、前沿和后续步骤


阅读咨询