2020
11-19
11-19
PyTorch预训练Bert模型的示例
本文介绍以下内容:1.使用transformers框架做预训练的bert-base模型;2.开发平台使用Google的Colab平台,白嫖GPU加速;3.使用datasets模块下载IMDB影评数据作为训练数据。transformers模块简介transformers框架为Huggingface开源的深度学习框架,支持几乎所有的Transformer架构的预训练模型。使用非常的方便,本文基于此框架,尝试一下预训练模型的使用,简单易用。本来打算预训练bert-large模型,发现colab上GPU显存不够用,只...
继续阅读 >