首次运行BERT需要的环境配置和准备详细教程,bert运行官方模型,使用MRPC数据集进行测试

第一步 下载所需

下载bert源码和模型

首先我们下载bert的源码和官方的模型,去官网 :

https:

下载官网源码:

首次运行BERT需要的环境配置和准备详细教程,bert运行官方模型,使用MRPC数据集进行测试
下载官方模型:
仔细看一看,把音量调小一点。下面肯定有这样一个职位。
[En]

Take a good look and turn it down. there must be such a position below.

首次运行BERT需要的环境配置和准备详细教程,bert运行官方模型,使用MRPC数据集进行测试

下载GLUE数据集

要运行bert的模型,需要用到指定的GLUE数据集,数据集下载地址:

https:

GLUE是一个统称,里面有很多个独立的数据集,例如如果只使用MRPC进行测试,那可以只下载MRPC数据集,如果出现无法下载的情况,可以使用我下载好的:

链接:https:
提取码:dkf6

第二步 运行环境配置

经过上面的步骤,你已经得到了bert运行的所有数据,现在只需要配置你本地的环境。

创建虚拟环境

这里使用conda创建一个新的虚拟环境:
conda create -n bert python=3.7
bert的运行需要tensorflow的支持,要在该环境中安装一下tensorflow,需要注意的是,一定要安装下面指定版本,不然后面运行会报错。
conda activate bert // 进入刚创建的虚拟环境
conda install tensorflow==1.14 // 安装tensorflow 1.14 版本

创建工程

使用pycharm创建一个用于运行测试的新的工程项目。
然后把bert源码,glue数据集,官网模型都放到该项目中,看我的目录结构:

首次运行BERT需要的环境配置和准备详细教程,bert运行官方模型,使用MRPC数据集进行测试
如果你是自己下载的glue数据集,可能和我的目录结构有一点点不一样,请忽略多余的文件即可。
还有主要的一点,就是把该工程的python环境注意配置好,配置成刚才新创建名为 bert 的环境。
然后,您可以选择打开一个详细信息:
[En]

Then there is a detail that you can choose to open:

首次运行BERT需要的环境配置和准备详细教程,bert运行官方模型,使用MRPC数据集进行测试
我们需要在pycharm里面打开 bert 的源码文件夹,再进行后面的运行测试,因为bert 源码文件夹里面有些py文件是相互引用的,这样选择打开以后,引用就不会报错啦。
打开以后就是这个样子:
首次运行BERT需要的环境配置和准备详细教程,bert运行官方模型,使用MRPC数据集进行测试

; 配置运行参数

运行前的最后一步,配置一下运行参数,就是指定一下batch_size 和 数据集位置等等,选中下图中的文件(因为后面我们就是用这个文件进行运行的):

首次运行BERT需要的环境配置和准备详细教程,bert运行官方模型,使用MRPC数据集进行测试
设置运行参数,设置完这些参数后,我们只需要直接运行文件,不需要在命令行上手动传递参数。
[En]

Set the running parameters, after these parameters are set, we only need to run the file directly, and there is no need to manually pass the parameters on the command line.

首次运行BERT需要的环境配置和准备详细教程,bert运行官方模型,使用MRPC数据集进行测试
在上面红色框后的输入框中输入(复制并扔出,无论格式如何):
[En]

Enter it in the input box after the red box above (copy and throw it, regardless of format):

--task_name=MRPC \
--do_train=true \
--do_eval=true \
--data_dir=../glue/glue_data/MRPC \
--vocab_file=../glue/BERT_MODEL_DIR/uncased_L-12_H-768_A-12/vocab.txt \
--bert_config_file=../glue/BERT_MODEL_DIR/uncased_L-12_H-768_A-12/bert_config.json \
--init_checkpoint=../glue/BERT_MODEL_DIR/uncased_L-12_H-768_A-12/bert_model.ckpt \
--max_seq_length=128 \
--train_batch_size=8 \
--learning_rate=2e-5 \
--num_train_epochs=1.0 \
--output_dir=../glue/outputs

在上面复制它,并在下面添加注释以简要解释它。

[En]

Copy it above and add a comment below to explain it briefly.

--task_name=MRPC \
--do_train=true \
--do_eval=true \
--data_dir=../glue/glue_data/MRPC \
--vocab_file=../glue/BERT_MODEL_DIR/uncased_L-12_H-768_A-12/vocab.txt \
--bert_config_file=../glue/BERT_MODEL_DIR/uncased_L-12_H-768_A-12/bert_config.json \
--init_checkpoint=../glue/BERT_MODEL_DIR/uncased_L-12_H-768_A-12/bert_model.ckpt \
--max_seq_length=128 \
--train_batch_size=8 \
--learning_rate=2e-5 \
--num_train_epochs=1.0 \
--output_dir=../glue/outputs

唯一需要注意的是,这条道路并没有错。这里的路径与上面的工程结构图是一致的。

[En]

The only thing to note is that the path is not mistaken. The path here is consistent with the drawing of the engineering structure above.

最后可以尝试运行一下 run_classifier.py 文件试试啦!!!

Original: https://blog.csdn.net/qq_42458992/article/details/120684554
Author: 小奶狗先生
Title: 首次运行BERT需要的环境配置和准备详细教程,bert运行官方模型,使用MRPC数据集进行测试

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/496731/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球