近阶段学习和实习的小结（git、docker和elasticsearch的使用）

我校在2月24日就正式开学了，很不巧老家苏州发生了疫情就一直没能返校，到了3月初学校所在的哈尔滨又发生了疫情于是返校的日程又被耽搁了。

这些天里我一直宅在家学习和工作，在此期间我得到了一个实习offer来自上海张江的一个企业，地址正好在百度研发大楼的对面，我是进行的远程实习，所以是不用去单位的。具体的工作内容是研发一个搜索系统，键入一些列的病症，搜索相关的论文。数据使用的是NCBI（美国国家生物信息中心）提供的开源数据集。我的任务主要是将数据录入elasticsearch和制作一个搜索系统，目前先要在命令行中验证其可行性，进而做成web版。目前的进度是完成了数据录入脚本的编写，现在只要改变一个录入的列表即可复用代码。

在这么多天的实习中我学到了不少新的东西，尤其是git的使用流程，我以前一直把他当网盘用，但这明显是不科学的。

git使用的流程如下：

​git流程规范：先建feature branch，然后从feature branch开PR，code review完成以后，再merge feature branch到main branch

git不是存数据的地方，data不要push到git上

git开分支并切换的命令如下:

git branch feature/yuetian

git cheackout feature/yuetian

其中feature/yuetian是分支名称。以上就是我在工作中了解到的关于git的新知识。

项目使用了docker容器化技术，于是我又不得不学习了一把docker。接下来我来总结学到了docker命令行：

启动docker服务：

systemctl start docker

停止docker服务：

systemctl stop docker

重启docker服务：

systemctl restart docker

查看docker服务状态：

systemctl status docker

设定开机启动docker：

systemctl enable docker

查看本地所有镜像：

docker images -q

删除本地镜像：

docker rmi <镜像id></镜像id>

查看所有容器：

docker ps -a

创建并启动容器：

docker run <参数>
-i &#x4FDD;&#x6301;&#x5BB9;&#x5668;&#x8FD0;&#x884C;
-t &#x4E3A;&#x5BB9;&#x5668;&#x914D;&#x5907;&#x4E00;&#x4E2A;&#x4F2A;&#x8F93;&#x5165;&#x7EC8;&#x7AEF;
-d &#x4EE5;&#x5B88;&#x62A4;&#x8FDB;&#x7A0B;&#x542F;&#x52A8;
--name &#x547D;&#x540D;&#x521B;&#x5EFA;&#x7684;&#x5BB9;&#x5668;</参数>

进入容器：

docker exec <参数></参数>

停止容器：

docker stop 容器名

开启容器：

docker start 容器名

删除容器：

docker rm 容器名

查看容器信息：

docker inspect 容器名

我暂时实现了写入数据的操作，原来的文件是一个xml文件，我的思路是将xml文件中的数据提取，转换成pandas的DataFrame数据类型在进行进一步操作。

具体的Python代码如下：

from lxml import etree
import pandas as pd
import numpy as np
from elasticsearch import Elasticsearch

get data from xml file
def get_data(address):
    xml = etree.parse(address)
    root = xml.getroot()
    results = []
    datas = root.xpath('//PubmedArticle/MedlineCitation')
    date_completed = []
    date_revised = []
    ISSN = []
    DOI = []
    ID = []
    AbstractList = []
    Title = []
    Names = []

    for data in datas:
        # print(data)
        if len(data.xpath('./DateCompleted')) != 0:
            year = data.xpath('./DateCompleted/Year/text()')[0]
            month = data.xpath('./DateCompleted/Month/text()')[0]
            day = data.xpath('./DateCompleted/Day/text()')[0]
            Date = month+'-'+day+'-'+year
            # print(Date)
            date_completed.append(Date)
        else:
            date_completed.append('NULL')

        year = data.xpath('./DateRevised/Year/text()')[0]
        month = data.xpath('./DateRevised/Month/text()')[0]
        day = data.xpath('./DateRevised/Day/text()')[0]
        Date = month + '-' + day + '-' + year
        date_revised.append(Date)

        if len(data.xpath('./Article/Journal/ISSN/text()')) != 0:
            issn = data.xpath('./Article/Journal/ISSN/text()')[0]
            # print(issn)
            ISSN.append(issn)
        else:
            ISSN.append('NULL')

        id = data.xpath('./PMID/text()')[0]
        if id != '':
            ID.append(id)
        else:
            ID.append('NULL')

        if len(data.xpath('./parent::*/PubmedData/ArticleIdList/ArticleId[@IdType="doi"]/text()')) != 0:
            doi = data.xpath('./parent::*/PubmedData/ArticleIdList/ArticleId[@IdType="doi"]/text()')[0]
            # print(doi)
            DOI.append(doi)
        else:
            DOI.append('0')

        title = data.xpath('./Article/ArticleTitle/text()')
        if len(title) != 0:
            # print(title)
            Title.append(title[0])
        else:
            Title.append('NULL')

        Abstract = data.xpath('./Article/Abstract/AbstractText/text()')
        if len(Abstract) == 1:
            AbstractList.append(Abstract[0])
            # print(Abstract)
        elif len(Abstract) == 0:
            AbstractList.append('NULL')
        else:
            length = len(Abstract)
            # print(length)
            AbstractString = ''
            for tmp in Abstract:
                AbstractString.join(tmp)
            # Abstract = data.xpath('./Article/Abstract/AbstractText/text()')[0]
            # Abstract = data.xpath('./Article/Abstract/AbstractText[@Label="BACKGROUND"]/text()')[0]
            AbstractList.append(AbstractString)
            # print(AbstractString)

        authorLastName = data.xpath('./Article/AuthorList/Author/LastName/text()')
        authorForeName = data.xpath('./Article/AuthorList/Author/ForeName/text()')
        authorName = []
        if len(authorForeName) != 0 and len(authorLastName) != 0 and len(authorForeName) == len(authorLastName):
            for i in range(len(authorLastName)):
                authorName.append(authorForeName[i] + ' ' + authorLastName[i] + ',')
            # print(authorName)
            Names.append("".join(authorName))

        else:
            Names.append("NULL")

    final = pd.DataFrame(np.array([date_completed, date_revised, ISSN, DOI, AbstractList, Title, ID, Names]).T,
                         columns=['dateCompleted', 'DateRevised', 'ISSN', 'DOI', 'AbstractList', 'Title',
                                  'PMID', 'Authors'])

    # final.to_csv('c:\\result.csv')
    return final

PUT data into Elasticsearch
def write_data(data):
    es = Elasticsearch(hosts=['localhost:9200'])
    index_name = "pubmed-paper-index"
    length = len(data['PMID'])
    for i in range(length):
        jsonData = {
            "title": data.loc[i]['Title'],
            "Authors": data.loc[i]['Authors'],
            "abstract": data.loc[i]['AbstractList'],
            "date": {
                "completed_date": data.loc[i]['dateCompleted'],
                "revised_date": data.loc[i]['DateRevised']
            },
            "journal_issn": data.loc[i]['ISSN'],
            "journal_doi": data.loc[i]['DOI'],
            "article_id": data.loc[i]['PMID']
        }
        print(jsonData)
        es.index(index=index_name, body=jsonData)

if __name__ == '__main__':
    # List of pending documents
    address = [
        'pubmed22n0001.xml',
        'pubmed22n0002.xml',
        'pubmed22n0003.xml',
    ]
    # process the file
    for add in address:
        data = get_data(add)
        write_data(data)

希望自己再接再厉！

END

Original: https://blog.csdn.net/qq_41938259/article/details/123632158
Author: TIM33470348
Title: 近阶段学习和实习的小结（git、docker和elasticsearch的使用）