Python如何实现对中文文本分段分句

一、问题

实现对文本的分句，大致来说主要是以中文的句号、感叹、问号等符号进行分句。难点在于直接分句可能会造成人物说话的语句也被分开！

二、步骤

分段

首先读取文本，文本读取后整体是一个字符串，每一个段之间是空白，所以分段之间按照空白分开来即可，最后存入一个paragraph_list，注意该list的下标就是段落的顺序号！其他的这里就不再多赘述！（可以查看最后的整体代码）

分句

首先拿到上面分好的paragraph_list，循环拿到每一段，然后对每一段直接按照分句规则（正则表达式）进行分句，参考该文章

import re

def cut_sent(para):
    para = re.sub(&#39;([。！？\?])([^”&#39;])&#39;, r"\1\n\2", para)
    para = re.sub(&#39;(\.{6})([^”&#39;])&#39;, r"\1\n\2", para)
    para = re.sub(&#39;(\…{2})([^”&#39;])&#39;, r"\1\n\2", para)
    para = re.sub(&#39;([。！？\?][”&#39;])([^，。！？\?])&#39;, r&#39;\1\n\2&#39;, para)
    para = para.rstrip()
    return para.split("\n")

# 这一段文字分句后应该有的结果
s = &#39;今天天气好啊！&#39; \
    &#39;温度高吗？你好，很高兴遇见你，真不错。&#39; \
    &#39;小明遇见小红说："你的衣服这好看！"&#39; \
    &#39;小红说："什么？衣服真好看？真的吗？"&#39; \
    &#39;小明回答到："嗯，真的！我也想买。"&#39;

for i in cut_sent(s):
    print(i)
    
#结果将人物语句也分开
"""
今天天气好啊！
温度高吗？
你好，很高兴遇见你，真不错。
小明遇见小红说："你的衣服这好看！
"小红说："什么？
衣服真好看？
真的吗？
"小明回答到："嗯，真的！
我也想买。
"
"""

连接

这里解决办法就是循环每一句，识别："和"

两个符号均有，则该句直接就是一整句，直接就加入
两个符号都没有，则该句直接就是一整句，直接就加入
如果只有前面符号而无后面符号，则记录有前面符号那一句，依次往下拼接，直到遇到字符最后有“，将上面拼接好的语句作为一整句放入

def connect(paragraph):
    sentence_before = []
    sentence_after = []
    for each_para in paragraph:
        sentence_before.append(cut(each_para))
    # 核心代码！（将被错分的语句进行连接）
    for each in sentence_before:
        list = []
        sentence = ""
        FLAG = True # 非常关键！判断有&#39;：“&#39;的符号后面的语句是否继续拼接
        for i in each:
            if i.find(&#39;：“&#39;) * i.find(&#39;”&#39;) >= 0 and FLAG:
                list.append(i + sentence)
            else:
                FLAG = False
                sentence = sentence + i
                if i.find(&#39;”&#39;) > 0:
                    list.append(sentence)
                    sentence = ""
                    FLAG = True
        sentence_after.append(list)
    return sentence_after

三、最后整体代码

import re
import pandas as pd

# 将整篇文章进行分段
def segments(url):
    raw = pd.read_csv(url,names=[&#39;txt&#39;], sep=&#39;aaa&#39;, encoding="GBK" ,engine=&#39;python&#39;)

    def m_head(tem_str):
        return tem_str[:1]

    def m_mid(tmp_str):
        return tmp_str.find("回 ")
    raw[&#39;head&#39;] = raw.txt.apply(m_head)
    raw[&#39;mid&#39;] = raw.txt.apply(m_mid)
    raw[&#39;len&#39;] = raw.txt.apply(len)
    chap_num = 0
    for i in range(len(raw)):
        if raw[&#39;head&#39;][i] == "第" and raw[&#39;mid&#39;][i] > 0 and raw[&#39;len&#39;][i] < 30:
            chap_num += 1
        if chap_num >= 40 and raw[&#39;txt&#39;][i] == "附录一：成吉思汗家族":
            chap_num = 0
        raw.loc[i, &#39;chap&#39;] = chap_num
    del raw[&#39;head&#39;]
    del raw[&#39;mid&#39;]
    del raw[&#39;len&#39;]
    tmp_chap = raw[raw[&#39;chap&#39;] == 7].copy()
    tmp_chap.reset_index(drop=True, inplace=True)
    tmp_chap[&#39;paraidx&#39;] = tmp_chap.index
    paragraph = tmp_chap[&#39;txt&#39;].values.tolist()
    return paragraph

# 将每段进行分句
def cut(para):
    # 相关规则
    pattern = [&#39;([。！？\?])([^”&#39;])&#39;,&#39;(\.{6})([^”&#39;])&#39;,&#39;(\…{2})([^”&#39;])&#39;,&#39;([。！？\?][”&#39;])([^，。！？\?])&#39;]
    for i in pattern:
        para = re.sub(i, r"\1\n\2", para)
    para = para.rstrip()
    return para.split("\n")

# 将其中被错分的语句进行连接(主要是针对话语)
def connect(paragraph):
    sentence_before = []
    sentence_after = []
    for each_para in paragraph:
        sentence_before.append(cut(each_para))
    # 核心代码！（将被错分的语句进行连接）
    for each in sentence_before:
        list = []
        sentence = ""
        FLAG = True # 非常关键！判断有&#39;：“&#39;的符号后面的语句是否继续拼接
        for i in each:
            if i.find(&#39;：“&#39;) * i.find(&#39;”&#39;) >= 0 and FLAG:
                list.append(i + sentence)
            else:
                FLAG = False
                sentence = sentence + i
                if i.find(&#39;”&#39;) > 0:
                    list.append(sentence)
                    sentence = ""
                    FLAG = True
        sentence_after.append(list)
    return sentence_after

# 将最后的结果保存到DataFrame
def toDataFrame(list3):
    df = pd.DataFrame(columns=["content","paragraph","sentence"])
    for para_num,i in enumerate(list3):
       for sentence_num,j in enumerate(i):
            df_ = pd.DataFrame({"content": j, "paragraph": para_num,"sentence":sentence_num+1},index=[para_num])
            df = df.append(df_,ignore_index=True)
    for i in df[&#39;content&#39;].values.tolist():
        print(i)

def main():
    # URL = "/Users/dengzhao/Downloads/金庸-射雕英雄传txt精校版.txt"
    URL = input("请输入文件地址：")
    para = segments(URL)
    result = connect(para)
    print(result)
    flag = input("以DataFrame形式输出数据(Y,N)：")
    if flag == &#39;Y&#39;:
        toDataFrame(result)
    elif flag == &#39;N&#39;:
        print("Thanks！！！！")
    else:
        print("程序结束！请检查的你的输入！")

if __name__ == &#39;__main__&#39;:
    main()

以上就是Python如何实现对中文文本分段分句的详细内容，更多请关注其它相关文章！