如何用AI高效总结整本书？破解上下文限制与成本难题

pip install langchain langchain_openai openai tiktoken fpdf2 pandas faiss-cpu

from langchain.document_loaders import PyPDFLoader

# 加载PDF
loader = PyPDFLoader("David-Copperfield.pdf")
# 我们跳过前言和目录，直接从正文开始
pages = loader.load_and_split()[6:1308] 

# 将所有页面内容合并为一个长文本
text = ' '.join([page.page_content.replace('\t', ' ') for page in pages])

print(f"书籍原文的前200个字符：\n{text[:200]}")

import re

def clean_text(text):
   # 移除电子书网站的固定页脚
   cleaned_text = re.sub(r'\s*Free eBooks at Planet eBook\.com\s*', '', text, flags=re.DOTALL)
   # 移除多余的空格、换行符和控制字符
   cleaned_text = re.sub(r' +', ' ', cleaned_text)
   cleaned_text = re.sub(r'(David Copperfield )?[\x00-\x1F]', '', cleaned_text)
   cleaned_text = cleaned_text.replace('\n', ' ')
   return cleaned_text

clean_text = clean_text(text)

# 让我们看看这本书到底有多“贵”
from langchain_openai import OpenAI

llm = OpenAI(openai_api_key="your-openai-key-here") # 填入你的OpenAI API Key
token_count = llm.get_num_tokens(clean_text)
print(f"清洗后，这本书的总Token数为：{token_count}")

from langchain_experimental.text_splitter import SemanticChunker
from langchain_openai.embeddings import OpenAIEmbeddings

# 使用OpenAI的嵌入模型来理解文本语义
embeddings_model = OpenAIEmbeddings(openai_api_key="your-openai-key-here")

# 初始化语义切分器
text_splitter = SemanticChunker(embeddings_model, breakpoint_threshold_type="interquartile")

# 执行切分，得到一系列文档片段
docs = text_splitter.create_documents([clean_text])
print(f"全书被智能切分成了 {len(docs)} 个语义片段。")

import openai
import numpy as np
import pandas as pd
import faiss

# 1. 获取所有文档片段的嵌入向量
# 注意：text-embedding-3-small 是性价比极高的嵌入模型
response = openai.embeddings.create(
    model="text-embedding-3-small",
    input=[doc.page_content for doc in docs]
)
vectors = [item.embedding for item in response.data]
array = np.array(vectors).astype('float32')

# 2. 使用FAISS执行高效的K-Means聚类
num_clusters = 50  # 我们设定要找出50个核心主题，这个数值可以调整
dimension = array.shape[1]

kmeans = faiss.Kmeans(dimension, num_clusters, niter=20, verbose=True)
kmeans.train(array)
centroids = kmeans.centroids

# 3. 找到离每个聚类中心最近的那个文档
index = faiss.IndexFlatL2(dimension)
index.add(array)
# D是距离，I是索引
D, I = index.search(centroids, 1) 

# 4. 提取出这些最具代表性的文档
# 按原文顺序排序，保证摘要的连贯性
sorted_indices = np.sort(I, axis=0).flatten()
extracted_docs = [docs[i] for i in sorted_indices]

print(f"我们从 {len(docs)} 个片段中，精选出了 {len(extracted_docs)} 个核心片段。")

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from tqdm import tqdm

# 定义我们的摘要模型和Prompt
model = ChatOpenAI(temperature=0, model="gpt-4o", openai_api_key="your-openai-key-here")

prompt_template = ChatPromptTemplate.from_template(
    """请为一个长篇故事的其中一部分内容提供详细的摘要。
    你的摘要必须至少有两段，并且要充满细节。
    在总结时，请不要使用“在这段文字中...”或“本段讲述了...”这样的引导语。
    直接切入叙事，就像故事自然延续一样，无缝地呈现主要事件、人物和情感。

    原文片段如下:
    {text}

    摘要:
    """
)

# 构建我们的摘要链
chain = prompt_template | model | StrOutputParser()

# 循环调用，生成并拼接最终摘要
final_summary = ""
for doc in tqdm(extracted_docs, desc="正在生成摘要..."):
    summary_part = chain.invoke({"text": doc.page_content})
    final_summary += summary_part + "\n\n"

print("摘要完成！")

from fpdf import FPDF

# ... (此处省略原文中的PDF生成代码，功能相同) ...
# 注意处理编码问题
final_summary_latin1 = final_summary.encode('latin-1', 'replace').decode('latin-1')

# 创建PDF实例并保存
# ...

print("摘要已成功保存为PDF！")