Task 5 系统评估和优化
评估优化流程
在具体的大模型应用开发中，我们通过寻找并优化Bad Cases来提高系统性能。我们将每个Bad Case加入到验证集中，并在每次优化后重新验证所有案例，以确保系统不会在原有Good Case上失去能力或表现降级。当验证集较小时，我们可以通过人工评估系统输出的优劣。但随着验证集不断扩张，我们需要采用自动评估的方法来评估系统性能。在本文中，我们将介绍人工评估的思路，深入探讨大模型自动评估的方法，并在本系统上进行实际验证，全面评估系统表现，为优化迭代做准备。接下来，我们将加载向量数据库和检索链。
人工评测
- 量化评估
- 具体评估
基于gradio
在上一个任务Task 4时候我们跟着DW的教程基于Streamlit搭建并部署了一个应用，如下图所示：
随着深入地学习，又遇见了一个新的广泛应用的框架，我尝试一下
具体实现代码如下：
- 采用DW封装的--zhipuai_llm.py
- 采用DW封装的--zhipuai_embedding.py
import gradio as gr
from zhipuai_llm import ZhipuAILLM
from zhipuai import ZhipuAI
from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv())
import os
zhipuai_api_key = os.environ['ZHIPUAI_API_KEY']
# 初始化 ZhipuAI 客户端
client = ZhipuAI(api_key=zhipuai_api_key)
# 定义模型名称列表
model_options = ["glm-4-0520", "glm-3-1105", "glm-2-0301"]
# 生成响应的函数
def generate_response(input_text, model_name, chat_history):
llm = ZhipuAILLM(model=model_name, temperature=0.3, api_key=zhipuai_api_key)
response = llm(input_text)
chat_history.append(("User", input_text))
chat_history.append(("AI", response))
return chat_history, chat_history
# 生成AI绘画的函数
def generate_art(prompt):
response = client.images.generations(
model="cogview-3",
prompt=prompt,
)
image_url = response.data[0].url
return image_url
# 定义介绍信息
def introduction():
return "这是一个基于 Gradio 搭建的对话和绘画应用，使用的是智谱AI的大模型。请选择模型并输入文本进行对话或生成绘画。"
# 搭建 Gradio 界面
with gr.Blocks(css="""
body {font-family: 'Arial', sans-serif; background-color: #f4f4f9;}
h1 {color: #333; text-align: center; margin-top: 20px;}
.container {max-width: 800px; margin: auto; padding: 20px;}
.gr-button {background-color: #4CAF50; color: white; border: none; padding: 10px 20px; cursor: pointer;}
.gr-button:hover {background-color: #45a049;}
.gr-dropdown, .gr-textbox {width: 100%;}
.gr-chatbot {max-height: 400px; overflow-y: auto; background-color: white; padding: 20px; border-radius: 10px; box-shadow: 0 0 10px rgba(0, 0, 0, 0.1);}
""") as demo:
gr.Markdown("# 大模型对话和绘画应用")
gr.Markdown(introduction())
with gr.Tabs():
with gr.TabItem("对话"):
with gr.Row():
model_choice = gr.Dropdown(choices=model_options, value=model_options[0], label="选择模型")
chatbot = gr.Chatbot(label="对话", elem_id="chatbot")
input_text = gr.Textbox(label="输入文本", placeholder="请输入你的问题...", lines=1)
submit_button = gr.Button("提交")
chat_history_state = gr.State([]) # 初始化对话历史
# 设置按钮点击事件
submit_button.click(generate_response, inputs=[input_text, model_choice, chat_history_state], outputs=[chat_history_state, chatbot])
with gr.TabItem("AI绘画"):
art_prompt = gr.Textbox(label="绘画提示词", placeholder="请输入绘画提示词...", lines=1)
generate_button = gr.Button("生成绘画")
art_output = gr.Image(label="生成的绘画")
# 设置生成绘画按钮点击事件
generate_button.click(generate_art, inputs=art_prompt, outputs=art_output)
# 启动 Gradio 应用
demo.launch(share=True)
def generate_response(input_text, model_name, chat_history):
llm = ZhipuAILLM(model=model_name, temperature=0.3, api_key=zhipuai_api_key)
response = llm(input_text)
chat_history.append(("User", input_text))
chat_history.append(("AI", response))
return chat_history, chat_history
# 生成AI绘画的函数
def generate_art(prompt):
response = client.images.generations(
model="cogview-3",
prompt=prompt,
)
image_url = response.data[0].url
return image_url
两个函数 generate_response 和 generate_art接入智谱的api进行内容生成
