利用Phi-3-mini-4k-instruct-gguf构建AI Agent原型：从概念到可运行Demo

利用Phi-3-mini-4k-instruct-gguf构建AI Agent原型从概念到可运行Demo1. 为什么需要AI Agent原型想象一下这样的场景早上起床后你对着手机说帮我安排今天的工作记得下午3点要开会晚上7点约了朋友吃饭。几秒钟后你的智能助手不仅创建了日历事件还提醒你今天下午有雨记得带伞甚至主动询问需要我帮你预订餐厅吗。这就是AI Agent的魅力所在——它不只是简单回答问题而是能理解复杂需求、调用工具、规划行动像真人助手一样帮你完成任务。而今天借助Phi-3-mini这样的轻量级模型开发者可以快速构建出这样的智能体原型。2. 理解AI Agent的核心组件2.1 什么是AI Agent简单来说AI Agent是一个能自主感知环境、做出决策并执行行动的系统。与普通聊天机器人不同它具备三个关键能力工具使用能调用外部API如查询天气、操作日历任务分解把复杂指令拆解为可执行的步骤记忆与学习在多轮对话中保持上下文一致性2.2 技术选型考量为什么选择Phi-3-mini作为核心模型这款4k上下文的小型模型特别适合原型开发轻量高效可在消费级GPU甚至CPU上运行指令跟随专门优化的instruct版本理解任务描述更准确成本友好相比大模型开发和测试成本大幅降低3. 构建智能日程助手原型让我们以智能日程助手为例看看如何从零搭建一个可运行的Agent Demo。这个助手将具备两项核心功能查询天气和创建日历事件。3.1 环境准备首先确保已安装必要依赖# 基础环境 pip install llama-cpp-python python-dotenv # 日程操作库 pip install icalendar pytz # 天气API pip install requests下载Phi-3-mini的GGUF模型文件约2.4GB建议使用Q4_K_M量化版本平衡性能与精度。3.2 定义工具集Agent的能力取决于它掌握的工具。我们先实现两个基础工具# weather_tool.py import requests from datetime import datetime def get_weather(location: str, date: str None) - str: 查询指定地点天气情况 # 这里使用模拟API实际可接入OpenWeather等服务 if not date or date datetime.now().strftime(%Y-%m-%d): return f{location}今天天气晴朗最高温度28℃傍晚可能有阵雨 return f{location}在{date}的天气预报为多云转晴温度22-30℃# calendar_tool.py from icalendar import Calendar, Event import pytz from datetime import datetime class CalendarManager: def __init__(self): self.cal Calendar() def add_event(self, title: str, start_time: str, end_time: str None): 添加日历事件 event Event() event.add(summary, title) start datetime.strptime(start_time, %Y-%m-%d %H:%M) event.add(dtstart, start) if end_time: event.add(dtend, datetime.strptime(end_time, %Y-%m-%d %H:%M)) self.cal.add_component(event) return f已创建事件{title} {start_time}3.3 设计决策逻辑这是Agent的大脑负责解析用户意图并调用适当工具# agent_core.py from llama_cpp import Llama import re class Phi3Agent: def __init__(self, model_path): self.llm Llama(model_pathmodel_path, n_ctx4096) self.tools { get_weather: get_weather, add_calendar_event: CalendarManager().add_event } def parse_intent(self, query: str) - dict: 解析用户意图 prompt f分析以下用户请求判断是否需要调用工具。需要则返回JSON格式 {{ intent: weather|schedule|other, parameters: {{location:北京, date:2024-05-20}} }} 用户请求{query} response self.llm.create_completion(prompt, max_tokens200) try: return eval(response[choices][0][text]) except: return {intent: other} def run(self, query: str) - str: 执行Agent主逻辑 intent self.parse_intent(query) if intent[intent] weather: return self.tools[get_weather](**intent[parameters]) elif intent[intent] schedule: return self.tools[add_calendar_event](**intent[parameters]) else: # 普通对话模式 return self.llm.create_completion(query, max_tokens500)[choices][0][text]4. 实现多轮对话能力基础版Agent只能处理单次请求现在我们为其添加记忆功能# 在Phi3Agent类中添加 def __init__(self, model_path): self.memory [] def remember(self, message: str, is_user: bool): 存储对话历史 self.memory.append({ role: user if is_user else assistant, content: message }) def chat(self, query: str) - str: 带记忆的对话 self.remember(query, is_userTrue) # 构建包含上下文的prompt context \n.join([f{msg[role]}: {msg[content]} for msg in self.memory[-3:]]) prompt f对话历史 {context} 请根据上下文回应用户最新请求。如需调用工具请说明需要什么信息。 response self.run(prompt) self.remember(response, is_userFalse) return response现在Agent可以处理这样的对话流程用户今天天气怎么样 Agent北京今天天气晴朗最高温度28℃傍晚可能有阵雨 用户那帮我记一下下午3点开会 Agent已创建事件开会 2024-05-20 15:005. 进阶任务分解与规划真正的智能体现在处理复杂指令时。我们增强Agent的任务分解能力def plan_and_execute(self, complex_query: str) - str: 处理复杂任务 planning_prompt f将复杂任务分解为可执行步骤。例如 任务明天上午10点开会记得查天气 步骤 1. 查询明天上午北京的天气 2. 创建明天10点的会议事件 当前任务{complex_query} 请列出步骤 steps self.llm.create_completion(planning_prompt, max_tokens300)[choices][0][text] results [] for step in steps.split(\n): if step.strip(): results.append(self.chat(step.strip())) return \n.join(results)现在Agent可以处理用户明天上午10点要见客户记得提醒我带伞 Agent执行流程 1. 查询明天天气 → 北京明天上午有雨 2. 创建日历事件 → 已创建事件见客户 2024-05-21 10:00 3. 主动提醒 → 记得明天上午会下雨请带伞6. 原型优化建议完成基础版本后可以考虑以下优化方向性能提升对常用工具添加缓存机制使用异步IO处理耗时操作对重复问题建立快捷响应模板能力扩展接入邮件/短信通知接口添加多语言支持实现语音输入输出用户体验增加确认环节避免误操作提供修改已创建事件的选项支持自然语言的时间描述如下周二下午这个原型虽然简单但已经展示了AI Agent的核心价值——将大语言模型的理解能力与实际工具相结合创造出真正能帮用户解决问题的智能应用。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。