ChatGPT 结合实际地图实现问答式地图检索功能基于Function calling
ChatGPT 结合实际地图实现问答式地图检索功能基于Function calling
ChatGPT结合实际业务，主要是研发多函数调用（Function Calling）功能模块，将自定义函数通过ChatGPT 问答结果，实现对应函数执行，再次将结果输入ChatGPT，大模型将结果规范化处理输出，完成一次完整的prompt，实现对话式应用场景实际功能实现。
Function calling是什么？
Function calling是可以让我们用自己的函数当作调用chatgpt的参数，在函数中我们可以做任何事情，例如获取网络上的数据，查询自己的数据库等。
为什么使用Function calling？
比如当我们问chatgpt：上海今天得天气怎么样？他得回答是：很抱歉，作为一个语言模型，我无法提供实时的天气信息…为什么这样呢，因为chatgpt没有实时地网络数据，而有了Function calling我们可以在函数中调用查询天气的接口返回给chatgpt，chatgpt按照我们的需求把数据转为自然语言。当然这只是一个最基础最简单的应用场景，实际会有更多更复杂的应用场景。
Function Calling 的机制
Function Calling 机制的主要关键点：
- OpenAI 通过用户输入Pormpt 和打包参数、函数描述等进行问答结构化输出；
- 匹配判断函数功能，（该部分可用大模型自带的Auto，但效果差），也可自行实现函数判断是否调用；
- 如果匹配成功，生成对函数调用的结构化参数；
- 调用自定义执行函数，获得函数执行结果，并将结果append 到起初Pormpt，再次送入大模型；
- 大模型对结果进行整合，结构化输出结果；
- 如果不匹配直接返回结果显示给用户；
官方给出的具体流程
- 使用用户查询和函数参数中定义的一组外部函数库。
- 模型可以选择调用任意外部函数；如果是这样，内容将是符合自定义架构的字符串化 JSON 对象（注意：模型可能会生成无效的 JSON 或幻觉参数）。
- 在代码中将字符串解析为 JSON，并使用提供的参数调用函数（如果存在）。
- 通过将函数响应追加为新消息来再次调用模型，并让模型将结果汇总返回给用户。
Function Calling 的特点
Function Calling 是一种让 Chat Completion 模型调用外部函数的能力，可以让模型不仅仅根据自身的数据库知识进行回答，而是可以额外挂载一个函数库，然后根据用户提问去函数库检索，按照实际需求调用外部函数并获取函数运行结果，再基于函数运行结果进行回答。
支持 Function Calling 的非国产大模型
目前 OpenAI 仅支持 gpt-3.5-turbo-0613 和 gpt-4-0613 两个语言模型使用 Function Calling 功能。
支持 Function Calling 的国产大模型
- 百度文心大模型 MiniMax：做虚拟人物效果不错。
- ChatGLM3-6B：最著名的国产开源大模型，生态最好。
- 讯飞星火 3.0。
高德地图实际地图信息测试
本次测试是利用对话方式实现地图目标搜索功能，具体任务如下图所示。
用户提问： 帮我查找北京市三里屯附近的咖啡店
GPT解答： 结构化输出：北京市、三里屯、咖啡店
定义大模型结构化函数： 自定义大模型识别的自定义函数，实现函数功能；
函数执行： 将GPT解答结果传参，传入自定义函数；
结果回流： 将函数返回结果与直接Pormpt进行append，并一起传入大模型；
GPT解答： 规范化结果输出。
具体流程如下图所示
外部函数编写规范
在使用前需要我们先对外部函数进行定义和实现，实现就不多说就是一个具体函数。而定义需要我们包含以下几部分内容：
name： 清晰的函数名称
description： 函数功能的具体描述，尽量对输入参数和输出信息有明确的说明
parameters： 对函数的每个输入参数进行类型定义及其描述
required： 指定哪些参数必填
具体结构函数如下所示：
tools=[{ "type": "function", "function": { "name": "get_location_coordinate", "description": "根据POI名称，获得POI的经纬度坐标", "parameters": { "type": "object", "properties": { "location": { "type": "string", "description": "POI名称，必须是中文", }, "city": { "type": "string", "description": "POI所在的城市名，必须是中文", } }, "required": ["location", "city"], } } }， { "type": "function", "function": { "name": "search_nearby_pois", "description": "搜索给定坐标附近的poi", "parameters": { "type": "object", "properties": { "longitude": { "type": "string", "description": "中心点的经度", }, "latitude": { "type": "string", "description": "中心点的纬度", }, "keyword": { "type": "string", "description": "目标poi的关键字", } }, "required": ["longitude", "latitude", "keyword"], } } }注意：Function Calling 中的函数与参数的描述description也是一种 Prompt。这种 Prompt 也需要调优，否则会影响函数的召回、参数的准确性，甚至让 GPT 产生幻觉。
定义本地函数
• get_location_position 用于查询某个地点的地理坐标。
• search_nearby_list 用于查询地理坐标附近的某些信息（取决于用户输入的Keyword）
get_location_poinstion 代码块如下所示
def get_location_position (location, city): url = f"https://restapi.amap.com/v5/place/text?key={amap_key}&keywords={location}®ion={city}" print(url) r = requests.get(url) result = r.json() if "pois" in result and result["pois"]: return result["pois"][0] return Nonesearch_nearby_list 代码块如下所示
def search_nearby_list (longitude, latitude, keyword): url = f"https://restapi.amap.com/v5/place/around?key={amap_key}&keywords={keyword}&location={longitude},{latitude}" print(url) r = requests.get(url) result = r.json() ans = "" if "pois" in result and result["pois"]: for i in range(min(3, len(result["pois"]))): name = result["pois"][i]["name"] address = result["pois"][i]["address"] distance = result["pois"][i]["distance"] ans += f"{name}\n{address}\n距离：{distance}米\n\n" return ans此处，利用的是高德地图的开放接口，在使用本例之前，需要先去高德地图开放接口的官网申请一个key
高德地图map-key： https://console.amap.com/dev/user/permission
数据传输关键点
用户提问： “北京三里屯附近的咖啡馆”
ChatGPT: {‘location’: ‘三里屯’, ‘city’: ‘北京’}
get_location_coordinate作用是找到三里屯的精确位置，函数输入和输出分别是：
输入数据为：{‘location’: ‘三里屯’, ‘city’: ‘北京’}
输出为：
可以看到，函数返回结果主要是和地区有关的，地名、地址、区号、代号、坐标等信息；
{‘parent’: ‘’, ‘address’: ‘朝阳区’, ‘distance’: ‘’, ‘pcode’: ‘110000’, ‘adcode’: ‘110105’, ‘pname’: ‘北京市’, ‘cityname’: ‘北京市’, ‘type’: ‘地名地址信息;热点地名;热点地名’, ‘typecode’: ‘190700’, ‘adname’: ‘朝阳区’, ‘citycode’: ‘010’, ‘name’: ‘三里屯’, ‘location’: ‘116.455294,39.937492’, ‘id’: ‘B0FFF5BER7’}
有用参数为经纬度坐标：‘location’: ‘116.455294,39.937492’
search_nearby_pois作用是在指定坐标位置找出所需的目标，函数输入和输出分别是：
输入：get_location_coordinate 的输出 + 原始Prompt；然后一起接入大模型GPT回答后的输出{‘longitude’: ‘116.455294’, ‘latitude’: ‘39.937492’, ‘keyword’: ‘咖啡馆’}
即就是参数：longitude, latitude, keyword；
输出为：
输出结果单条如下所示：
{“parent”:“B000A80TPS”,“address”:“三里屯路33号3.3大厦1层1010号”,“distance”:“52”,“pcode”:“110000”,“adcode”:“110105”,“pname”:“北京市”,“cityname”:“北京市”,“type”:“餐饮服务;咖啡厅;星巴克咖啡”,“typecode”:“050501”,“adname”:“朝阳区”,“citycode”:“010”,“name”:“星巴克咖啡(北京三里屯三点三大厦店)”,“location”:“116.455034,39.937060”,“id”:“B0G35RYBJW”}
函数中，利用distance可以输出最近的N个店，或者输出小于阈值的店；
根据需求定义输出标准，本例为：
- “name”:" 星巴克咖啡(北京三里屯三点三大厦店)"
- “distance”: “52”
- “address”: “三里屯路33号3.3大厦1层1010号”
本例输出为最近的3个（可自定义）：
- 星巴克咖啡(北京三里屯三点三大厦店)
地址：三里屯路33号3.3大厦1层1010号，距离52米
- 内山咖啡店(3•3大厦店)
地址：三里屯路33号3•3大厦B1层，距离82米
- 春丽咖啡(3•3大厦店)
地址：三里屯路33号3.3大厦东门1层1099，距离93米
将输出结果再次append到Prompt，输入到大模型GPT 里，GPT答复输出整理后格式，如下所示。
最终ChatGPT答复:
ChatGPT: 根据您的要求，我找到了以下咖啡馆： 1. 星巴克咖啡(北京三里屯三点三大厦店)，地址：三里屯路33号3.3大厦1层1010号，距离52米。 2. 内山咖啡店(3•3大厦店)，地址：三里屯路33号3•3大厦B1层，距离82米。 3. 春丽咖啡(3•3大厦店)，地址：三里屯路33号3.3大厦东门1层1099，距离93米。 以上是您附近的咖啡馆，您可以前往您喜欢的地方享用咖啡。 Process finished with exit code 0
整体实现思路
（1）首先大模型识别到应该先调用get_location_coordinate函数获取经纬度；
（2）get_location_coordinate执行结果给到大模型，大模型识别到下一步应该调用search_nearby_pois；
（3）search_nearby_pois执行结果给到大模型，大模型识别到不需要调用其它函数，用自然语言组织了最终答案。
总结
- 将函数说明组织成json形式告诉大模型。其中最重要的函数和参数描述，是该函数的prompt，大模型通过这个描述来确定用户的输入是否匹配该函数，是否召回该函数。
- 大模型如果召回了某个函数，即在本地去解析函数名和参数去使用，从而完成大模型与外部世界的连接。
主要参考链接
OpenAI官方Function Calling教程：
https://platform.openai.com/docs/guides/function-calling
最后，本地部署已经实现，是基于ChatGLM3b 实现的。有需要本地部署代码的私信。
- 星巴克咖啡(北京三里屯三点三大厦店)