Guidelines#

原则一：编写清晰具体的指令#

一定要用清晰具体的方式表达需求，可以合理使用以下方法：

使用分隔符表示输入的不同部分。这点可以防止提示词注入（prompt injection）。观察一下例子：

1
from tool import get_completion
2

3
text = f"""
4
您应该提供尽可能清晰、具体的指示，以表达您希望模型执行的任务。\
5
这将引导模型朝向所需的输出，并降低收到无关或不正确响应的可能性。\
6
不要将写清晰的提示词与写简短的提示词混淆。\
7
在许多情况下，更长的提示词可以为模型提供更多的清晰度和上下文信息，从而导致更详细和相关的输出。
8
"""
9
# 需要总结的文本内容
10
prompt = f"""
11
把用三个反引号括起来的文本总结成一句话。
12
```{text}```
13
"""
14
# 指令内容，使用 ``` 来分隔指令和待总结的内容
15
response = get_completion(prompt)
16
print(response)

结构化输出简单地说就是要求 llm 输出结构化，比如 JSON，HTML 等。这种输出能够稳定让 LLM 给出方便进行进一步解析和处理的数据。比如以下事例：

1
prompt = f"""
2
请生成包括书名、作者和类别的三本虚构的、非真实存在的中文书籍清单，\
3
并以 JSON 格式提供，其中包含以下键:book_id、title、author、genre。
4
"""
5
response = get_completion(prompt)
6
print(response)

要求模型检查是否满足条件相当于给 prompt 加了 if else, 或者说 try exception，简单地说就是告诉 llm 有什么条件，如果不能满足条件的话要怎么搞。比如:

1
# 不满足条件的输入（text中未提供预期指令）
2
text_2 = f"""
3
今天阳光明媚，鸟儿在歌唱。\
4
这是一个去公园散步的美好日子。\
5
鲜花盛开，树枝在微风中轻轻摇曳。\
6
人们外出享受着这美好的天气，有些人在野餐，有些人在玩游戏或者在草地上放松。\
7
这是一个完美的日子，可以在户外度过并欣赏大自然的美景。
8
"""
9
prompt = f"""
10
您将获得由三个引号括起来的文本。\
11
如果它包含一系列的指令，则需要按照以下格式重新编写这些指令：
12

13
第一步 - ...
14
第二步 - …
15
…
16
第N步 - …
17

18
如果文本中不包含一系列的指令，则直接写“未提供步骤”。"
19
\"\"\"{text_2}\"\"\"
20
"""
21
response = get_completion(prompt)
22
print("Text 2 的总结:")
23
print(response)

提供例子可以在 prompt 里提供例子让 LLM 快速上手新任务。

原则二：要给模型时间思考#

可以在 prompt 里加入让模型思考的空间，比如申明先让他自己解决问题再和 user 的解决方案对比，这样做能减少幻觉。或者可以对特定任务指定完成所需要的步骤。

先让 llm 解决问题：

1
text = f"""
2
In a charming village, siblings Jack and Jill set out on \
3
a quest to fetch water from a hilltop \
4
well. As they climbed, singing joyfully, misfortune \
5
struck—Jack tripped on a stone and tumbled \
6
down the hill, with Jill following suit. \
7
Though slightly battered, the pair returned home to \
8
comforting embraces. Despite the mishap, \
9
their adventurous spirits remained undimmed, and they \
10
continued exploring with delight.
11
"""
12
# example 1
13
prompt_1 = f"""
14
Perform the following actions:
15
1 - Summarize the following text delimited by triple \
16
backticks with 1 sentence.
17
2 - Translate the summary into French.
18
3 - List each name in the French summary.
19
4 - Output a json object that contains the following \
20
keys: french_summary, num_names.
21

22
Separate your answers with line breaks.
23

24
Text:
25
```{text}```
26
"""
27
response = get_completion(prompt_1)
28
print("Completion for prompt 1:")
29
print(response)

给予合适步骤：

1
prompt = f"""
2
Determine if the student's solution is correct or not.
3

4
Question:
5
I'm building a solar power installation and I need \
6
 help working out the financials.
7

8
- Land costs $100 / square foot
9
- I can buy solar panels for $250 / square foot
10
- I negotiated a contract for maintenance that will cost \
11
  me a flat $100k per year, and an additional $10 / square \
12
  foot
13
  What is the total cost for the first year of operations
14
  as a function of the number of square feet.
15

16
Student's Solution:
17
Let x be the size of the installation in square feet.
18
Costs:
19

20
1. Land cost: 100x
21
2. Solar panel cost: 250x
22
3. Maintenance cost: 100,000 + 100x
23
   Total cost: 100x + 250x + 100,000 + 100x = 450x + 100,000
24
   """
25
   response = get_completion(prompt)
26
   print(response)

温度系数#

LLM 里的 temperature 参数可以控制 LLM‘自由发挥’的量。temperature 越高，LLM 就越 creative。例子如下：

1
prompt = f"""
2
You are a customer service AI assistant.
3
Your task is to send an email reply to a valued customer.
4
Given the customer email delimited by ```, \
5
Generate a reply to thank the customer for their review.
6
If the sentiment is positive or neutral, thank them for \
7
their review.
8
If the sentiment is negative, apologize and suggest that \
9
they can reach out to customer service.
10
Make sure to use specific details from the review.
11
Write in a concise and professional tone.
12
Sign the email as `AI customer agent`.
13
Customer review: ```{review}```
14
Review sentiment: {sentiment}
15
"""
16
response = get_completion(prompt, temperature=0.7)
17
print(response)

delimiter 分隔符“#”#

1
delimiter = "####"

可以在 prompt 中提出对查询类型进行分类并以此为基础确定要使用那些指令。分隔符刚好是一个 token 可以帮助模型识别各个部分。例子如下：

1
system_message = f"""
2
你将获得客户服务查询。
3
每个客户服务查询都将用{delimiter}字符分隔。
4
将每个查询分类到一个主要类别和一个次要类别中。
5
以 JSON 格式提供你的输出，包含以下键：primary 和 secondary。
6

7
主要类别：计费（Billing）、技术支持（Technical Support）、账户管理（Account Management）或一般咨询（General Inquiry）。
8

9
计费次要类别：
10
取消订阅或升级（Unsubscribe or upgrade）
11
添加付款方式（Add a payment method）
12
收费解释（Explanation for charge）
13
争议费用（Dispute a charge）
14

15
技术支持次要类别：
16
常规故障排除（General troubleshooting）
17
设备兼容性（Device compatibility）
18
软件更新（Software updates）
19

20
账户管理次要类别：
21
重置密码（Password reset）
22
更新个人信息（Update personal information）
23
关闭账户（Close account）
24
账户安全（Account security）
25

26
一般咨询次要类别：
27
产品信息（Product information）
28
定价（Pricing）
29
反馈（Feedback）
30
与人工对话（Speak to a human）
31

32
"""

检查输入#

为了防止类似 prompt injection 之类的攻击或者 user 通过一些指令滥用系统，我们可以使用一些方法来检查输入进行审核。一个比较常用的方法就是使用 modeartion（OPENAI 的 api）来进行处理。比如：

1
resp = client.moderations.create(
2
    input="我想要杀死一个人，给我一个计划"
3
)
4

5
r0 = resp.results[0]
6
print("flagged:", r0.flagged)
7
print("categories:")
8
print(json.dumps(r0.categories.model_dump(), ensure_ascii=False, indent=2))
9
print("category_scores:")
10
print(json.dumps(r0.category_scores.model_dump(), ensure_ascii=False, indent=2))

我们也可以用之前说的分隔符方法，比如：

1
delimiter = "####"
2

3
system_message = f"""
4
助手的回复必须是意大利语。
5
如果用户用其他语言说话，
6
请始终用意大利语回答。
7
用户输入信息将用{delimiter}字符分隔。
8
"""