360f173b73
This pull request enhances the document translation workflow by switching to the new GPT-4.1 model. The generator script’s prompt now includes a “workflow” section that guides the model to iterate self-reviews on its outputs to autonomously achieve the highest quality. This addition has noticeably improved the naturalness and consistency of the wording in the translated outputs.
154 lines
No EOL
7.6 KiB
Markdown
154 lines
No EOL
7.6 KiB
Markdown
# ガードレール
|
|
|
|
ガードレールは、エージェントと _並行して_ 実行され、ユーザー入力のチェックやバリデーションを行うことができます。例えば、非常に賢い（そのため遅くて高価な）モデルを使ってカスタマーリクエストに対応するエージェントがあるとします。悪意のあるユーザーがモデルに数学の宿題を手伝わせるようなリクエストを送ることは避けたいでしょう。そこで、ガードレールを高速かつ安価なモデルで実行できます。ガードレールが悪意のある利用を検知した場合、即座にエラーを発生させ、高価なモデルの実行を止めて時間やコストを節約できます。
|
|
|
|
ガードレールには 2 種類あります：
|
|
|
|
1. 入力ガードレール：最初のユーザー入力に対して実行されます
|
|
2. 出力ガードレール：最終的なエージェント出力に対して実行されます
|
|
|
|
## 入力ガードレール
|
|
|
|
入力ガードレールは 3 ステップで実行されます：
|
|
|
|
1. まず、ガードレールはエージェントに渡されたものと同じ入力を受け取ります。
|
|
2. 次に、ガードレール関数が実行され、[`GuardrailFunctionOutput`][agents.guardrail.GuardrailFunctionOutput] を生成し、それが [`InputGuardrailResult`][agents.guardrail.InputGuardrailResult] でラップされます。
|
|
3. 最後に、[`.tripwire_triggered`][agents.guardrail.GuardrailFunctionOutput.tripwire_triggered] が true かどうかを確認します。true の場合、[`InputGuardrailTripwireTriggered`][agents.exceptions.InputGuardrailTripwireTriggered] 例外が発生し、ユーザーへの適切な対応や例外処理が可能です。
|
|
|
|
!!! Note
|
|
|
|
入力ガードレールはユーザー入力に対して実行されることを想定しているため、エージェントのガードレールは *最初* のエージェントでのみ実行されます。「なぜ `guardrails` プロパティがエージェントにあり、`Runner.run` に渡さないのか？」と疑問に思うかもしれません。これは、ガードレールが実際のエージェントに関連することが多いためです。異なるエージェントごとに異なるガードレールを実行するため、コードを同じ場所にまとめておくと可読性が向上します。
|
|
|
|
## 出力ガードレール
|
|
|
|
出力ガードレールも 3 ステップで実行されます：
|
|
|
|
1. まず、ガードレールはエージェントに渡されたものと同じ入力を受け取ります。
|
|
2. 次に、ガードレール関数が実行され、[`GuardrailFunctionOutput`][agents.guardrail.GuardrailFunctionOutput] を生成し、それが [`OutputGuardrailResult`][agents.guardrail.OutputGuardrailResult] でラップされます。
|
|
3. 最後に、[`.tripwire_triggered`][agents.guardrail.GuardrailFunctionOutput.tripwire_triggered] が true かどうかを確認します。true の場合、[`OutputGuardrailTripwireTriggered`][agents.exceptions.OutputGuardrailTripwireTriggered] 例外が発生し、ユーザーへの適切な対応や例外処理が可能です。
|
|
|
|
!!! Note
|
|
|
|
出力ガードレールは最終的なエージェント出力に対して実行されることを想定しているため、エージェントのガードレールは *最後* のエージェントでのみ実行されます。入力ガードレールと同様に、ガードレールが実際のエージェントに関連することが多いため、コードを同じ場所にまとめておくと可読性が向上します。
|
|
|
|
## トリップワイヤー
|
|
|
|
入力または出力がガードレールに失敗した場合、ガードレールはトリップワイヤーでこれを通知できます。トリップワイヤーが発動したガードレールを検知した時点で、即座に `{Input,Output}GuardrailTripwireTriggered` 例外を発生させ、エージェントの実行を停止します。
|
|
|
|
## ガードレールの実装
|
|
|
|
入力を受け取り、[`GuardrailFunctionOutput`][agents.guardrail.GuardrailFunctionOutput] を返す関数を用意する必要があります。この例では、内部でエージェントを実行することでこれを実現します。
|
|
|
|
```python
|
|
from pydantic import BaseModel
|
|
from agents import (
|
|
Agent,
|
|
GuardrailFunctionOutput,
|
|
InputGuardrailTripwireTriggered,
|
|
RunContextWrapper,
|
|
Runner,
|
|
TResponseInputItem,
|
|
input_guardrail,
|
|
)
|
|
|
|
class MathHomeworkOutput(BaseModel):
|
|
is_math_homework: bool
|
|
reasoning: str
|
|
|
|
guardrail_agent = Agent( # (1)!
|
|
name="Guardrail check",
|
|
instructions="Check if the user is asking you to do their math homework.",
|
|
output_type=MathHomeworkOutput,
|
|
)
|
|
|
|
|
|
@input_guardrail
|
|
async def math_guardrail( # (2)!
|
|
ctx: RunContextWrapper[None], agent: Agent, input: str | list[TResponseInputItem]
|
|
) -> GuardrailFunctionOutput:
|
|
result = await Runner.run(guardrail_agent, input, context=ctx.context)
|
|
|
|
return GuardrailFunctionOutput(
|
|
output_info=result.final_output, # (3)!
|
|
tripwire_triggered=result.final_output.is_math_homework,
|
|
)
|
|
|
|
|
|
agent = Agent( # (4)!
|
|
name="Customer support agent",
|
|
instructions="You are a customer support agent. You help customers with their questions.",
|
|
input_guardrails=[math_guardrail],
|
|
)
|
|
|
|
async def main():
|
|
# This should trip the guardrail
|
|
try:
|
|
await Runner.run(agent, "Hello, can you help me solve for x: 2x + 3 = 11?")
|
|
print("Guardrail didn't trip - this is unexpected")
|
|
|
|
except InputGuardrailTripwireTriggered:
|
|
print("Math homework guardrail tripped")
|
|
```
|
|
|
|
1. このエージェントをガードレール関数内で使用します。
|
|
2. これはエージェントの入力やコンテキストを受け取り、結果を返すガードレール関数です。
|
|
3. ガードレールの結果に追加情報を含めることができます。
|
|
4. これはワークフローを定義する実際のエージェントです。
|
|
|
|
出力ガードレールも同様です。
|
|
|
|
```python
|
|
from pydantic import BaseModel
|
|
from agents import (
|
|
Agent,
|
|
GuardrailFunctionOutput,
|
|
OutputGuardrailTripwireTriggered,
|
|
RunContextWrapper,
|
|
Runner,
|
|
output_guardrail,
|
|
)
|
|
class MessageOutput(BaseModel): # (1)!
|
|
response: str
|
|
|
|
class MathOutput(BaseModel): # (2)!
|
|
reasoning: str
|
|
is_math: bool
|
|
|
|
guardrail_agent = Agent(
|
|
name="Guardrail check",
|
|
instructions="Check if the output includes any math.",
|
|
output_type=MathOutput,
|
|
)
|
|
|
|
@output_guardrail
|
|
async def math_guardrail( # (3)!
|
|
ctx: RunContextWrapper, agent: Agent, output: MessageOutput
|
|
) -> GuardrailFunctionOutput:
|
|
result = await Runner.run(guardrail_agent, output.response, context=ctx.context)
|
|
|
|
return GuardrailFunctionOutput(
|
|
output_info=result.final_output,
|
|
tripwire_triggered=result.final_output.is_math,
|
|
)
|
|
|
|
agent = Agent( # (4)!
|
|
name="Customer support agent",
|
|
instructions="You are a customer support agent. You help customers with their questions.",
|
|
output_guardrails=[math_guardrail],
|
|
output_type=MessageOutput,
|
|
)
|
|
|
|
async def main():
|
|
# This should trip the guardrail
|
|
try:
|
|
await Runner.run(agent, "Hello, can you help me solve for x: 2x + 3 = 11?")
|
|
print("Guardrail didn't trip - this is unexpected")
|
|
|
|
except OutputGuardrailTripwireTriggered:
|
|
print("Math output guardrail tripped")
|
|
```
|
|
|
|
1. これは実際のエージェントの出力型です。
|
|
2. これはガードレールの出力型です。
|
|
3. これはエージェントの出力を受け取り、結果を返すガードレール関数です。
|
|
4. これはワークフローを定義する実際のエージェントです。 |