이득:
- 시스템 프롬프트가 전체 대화를 통해 모델을 안내하는 방법을 설계할 수 있습니다.
- 적응적 사고와 노력 매개변수의 역할과 비용 영향을 이해합니다.
- max_tokens, 정지 시퀀스, 구조화된 출력과 같은 출력 제어를 구현합니다.
동일한 모델의 두 가지 제품이 완전히 다르게 작동할 수 있습니다. 차이점은 모델 자체에 있는 것이 아니라 시스템 프롬프트와 모델에 제공된 매개변수에 있습니다. 시스템 프롬프트는 모델의 "작업 계약"이고 매개변수는 "작업 설정"입니다. 이 단원에서는 강력한 시스템 프롬프트를 설계하는 방법, 현대 모델의 사고 및 노력 설정이 수행하는 작업, 형식/길이에 대한 출력을 제어하는 방법을 배웁니다. 이러한 설정을 올바르게 설정하면 품질과 비용을 동시에 관리할 수 있습니다.
시스템 프롬프트: 모델의 영구 지시어
시스템 프롬프트는 전체 대화에 적용되는 높은 수준의 지침입니다. 이러한 규칙은 사용자가 무엇을 입력하든 상관없이 유효합니다. 좋은 시스템 프롬프트에는 다음 구성 요소가 포함됩니다.
- 역할/정체성: 모델은 누구입니까? (“당신은 기업 지원 보조원입니다.”)
- 범위와 경계: 무엇을 하고 무엇을 하지 않습니까? (“제공된 정책 문서에만 근거합니다.”)
- 형식 규칙: 출력은 어떤 모습이어야 합니까? ("최대 3개의 기사, 공식 언어.")
- 불확실한 행동: 불확실할 때 무엇을 합니까? ("정보가 없으면 만들어서 관련부서에 전달하세요.")
- 보안/개인 정보 보호: 무엇을 원하지 않거나 원하지 않습니까? ("개인 데이터를 요청합니다.")
팁: 시스템 프롬프트를 고정된 상태로 유지하세요. 각 요청에 따라 변경되는 정보(현재 날짜, 사용자 이름, 세션 ID)를 삽입하지 마세요. 이는 일관성을 깨뜨리고 장치 6의 프롬프트 캐시를 무효화합니다. 사용자 메시지에 변수 정보를 넣습니다.
지나치게 공격적인 지시 함정
최신 모델은 지침을 매우 밀접하게 따릅니다. 이전 모델에서 작동했던 "MUST", "ALWAYS", "DEFINITELY do this" 등과 같은 공격적인 문구는 오늘날 과잉 트리거로 이어집니다. 즉, 모델이 필요하지 않을 때 에이전트를 호출하거나 불필요하게 오랜 시간 동안 실행됩니다. 규칙을 완화하세요. "반드시 검색 도구를 사용해야 합니다" 대신 "대화에 답이 없으면 검색 도구를 사용하세요"가 더 정확합니다.
모델 매개변수: 생각과 노력
기존 LLM에는 온도 매개변수가 있습니다. 값이 낮을수록 더 구체적이고 일관된 출력이 생성되고, 값이 높을수록 더 다양하고 창의적인 출력이 생성됩니다. 최신 세대 모델(예: Opus 4.8, Sonnet 5)은 이 접근 방식을 두 가지 더 강력한 메커니즘으로 대체하고 더 이상 온도와 같은 샘플링 매개 변수를 허용하지 않습니다.
- 적응적 사고: 모델은 응답하기 전에 "머리"에서 단계별로 추론합니다. 모델은 작업의 난이도에 따라 얼마나 생각할 것인지를 결정합니다. 복잡한 다단계 문제에 대한 정확성이 크게 향상됩니다. 그는 간단한 질문에 불필요한 지연을 피하기 위해 생각을 덜 합니다.
- 노력: 모델이 작업에 얼마나 깊이 관여하는지와 총 토큰 수를 조정하는 상위 수준 손잡이입니다. 일반적인 수준: 낮음, 중간, 높음 및 그 이상. 많은 노력을 기울이면 품질이 향상될 수 있지만 지연과 비용도 증가합니다. 적은 노력으로 속도와 비용 절감 효과를 얻을 수 있습니다.
설정
무엇을
언제
생각하지 않음/낮은 노력
빠르고, 저렴하고, 피상적입니다.
간단한 분류, 짧은 응답, 지연에 민감한 작업
적응적 사고 + 중간 정도의 노력
균형 잡힌 품질/비용
가장 일반적인 목적의 작업
적응적 사고 + 높은 노력
최고의 정확도
복잡한 추론, 코딩, 장거리 에이전트 업무
주의: "무슨 일이 있어도 최대한의 노력"을 기울이면 비용이 부풀려집니다. 작업에 대한 노력을 조정합니다. 간단한 작업에서는 적은 노력으로 훨씬 저렴한 가격으로 동일한 정확한 결과를 얻을 수 있는 경우가 많습니다. 중요한 정확도가 필요한 곳에서는 높이 올라가십시오.
출력 제어: 형식, 길이, 구조
매개변수 외에도 출력 자체도 제어할 수 있습니다.
- max_tokens: 출력의 엄격한 한도(첫 번째 및 세 번째 단위).
- 시퀀스 중지: 특정 문자열을 발견하면 모델을 중지합니다. 구조화된 프로덕션에서 중단점을 설정하는 데 유용합니다.
- 구조화된 출력: 모델의 응답이 사용자가 제공한 JSON 스키마를 따르도록 강제합니다. 출력이 프로그래밍 방식으로 구문 분석 가능하고 유효한지 확인합니다. 프롬프트와 함께 "그냥 JSON을 반환하세요"라고 말하는 것보다 더 안정적입니다.
{ "output_config": { "format": { "type": "json_schema", "schema": { "type": "object", "additionalProperties": false, "properties": { "category": { "type": "string", "enum": ["invoice", "technical", "return", "other"] }, "urgency": { "type": "string", "열거": ["낮음", "중간", "높음"] } }, "필수": ["범주", "긴급"] } } }}
복사 가능한 시스템 프롬프트 템플릿
# 기업 지원 보조원 귀하는 기업 지원 보조원입니다.- 제공된 정책 문서에만 의존하십시오. 문서에 없으면 "나는 이 정보를 가지고 있지 않습니다."라고 말하십시오. - 최대 3문장 이내로 정중하고 명확한 답변을 해주세요. - 개인 데이터(TC ID 번호, 카드 번호)를 질문하고 답변에 이를 반복하지 마십시오. - 확실하지 않다면 추측하지 마세요.
# 구조화된 출력 강제 분류자당신은 수요 분류자입니다. 입력은 고객 메시지입니다. 요청된 필드만 반환하고 설명을 작성하지 마십시오. 확실하지 않은 경우 "기타"를 사용하세요.
# 불확실성 속에 서 있는 정의된 행동을 가진 분석가 당신은 데이터 분석가입니다. 제공된 표에서 검증 가능한 추론만 도출하세요. 데이터에 존재하지 않는 결론을 내리지 마십시오. 추론이 불분명할 경우 "데이터 불충분"이라고 기재합니다.
# 톤과 길이 조절이 가능한 콘텐츠 작가 당신은 콘텐츠 작가입니다. 따뜻하지만 전문적인 어조를 사용하세요. 각 텍스트를 120단어 이하로 제한하세요. 진부한 마케팅 언어를 피하십시오.
약한 프롬프트 / 강한 프롬프트
# WEAKB도움이 되고 좋은 답변을 해주세요. 최선을 다하세요.
# STRONGRole: 기술 지원 전문가.범위: 제품 가이드만 제공됩니다.형식: 단계별, 번호가 매겨진 목록, 최대 5단계.제한: 가이드에 없는 솔루션을 권장합니다. "설명서에서 찾을 수 없습니다."라고 말합니다. 개인정보 보호: 응답에서 사용자가 공유한 일련번호를 반복하지 마세요.
강력한 버전; 역할, 범위, 형식, 경계 및 기밀성을 별도로 결정합니다. 출력 일관성은 이러한 명확성에서 직접적으로 비롯됩니다.
미니 케이스 3개
사례 1 - 노력 조정을 통한 비용 절감. 한 팀은 많은 노력과 사고를 바탕으로 모든 업무를 진행했습니다. 간단한 이메일 다이제스트도 비용이 많이 들고 제작 속도가 느렸습니다. 그들은 낮은 노력에는 요약과 같은 간단한 작업을 할당하고 높은 노력에는 계약 분석을 할당했습니다. 정확도는 유지되고 평균 지연 시간은 절반으로 줄어들었으며 월별 비용은 1/3로 절감되었습니다.
사례 2 - JSON 보장. 운영 팀은 "JSON을 제공하세요"라는 프롬프트와 함께 분류 출력을 요청했지만 모델은 때때로 "결과는 다음과 같습니다."라고 쓰고 파서가 충돌했습니다. 구성된 출력 스키마를 연결하면 출력이 매번 유효한 JSON을 반환했습니다. 구문 분석 오류가 재설정되었습니다.
사례 3 - 공격적인 프롬프트 반동. 보조 프롬프트는 "모든 질문을 검색해야 합니다"라고 말했습니다. 이 모델은 이미 답을 알고 있는 간단한 질문에 대해서도 불필요한 검색을 수행하여 속도가 느려지고 비용이 증가했습니다. 그들은 "답변이 문맥에 맞지 않으면 검색하십시오"로 규칙을 완화했습니다. 불필요한 통화가 70% 감소하고 응답 속도가 빨라졌습니다.
일반적인 실수
- 시스템 프롬프트에 변수 데이터 포함: 일관성이 깨지고 캐시가 무효화됩니다.
- 지나치게 공격적인 지시: 현대 모델에서는 과도한 트리거링과 불필요한 비용이 발생합니다.
- 모든 작업에 많은 노력을 기울임: 간단한 작업에 낭비; 작업에 대한 노력을 조정합니다.
- 프롬프트를 통해서만 JSON 요청: 가끔씩 중단됩니다. 중요한 경우 구조화된 출력을 사용하세요.
- 경계/모호성 동작을 정의하지 않음: 모델은 제작(환각)으로 공백을 채웁니다.
- 오래된 '온도' 습관: 현대 모델은 이를 받아들이지 않습니다. 신속하고 노력적으로 행동을 지도하십시오.
Deeper: 계약서처럼 프롬프트 작성하기
숙련된 팀은 명확한 조항, 측정 가능한 규칙, 명확한 경계 등 시스템 프롬프트를 문학적 텍스트가 아닌 계약처럼 취급합니다. 이 접근 방식에는 세 가지 구체적인 이점이 있습니다. 첫 번째는 일관성입니다. 동일한 입력이 서로 다른 시점에 유사한 출력을 제공합니다. 두 번째는 테스트 가능성입니다. 샘플을 사용하여 각 항목을 개별적으로 테스트할 수 있습니다. 세 번째는 유지 관리의 용이성입니다. 동작이 잘못된 경우 교체해야 할 항목을 알 수 있습니다.
좋은 습관은 긍정적인 사례를 제시하는 것입니다. "이것을 하지 마세요"라는 목록을 제공하는 것보다 "이것이 정확히 원하는 출력의 모습입니다"라고 말하는 예를 제공하는 것이 현대 모델에서 훨씬 더 효과적입니다. 예를 들어 분류자에서 예상되는 JSON 샘플을 하나 또는 두 개 추가하면 형식 오류가 크게 줄어듭니다.
또 다른 강력한 기술은 불확실성 동작을 명시적으로 작성하는 것입니다. "확실하지 않으면 추측하지 마세요. '데이터가 부족합니다'라고 말하세요."와 같은 절은 모델이 조작(환각)으로 공백을 채우는 경향을 억제합니다. 이 단일 문장은 단원 11에서 다룰 검증 레이어의 부담을 덜어줍니다. 모델이 이미 불확실성을 표시하면 인간 검증으로 이어지는 것이 더 쉬워집니다.
마지막으로 노력과 신속함을 함께 고려하십시오. 많은 노력을 기울이면 모델은 더 많은 것을 탐색하고 때로는 원치 않는 "추가 작업"(불필요한 설명, 추가 제안)을 수행합니다. 프롬프트에서 "원하는 출력만 제공하고 추가 설명을 추가하지 마십시오"라고 말하면 이러한 노력의 부작용이 상쇄됩니다.
요약하면
시스템 프롬프트는 모델의 영구적인 지시어입니다. 즉, 역할, 범위, 형식, 모호한 동작 및 기밀성을 정의합니다. 현대 모델에서 행동은 온도보다는 적응적 사고와 노력 매개변수에 의해 좌우됩니다. 작업에 노력을 집중하면 품질과 비용이 동시에 관리됩니다. max_tokens, 중지 배열 및 구조화된 출력을 사용하여 출력을 보호합니다.
응용과제
작업을 선택하세요. (1) 5가지 구성요소(역할, 범위, 형식, 모호성, 기밀성)로 시스템 프롬프트를 작성합니다. (2) 이 작업을 위해 어느 정도의 노력을 선택하고 그 이유를 설명하십시오. (3) 출력을 구조화해야 하는 경우 작은 JSON 스키마를 스케치합니다. (4) 프롬프트에 지나치게 공격적인 패턴이 있는지 확인하고 부드럽게 만드세요.
체크리스트
- [ ] 좋은 시스템 프롬프트의 다섯 가지 구성 요소를 말할 수 있습니다.
- [ ] 나는 적응적 사고와 노력 매개변수의 역할을 설명할 수 있습니다.
- [ ] 업무에 따라 노력을 조절하여 품질/비용의 균형을 맞출 수 있다.
- [ ] 프롬프트를 통해 JSON을 요청하는 것보다 구조화된 출력이 더 안전한 이유를 알고 있습니다.
- [ ] 나는 지나치게 공격적인 지시를 내리는 현대 모델의 위험성을 인식할 수 있습니다.