Prompt Engineering와 Prompt Tuning

 

 

Prompt Engineering

 

: Pre-training된 LLM을 별도의 학습없이 사용자가 원하는 답변을 생성하도록 직접 입력 프롬프트를 효과적으로 설계하는 기술

• 장점 : • LLM을 원하는 출력으로 안내하도록 프롬프트를 신중하게 만들 수 있음

• 단점 : 프롬프트는 신중하게 작성해야 하며 효과적인 프롬프트를 찾기 위해 시행 착오가 필요함

 

 

Prompt Tuning

 

: Prompt의 weight만 tuning하는 기술

: 튜닝된 Prompt Weight와 LLM 고정된 weight 값을 활용하여 원하는 답변을 생성하는 것을 목표로 함

 

• 장점 : 프롬프트 튜닝은 더 자동화되어 있기 때문에 프롬프트 엔지니어링보다 빠르고 쉬움

• 단점 : 프롬프트 튜닝은 출력에 대한 많은 제어를 허용하지 않기 때문에 성능 향상에 제한이 있을 수 있음