1편: https://theqoo.net/square/4105745873
2편: https://theqoo.net/square/4108181686
아까 2편을 길지만 꼬박꼬박 읽어준 덬들에겐 미안하지만..
너☆무☆길☆었☆다
나름 진짜 필요한거만 정리해야지! 했지만 하다보니 너무 길어졌더라고 그래서 내용 보완해서 이전했어......
----
모든 AI사용자들은 똑같은 고민을 함 ㅇㅇ
대체 이놈의 거짓말 증상을 어케 없앨 것이냐!!!
이렇게 거짓말하는 놈을 어떻게 믿냐!!!!
하지만 이건 진짜 어쩔수 없는 거임
지피티나 제미니와 같은 우리가 쓰는 대부분의 AI는 1편에서 말했다시피 "고도의 통계적 매칭" 임
즉, 애가 의도적으로 거짓말하는 것이 아니라, 확률적으로 그럴듯한 다음 말을 생성하다보니 통계적 함정에 걸리는 것에 가깝기 때문에 애한테 거짓말하지 마!! 진실한지 확인해!!! 라고 해봤자 별 소용이 없음 애는 지 딴에는 맞는 말 해주는 것 뿐이거든.
Q. 근데 제가 돈까지 내고 애를 쓰는데 구라를 치면 솔직히 빡이칠까요안칠까요
A.빡치지
그래서 준비했음
>>>프롬프트로 "구조적으로 환각이 발생하기 어려운 조건" 을 만들어주는 방법<<<
완벽히 구라치는걸 막지는 못하지만! 그래도 인간이 제어할 수 있는 한도 내에서 구라치게 만드는 방법을 정리해보았음
1️⃣ 답변 범위를 좁혀라
AI는 넓은 질문에서 환각 확률이 급격히 올라감.
뭔 말이냐면 "마케팅 전략에 대해 알려줘"라고 하면 개뻘소리 할 확률이 높고 "B2B SaaS의 PLG 전환율 개선 사례를 설명해줘"가 개뻘소리할 확률이 낮단 이야기임.
그래서 프롬프트를 작성할 때 "답변 전에 질문의 범위를 구체화하고, 그 범위 안에서만 답변하라" 와 같이 범위를 줄여 탐색할 것을 요청하는 게 좋음 아니면 참고할 사례 및 예시를 던져 주던가...
2️⃣ "모른다" 라고 답변할 여지를 줘라
환각(=거짓말)이 나타나는 가장 큰 이유 중 하나는, 언어 모델의 학습 및 평가 구조가 ‘모른다’고 답하는 것보다 ‘추측’을 장려하기 때문에 환각이 발생함 ㅇㅇ
뭔소리냐면 모델을 구축하고 최종 평가할 때 정답을 맞히면 점수를 주고, 모른다고 답하면 0점을 부여하는 식으로 모델의 성능을 평가함 그렇다보니 모델 자체가 불확실한 상황에서도 답을 추측하도록 되어 있다는 이야기야
그래서 프롬프트에 "확실하지 않은 내용은 답변하지 않아도 된다. 아는 부분만 답하고 모르는 부분은 명시하라" 라고 하면 애가 그럴듯한 헛소리하는 걸 줄일 수 있어
반대로, "절대 추측하지 마라! 진실에만 기반해라!" 이래버리면 "모른다"라는 답을 피하기 위해 더 보수적으로 작동할 수 있음 ㅇㅇ 뭔소리냐면 아는것도 답 안하고 잘못된 출처 가져오고 이럴수 있다는 거임
3️⃣ 출력 형식을 강제하라
자유 서술보다 구조가 있는 형식으로 출력을 요청하는게 AI의 거짓말을 줄일 수 있음.
뭔소리냐면 우리도 형식없이 글써! 이럼 시발 뭐 어케 쓰라고 이러잖아 AI도 똑같음.
형식이 없으면 걍 지멋대로 쓰는데 형식이 정해지면 AI가 "채워야 할 칸"을 인식하고, 근거 없이 칸을 채우는 것을 피함 ㅇㅇ
"다음 형식으로 답변하라: [주장] — [근거] — [확신도: 높음/중간/낮음]" 이런 식으로 요청하면 됨
형식 강제는 좋은데, "URL 출처를 반드시 달아라"처럼 AI가 없는 걸 만들어야 하는 형식은 역효과남.
4️⃣ 단계적 사고를 유도하라
전에도 말했지만, "단계적으로 생각하세요" 요청은 환각을 줄이는 가장 쉬운 방법임. "결론을 내리기 전에 판단 근거를 먼저 나열하라", "단계적으로 판단해라" 요런 프롬프트를 넣으면 됨
5️⃣ 검증 가능한 것과 불가능한 것을 구분시켜라
모든 정보에 동일한 정확성을 요구하면, AI는 검증 불가능한 정보에도 확신 있게 답하거나, 반대로 모든 답변을 지나치게 유보하게 됨.
헛소리하거나 아님 판단을 미루게 된다는 이야기야
그래서 정보 유형별로 다른 기준을 적용해서 프롬프트를 날려야 함.
"사실적 주장(숫자, 날짜, 고유명사)은 확인된 것만 답하라. 분석적 의견은 자유롭게 제시하되 의견임을 표기하라" 요렇게
Q.긴데요
A. 원래 더 길엇습니다.....
그치만 너무 길다 당장 빠르게 쓸만한 예시를 내놓아라라는 더쿠들의 원성이 들리니 압축한 프롬프트 예시를 내놓겠음
"답변 시 다음 규칙을 따르라:
1. 사실적 주장(숫자, 날짜, 이름)은 확실한 것만 포함하고, 불확실하면 '확인 필요'로 표기하라.
2. 의견과 사실을 구분하여 표기하라.
3. 질문이 넓으면 먼저 범위를 좁힌 후 답하라.
4. 모르는 부분은 답하지 않아도 된다."
근데 여기 혹시 나는 정확도보다 좀 새로운 의견 제시가 필요하다!
할루시네이션은 신경 안쓰이는데 답변 질이 좋았음 좋겠다! 라면
"추가 규칙:
5. 바로 답하지 말고, 내 질문에 빠진 전제나 관점이 있으면 먼저 짚어라.
6. 답변은 하나의 정답이 아니라 2~3개의 선택지와 각각의 트레이드오프로 제시하라.
7. 내가 놓치고 있을 수 있는 리스크나 반론을 마지막에 추가하라."
를 추가해주면 좋음....
그리고 가능하다면 이 모든 프롬프트를 영어로 전환 후 답변만 한국어로 할 것을 강제하면 더 좋음
모든 AI는 영어를 제일 잘하기 때문에.......
그리고 이렇게 강제하더라도 환각을 완전히 피할 수 없기 때문에 최종 체크는 반드시 해야 함
그리고 환각과는 별개로 꼭 회사 기밀이나 개인정보는 AI에 절대 넣지 마...!
AI 회사들은 대화 내용을 모델 개선에 활용할 수 있고, 실제로 이거 때문에 회사 단위로 AI 사용 금지된 사례도 있어..(삼성전자 사례 ㅇㅇ)
Q. 근데 이런 내용을 내가 매번 써야함? 뭐 한번에 강제할 수 없어여?
A. 아 물론 당근빳다로 잇죠
대부분 GPT 많이 쓸 테니 gpt로 설명할게
일단 내 계정 아이콘 누름 설정란이 뜸
여기서 개인 맞춤 설정에 들어가서
맞춤형 지침에 넣어주면 끝! 제미니나 클로드도 설정 쪽에서 지침을 선택해 일괄적인 지침 설정이 되니까 다들 찾아보기 ㄱㄱ
만약 특정 프로젝트에서는 다른 지침을 사용할 생각인데... 라고 고민 중이면 Gemini에서는 Gems를 사용해 개별적인 지침을 설정해주면 되고
Gpt와 Claude는 2편에 쓴 프로젝트를 활용하면 돼.
프로젝트 구성은 둘 다 비슷하니 클로드로 설명할게
프로젝트 클릭하면 위와 같이 화면이 뜨는데 프로젝트 지식에는 Ai가 참고하길 바라는 자료를, 맞춤 지침에는 이 프로젝트가 어떤 지침으로 작동했으면하는 규칙(위에 예시든거!)을 적어놓으면 돼
그럼 똑같은 프롬프트 대화시작전에 매일 넣을 필요 없이 작업 가능!
그럼 다들 AI시대에서 생존을 기원하며....!
+++161덬이 낋여주신 꿀팁입니다
