세이노 GPT 개발 후기

 

최근 OpenAI 에서 제공하는 자기만의 GPT를 만들 수 있는 기능을 활용해서 세이노 GPT 를 만들었다. 

 

학습자료는 세이노 PDF 를 사용했다. 처음에는 세이노 PDF 를 통째로 넣었는데 용량이 너무 커서 ChatGPT 에서 읽는데만 시간이 오래 걸렸고 노이즈가 많아서 그런지 답변도 정확하지 않았다.

 

그래서 사진 파일을 제외하고 변호사, 의사 상대하는 법처럼 부자가 되는 방법과 관련 없는 내용에 대해서는 생략하고 필요한 부분만 남겨 파일 사일즈를 400kb 이하로 줄였다. 

 

튜닝 작업을 조금 거치고 나니까 만족할만한 답변이 나오기 시작했다.

 

 

어조까지 츤데레 스타일로 맞추니까 실제 저자가 내게 조언을 해주는 느낌이 난다.

 

Public 에 공개를 했으니 사용하고 싶으신 분은 아래 링크로 들어가서 사용할 수 있다. 

 

https://chat.openai.com/g/g-cljMVZP2w-seino-gpt

ChatGPT - 세이노 GPT

 

 

하지만 한계점도 역시 존재한다

 

1. 명령문을 무시하는 경우가 종종 있음.

 

명령문에 부자가 되기 위한 질문 말고는 받지 않도록 설정했는데도 다른 질문에 대해서 답변을 하는 경우가 종종 있다. 왼쪽은 잘못 답변한 경우고 오른쪽은 제대로 답변을 한 경우.

 

 

첫번째 질문의 경우에는 예상한 답변(오른쪽)이 잘 나오는데 세번째, 네번째 답변의 경우에는 명령을 무시하고 답변을 한다. 질문이 이어지면서 명령문의 힘이 약해지고 있는것 같다

 

2. 책의 내용과 관련없는 조언을 하기 시작

 

 

그리고 질문이 두개, 세개 늘어날수록 학습 데이터와 무관한 답변을 하기 시작한다. 왼쪽의 경우는 네번째 질문이었고 오른쪽은 새 대화 화면에서 첫번째 질문이었는데 왼쪽은 책의 내용과 무관한 답변을 하는 반면 오른쪽은 성격 고려 측면도 같이 보기 때문에 책의 내용과 밀접하다. 

 

아무래도 최근에 오픈된 버전이다보니 아직까지 안정화가 덜된 것 같다. 우선 유저들을 만족시키기 위해서 첫번째 질문에 대해서만 최적화를 시켜놓고 그 다음에 질문에 대해선 비용을 줄이기 위해 데이터를 적당히 참조하도록 변경한게 아닌가 싶다. 

 

3. Chat GPT4 쿼터제

 

 

돈내고 쓰는 서비스인데도 쿼터제를 걸어뒀다 ㅡㅡ GPT 4 가 나온지 오래됐는데 아직까지도 성능 안정화는 되지 않은것 같다.