댓글에 Knowledge 평가에 대한 의문을 가지는 분들이 많은데, 대표적인 지식 벤치마크로 SimpleQA 같은 데이터셋도 있습니다. 검색 및 결과 활용 능력도 모델이 자체적으로 가지고 있는 지식에 의존적이라 도메인 지식을 평가할 충분해 보입니다. 글 인상깊게 읽었습니다. 감사합니다.

toss knowledge 평가한 이유가 외부 지식 없이 모델을 자체적으로 해결할 수있는 범위를 파악하는 것이라고 하신 것 같은데요. 그러면 지엽 지식 매핑하는 것 등의 태스크를 외부도구 없이 사용하는 것을 염두에 두고 있는 것 같은데 어떤 문제를 자체 지식으로하고 어떤 태스크를 외부지식을 끌고와야 할지 선택하는 것이 중요할 것 같은데 고려하시는 방안이 있나 궁금하네요. 이걸 잘 못 잡으면 자체모델이 해결하는 태스크들은 할루시네이션 관련 보장이 안될 것 같은데

은행도 따뜻할 수 있는 거였군요,,,

시계