아크 프롬프트 컬렉션 (추상화 및 추론 코퍼스)
GPT4 또는 이와 유사한 아크 작업을 해결하기위한 프롬프트.
ARC 1 데이터 세트에서 공개 800 개의 작업 중 46 개를 해결합니다.
GPT4가 닫힌 소스이므로 숨겨진 100 개의 작업에 대한 테스트되지 않았습니다.
프롬프트에 대한 학습
- 큰 프롬프트와 올바른 솔루션의 낮은 기회.
- 런 길이 인코딩 된 데이터를 이해하지만 RLE는 추론 기능에 해를 끼칩니다. 그러나 어떤 경우에는 RLE가 작동 할 수 있습니다.
- 좌표를 이해하고 간단한 모양, 선, 상자, 테트리스 모양을 감지 할 수 있습니다.
- 회전 90 또는 플립과 같은 변환은 거의 올바르게 고려되지 않습니다.
- 결정적인 색상을 나타내는 가장 좋은 방법은 무엇입니까? 때로는 원시 색깔 정수 값이 수학 값으로 해석되어 예측에 혼란을 초래합니다. 텍스트로 색상을 난독 화하는 것이 도움이됩니다. 단어
color 사용하는 대신 ID 또는 Layer 단어를 사용합니다. 미정가 작동하는 것.
언어 모델
- OpenAi의 GPT4- 여러 아크 작업을 해결하고 오해는 예상 출력에 매우 가깝습니다.
- OpenAi의 GPT3.5- 아크 작업을 해결할 수는 없지만 때로는 오해가 예상 출력에 가깝습니다.
- Google의 Bard 버전 2023.07.13- 작업을 해결할 수 없었습니다.
잘못된 예측의 예
IMO 잘못된 예측은 올바른 예측보다 더 흥미 롭습니다. 이러한 예측은 예상 출력에 매우 가깝습니다.
리포 구조
2 개의 듀어가 있습니다.
- 프롬프트/올바른 - 작업을 해결하는 좋은 예측.
- 프롬프트/틀린 - 과제 해결에 가까운 오해.
파일은 Markdown 문서이며 3 개 또는 4 개의 섹션이 있습니다.
- 섹션 A- 시도한 모델에 대한 메타 데이터 . 모든 문서에는 현재
gpt4 표시됩니다. - 섹션 B- 프롬프트 . 유용한 정보로 보강 된 아크 작업. 기계가 생성되었습니다.
- 섹션 C- 답장 . GPT4 또는 유사한 모델의 응답.
- 섹션 D- 추론에 문제가있을 수있는 것에 대한 인간 의견이 있는 선택 섹션.
불화
나는 Lab42와 Yannic Kilcher의 아크 채널에서 놀고 있습니다. 신속한 기술을 논의하기에 좋은 장소.
특허
아파치 또는 MIT.
