메인 콘텐츠로 건너뛰기
호환되는 두 MiniMax H3 모델을 구성 요소별로 병합하며, 아키텍처의 각 부분에 대해 별도의 비율을 사용합니다. 각 비율은 model1의 비중이므로, 한 모델의 패치 프로젝션과 리파인먼트 블록은 유지하면서 트랜스포머 블록은 다른 모델의 것으로 교체할 수 있습니다.

입력

비율 1.0(기본값)은 해당 구성 요소를 전적으로 model1에서 유지하고, 0.0은 전적으로 model2에서 가져옵니다. 그 중간 값은 두 모델을 블렌딩합니다. 정규화 통계처럼 비율이 적용되지 않는 텐서는 항상 model1에서 가져옵니다. 두 입력 모두 동일한 아키텍처의 MiniMax H3 모델이어야 하며, 그렇지 않으면 병합 결과가 실행되지 않는 모델이 됩니다.

출력

이 문서는 AI에 의해 생성되었습니다. 오류를 발견하거나 개선 제안이 있으시면 기여해 주세요! GitHub에서 편집

Source fingerprint (SHA-256): 4fea4e588d16a8396c68aa071a59e671a2a0c645734606be6d7e221986ba88bd