Saxo
/

Linkbricks-Horizon-AI-Korean-Mixtral-sft-dpo-8x7b

Text Generation

text-generation-inference

Inference Endpoints

Model card Files Files and versions Community

Saxo commited on Sep 7

Commit

8fe27ac

•

1 Parent(s): d11ffc7

Update README.md

Files changed (1) hide show

README.md +2 -2

README.md CHANGED Viewed

@@ -31,8 +31,8 @@ AI 와 빅데이터 분석 전문 기업인 Linkbricks의 데이터사이언티
 한글 언어 모델로 한국어-중국어-영어-일본어 교차 학습 데이터와 로지컬 데이터를 통하여 한중일영 언어 교차 증강 처리와 복잡한 한글 논리 문제 역시 대응 가능하도록 훈련한 모델이며 토크나이저는 단어 확장 없이 베이스 모델 그대로 사용.
 특히 고객 리뷰나 소셜 포스팅 고차원 분석 및 코딩등이 강화된 모델
 Deepspeed Stage=3, rslora 를 사용 <br>
-ollama run benedict/linkbricks-mixtral-8x7-korean-q4 <br>
-ollama run benedict/linkbricks-mixtral-8x7-korean-q8
 Dr. Yunsung Ji (Saxo), a data scientist at Linkbricks, a company specializing in AI and big data analytics, fine-tuned the NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO base model with SFT->DPO using four H100-80Gs on KT-CLOUD.
 It is a Korean language model trained to handle complex Korean logic problems through Korean-Chinese-English-Japanese cross-training data and logical data, and Tokenizer uses the base model without word expansion.

 한글 언어 모델로 한국어-중국어-영어-일본어 교차 학습 데이터와 로지컬 데이터를 통하여 한중일영 언어 교차 증강 처리와 복잡한 한글 논리 문제 역시 대응 가능하도록 훈련한 모델이며 토크나이저는 단어 확장 없이 베이스 모델 그대로 사용.
 특히 고객 리뷰나 소셜 포스팅 고차원 분석 및 코딩등이 강화된 모델
 Deepspeed Stage=3, rslora 를 사용 <br>
+ollama run benedict/linkbricks-mixtral-8x7-korean-q4:56b <br>
+ollama run benedict/linkbricks-mixtral-8x7-korean-q8:56b
 Dr. Yunsung Ji (Saxo), a data scientist at Linkbricks, a company specializing in AI and big data analytics, fine-tuned the NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO base model with SFT->DPO using four H100-80Gs on KT-CLOUD.
 It is a Korean language model trained to handle complex Korean logic problems through Korean-Chinese-English-Japanese cross-training data and logical data, and Tokenizer uses the base model without word expansion.