Wersja ONNX ?
Cześć.
Na początku chciałbym pogratulować całemu zespołowi release i podziękować za pracę.
Pytanie, czy istnieje szansa na wersję Bielik-11B-v2.2-Instruct w formacie ONNX ?
Pozdrawiam
Cześć,
wielkie dzięki. Możemy zrobić. Możesz nam zdradzić na jakiej platformie będziesz chciał to uruchomić? Windows .net?
Pozdrawiamy
Jeszcze tylko jaka wersja Ciebie interesuje?
A. 16bit, 4bit
B. CUDA czy CPU? :)
Cześć
Dzięki za szybką odpowiedź.
Planuję podłączyć Bielika offline do aplikacji .NET przy użyciu ONNX i sprawdzić, jak działa lokalnie.
Systemy operacyjne: Windows Server 2022 i Windows 11.
Maszyny do testów – z waszego doświadczenia dadzą radę?:
- i9‑14900KF/96GB/RTX4070
- AMDRyzen75800H/64GB/RTX3060
Na razie CUDA i 4bit to testów.
Cześć,
proszę bardzo: https://huggingface.co/speakleash/Bielik-11B-v2.2-Instruct-onnx-fp16 - zrobiliśmy fp16. Proszę dać znać czy dobrze pracuje, jeśli tak zrobimy wersję również 4bit.
Pozdrawiam