Create config.json

config.json

@@ -0,0 +1,5 @@
+{
+  "quantization_config": {
+        "bits": 4
+    }
+}