Instructions to use EMD123/tiny-aya-kosher-3.3B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use EMD123/tiny-aya-kosher-3.3B with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="EMD123/tiny-aya-kosher-3.3B")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("EMD123/tiny-aya-kosher-3.3B")
model = AutoModelForCausalLM.from_pretrained("EMD123/tiny-aya-kosher-3.3B")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps

vLLM

How to use EMD123/tiny-aya-kosher-3.3B with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "EMD123/tiny-aya-kosher-3.3B"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "EMD123/tiny-aya-kosher-3.3B",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/EMD123/tiny-aya-kosher-3.3B

SGLang

How to use EMD123/tiny-aya-kosher-3.3B with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "EMD123/tiny-aya-kosher-3.3B" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "EMD123/tiny-aya-kosher-3.3B",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "EMD123/tiny-aya-kosher-3.3B" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "EMD123/tiny-aya-kosher-3.3B",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use EMD123/tiny-aya-kosher-3.3B with Docker Model Runner:
```
docker model run hf.co/EMD123/tiny-aya-kosher-3.3B
```

tiny-aya-kosher-3.3B: מודל שפה מותאם לערכי הצניעות וההלכה

Model Details

Model Description

Haredi-Aya-3B הוא מודל שפה ממוזג (Merged) המבוסס על Tiny-Aya-Global. המודל עבר כוונון עדין (Fine-tuning) .ממוקד כדי להתאים את תגובותיו לערכי הציבור החרדי, תוך דגש על סינון תכנים שאינם הולמים, מניעת עיסוק בנושאי כפירה, עבודה זרה, ושמירה על גדרי הצניעות .

Developed by: EMD123
Model type: Causal Language Model (Fine-tuned with QLoRA)
Language(s) (NLP): Hebrew (Primary), English
License: CC-BY-NC-4.0 (Non-Commercial use only)
Finetuned from model: CohereLabs/tiny-aya-global

Uses

Direct Use

המודל נועד לשמש כעוזר בינה מלאכותית "כשר". הוא מתאים לשימוש במערכות המיועדות למשתמשים שומרי תורה ומצוות המעוניינים בכלי עבודה חכם שאינו נחשף לתכנים אסורים או שאינם הולמים את רוח הקהילה.

Out-of-Scope Use

אין להשתמש במודל לצרכים מסחריים (בהתאם לרישיון ה-NC). המודל אינו מיועד לספק פסיקה הלכתית רשמית או ייעוץ רוחני, אלא לשמש ככלי עזר טכנולוגי בלבד.

Bias, Risks, and Limitations

למרות האימון הממוקד, מודלי שפה עלולים להזות (Hallucinate) או לעקוף מגבלות בסיטואציות מסוימות. המודל הותאם לסרב לתכנים מסוימים, אך ייתכנו מקרים של סירוב-יתר (False Positive) גם לשאלות תמימות אם הן מזכירות מילים רגישות.

Recommendations

מומלץ להשתמש בטמפרטורה (Temperature) נמוכה (0.1-0.3) כדי לקבל תשובות עקביות ומדויקות יותר מבחינת ערכי הסינון.

How to Get Started with the Model

כדי להפעיל את המודל בצורה נכונה, יש להשתמש בתבנית הצ'אט הרשמית של Aya:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "[EMD123]/tiny-aya-kosher-3.3B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", torch_dtype="auto")

messages = [{"role": "user", "content": "האם תוכל לעזור לי בכתיבת מכתב רשמי?"}]
input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to("cuda")

outputs = model.generate(input_ids, max_new_tokens=256, temperature=0.2, do_sample=True)
print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))

Training Details

Training Data

המודל אומן על דאטה-סט ייעודי שנבנה ידנית וכולל כ-520 דוגמאות:

דוגמאות סינון: הנחיות לסירוב מנומס ומנומק לנושאים שאינם צנועים, כפירה, ודתות אחרות.

דוגמאות שימור: שאלות בידע כללי, קוד ושפה כדי לשמר את יכולות הליבה של המודל.

שיחות רב-סיבוביות (Multi-turn): דוגמאות המלמדות את המודל לשמור על עקביות לאורך שיחה שלמה.

Training Procedure

האימון התבצע בשיטת QLoRA (4-bit quantization) על גבי כרטיס מסך NVIDIA T4 בסביבת Google Colab.

Training regime: bf16 mixed precision

Learning Rate: 2e-4

Epochs: 2 (Early stopping applied to prevent overfitting)

Batch Size: 2 (Gradient Accumulation Steps: 4)

Technical Specifications

Model Architecture and Objective

המודל מבוסס על ארכיטקטורת Command-R של Cohere, המותאמת במיוחד לביצועים רב-לשוניים יעילים במודל קומפקטי (3B).

License & Policy

מודל זה כפוף לרישיון Creative Commons Attribution-NonCommercial 4.0 International. בנוסף, המשתמשים מחויבים לציות למדיניות השימוש של Cohere Lab (Acceptable Use Policy).

More Information

המודל נוצר מתוך צורך חיוני בכלים טכנולוגיים מתקדמים המכבדים את עולמם הערכי של המשתמשים הדתיים והחרדים.

Downloads last month: 13

Safetensors

Model size

3B params

Tensor type

BF16

Model tree for EMD123/tiny-aya-kosher-3.3B

Base model

CohereLabs/tiny-aya-base

Finetuned

CohereLabs/tiny-aya-global

Finetuned

(52)

this model