AhıskaAI v0.4 Collection
Collection
AhıskaAI v0.4 model series • 6 items • Updated • 1
AhıskaAI v0.4 145M IT
(Türkçe Açıklama Aşağıda)
Benchmark naming note: In the AhıskaAI v0.1 Lite Benchmark, the two instruction-tuned variants of this model were incorrectly listed as "AhıskaAI v0.4 135M" and "AhıskaAI v0.4.1 135M". Both entries actually refer to the same 145M parameter model, instruction-tuned with two different SFT mixtures:
- "AhıskaAI v0.4 135M" → AhıskaAI v0.4 145M IT (Old)
- "AhıskaAI v0.4.1 135M" → AhıskaAI v0.4 145M IT (New)
The benchmark tables below preserve the original results but correct the model names.
AhıskaAI v0.4 Series
AhıskaAI is an independent open-source AI research project focused on small language models, custom tokenization, Turkish and Ahıska Turkish, and reproducible low-resource AI experiments.
The AhıskaAI v0.4 series explores different model sizes and training approaches while keeping the models lightweight and accessible.
This repository contains two instruction-tuned (IT) variants of the same underlying AhıskaAI v0.4 145M Base model, distinguished only by their SFT (instruction-tuning) data:
AhiskaAI-v0.4-145M-IT/
├── old/ → AhıskaAI v0.4 145M IT (Old)
└── new/ → AhıskaAI v0.4 145M IT (New)
Both variants share the same architecture, tokenizer, and base pretraining. They differ only in the instruction-tuning (SFT) stage.
Old vs New — What's the difference?
| IT (Old) | IT (New) | |
|---|---|---|
| Base model | AhıskaAI v0.4 145M Base | AhıskaAI v0.4 145M Base |
| SFT data | Same SFT data used for the v0.3 series | New shared SFT mixture used across all AhıskaAI v0.4 series members, combining AhıskaAI's own data with a portion of Ethosoft/nedo-turkish-sft-mixtures |
| Training epochs | 2 | 2 |
| Effective batch size | 128 | 16 |
| Max training steps | 366 | 5,710 |
| Former benchmark name | "AhıskaAI v0.4 135M" | "AhıskaAI v0.4.1 135M" |
Both variants use the same ChatML-style conversation format and the same system/user/assistant structure — see How to Run below.
Attribution
The New variant's SFT mixture includes data from Ethosoft/nedo-turkish-sft-mixtures. Credit and thanks to the Ethosoft team for making this dataset available.
Model Specifications
Both old/ and new/ share the same underlying architecture:
| Specification | Value |
|---|---|
| Parameters | ~145M |
| Transformer parameters | ~125M excluding embeddings |
| Architecture | LlamaForCausalLM |
| Hidden size | 768 |
| Hidden layers | 20 |
| Attention heads | 12 |
| Key/Value heads | 4 |
| Intermediate size | 2048 |
| Head dimension | 64 |
| Maximum context length | 2048 |
| Vocabulary size | 24,000 |
| Activation | SiLU |
| Data type | bfloat16 |
| Position encoding | RoPE |
| Word embeddings | Tied |
| Attention dropout | 0.0 |
| Attention bias | None |
| MLP bias | None |
The model uses the LlamaForCausalLM architecture, but the underlying Base model was trained completely from scratch rather than initialized from the weights of an existing Llama model.
Training
Pretraining (shared by both variants)
The underlying AhıskaAI v0.4 145M Base model was trained completely from scratch on FineWeb-2 HQ Turkish for 2 epochs over approximately 1.7B tokens. It was not initialized from, or fine-tuned from, any other pretrained model.
Instruction-Tuning — Old
- SFT data: the same instruction-tuning dataset used for the AhıskaAI v0.3 series
- Epochs: 2
- Effective batch size: 128
- Max steps: 366
Instruction-Tuning — New
- SFT data: a new shared mixture used across all AhıskaAI v0.4 series members, combining AhıskaAI's own proprietary SFT data with a portion of Ethosoft/nedo-turkish-sft-mixtures
- Epochs: 2
- Effective batch size: 16
- Max steps: 5,710
Both variants use a ChatML-style conversation format with system, user, and assistant roles:
<|im_start|>system
Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.<|im_end|>
<|im_start|>user
Aşağıdaki cümleyi daha okunaklı hale getirmek için metin biçimlendirmesini değiştirin. Öğrencinin tamamlaması gereken karmaşık bir problemi vardı.<|im_end|>
<|im_start|>assistant
Öğrencinin tamamlaması gereken karmaşık bir problem vardı.<|im_end|>
Tokenizer
AhıskaAI v0.4 uses a custom 24K vocabulary BPE tokenizer, shared across the entire AhıskaAI v0.4 series and focused on Turkish, Ahıska Turkish, and Turkish morphology.
Intended Use
Both variants can be used for:
- Turkish question answering
- Instruction following
- Text transformation
- Simple conversational applications
- Small language model / SFT-mixture research
- Low-resource language experiments
The model is intended primarily for experimentation and research rather than production-critical applications.
How to Run
pip install -U transformers torch
Load the Old variant:
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "AhiskaAI/AhiskaAI-v0.4-145M-IT"
subfolder = "old" # or "new"
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32
tokenizer = AutoTokenizer.from_pretrained(model_id, subfolder=subfolder)
model = AutoModelForCausalLM.from_pretrained(
model_id,
subfolder=subfolder,
torch_dtype=dtype
).to(device)
messages = [
{
"role": "system",
"content": "Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın."
},
{
"role": "user",
"content": "Ahıska Türkleri hakkında kısa bir bilgi ver."
}
]
prompt = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
inputs = tokenizer(prompt, return_tensors="pt").to(device)
with torch.no_grad():
outputs = model.generate(
**inputs,
max_new_tokens=100,
temperature=0.8,
top_p=0.9,
do_sample=True,
repetition_penalty=1.1
)
generated_tokens = outputs[0][inputs["input_ids"].shape[1]:]
print(tokenizer.decode(generated_tokens, skip_special_tokens=True))
To use the New variant, simply set subfolder = "new".
Manual Prompt Format
<|im_start|>system
Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.<|im_end|>
<|im_start|>user
Kullanıcı sorusu buraya gelir.<|im_end|>
<|im_start|>assistant
AhıskaAI v0.1 Lite Benchmark
AhıskaAI v0.1 Lite Benchmark is an experimental benchmark consisting of 100 questions evaluating Turkish quality, topic relevance, and factual/logical correctness (binary scoring, averaged).
Note: This is an experimental benchmark and should not be considered a standardized benchmark.
Benchmark Naming Correction
The original benchmark table listed two entries, "AhıskaAI v0.4 135M" and "AhıskaAI v0.4.1 135M", as if they were separate 135M models. Both actually refer to this 145M model:
- "AhıskaAI v0.4 135M" → AhıskaAI v0.4 145M IT (Old)
- "AhıskaAI v0.4.1 135M" → AhıskaAI v0.4 145M IT (New)
The tables below preserve the original scores with corrected names.
Overall Benchmark
| Rank | Model | Score |
|---|---|---|
| 1 | Gemma 3 1B | 85.86% |
| 2 | Qwen 3 0.6B | 55.22% |
| 3 | AhıskaAI v0.4 145M IT (New) | 54.88% |
| 4 | AhıskaAI v0.4 235M | 51.18% |
| 5 | AhıskaAI v0.4 145M IT (Old) | 50.17% |
| 6 | Gemma 3 270M | 46.46% |
| 7 | Qwen 2.5 0.5B | 43.77% |
| 8 | AhıskaAI v0.4 35M | 43.43% |
| 9 | Llama 3.2 1B | 35.35% |
| 10 | SmolLM2 1.7B | 22.89% |
| 11 | SmolLM2 360M | 12.12% |
| 12 | SmolLM2 135M | 1.01% |
Turkish Performance
| Rank | Model | Score |
|---|---|---|
| 1 | AhıskaAI v0.4 145M IT (Old) | 100.00% |
| 1 | Gemma 3 1B | 100.00% |
| 3 | AhıskaAI v0.4 145M IT (New) | 97.98% |
| 4 | AhıskaAI v0.4 235M | 96.97% |
| 4 | Gemma 3 270M | 96.97% |
| 6 | AhıskaAI v0.4 35M | 87.88% |
| 7 | Qwen 3 0.6B | 86.87% |
| 8 | Qwen 2.5 0.5B | 81.82% |
| 9 | Llama 3.2 1B | 48.48% |
| 10 | SmolLM2 1.7B | 46.46% |
| 11 | SmolLM2 360M | 28.28% |
| 12 | SmolLM2 135M | 3.03% |
Topic Relevance
| Rank | Model | Score |
|---|---|---|
| 1 | Gemma 3 1B | 84.85% |
| 2 | Qwen 3 0.6B | 47.47% |
| 3 | AhıskaAI v0.4 145M IT (New) | 44.44% |
| 4 | Llama 3.2 1B | 40.40% |
| 5 | AhıskaAI v0.4 235M | 38.38% |
| 6 | AhıskaAI v0.4 145M IT (Old) | 36.36% |
| 7 | Qwen 2.5 0.5B | 33.33% |
| 8 | AhıskaAI v0.4 35M | 32.32% |
| 9 | Gemma 3 270M | 26.26% |
| 10 | SmolLM2 1.7B | 13.13% |
| 11 | SmolLM2 360M | 5.05% |
| 12 | SmolLM2 135M | 0.00% |
Correctness
| Rank | Model | Score |
|---|---|---|
| 1 | Gemma 3 1B | 72.73% |
| 2 | Qwen 3 0.6B | 31.31% |
| 3 | AhıskaAI v0.4 145M IT (New) | 22.22% |
| 4 | AhıskaAI v0.4 235M | 18.18% |
| 5 | Llama 3.2 1B | 17.17% |
| 6 | Qwen 2.5 0.5B | 16.16% |
| 6 | Gemma 3 270M | 16.16% |
| 8 | AhıskaAI v0.4 145M IT (Old) | 14.14% |
| 9 | AhıskaAI v0.4 35M | 10.10% |
| 10 | SmolLM2 1.7B | 9.09% |
| 11 | SmolLM2 360M | 3.03% |
| 12 | SmolLM2 135M | 0.00% |
Limitations
Both variants are intentionally small and experimental. Because of their size, they may:
- Produce factually incorrect information
- Generate meaningless or incomplete text
- Fail to follow complex instructions
- Lose context in longer prompts
- Repeat words or phrases
- Produce off-topic responses
- Struggle with reasoning and multi-step tasks
- Hallucinate information
Instruction tuning improves usability and instruction-following behavior, but does not eliminate these limitations.
Do not rely on these models for medical, legal, financial, safety-critical, or other high-stakes decisions.
Base Model
Both variants are instruction-tuned from:
AhıskaAI v0.4 145M Base
The Base model was trained completely from scratch before either instruction-tuning stage.
Other Versions
- AhıskaAI v0.4 35M Base — Smaller Base language model
- AhıskaAI v0.4 35M IT — Instruction-tuned version of the 35M Base model
- AhıskaAI v0.4 145M Base — Base language model underlying this repository
- AhıskaAI v0.4 145M IT (Old) — This repository,
old/subfolder - AhıskaAI v0.4 145M IT (New) — This repository,
new/subfolder - AhıskaAI v0.4 235M — Larger 235M release
License
This model is released under the Apache 2.0 License.
If you use this model in a project, publication, application, or other public work, attribution to AhıskaAI is appreciated. If you use the New variant, please also credit Ethosoft/nedo-turkish-sft-mixtures, part of whose data was used in its SFT mixture.
Suggested Citation
AhıskaAI v0.4 145M IT — Instruction-tuned small language models (Old and New SFT variants) for Turkish and Ahıska Turkish research.
Project: AhıskaAI Model: AhıskaAI v0.4 145M IT (Old / New)
Türkçe
AhıskaAI v0.4 145M IT
Benchmark isimlendirme notu: AhıskaAI v0.1 Lite Benchmark sonuçlarında bu modelin iki instruction-tuned varyantı yanlışlıkla "AhıskaAI v0.4 135M" ve "AhıskaAI v0.4.1 135M" olarak listelenmiştir. Her iki kayıt da aslında aynı 145M parametreli modele, iki farklı SFT karışımıyla eğitilmiş haliyle aittir:
- "AhıskaAI v0.4 135M" → AhıskaAI v0.4 145M IT (Old)
- "AhıskaAI v0.4.1 135M" → AhıskaAI v0.4 145M IT (New)
Aşağıdaki benchmark tablolarında orijinal skorlar korunmuş, sadece model adları düzeltilmiştir.
AhıskaAI; küçük dil modelleri, özel tokenizasyon, Türkçe ve Ahıska Türkçesi ve düşük kaynaklı yapay zekâ deneyleri üzerine çalışan bağımsız, açık kaynaklı bir AI araştırma projesidir.
Bu repo, aynı temel AhıskaAI v0.4 145M Base modelinin, sadece SFT (instruction-tuning) verisi farklı olan iki instruction-tuned varyantını içerir:
AhiskaAI-v0.4-145M-IT/
├── old/ → AhıskaAI v0.4 145M IT (Old)
└── new/ → AhıskaAI v0.4 145M IT (New)
İki varyant da aynı mimariyi, tokenizer'ı ve ön eğitimi (pretraining) paylaşır. Sadece instruction-tuning (SFT) aşamasında farklılaşırlar.
Old ve New Arasındaki Fark
| IT (Old) | IT (New) | |
|---|---|---|
| Base model | AhıskaAI v0.4 145M Base | AhıskaAI v0.4 145M Base |
| SFT verisi | v0.3 serisinde kullanılan SFT verisiyle aynı | AhıskaAI v0.4 serisinin tüm üyeleri için ortak yeni bir karışım: AhıskaAI'nin kendi verisi + Ethosoft/nedo-turkish-sft-mixtures veri setinin bir kısmı |
| Eğitim epoch sayısı | 2 | 2 |
| Efektif batch size | 128 | 16 |
| Maksimum eğitim adımı | 366 | 5.710 |
| Eski benchmark adı | "AhıskaAI v0.4 135M" | "AhıskaAI v0.4.1 135M" |
Her iki varyant da aynı ChatML tarzı konuşma formatını ve system/user/assistant yapısını kullanır — aşağıdaki Çalıştırma bölümüne bakın.
Atıf
New varyantının SFT karışımı Ethosoft/nedo-turkish-sft-mixtures veri setinden veri içermektedir. Bu veri setini kullanıma sunduğu için Ethosoft ekibine teşekkür ederiz.
Model Özellikleri
old/ ve new/ aynı temel mimariyi paylaşır:
| Özellik | Değer |
|---|---|
| Parametre sayısı | ~145M |
| Transformer parametreleri | Embedding hariç ~125M |
| Mimari | LlamaForCausalLM |
| Hidden size | 768 |
| Hidden layers | 20 |
| Attention heads | 12 |
| Key/Value heads | 4 |
| Intermediate size | 2048 |
| Head dimension | 64 |
| Maksimum context | 2048 |
| Vocabulary | 24,000 |
| Aktivasyon | SiLU |
| Veri tipi | bfloat16 |
| Position encoding | RoPE |
| Word embeddings | Tied |
| Attention dropout | 0.0 |
| Attention bias | Yok |
| MLP bias | Yok |
Model LlamaForCausalLM mimarisini kullanmaktadır ancak temel model mevcut bir Llama modelinin ağırlıkları kullanılarak oluşturulmamıştır; tamamen sıfırdan eğitilmiştir.
Eğitim
Ön Eğitim (her iki varyant için ortak)
AhıskaAI v0.4 145M Base modeli, FineWeb-2 HQ Turkish verisi üzerinde yaklaşık 1.7B token kullanılarak toplam 2 epoch boyunca tamamen sıfırdan eğitilmiştir. Başka bir pretrained modelden başlatılmamış veya fine-tune edilmemiştir.
Instruction-Tuning — Old
- SFT verisi: AhıskaAI v0.3 serisinde kullanılan instruction-tuning veri seti ile aynı
- Epoch: 2
- Efektif batch size: 128
- Maksimum adım: 366
Instruction-Tuning — New
- SFT verisi: AhıskaAI v0.4 serisinin tüm üyeleri için ortak yeni bir karışım — AhıskaAI'nin kendi verisi + Ethosoft/nedo-turkish-sft-mixtures veri setinin bir kısmı
- Epoch: 2
- Efektif batch size: 16
- Maksimum adım: 5.710
Her iki varyant da system, user ve assistant rollerinden oluşan ChatML tarzı bir konuşma formatı kullanır:
<|im_start|>system
Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.<|im_end|>
<|im_start|>user
Aşağıdaki cümleyi daha okunaklı hale getirmek için metin biçimlendirmesini değiştirin. Öğrencinin tamamlaması gereken karmaşık bir problemi vardı.<|im_end|>
<|im_start|>assistant
Öğrencinin tamamlaması gereken karmaşık bir problem vardı.<|im_end|>
Tokenizer
AhıskaAI v0.4 serisinde, tüm seri boyunca ortak kullanılan, Türkçe/Ahıska Türkçesi ve Türkçe morfolojisine odaklı özel bir 24K vocabulary BPE tokenizer kullanılmaktadır.
Kullanım Alanları
Her iki varyant da şu alanlarda kullanılabilir:
- Türkçe soru-cevap
- Talimat takibi
- Metin dönüştürme
- Basit sohbet uygulamaları
- Küçük dil modeli / SFT karışımı araştırmaları
- Düşük kaynaklı dil deneyleri
Model öncelikli olarak deneysel ve araştırma amaçlıdır.
Çalıştırma
pip install -U transformers torch
Old varyantını yüklemek için:
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "AhiskaAI/AhiskaAI-v0.4-145M-IT"
subfolder = "old" # veya "new"
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32
tokenizer = AutoTokenizer.from_pretrained(model_id, subfolder=subfolder)
model = AutoModelForCausalLM.from_pretrained(
model_id,
subfolder=subfolder,
torch_dtype=dtype
).to(device)
messages = [
{
"role": "system",
"content": "Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın."
},
{
"role": "user",
"content": "Ahıska Türkleri hakkında kısa bir bilgi ver."
}
]
prompt = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
inputs = tokenizer(prompt, return_tensors="pt").to(device)
with torch.no_grad():
outputs = model.generate(
**inputs,
max_new_tokens=100,
temperature=0.8,
top_p=0.9,
do_sample=True,
repetition_penalty=1.1
)
generated_tokens = outputs[0][inputs["input_ids"].shape[1]:]
print(tokenizer.decode(generated_tokens, skip_special_tokens=True))
New varyantını kullanmak için subfolder = "new" olarak değiştirmeniz yeterlidir.
Manuel Prompt Formatı
<|im_start|>system
Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.<|im_end|>
<|im_start|>user
Kullanıcı sorusu buraya gelir.<|im_end|>
<|im_start|>assistant
AhıskaAI v0.1 Lite Benchmark
100 sorudan oluşan, Türkçe kalitesi, konu ilgisi ve bilgisel/mantıksal doğruluğu değerlendiren deneysel bir benchmark (binary scoring, ortalama).
Not: Bu deneysel bir benchmark'tır, standartlaştırılmış bir benchmark olarak değerlendirilmemelidir.
Benchmark İsimlendirme Düzeltmesi
Orijinal benchmark tablosunda "AhıskaAI v0.4 135M" ve "AhıskaAI v0.4.1 135M" ayrı 135M modelleriymiş gibi listelenmiştir. İkisi de aslında bu 145M modele aittir:
- "AhıskaAI v0.4 135M" → AhıskaAI v0.4 145M IT (Old)
- "AhıskaAI v0.4.1 135M" → AhıskaAI v0.4 145M IT (New)
Aşağıdaki tablolarda orijinal skorlar korunmuş, model adları düzeltilmiştir.
Genel Benchmark
| Sıra | Model | Skor |
|---|---|---|
| 1 | Gemma 3 1B | 85.86% |
| 2 | Qwen 3 0.6B | 55.22% |
| 3 | AhıskaAI v0.4 145M IT (New) | 54.88% |
| 4 | AhıskaAI v0.4 235M | 51.18% |
| 5 | AhıskaAI v0.4 145M IT (Old) | 50.17% |
| 6 | Gemma 3 270M | 46.46% |
| 7 | Qwen 2.5 0.5B | 43.77% |
| 8 | AhıskaAI v0.4 35M | 43.43% |
| 9 | Llama 3.2 1B | 35.35% |
| 10 | SmolLM2 1.7B | 22.89% |
| 11 | SmolLM2 360M | 12.12% |
| 12 | SmolLM2 135M | 1.01% |
Türkçe Performansı
| Sıra | Model | Skor |
|---|---|---|
| 1 | AhıskaAI v0.4 145M IT (Old) | 100.00% |
| 1 | Gemma 3 1B | 100.00% |
| 3 | AhıskaAI v0.4 145M IT (New) | 97.98% |
| 4 | AhıskaAI v0.4 235M | 96.97% |
| 4 | Gemma 3 270M | 96.97% |
| 6 | AhıskaAI v0.4 35M | 87.88% |
| 7 | Qwen 3 0.6B | 86.87% |
| 8 | Qwen 2.5 0.5B | 81.82% |
| 9 | Llama 3.2 1B | 48.48% |
| 10 | SmolLM2 1.7B | 46.46% |
| 11 | SmolLM2 360M | 28.28% |
| 12 | SmolLM2 135M | 3.03% |
Konu İlgisi
| Sıra | Model | Skor |
|---|---|---|
| 1 | Gemma 3 1B | 84.85% |
| 2 | Qwen 3 0.6B | 47.47% |
| 3 | AhıskaAI v0.4 145M IT (New) | 44.44% |
| 4 | Llama 3.2 1B | 40.40% |
| 5 | AhıskaAI v0.4 235M | 38.38% |
| 6 | AhıskaAI v0.4 145M IT (Old) | 36.36% |
| 7 | Qwen 2.5 0.5B | 33.33% |
| 8 | AhıskaAI v0.4 35M | 32.32% |
| 9 | Gemma 3 270M | 26.26% |
| 10 | SmolLM2 1.7B | 13.13% |
| 11 | SmolLM2 360M | 5.05% |
| 12 | SmolLM2 135M | 0.00% |
Doğruluk
| Sıra | Model | Skor |
|---|---|---|
| 1 | Gemma 3 1B | 72.73% |
| 2 | Qwen 3 0.6B | 31.31% |
| 3 | AhıskaAI v0.4 145M IT (New) | 22.22% |
| 4 | AhıskaAI v0.4 235M | 18.18% |
| 5 | Llama 3.2 1B | 17.17% |
| 6 | Qwen 2.5 0.5B | 16.16% |
| 6 | Gemma 3 270M | 16.16% |
| 8 | AhıskaAI v0.4 145M IT (Old) | 14.14% |
| 9 | AhıskaAI v0.4 35M | 10.10% |
| 10 | SmolLM2 1.7B | 9.09% |
| 11 | SmolLM2 360M | 3.03% |
| 12 | SmolLM2 135M | 0.00% |
Sınırlamalar
Her iki varyant da özellikle küçük ve deneysel modellerdir. Boyutları nedeniyle:
- Yanlış bilgiler üretebilirler
- Anlamsız veya eksik metinler oluşturabilirler
- Karmaşık talimatları takip etmekte zorlanabilirler
- Uzun promptlarda bağlamı kaybedebilirler
- Kelime veya ifadeleri tekrarlayabilirler
- Konu dışı cevaplar verebilirler
- Mantıksal çıkarım ve çok adımlı görevlerde zorlanabilirler
- Halüsinasyon üretebilirler
Instruction tuning kullanılabilirliği ve talimat takip yeteneğini geliştirir ancak bu sınırlamaları tamamen ortadan kaldırmaz.
Modeller tıbbi, hukuki, finansal, güvenlik açısından kritik veya yüksek riskli kararlar için kullanılmamalıdır.
Base Model
Her iki varyant da şu temel model üzerine instruction tuning uygulanarak oluşturulmuştur:
AhıskaAI v0.4 145M Base
Base model, her iki instruction-tuning aşamasından önce tamamen sıfırdan eğitilmiştir.
Diğer Sürümler
- AhıskaAI v0.4 35M Base — Daha küçük Base dil modeli
- AhıskaAI v0.4 35M IT — 35M Base modelinin instruction-tuned sürümü
- AhıskaAI v0.4 145M Base — Bu reponun temelini oluşturan Base dil modeli
- AhıskaAI v0.4 145M IT (Old) — Bu repo,
old/klasörü - AhıskaAI v0.4 145M IT (New) — Bu repo,
new/klasörü - AhıskaAI v0.4 235M — Daha büyük 235M sürüm
Lisans
Bu model Apache 2.0 License altında yayınlanmıştır.
Bu modeli bir proje, yayın, uygulama veya başka bir kamuya açık çalışmada kullanıyorsanız AhıskaAI'ye atıfta bulunmanız rica edilir. New varyantını kullanıyorsanız, SFT karışımının bir kısmında kullanılan Ethosoft/nedo-turkish-sft-mixtures veri setine de atıfta bulunmanız rica edilir.
Önerilen Atıf
AhıskaAI v0.4 145M IT — Türkçe ve Ahıska Türkçesi araştırmaları için geliştirilmiş instruction-tuned küçük dil modelleri (Old ve New SFT varyantları).
Proje: AhıskaAI Model: AhıskaAI v0.4 145M IT (Old / New)