AhiskaAI/AhiskaAI-v0.4-235M-Base

AhıskaAI v0.4 235M Base

(Türkçe Açıklama Aşağıda)

AhıskaAI v0.4 Series

AhıskaAI is an independent open-source AI research project focused on small language models, custom tokenization, Turkish and Ahıska Turkish, and reproducible low-resource AI experiments.

The AhıskaAI v0.4 series explores different model sizes and training approaches while keeping the models lightweight and accessible.

This release is the Base language model of the AhıskaAI v0.4 235M model line.

---

AhıskaAI v0.4 235M Base

AhıskaAI v0.4 235M Base is the largest model in the AhıskaAI v0.4 series, trained completely from scratch for Turkish text generation and small language model research.

The model was trained from scratch using FineWeb-2 HQ Turkish and the custom tokenizer developed for the AhıskaAI v0.4 series.

Training note: Unlike the other AhıskaAI v0.4 Base models (which were trained for 2 epochs), this 235M Base model was trained for only 1 epoch over the same ~1.7B token FineWeb-2 HQ Turkish corpus.

This is an experimental small language model developed as part of the AhıskaAI research project.

---

Model Specifications

Specification	Value
Model name	AhıskaAI v0.4 235M Base
Architecture	LlamaForCausalLM
Hidden size	1024
Hidden layers	20
Attention heads	16
Key/Value heads	4
Intermediate size	2560
Head dimension	64
Maximum context length	2048
Vocabulary size	24,000
Activation	SiLU
Data type	bfloat16
Position encoding	RoPE (theta 10,000)
Word embeddings	Tied
Attention dropout	0.0
Attention bias	None
MLP bias	None

The model uses the LlamaForCausalLM architecture, but it was trained completely from scratch rather than initialized from the weights of an existing Llama model.

---

Training

AhıskaAI v0.4 235M Base was trained completely from scratch.

The pretraining data was based entirely on:

FineWeb-2 HQ Turkish

The model was trained for 1 epoch over approximately 1.7B tokens of training data — half the number of passes used for the smaller AhıskaAI v0.4 Base models (35M and 145M), which were each trained for 2 epochs over the same corpus.

The model was not initialized from a larger pretrained model and was not fine-tuned from an existing language model.

The training objective was causal language modeling, where the model learns to predict the next token based on the preceding context.

---

Tokenizer

AhıskaAI v0.4 uses a custom 24K vocabulary BPE tokenizer.

The tokenizer is shared across the AhıskaAI v0.4 model series and was designed with a strong focus on:

• Turkish
• Ahıska Turkish
• Turkish morphology
• Efficient tokenization for Turkish text

A custom tokenizer was used instead of simply relying on the tokenizer of another pretrained language model.

---

Intended Use

AhıskaAI v0.4 235M Base can be used for:

• Turkish text generation
• Turkish language modeling experiments
• Ahıska Turkish research
• Small language model research
• Low-resource language experiments
• Custom tokenizer research
• Causal language modeling experiments
• Further fine-tuning and instruction-tuning research

The model is primarily intended for experimentation and research rather than production-critical applications.

As a Base model, it is not instruction-tuned and is not specifically optimized to behave as a conversational assistant. See AhıskaAI v0.4 235M IT for the instruction-tuned version.

---

How to Run

pip install -U transformers torch

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "AhiskaAI/AhiskaAI-v0.4-235M-Base"

device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype
).to(device)

prompt = "Ahıska Türkleri hakkında"

inputs = tokenizer(prompt, return_tensors="pt").to(device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.8,
        top_p=0.9,
        do_sample=True,
        repetition_penalty=1.1
    )

generated_tokens = outputs[0][inputs["input_ids"].shape[1]:]
print(tokenizer.decode(generated_tokens, skip_special_tokens=True))

Note: This is a Base language model and does not use an instruction/chat template. Text generation should be performed by providing a text prompt and continuing the sequence.

---

AhıskaAI v0.1 Lite Benchmark

AhıskaAI v0.1 Lite Benchmark is an experimental benchmark consisting of 100 questions evaluating Turkish quality, topic relevance, and factual/logical correctness (binary scoring, averaged).

AhıskaAI v0.1 Lite Benchmark

Note: AhıskaAI v0.1 Lite Benchmark is an experimental benchmark and should not be considered a standardized benchmark.

Overall Benchmark

Rank	Model	Score
1	Gemma 3 1B	85.86%
2	Qwen 3 0.6B	55.22%
3	AhıskaAI v0.4 145M IT (New)	54.88%
4	AhıskaAI v0.4 235M	51.18%
5	AhıskaAI v0.4 145M IT (Old)	50.17%
6	Gemma 3 270M	46.46%
7	Qwen 2.5 0.5B	43.77%
8	AhıskaAI v0.4 35M	43.43%
9	Llama 3.2 1B	35.35%
10	SmolLM2 1.7B	22.89%
11	SmolLM2 360M	12.12%
12	SmolLM2 135M	1.01%

Note: The benchmark entry above corresponds to the instruction-tuned AhıskaAI v0.4 235M IT model, not this raw Base model — Base models are typically not directly comparable on instruction-style benchmarks. It is included here for completeness of the AhıskaAI v0.4 235M model line.

---

Limitations

This model is intentionally small and experimental.

Because of its size, single-epoch pretraining, and Base-model nature, it may:

• Produce factually incorrect information
• Generate meaningless or incomplete text
• Produce repetitive text
• Lose context in longer prompts
• Generate off-topic continuations
• Struggle with reasoning and multi-step tasks
• Hallucinate information
• Produce text that does not follow user instructions

As a Base model, it has not been specifically trained to follow natural-language instructions or behave as a conversational assistant.

Do not rely on this model for medical, legal, financial, safety-critical, or other high-stakes decisions.

---

Base Model

This model is a Base model and was trained completely from scratch.

It was not initialized from another pretrained language model and was not fine-tuned from a larger model.

The training process consisted of causal language model pretraining on FineWeb-2 HQ Turkish for 1 epoch over approximately 1.7B tokens.

---

Other Versions

• AhıskaAI v0.4 35M Base — Smaller Base language model
• AhıskaAI v0.4 35M IT — Instruction-tuned version of the 35M Base model
• AhıskaAI v0.4 145M Base — Mid-size Base language model
• AhıskaAI v0.4 145M IT — Instruction-tuned 145M model (Old / New SFT variants)
• AhıskaAI v0.4 235M Base — This Base language model
• AhıskaAI v0.4 235M IT — Instruction-tuned version of this model

---

License

This model is released under the Apache 2.0 License.

If you use this model in a project, publication, application, or other public work, attribution to AhıskaAI is appreciated.

Suggested Citation

AhıskaAI v0.4 235M Base — A small causal language model trained from scratch for Turkish and Ahıska Turkish research.

Project: AhıskaAI Model: AhıskaAI v0.4 235M Base

---

Türkçe

AhıskaAI v0.4 Serisi

AhıskaAI; küçük dil modelleri, özel tokenizasyon, Türkçe ve Ahıska Türkçesi ve düşük kaynaklı yapay zekâ deneyleri üzerine çalışan bağımsız, açık kaynaklı bir AI araştırma projesidir.

AhıskaAI v0.4 serisi, farklı model boyutlarını ve eğitim yaklaşımlarını deneyerek hafif ve erişilebilir dil modelleri geliştirmeyi amaçlamaktadır.

Bu sürüm, AhıskaAI v0.4 235M Base dil modelidir ve serinin şu ana kadarki en büyük modelidir.

---

AhıskaAI v0.4 235M Base

AhıskaAI v0.4 235M Base, Türkçe metin üretimi ve küçük dil modeli araştırmaları için tamamen sıfırdan eğitilmiş, AhıskaAI v0.4 serisinin en büyük modelidir.

Model, FineWeb-2 HQ Turkish verisi ve AhıskaAI v0.4 serisi için geliştirilen özel tokenizer kullanılarak sıfırdan eğitilmiştir.

Eğitim notu: Serideki diğer Base modellerin aksine (2 epoch eğitilmişlerdi), bu 235M Base model aynı ~1.7B token'lık FineWeb-2 HQ Turkish korpusu üzerinde yalnızca 1 epoch eğitilmiştir.

Bu model, AhıskaAI araştırma projesinin bir parçası olarak geliştirilmiş deneysel bir küçük dil modelidir.

---

Model Özellikleri

Özellik	Değer
Model adı	AhıskaAI v0.4 235M Base
Mimari	LlamaForCausalLM
Hidden size	1024
Hidden layers	20
Attention heads	16
Key/Value heads	4
Intermediate size	2560
Head dimension	64
Maksimum context	2048
Vocabulary	24,000
Aktivasyon	SiLU
Veri tipi	bfloat16
Position encoding	RoPE (theta 10.000)
Word embeddings	Tied
Attention dropout	0.0
Attention bias	Yok
MLP bias	Yok

Model LlamaForCausalLM mimarisini kullanmaktadır ancak mevcut bir Llama modelinin ağırlıkları kullanılarak oluşturulmamıştır. Model tamamen sıfırdan eğitilmiştir.

---

Eğitim

AhıskaAI v0.4 235M Base modeli tamamen sıfırdan eğitilmiştir.

Ön eğitim verisi tamamen:

FineWeb-2 HQ Turkish

verisine dayanmaktadır.

Model yaklaşık 1.7B token üzerinde toplam 1 epoch boyunca eğitilmiştir — serideki daha küçük Base modellerin (35M ve 145M, her ikisi de aynı korpus üzerinde 2 epoch eğitilmişti) yarısı kadar geçiş sayısı ile.

Model daha büyük bir pretrained modelin ağırlıkları kullanılarak başlatılmamış ve mevcut başka bir dil modeli üzerinden fine-tune edilmemiştir.

Eğitimde causal language modeling yaklaşımı kullanılmıştır. Model, verilen bağlama göre bir sonraki tokenı tahmin etmeyi öğrenmektedir.

---

Tokenizer

AhıskaAI v0.4 serisinde özel olarak geliştirilmiş 24K vocabulary BPE tokenizer kullanılmaktadır.

Tokenizer tüm AhıskaAI v0.4 serisi ile ortaktır ve özellikle:

• Türkçe
• Ahıska Türkçesi
• Türkçe morfolojisi
• Türkçe metinlerde verimli tokenizasyon

üzerine odaklanmaktadır.

Başka bir pretrained dil modelinin tokenizer'ı doğrudan kullanılmamıştır.

---

Kullanım Alanları

AhıskaAI v0.4 235M Base şu alanlarda kullanılabilir:

• Türkçe metin üretimi
• Türkçe language modeling deneyleri
• Ahıska Türkçesi araştırmaları
• Küçük dil modeli araştırmaları
• Düşük kaynaklı dil deneyleri
• Özel tokenizer araştırmaları
• Causal language modeling deneyleri
• Model üzerinde fine-tuning ve instruction-tuning araştırmaları

Model öncelikli olarak deneysel ve araştırma amaçlıdır.

Base model olduğu için instruction-tuned değildir ve doğrudan sohbet asistanı olarak davranması için özel olarak eğitilmemiştir. Instruction-tuned sürüm için AhıskaAI v0.4 235M IT modeline bakınız.

---

Çalıştırma

pip install -U transformers torch

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "AhiskaAI/AhiskaAI-v0.4-235M-Base"

device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype
).to(device)

prompt = "Ahıska Türkleri hakkında"

inputs = tokenizer(prompt, return_tensors="pt").to(device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.8,
        top_p=0.9,
        do_sample=True,
        repetition_penalty=1.1
    )

generated_tokens = outputs[0][inputs["input_ids"].shape[1]:]
print(tokenizer.decode(generated_tokens, skip_special_tokens=True))

Not: Bu model bir Base language modelidir ve instruction/chat template kullanmaz. Metin üretimi, bir metin prompt'u verilerek devam ettirme şeklinde gerçekleştirilmelidir.

---

AhıskaAI v0.1 Lite Benchmark

100 sorudan oluşan, Türkçe kalitesi, konu ilgisi ve bilgisel/mantıksal doğruluğu değerlendiren deneysel bir benchmark (binary scoring, ortalama).

AhıskaAI v0.1 Lite Benchmark

Not: Bu deneysel bir benchmark'tır, standartlaştırılmış bir benchmark olarak değerlendirilmemelidir.

Genel Benchmark

Sıra	Model	Skor
1	Gemma 3 1B	85.86%
2	Qwen 3 0.6B	55.22%
3	AhıskaAI v0.4 145M IT (New)	54.88%
4	AhıskaAI v0.4 235M	51.18%
5	AhıskaAI v0.4 145M IT (Old)	50.17%
6	Gemma 3 270M	46.46%
7	Qwen 2.5 0.5B	43.77%
8	AhıskaAI v0.4 35M	43.43%
9	Llama 3.2 1B	35.35%
10	SmolLM2 1.7B	22.89%
11	SmolLM2 360M	12.12%
12	SmolLM2 135M	1.01%

Not: Yukarıdaki benchmark sonucu bu ham Base modele değil, instruction-tuned AhıskaAI v0.4 235M IT modeline aittir — Base modeller genellikle instruction tarzı benchmark'larda doğrudan karşılaştırılabilir değildir. Bu sonuç, AhıskaAI v0.4 235M model ailesinin bütünlüğü açısından burada da verilmiştir.

---

Sınırlamalar

Bu model özellikle küçük ve deneysel bir Base modelidir.

Boyutu, tek epoch'luk ön eğitimi ve Base model niteliği nedeniyle:

• Yanlış bilgiler üretebilir
• Anlamsız veya eksik metinler oluşturabilir
• Tekrarlayan metinler üretebilir
• Uzun promptlarda bağlamı kaybedebilir
• Konu dışı devamlar oluşturabilir
• Mantıksal çıkarım ve çok adımlı görevlerde zorlanabilir
• Halüsinasyon üretebilir
• Kullanıcı talimatlarını takip etmeyebilir

Base model olduğu için doğal dil talimatlarını takip etmek veya sohbet asistanı gibi davranmak üzere özel olarak eğitilmemiştir.

Model tıbbi, hukuki, finansal, güvenlik açısından kritik veya yüksek riskli kararlar için kullanılmamalıdır.

---

Base Model

Bu model Base modeldir ve tamamen sıfırdan eğitilmiştir.

Başka bir pretrained dil modelinin ağırlıkları kullanılarak başlatılmamış ve daha büyük bir model üzerinden fine-tune edilmemiştir.

Eğitim süreci, FineWeb-2 HQ Turkish verisi üzerinde yaklaşık 1.7B token kullanılarak toplam 1 epoch süren causal language model ön eğitiminden oluşmaktadır.

---

Diğer Sürümler

• AhıskaAI v0.4 35M Base — Daha küçük Base dil modeli
• AhıskaAI v0.4 35M IT — 35M Base modelinin instruction-tuned sürümü
• AhıskaAI v0.4 145M Base — Orta boy Base dil modeli
• AhıskaAI v0.4 145M IT — 145M instruction-tuned model (Old / New SFT varyantları)
• AhıskaAI v0.4 235M Base — Bu Base dil modeli
• AhıskaAI v0.4 235M IT — Bu modelin instruction-tuned sürümü

---

Lisans

Bu model Apache 2.0 License altında yayınlanmıştır.

Bu modeli bir proje, yayın, uygulama veya başka bir kamuya açık çalışmada kullanıyorsanız AhıskaAI'ye atıfta bulunmanız rica edilir.

Önerilen Atıf

AhıskaAI v0.4 235M Base — Türkçe ve Ahıska Türkçesi araştırmaları için sıfırdan eğitilmiş küçük bir causal language model.

Proje: AhıskaAI Model: AhıskaAI v0.4 235M Base