Squeal-Studio/drakon_28m-instruct

drakon_28m-instruct is an instruction-tuned version of drakon_28m-base, a compact ~28M parameter Russian language model. It uses a hybrid architecture combining Depthwise Causal Conv, MinGRU, and Full Causal Attention with RoPE. Every 3rd block is an attention block.

Research and Experimental Model. Given its size, expect weak answers and frequent mistakes.

Model Description

• Architecture: Drakon, same as the base model
• Parameters: ~28.5M
• Base model: Squeal-Studio/drakon_28m-base
• Tokenizer: Custom BPE, vocab_size = 24,001
• Context length: 1024 tokens

Training Details

• Dataset: Vikhrmodels/GrandMaster-PRO-MAX, 59,293 train / 500 eval examples
• Sequence length: 1024 tokens
• Epochs: 3
• Batch size: 8 per device, gradient accumulation steps 8, effective batch size 64
• Learning rate: 2e-4, cosine schedule to 2e-5, warmup 3%
• Weight decay: 0.01
• Max grad norm: 1.0
• Steps: 2,778
• Precision: fp16 mixed precision
• Seed: 42

Chat Format

Вопрос:
{prompt}

Ответ:
{response}<eos>

Evaluation

Step	Eval Loss	Perplexity
500	2.4505	11.59
1,000	2.3838	10.85
1,500	2.3387	10.37
2,000	2.3131	10.11
2,500	2.2994	9.97
2,778	2.2968	9.94

Training Curve

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "Squeal-Studio/drakon_28m-instruct"
tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo, trust_remote_code=True).eval().cuda()

prompt = "Вопрос:\nОбъясни, что такое фотосинтез.\n\nОтвет:\n"
inputs = tok(prompt, return_tensors="pt", add_special_tokens=False).to("cuda")
inputs.pop("token_type_ids", None)

out = model.generate(
    **inputs,
    max_new_tokens=200,
    do_sample=True,
    temperature=0.7,
    top_k=50,
    repetition_penalty=1.1,
    eos_token_id=tok.eos_token_id,
)
print(tok.decode(out[0], skip_special_tokens=True))

Generation Examples

Prompt: Какого цвета снег

Конечно, вот несколько оттенков снега, которые могут быть как красными, так и зелеными.

1. **Зеленые** - это цвет, который может быть выражен в желто-белом или светло-оранжевом оттенке. Это придает тексту более мягкий фон.
2. **Гравитационное** - этот оттенок часто ассоциируется с теплыми цветами в небе, такими как золотистые листья, лилия на ветру и другие оттенки синего завета.
3. **Средние тона** - такие как черный, зеленый, белый, алый, серый и другие оттенки оранжевого. Например, красный, синий или оранжевый.
4. **Зеленые** - светлые оттенки розовых цветов, такие как темно-синий, коричневый и оранжевый. Нежные оттенки оранжевого и яркого оранжевого могут говорить о том, что снег действительно имеет более насыщенный оттенок.
5. **Апельсиновые** - оттенки и тёплые тона, такие как персиковый, коралловый и янтарный. Они создают ощущение уюта и тепла, подчёркивая контраст между мягким солнечным светом и холодными зимними пейзажами.

Prompt: Где живут рыбы?

Конечно, я могу помочь вам с информацией о том, как живут рыбы. Вопрос о природе рыб в мире не является предметом дискуссий и не имеет однозначного ответа на ваш вопрос. Однако, если вы имеете в виду разные методы исследования или исследования, то можно сказать, что множество видов рыб действительно имеют свои уникальные особенности, такие как:

1. **Биоразнообразие** - рыбные виды являются основой многих живых организмов, включая белки, некоторые виды млекопитающих, например, млекопитающие, которые являются частью этих семейств.

2. **Биологические данные** - рыбалка исследует эти процессы, такие как рост и развитие популяции самцов, а также их способность к размножению и адаптации к определенным условиям.

3. **Протоколы размножения** - на протяжении определенного времени рыбалки могут быть приспособлены к различным генетическим изменениям, таким как изменение климата, изменение климатических условий, изменение климата, а также появление новых болезней или трансформацию экосистем.

Prompt: Что такое солнце?

Свет, который вы говорите, может восприниматься как искра, и это не означает, что он представляет собой объект. В вашем вопросе речь идет о звездах и небесных телах, которые являются звездами. Кроме того, в контексте климата мы можем рассматривать Солнце как один из самых ярких и спорных моментов на Земле.

**Почему солнце?**

1. **Геометрическое состояние звезды:** Солнечные лучи могут находиться под действием гравитационного поля Земли, что делает их поверхность достаточно плотной для планет и звезд. Однако это может быть связано с астрономическими явлениями, такими как гравитация или космические телескопы.

2. **Замедление реакции Солнца:** Из-за возраста и интенсивности солнечного света (например, из солнечной энергии) небо может вызывать астероиды, которые могут привести к жизни.

3. **Прочность солнечных лучей:** Солнце имеет долгую и энергичную работу, что делает его неисчерпаемым и устойчивым источником энергии для нашей планеты.

Scope & Limitations

• The architecture is still raw and prototype-level
• Designed for experiments and educational purposes
• Context length of 1024 tokens limits long-range coherence
• Answers are often wrong or nonsensical
• Not intended for production use

License

Apache 2.0

Acknowledgements

Trained on GrandMaster-PRO-MAX by Vikhrmodels, Apache 2.0.