---

---
license: mit
datasets:
- HuggingFaceH4/MATH
language:
- en
tags:
- math
- number-theory
- lora
- quantized
- tinyllama
- reasoning
- education
inference:
  parameters:
    max_new_tokens: 256
    temperature: 0.7
    top_p: 0.95
    top_k: 50
---

<div align="center">

# lambdai · TinyLlama-1.1B finetuned on Number Theory
[![Lambda Logo](https://raw.githubusercontent.com/lambdaindie/assets/main/lambda-banner.png)](https://huggingface.co/lambdaindie)

</div>

**lambdai** é o primeiro modelo oficial da organização **Lambda (Λ)** — uma startup solo angolana de pesquisa em IA liderada por Marius Jabami.

Esse modelo foi finetunado a partir do [TinyLlama/TinyLlama-1.1B-Chat-v1.0](https://huggingface.co/TinyLlama/TinyLlama-1.1B-Chat-v1.0) usando **LoRA + quantização em 8 bits**, com foco em **raciocínio matemático simbólico**, especialmente **teoria dos números**.

---

## Dataset

Treinado com o subset `number_theory` do benchmark [HuggingFaceH4/MATH](https://huggingface.co/datasets/HuggingFaceH4/MATH), no split `test`, que contém problemas complexos de matemática com soluções detalhadas.

---

## Treinamento

**Parâmetros LoRA**:
- `r=8`, `alpha=16`
- `target_modules=["q_proj", "v_proj"]`
- `dropout=0.05`
- Quantização 8-bit (QLoRA)

**Formato de entrada:**
```text
Problem: <descrição do problema>
Solution:


---

Exemplo de uso

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("lambdaindie/lambdai")
tokenizer = AutoTokenizer.from_pretrained("lambdaindie/lambdai")

prompt = "Problem: What is the smallest prime factor of 91?\nSolution:"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=256)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))


---

Aplicações

IA explicativa para matemática

Tutores autônomos com raciocínio passo a passo

Assistência em resolução simbólica

Agentes educacionais

Treinamento de reasoning agents



---

Sobre a Lambda

Λ Lambda é uma startup indie fundada por Marius Jabami, com foco em IA educacional, modelos compactos e agentes autônomos. lambdai é parte do ΛCore, núcleo de pesquisa e experimentação em LLMs e raciocínio simbólico.


---

Links

Lambda Indie @ Hugging Face

TinyLlama Base Model

Dataset: HuggingFaceH4/MATH



---

Licença

MIT License — uso livre para fins educacionais, de pesquisa ou pessoais.

---