ArtificialGuyBR

Home / Blog / Fixing things

Llama3 8B Redmond Code290k: geração de código ajustado

Modelo LLaMA 3 8B ajustado para geração de código em Python, Java, Go e muito mais

1 sources cited Fixing things

On this page

  1. DR
  2. O que este modelo faz
  3. Detalhes do treinamento
  4. Como usar
  5. Idiomas Suportados
  6. Limitações
  7. Fontes

Llama3 8B Redmond Code290k: geração de código via ajuste fino

DR

  • Aperfeiçoado em NousResearch/Meta-Llama-3-8B em 290 mil conversas focadas em código
  • Suporta Python, Java, JavaScript, Go, C++, Rust, Ruby, SQL e muito mais
  • Treinado com Axolotl, Adam de 8 bits, atenção instantânea, contexto de 8K

O que este modelo faz

Llama3 8B Redmond Code290k pega o LLaMA 3 8B e o especializa para geração e explicação de código. Onde LLaMA 3 é um modelo de uso geral, esta variante aprimora a qualidade de saída do código treinando em quase 300 mil pares de instrução-resposta no formato Vicuna/ShareGPT.

Detalhes do treinamento

Treinado com Axolote v0.4.0:

  • Conjunto de dados: ajibawa-2023/Code-290k-ShareGPT (cerca de 290.000 conversas)
  • Taxa de aprendizado: 2e-05 com programação de cosseno, 100 etapas de aquecimento
  • Épocas: 3 (2 por documentação de hiperparâmetros)
  • Comprimento do contexto: 8.192 tokens
  • Otimizador: Adam de 8 bits com checkpoint de gradiente e atenção de flash
  • Hardware: Suporte de GPU cortesia de Redmond.ai

Como usar

from transformers import pipeline

generator = pipeline(
    "text-generation",
    model="artificialguybr/llama3-8b-redmond-code290k",
    max_new_tokens=512,
)

prompt = "Write a Python function that reverses a linked list."
result = generator(prompt)
print(result[0]["generated_text"])

O modelo também é terminais compatíveis e funciona com implantações de inferência de geração de texto.

Idiomas Suportados

Python, Java, JavaScript, Go, C++, Rust, Ruby, SQL, MySQL, R, Julia, Haskell e outros incluídos no conjunto de dados de treinamento.

Limitações

  • Desempenho reduzido em linguagens de programação raras ou de nicho
  • Não pode generalizar para estilos ou convenções de codificação invisíveis
  • Luta com códigos extremamente complexos ou casos extremos
  • Explicações limitadas para conceitos altamente abstratos ou teóricos

Fontes