Gemma 2 2B OpenHermes2.5: um ajuste fino de instrução leve

DR:

• Gemma 2 2B OpenHermes2.5 é o modelo básico 2B Gemma 2 do Google ajustado no conjunto de dados OpenHermes-2.5, distribuído no Apache 2.0.
• Ele é construído para acompanhamento de instruções e bate-papo e usa o formato de conversa ChatML (turnos do sistema/usuário/assistente).
• Com parâmetros de 2B, ele é executado em hardware modesto, incluindo inferência somente de CPU e instâncias de GPU de nível livre.

O que o modelo faz

Gemma 2 2B OpenHermes2.5 é um modelo de geração de texto criado por ArtificialGuyBR. Começa a partir google/gemma-2-2b e é ajustado em teknium/OpenHermes-2.5, um conjunto de dados construído em grande parte a partir de dados sintéticos GPT-4. O resultado é um pequeno conjunto de instruçõesteknium/OpenHermes-2.5l tarefas linguísticas: responder perguntas, seguir instruções e realizar turnos de conversação.

Como o conjunto de dados OpenHermes-2.5 é formatado em ChatML, o modelo espera prompts nessa estrutura – <|im_start|> e tokens <|im_end|> separando os turnos do sistema, do usuário e do assistente. As tags do cartão modelo (chatml, instruct, gpt4, s<|im_end|>a, destilação) refletem isso diretamente.chatmlinstructgpt4synthetic datadistillation

Detalhes do treinamento

De acordo com o modelo da placa, o ajuste fino usou uma única GPU NVIDIA A100-SXM4-80GB com a estrutura de treinamento Axolotl em cima dos Hugging Face Transformers. O modelo básico é google/gemma-2-2b, lançado sob a licença Gemma; o próprio finetune é distribuído no Apache 2.0, o que o torna permissivo para uso comercial e de pesquisa. Os dados e procedimentos de treinamento estão limitados ao resumo acima – o cartão não publica hiperparâmetros.

Como usar

O modelo é publicado como pesos de tensores de segurança compatíveis com transformadores e é listado como compatível com pontos de extremidade de inferência de geração de texto e Hugging Face. Na prática você pode carregá-lo com os Transformers padrão pipeline API ou por meio de TGI, e o tamanho o torna viável em CPU, GPUs pequenas e instâncias de nuvem de nível gratuito. Para uso conversacional, aplique o modelo ChatML em vez de enviar texto de instrução bruto, pois esse é o formato no qual o ajuste fino foi treinado.

Para outras opções de instruções leves no mesmo espaço, consulte nosso Variantes Gemma 2 e resumo do modelo de instrução 2B; se você estiver escolhendo entre pesos base e de instrução, o guia de ajuste fino vs modelo básico cobre as compensações.

Erros e correções comuns

Erro | Causa | Correção | Fonte

|---|---|---|---

Respostas incoerentes ou fora do tópico | Prompt enviado como texto simples em vez de ChatML vira | Envolver a entrada em <|im_start|>system/user/assistant blocos | Cartão modelo Geração lenta na CPU | Modelo 2B ainda gera atenção densa por token | Use quantização de 4/8 bits ou back-end de GPU | Etiquetas de cartão de modelo (transformers, safetensores)safetensors Erros de CORS/formato em endpoints de inferência | Às vezes, o TGI precisa de um modelo de chat explícito | Solicitação com um modelo ChatML ou API de bate-papo TGI | Cartão de modelo (text-generation-inference etiqueta)

Perguntas frequentes

O que é Gemma 2 2B OpenHermes2.5? Um ajuste fino do Gemma 2 2B do Google no conjunto de dados OpenHermes-2.5, feito por ArtificialGuyBR para acompanhamento de instruções e tarefas gerais de linguagem.

Em qual modelo base ele é treinado? google/gemma-2-2b, de acordo com o campo "Ajustado do modelo" do cartão de modelo.

Que licença ele usa? Apache 2.0, indicado no cartão de modelo. O próprio modelo básico do Gemma 2 tem seus próprios termos de uso do Gemma.

Qual formato de prompt é esperado? ChatML, correspondendo ao formato do conjunto de dados OpenHermes-2.5 (sistema/usuário/assistente gira com im_start/im_end tokens).im_end

Ele pode funcionar sem uma GPU grande? Nos parâmetros 2B, é pequeno para os padrões LLM; a placa não publica requisitos de VRAM, mas o tamanho é compatível com inferência de CPU e GPUs modestas.

Como foi treinado? Com Axolotl e Hugging Face Transformers em uma GPU NVIDIA A100-SXM4-80GB, de acordo com o modelo da placa.

Fontes

• Cartão modelo Abraçando Rosto: artificialguybr/Gemma2-2B-OpenHermes2.5 — dados de treinamento, hardware, licença e notas de uso.