Modelo de linguagem de proteínas · Biohub · 2026

ESM C

Um codificador transformer com pre-layer-norm, embeddings rotativos e ativações SwiGLU, treinado em sequências do UniRef, do MGnify e do Joint Genome Institute agrupadas a 70 por cento de identidade. O contexto chega a 2048 tokens depois de um segundo estágio de treino.

Em linguagem simples

O codificador mais novo da mesma família do ESM-2, treinado por mais tempo, em mais sequências, com janela maior. Serve para a mesma coisa: transformar uma sequência em números que um modelo menor consegue aprender.

Uma forma de imaginar

Mesmo trabalho, vocabulário maior e memória melhor. Ele lê o dobro da cadeia antes de precisar parar.

O engano mais comum

Não é preditor de estrutura nem modelo generativo. É o codificador que o ESMFold2 lê.

Rodar

Embutir uma sequência com o checkpoint de 300M

from esm.models.esmc import ESMC
from esm.sdk.api import ESMProtein, LogitsConfig

model = ESMC.from_pretrained("esmc_300m")
protein = ESMProtein(sequence="MALWMRLLPLLALLALWGPDPAAA")

encoded = model.encode(protein)
out = model.logits(encoded, LogitsConfig(sequence=True, return_embeddings=True))
print(out.embeddings.shape)

Estes trechos não foram executados aqui. Versões mudam: confira o cartão do modelo antes de confiar em qualquer linha.

01 / Por que está aqui

Posição

Posicionado como a família de representação ao lado da linha generativa ESM3. O checkpoint de 6B é o codificador que o ESMFold2 lê.

02 / O que o distingue

Distinções

Três tamanhos: 300M, 600M e 6B, com 30, 36 e 80 camadas.
O treino correu em dois estágios: um milhão de passos com contexto 512, depois 500 mil com contexto 2048.
O checkpoint de 6B relata 2,37e23 FLOPs de treino no seu cartão de modelo.

03 / Onde para

Limites

É um codificador, então produz embeddings e logits de token mascarado, não estruturas. Comparações com o ESM-2 vêm dos autores e do preprint deles, não de avaliação independente.

Pesos e código

Conferido no registro, não de memória

Repositório	Tamanho	Licença	Observação
biohub/ESMC-300M	300M, 30 layers	MIT and other terms	—
biohub/ESMC-600M	600M, 36 layers	MIT and other terms	—
biohub/ESMC-6B	6B, 80 layers	MIT and other terms	—

Fontes

Cada número acima vem de uma destas

Candido et al. 2026, preprint. Language Modeling Materializes a World Model of Protein BiologyPreprint ESMC-6B model cardCartão do modelo

Mesma tarefa, outras respostas

Modelo de linguagem de proteínas

Modelo de linguagem de proteínas2023

ESM-2

Leia proteínas o bastante e a estrutura cai da leitura.

Um transformer bidirecional treinado para reconstruir aminoácidos mascarados a partir de sequências não alinhadas.

Ver a arquitetura Modelo de linguagem de proteínas2025

ESM3

Sequência, estrutura e função como uma predição mascarada só.

Um modelo mascarado generativo sobre três trilhas paralelas.

Ver a arquitetura Modelo de linguagem de proteínas2022

ProtT5 and ProtBERT

Os codificadores que chegaram antes.

Uma família de transformers treinados em UniRef e BFD com os objetivos de seus equivalentes em texto.

Ler a entrada

Voltar ao catálogoComparar com os vizinhos