Posição
Um codificador com ciência de estrutura bastante baixado, treinado em estruturas previstas do banco AlphaFold além das experimentais.
Modelo de linguagem de proteínas · Westlake · 2024
SaProt
Um modelo de linguagem mascarado sobre um vocabulário com ciência de estrutura. Cada posição carrega um aminoácido combinado a um símbolo do alfabeto estrutural do Foldseek, então sequência e geometria local dividem um token.
Em linguagem simples
Um modelo de linguagem cujo alfabeto guarda duas coisas por posição: qual aminoácido é, e mais ou menos que forma o esqueleto assume ali.
Uma forma de imaginar
Escrever cada letra com um acento que diz como a cadeia se curva naquele ponto.
O engano mais comum
Ele precisa de uma estrutura na entrada. Se essa estrutura for prevista, os erros dela vão direto para os tokens.
Distinções
- O alfabeto estrutural vem do Foldseek, então o modelo precisa de uma estrutura na entrada.
- Fica entre um codificador só de sequência e um modelo generativo multimodal.
- Existem duas linhas de checkpoint, uma treinada em estruturas previstas e outra no Protein Data Bank.
Limites
Exige uma estrutura, prevista ou experimental, o que é uma entrada mais pesada que a do ESM-2. Erros numa estrutura prevista entram direto nos tokens.
Pesos e código
Conferido no registro, não de memória| Repositório | Tamanho | Licença | Observação |
|---|---|---|---|
| westlake-repl/SaProt_650M_AF2 | 650M | MIT | — |
| westlake-repl/SaProt_650M_PDB | 650M | MIT | — |
Fontes
Cada número acima vem de uma destasMesma tarefa, outras respostas
Modelo de linguagem de proteínasESM-2
Leia proteínas o bastante e a estrutura cai da leitura.
Um transformer bidirecional treinado para reconstruir aminoácidos mascarados a partir de sequências não alinhadas.
Ver a arquiteturaESM3
Sequência, estrutura e função como uma predição mascarada só.
Um modelo mascarado generativo sobre três trilhas paralelas.
Ver a arquiteturaESM C
A linha de representação, levada mais longe.
Um codificador transformer com pre-layer-norm, embeddings rotativos e ativações SwiGLU, treinado em sequências do UniRef, do MGnify e do Joint Genome Institute agrupadas a 70 por cento de identidade.
Ler a entrada