Toda ideia começa em algum lugar. Procure a palavra, veja um exemplo concreto e vá para o experimento onde ela aparece funcionando.
Combinar vários vetores num vetor de resumo.
A agregação por média calcula a média dos vetores de resíduo válidos, excluindo preenchimento e tokens especiais.
Transformar embeddings por resíduo numa entrada única para um classificador de sequência.
Continuar o treino para adaptar um modelo existente a uma tarefa ou domínio novo.
Atualiza parte ou todos os parâmetros do modelo com um objetivo de adaptação.
Adaptar um codificador de proteínas pré-treinado e um classificador a dados de localização rotulados.
Uma peça elementar de uma proteína; dentro de uma cadeia chama-se resíduo.
A notação padrão de sequência usa os 20 códigos comuns de uma letra; a biologia real também tem resíduos modificados e não padrão.
K indica lisina; G indica glicina.
Ensinar um computador a partir de exemplos, em vez de escrever cada regra de decisão.
Algoritmos ajustam parâmetros ou estruturas aos dados para melhorar um objetivo.
Treinar um classificador com observações rotuladas.
Aprendizado de máquina que usa redes neurais com várias camadas de processamento.
Camadas não lineares compõem representações aprendidas; profundidade não é o mesmo que muitos parâmetros.
Um Transformer empilha blocos de atenção e feed-forward.
Um jeito de cada token combinar informação de outros tokens usando pesos de relevância aprendidos.
A atenção por produto escalar escalado forma uma matriz QKᵀ normalizada e a multiplica por V.
Um resíduo mascarado pode usar informação de posições distantes da sequência.
A regra que transforma a soma ponderada de um neurônio na saída dele.
Uma ativação não linear permite que camadas compostas representem funções não lineares.
Sigmoide, tanh e ReLU são ativações comuns.
Uma informação mensurável entregue ao modelo.
Uma variável de entrada pode ser desenhada à mão ou aprendida por uma representação anterior.
O comprimento da proteína ou a fração de aminoácidos hidrofóbicos.
Um modelo que aprende representações de texto usando o contexto dos dois lados.
Representações Bidirecionais de Codificador a partir de Transformers; o treino original junta modelagem de linguagem mascarada e predição da próxima frase.
Prever o token escondido em "a proteína é [MASK]".
O componente final que converte uma representação na saída de que você precisa.
Um classificador, regressor ou preditor de token acoplado a um codificador. Diferente de cabeça de atenção.
Uma saída sigmoide prevê um rótulo binário de proteína.
Um conjunto de projeções de atenção dentro de uma camada de múltiplas cabeças.
Cabeças diferentes têm projeções Q, K e V separadas; as saídas são concatenadas e projetadas.
Escolha a cabeça 1 e a cabeça 2 para ver padrões de atenção diferentes.
Um grupo de cálculos no mesmo estágio de uma rede.
Uma camada oculta transforma uma representação interna entre a entrada e a saída.
A rede pequena tem seis unidades tanh numa camada oculta.
Um vetor com que a consulta se compara ao calcular as pontuações de atenção.
K = XWK; a correspondência é aprendida e não corresponde necessariamente a uma propriedade interpretável.
A coluna da atenção identifica o token que fornece chave e valor.
Um componente que converte uma entrada numa representação útil.
Um codificador Transformer costuma usar autoatenção bidirecional para contextualizar os tokens de entrada.
O ESM-2 produz vetores que descrevem resíduos no contexto da sequência.
Um atalho que soma uma representação anterior à versão transformada.
Calcula x + f(x), o que ajuda o fluxo de informação e de gradiente por blocos empilhados.
Um Transformer soma a saída da atenção de volta à entrada dela.
Mantido fixo enquanto outras partes do modelo aprendem.
Parâmetros congelados não recebem atualização do otimizador.
Numa sonda linear, o codificador fica fixo e a cabeça da tarefa aprende.
Uma coleção de exemplos usada para treinar ou avaliar um modelo.
As divisões têm papéis distintos: treino ajusta parâmetros; validação guia escolhas; teste estima o desempenho final.
Uma tabela de sequências de proteína e propriedades medidas.
O vetor de um token usado para pontuar a quais outros tokens prestar atenção.
Produzido por uma projeção aprendida Q = XWQ na autoatenção.
Uma consulta é comparada com toda chave permitida por produto escalar.
Um componente que produz ou modela saídas a partir de representações ou de tokens anteriores.
Um decodificador Transformer causal bloqueia o contexto futuro. Sistemas codificador-decodificador também usam atenção cruzada.
Um decodificador no estilo GPT prevê o próximo token.
Um vetor de números que representa um token ou uma sequência.
Coordenadas aprendidas guardam informação estatística útil; as dimensões em geral não têm sentido físico individual.
Um codificador de proteínas produz um vetor contextual para cada resíduo.
Uma perda que pune atribuir probabilidade baixa à resposta certa.
Para rótulos binários: −[y log p + (1−y) log(1−p)].
Uma predição errada e confiante custa mais que uma incerta.
Uma passagem completa pelo conjunto de treino.
Uma época pode conter muitos passos do otimizador se os exemplos forem divididos em lotes.
Este laboratório usa lote completo: uma atualização por época.
Uma família de modelos de linguagem de proteínas que aprende de sequências de aminoácidos mascaradas.
Fornece representações contextuais; o sistema ESMFold acrescenta uma arquitetura de enovelamento para prever estrutura.
Usar um embedding do ESM-2 como entrada de um classificador adiante.
Um conjunto de inclinações que mostra como a perda muda quando os parâmetros mudam.
O vetor de derivadas parciais ∇θL aponta para a subida mais íngreme local na geometria euclidiana.
A descida de gradiente anda um pouco na direção oposta.
Usar um modelo já treinado para produzir uma saída.
Uma passagem direta comum em inferência não atualiza parâmetros de treino.
Prever um token mascarado é inferência; aprender com o erro dele é treino.
O campo que faz computadores executarem tarefas associadas à inteligência.
Inclui sistemas baseados em aprendizado e abordagens simbólicas como regras, busca e planejamento.
Um programa de xadrez baseado em busca pode ser IA sem ser uma rede neural.
Uma pontuação bruta, antes de virar probabilidade.
O softmax transforma logits de vocabulário em probabilidades normalizadas.
Um logit maior dá ao token mais probabilidade que aos outros.
Adaptar um modelo aprendendo matrizes pequenas somadas, mantendo os pesos originais fixos.
A adaptação de baixo posto representa ΔW = BA, em geral escalada por α/r, em matrizes escolhidas.
Numa matriz de pesos 6×2, os fatores de posto 1 têm 6 + 2 entradas treináveis.
Um grupo de exemplos processados juntos num passo de treino.
Gradientes de minilote estimam o gradiente do conjunto inteiro.
Um lote de 32 proteínas produz uma atualização do otimizador.
Um jeito de esconder a identidade de tokens ou bloquear o acesso a posições.
Um alvo de linguagem mascarada substitui ou modifica entradas escolhidas; uma máscara causal de atenção põe −∞ nas pontuações futuras. São usos diferentes de mascaramento.
[MASK] esconde uma palavra; uma máscara causal bloqueia a atenção ao futuro.
Uma tabela retangular de números usada nos cálculos.
Pode representar uma transformação linear ou uma coleção de vetores.
Uma matriz de atenção tem uma linha por consulta e uma coluna por chave.
Um sistema matemático que transforma entradas em saídas.
A arquitetura define o cálculo; os parâmetros aprendidos determinam o comportamento específico.
Um modelo de regressão logística leva dois atributos a uma probabilidade de classe.
Um modelo de sequência que aprende padrões em sequências de aminoácidos.
Costuma usar autossupervisão mascarada ou autorregressiva para aprender representações contextuais de resíduo.
ESM-2, ProtBERT e ProtT5 são modelos de linguagem de proteínas.
Um modelo de linguagem treinado em grande escala para modelar padrões de tokens.
Não há limiar de parâmetros com que todos concordem; o objetivo de treino e a arquitetura continuam importando.
Um decodificador causal grande gera texto token a token.
Uma unidade pequena de processamento no diagrama de uma rede neural.
Um neurônio costuma calcular uma soma ponderada mais um viés, seguida de uma ativação. Nó de grafo tem sentido mais amplo fora de redes neurais.
Cada círculo do experimento do neurônio é uma unidade de cálculo, não uma célula cerebral.
Reescalar um conjunto de valores para manter o comportamento numérico sob controle.
A normalização de camada padroniza os atributos dentro de um exemplo e aplica escala e deslocamento aprendidos.
Um Transformer normaliza as ativações ocultas em torno das subcamadas.
Um número guardado que ajuda a definir o comportamento do modelo.
Pesos e vieses são parâmetros. Hiperparâmetros, como a taxa de aprendizado, governam o processo de treino.
Um neurônio com dois pesos e um viés tem três parâmetros.
Um neurônio artificial antigo que toma uma decisão de sim ou não.
O perceptron histórico usa um limiar duro sobre w·x + b e uma regra de atualização guiada por erro.
Dois atributos separados em classes por uma fronteira reta.
Uma rede direta feita de camadas conectadas de neurônios artificiais.
Costuma alternar transformações afins com ativações não lineares.
A rede 2 → 6 → 1 consegue aprender uma fronteira não linear.
Um número que mede o quanto uma predição erra o alvo.
A otimização procura parâmetros que reduzam um objetivo calculado na média dos exemplos de treino.
Prever 0,01 para um positivo verdadeiro custa muita entropia cruzada.
Um número que controla a influência de uma entrada no cálculo.
Um coeficiente treinável numa transformação afim; pode ser positivo ou negativo.
Com peso −0,5, uma entrada de 0,4 contribui com −0,2 para a soma.
O número de direções independentes que uma matriz consegue representar.
Um produto BA com dimensão interna r tem posto no máximo r.
Uma atualização de posto 1 muda a matriz de pesos numa única direção de produto externo.
Aprender padrões gerais antes de adaptar a uma tarefa específica.
Costuma usar objetivos autossupervisionados em grandes conjuntos sem rótulo.
Prever aminoácidos escondidos em muitas sequências de proteína.
Um modelo de proteína baseado no aprendizado de sequência no estilo BERT.
Parte do ProtTrans; aplica as ideias de modelagem mascarada a sequências de aminoácidos.
Uma ponte entre o codificador de texto do BERT e os modelos de sequência biológica.
Um modelo de linguagem de proteínas baseado em T5, do projeto ProtTrans.
O codificador dele gera embeddings por resíduo usados em predição adiante.
Agregar embeddings do ProtT5 para representar uma sequência inteira.
Uma ativação que mantém valores positivos e zera os negativos.
Unidade linear retificada: ReLU(z) = max(0,z). A saída não tem teto.
ReLU(−2) = 0; ReLU(3) = 3.
Voltar pela rede para descobrir como cada parâmetro afetou a perda.
A regra da cadeia calcula os gradientes de forma eficiente pelo grafo de computação.
O erro da saída é propagado pela camada oculta até os pesos de entrada.
A resposta alvo ligada a um exemplo de treino.
Um alvo supervisionado pode ser uma classe, um número ou uma saída estruturada.
Uma anotação medida em bancada de solúvel ou insolúvel.
Uma função suave em forma de S que espreme um número entre 0 e 1.
σ(z) = 1 / (1 + exp(−z)); costuma vir acompanhada da entropia cruzada binária.
Em z = 0, a sigmoide devolve 0,5.
Aprender detalhes dos exemplos de treino que não generalizam.
Erro baixo no treino com desempenho pior fora dele sinaliza sobreajuste ou mudança de distribuição.
Decorar sequências quase idênticas infla a pontuação de uma divisão aleatória.
Transforma uma lista de pontuações em pesos positivos que somam um.
softmax(z)i = exp(zi) / Σj exp(zj), em geral calculado depois de subtrair a maior pontuação, por estabilidade.
Cada linha de atenção é uma distribuição de probabilidade sobre as chaves permitidas.
O tamanho de cada passo de atualização dos parâmetros durante o treino.
Um hiperparâmetro η em θ ← θ − η∇θL.
Uma taxa muito pequena aprende devagar; uma grande pode passar do ponto.
Um ajuste que deixa a distribuição de probabilidade mais concentrada ou mais espalhada.
Os logits são divididos por T antes do softmax. T menor concentra mais a probabilidade.
Aumentar a temperatura espalha a probabilidade do próximo token por mais candidatos.
Uma peça discreta de uma sequência que o modelo processa.
A tokenização leva texto ou sequências a identificadores de vocabulário; tokens não precisam ser palavras inteiras.
Um pedaço de palavra no BERT, ou uma letra de aminoácido em muitos pLMs.
Uma arquitetura neural que junta atenção com processamento feed-forward.
Inclui caminhos residuais, normalização e informação de posição; há variantes codificador, decodificador e codificador-decodificador.
O BERT é um Transformer no estilo codificador.
Exemplos usados para julgar escolhas de treino sem ajustar pesos diretamente neles.
Escolher configurações repetidamente pela validação a torna parte da seleção do modelo; ainda é preciso um teste intocado.
Escolher a época de parada pela perda de validação.
A informação que um token contribui depois de calculados os pesos de atenção.
V = XWV; a saída é uma soma ponderada dos vetores de valor.
Um token com peso 0,2 contribui com 0,2 vezes o vetor de valor dele.
Informação chega ao treino ou à seleção do modelo quando deveria estar reservada à avaliação final.
Duplicatas, sobreposição de sequências homólogas ou pré-processamento ajustado em todos os dados inflam o desempenho relatado.
Proteínas muito aparentadas dos dois lados de uma divisão aleatória deixam a avaliação fácil demais.
Uma lista ordenada de números.
Representa um ponto, uma direção ou um conjunto de atributos num espaço de coordenadas.
[0,2, −0,5, 1,1] é um vetor de três dimensões.
Um deslocamento ajustável que move a resposta de um neurônio.
O termo aditivo b em z = w·x + b. Este sentido não é o de viés de conjunto de dados nem de viés social.
Mesmo com todas as entradas em zero, um viés de 0,3 deixa z = 0,3.
Uma regra lógica de duas entradas, verdadeira quando exatamente uma delas é verdadeira.
Os casos positivos e negativos ocupam cantos opostos, então uma única fronteira linear não os separa.
O laboratório rotula um ponto como classe 1 quando as duas coordenadas têm sinais opostos.