Lente jacobiana

A lente jacobiana, geralmente abreviada como J-lens, é uma técnica de interpretabilidade mecanicista que traduz uma ativação intermediária de um modelo de linguagem em uma lista ordenada de tokens do vocabulário. Ela foi apresentada por pesquisadores da Anthropic no artigo de 2026 Verbalizable Representations Form a Global Workspace in Language Models.¹

Em vez de perguntar apenas qual token o modelo está prestes a produzir, a J-lens estima quais palavras uma ativação é, em geral, capaz de fazer o modelo produzir na posição atual ou em uma posição posterior. Para isso, usa uma jacobiana média: uma aproximação de primeira ordem de como perturbar um fluxo residual em determinada camada muda os estados da camada final a jusante.²

A lista de tokens resultante é uma leitura que depende do modelo e do método, não a transcrição literal de uma frase privada dentro do modelo. Na interpretação do artigo, um token bem classificado nomeia um conceito que a ativação está propensa a verbalizar entre diferentes contextos. Para estabelecer qual papel esse conceito exerce, ainda são necessárias comparações, intervenções e atenção às limitações da lente.³⁴

Motivação

Um transformer somente decodificador atualiza repetidamente um vetor do fluxo residual em cada posição de token. Na camada final, a normalização e a matriz de unembedding convertem esse vetor em logits do próximo token. Aplicar a mesma operação de saída diretamente a um fluxo residual anterior produz a lente de logit, mas esse atalho presume que representações iniciais e finais usem coordenadas compatíveis. As conexões residuais tornam a aproximação útil em camadas posteriores, enquanto mudanças de representação podem tornar a saída das primeiras camadas ruidosa ou enganosa.⁵

A J-lens substitui a hipótese de identidade por um mapa ajustado de cada camada de origem à camada final. O mapa deriva de derivadas locais do próprio modelo e, assim, descreve um caminho causal médio de primeira ordem entre uma direção de ativação e estados residuais posteriores. Ainda é uma aproximação linear, mas corrige rotações, mudanças de escala e outras alterações sistemáticas de representação ignoradas por um unembedding direto.²⁵

Construção

Seja h_l,t a ativação do fluxo residual na camada l e posição de token t, e seja h_final,t' a ativação da camada final em uma posição t' igual ou posterior a t. A jacobiana local ∂h_final,t' / ∂h_l,t descreve como uma pequena mudança na origem alteraria esse estado posterior em primeira ordem. O artigo calcula a média dessas jacobianas entre posições de origem, todas as posições posteriores e mil prompts amostrados de uma distribuição semelhante à de pré-treinamento:²

J_l = E[t, t' >= t, prompt](∂h_final,t' / ∂h_l,t)

Isso produz uma matriz quadrada J_l para cada camada ajustada. Aplicar a matriz a uma ativação e, depois, usar a normalização e a operação de unembedding normais do modelo resulta em uma pontuação para cada token do vocabulário:²

lens(h_l) = softmax(W_U norm(J_l h_l))

As linhas de W_U J_l são os vetores da J-lens da camada. Cada uma é uma direção do fluxo residual associada a um token do vocabulário. Como a média abrange muitos prompts e posições futuras, a direção busca capturar uma disposição geral para verbalizar aquele token, e não a continuação específica do prompt inspecionado.²

O ajuste é a etapa custosa. Depois de calcular uma matriz para uma camada, a leitura comum exige somente o mapa linear ajustado e a operação de saída do modelo. O artefato está vinculado aos pesos e à arquitetura do modelo; não se deve presumir que um ajuste feito para um checkpoint seja válido para outro.²⁶

Leitura de ativações

A leitura mais simples ordena as pontuações da lente e mostra os tokens mais bem classificados para uma camada e posição. Acompanhar um token entre camadas pode mostrar quando um conceito candidato ganha destaque, enquanto acompanhar uma camada entre posições pode mostrar onde ele é representado na sequência. Um único vetor da J-lens também pode servir como sonda de um conceito escolhido, sem ordenar todo o vocabulário.⁷

A leitura deve ser interpretada como um conjunto de ideias relacionadas, e não como uma frase. Um conceito pode aparecer por meio de vários sinônimos, nomes ou fragmentos de tokens, e diversas palavras bem classificadas podem descrever a mesma vizinhança semântica. A posição no ranking também é relativa: um token pode subir porque sua própria pontuação aumentou ou porque tokens concorrentes enfraqueceram.³⁴

Quando é necessário um inventário discreto, o artigo usa decomposição esparsa não negativa para aproximar uma ativação por um conjunto pequeno de vetores da J-lens. Como os vetores indexados por tokens são supercompletos e não ortogonais, essa solução esparsa não equivale a escolher os tokens com os maiores produtos internos individuais nem é matematicamente única sem restrições adicionais.⁸

Escrita e intervenções

Os mesmos vetores usados para leitura podem apoiar experimentos causais. Adicionar a uma ativação um vetor da J-lens multiplicado por uma escala direciona o modelo ao conceito associado. Subtraí-lo, removê-lo por projeção ou desativar vários vetores ativos realiza uma ablação. Essas intervenções testam se uma direção decodificada pode influenciar o cálculo posterior; por si só, não comprovam que o modelo normalmente use a direção da forma proposta.⁷

A troca de coordenadas da lente permuta as coordenadas associadas a dois vetores de tokens e mantém inalterado o componente da ativação fora do espaço que abrangem. Nos experimentos de relato verbal do artigo, trocar um item de categoria escolhido espontaneamente pelo modelo por outro candidato deslocou a resposta relatada em direção ao conceito inserido. Outros experimentos usaram trocas e ablações para redirecionar o raciocínio intermediário, fornecendo evidência causal mais forte do que uma leitura isolada.⁹

Como no direcionamento de ativações em geral, importam a intensidade da intervenção, o intervalo de camadas, a posição do token e efeitos fora da distribuição. Uma intervenção malsucedida pode indicar que o conceito estava ausente, era mal representado por seu vetor de vocabulário, foi escrito em outro local ou estava protegido por cálculo redundante; uma intervenção bem-sucedida pode refletir controle artificial sem identificar o algoritmo normal do modelo.⁷⁴

Espaço J e hipótese do espaço de trabalho global

O artigo chama de espaço J o conjunto esparso de ativações que podem ser expressas como combinações não negativas de vetores da J-lens. Os vetores formam um frame supercompleto porque o vocabulário contém mais tokens do que o fluxo residual tem dimensões. Em geral, os autores limitaram as decomposições a no máximo 25 vetores ativos e relataram que o componente resultante no espaço J explicava menos de 10% da variância das ativações nas camadas estudadas.⁸

Em vários modelos Claude, os autores observaram que conteúdo coerente no espaço J surgia após uma faixa inicial de camadas e mudava em direção a representações de saída iminente perto do fim. Eles relataram evidências de que a faixa intermediária permitia relato verbal, modulação deliberada, raciocínio em várias etapas, reutilização flexível entre tarefas e participação seletiva, em vez de universal, nos cálculos do modelo. Com base nisso, descreveram-na como funcionalmente semelhante a um espaço de trabalho global.⁹

Trata-se de uma analogia funcional e mecanicista, não de uma afirmação de que um transformer recria a arquitetura cerebral proposta pelas teorias do espaço de trabalho global ou de que o modelo seja consciente. O artigo observa que um transformer feed-forward não possui equivalentes claros de processadores recorrentes especializados e que suas evidências não resolvem questões sobre experiência subjetiva.¹

Comparação com outras lentes

Na formulação do artigo, a lente de logit é o caso especial J_l = I: ela aplica o unembedding final como se as camadas posteriores preservassem a direção relevante. Os dois métodos tendem a concordar perto da saída e divergir nas camadas iniciais. Os autores consideraram a lente de logit útil na prática, mas a J-lens mais confiável para conceitos intermediários iniciais e não verbalizados nas avaliações escolhidas.⁵¹⁰

A lente ajustada (tuned lens) também aprende um tradutor para cada camada, mas o otimiza para prever a distribuição de saída final do modelo. A J-lens deriva seu tradutor dos efeitos causais locais médios. Nos experimentos do artigo sobre o espaço de trabalho, as leituras da lente ajustada às vezes pulavam cálculos intermediários e iam diretamente para a resposta; o resultado diz respeito aos modelos e benchmarks estudados, não estabelece que uma lente seja universalmente preferível.¹¹⁵

Portanto, os métodos respondem a perguntas relacionadas, mas distintas. A lente de logit é barata e dispensa artefato ajustado, a lente ajustada é treinada para reconstruir previsões de saída, e a J-lens é ajustada para aproximar como perturbações intermediárias se propagam até saídas presentes e futuras. Usar mais de uma pode revelar quando uma interpretação depende de determinada projeção.⁵

Aplicações relatadas no artigo

Os autores usaram leituras da J-lens para revelar avaliações intermediárias que não eram copiadas da entrada nem idênticas ao próximo token, entre elas o reconhecimento de um rosto, um defeito de código, a função de uma proteína e uma injeção de prompt. Também examinaram deliberação estratégica, reações a interpretação de papéis e desvio de personagem, além de assinaturas internas em modelos desalinhados treinados especificamente. Esses estudos de caso motivam usos em auditoria, mas não mostram que todo plano relevante precise atravessar um espaço J legível.¹¹²

O artigo também apresentou o treinamento de reflexão contrafactual. Os modelos foram treinados para articular princípios éticos em continuações hipotéticas nas quais eram interrompidos e convidados a refletir; os conceitos associados então apareceram no espaço J durante tarefas sem interrupção, e sua ablação reduziu substancialmente a melhoria comportamental relatada. O experimento vincula a lente a uma intervenção específica de treinamento, mas novas replicações são necessárias antes de tratar o método como uma receita geral de alinhamento.¹³

Limitações

Cada vetor padrão da J-lens corresponde a um token do tokenizador. Nomes, expressões e conceitos com vários tokens e sem rótulo lexical compacto podem, assim, se fragmentar na leitura ou continuar difíceis de identificar. O artigo explorou extensões baseadas em templates para conceitos de vários tokens, mas esses métodos têm custos e modos de falha próprios.⁴

A lente também produz um conjunto plano de conceitos sem mostrar como eles se vinculam em relações. Uma leitura que contenha palavras correspondentes a uma entidade, um número e um atributo não diz qual atributo pertence a qual entidade. Algumas leituras nas camadas do espaço de trabalho continuam ininterpretáveis, as camadas iniciais costumam ser ruidosas e a fronteira traçada entre representações semelhantes a um espaço de trabalho e representações “motoras” voltadas à saída foi parcialmente definida após os resultados.⁴

Um mapa médio de primeira ordem necessariamente descarta dinâmicas não lineares específicas do prompt. Informações fora do frame indexado por tokens, cálculos automáticos que evitam o espaço J ou circuitos indesejáveis bem praticados podem escapar à inspeção. Por isso, o artigo apresenta o monitoramento com J-lens como uma ferramenta de auditoria a combinar com avaliação comportamental, características esparsas e outros métodos causais — não como monitor de segurança suficiente.¹²

Relação com a Miru Tracer

A Miru Tracer inclui leituras de lentes jacobianas ajustadas em sua interface por camada e token, ao lado de uma lente de logit que dispensa treinamento. Seus arquivos de ajuste precisam corresponder exatamente ao checkpoint do modelo, e a interface ajuda usuários a comparar tokens entre posições e camadas antes de experimentar direcionamento, ablação ou trocas de direções de tokens.⁶¹⁴

Isso faz da Miru Tracer uma ferramenta prática para explorar a técnica nos modelos compatíveis, mas a interface não elimina os limites interpretativos do método. A documentação da própria Miru alerta que leituras de tokens não são transcrições verdadeiras dos pensamentos de um modelo, e alegações causais ainda exigem execuções controladas para comparação.⁶

Referências

Footnotes

1. Verbalizable Representations Form a Global Workspace in Language Models, Transformer Circuits Thread. ↩ ↩² ↩³

2. The Jacobian Lens, em Verbalizable Representations Form a Global Workspace in Language Models. ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶

3. Interpreting the J-lens, em Verbalizable Representations Form a Global Workspace in Language Models. ↩ ↩²

4. Limitations and open questions, em Verbalizable Representations Form a Global Workspace in Language Models. ↩ ↩² ↩³ ↩⁴ ↩⁵

5. Comparison to Related Techniques, em Verbalizable Representations Form a Global Workspace in Language Models. ↩ ↩² ↩³ ↩⁴ ↩⁵

6. Miru Tracer v0.2.0: from token probabilities to model internals, blog da return moe. ↩ ↩² ↩³

7. Technical details of J-lens use cases, em Verbalizable Representations Form a Global Workspace in Language Models. ↩ ↩² ↩³

8. The J-Space, em Verbalizable Representations Form a Global Workspace in Language Models. ↩ ↩²

9. The J-space acts as a Global Workspace, em Verbalizable Representations Form a Global Workspace in Language Models. ↩ ↩²

10. Comparison between lensing methods, em Verbalizable Representations Form a Global Workspace in Language Models. ↩

11. Eliciting Latent Predictions from Transformers with the Tuned Lens. ↩

12. Alignment monitoring, em Verbalizable Representations Form a Global Workspace in Language Models. ↩ ↩²

13. Counterfactual Reflection Training, em Verbalizable Representations Form a Global Workspace in Language Models. ↩

14. Repositório da Miru Tracer. ↩