O processamento de documentos e imagens em fluxos B2B vive um momento de transição. Modelos multimodais conseguem ler fotos de notas fiscais, extratos e formulários digitalizados e devolver dados estruturados com pouca configuração. Mas nem todo documento deve ir direto para um modelo de linguagem com visão. Neste artigo, você verá o que funciona bem, o que ainda pede OCR tradicional e como montar uma validação sólida antes de colocar esse tipo de solução em produção.
O que os modelos multimodais fazem bem
Um modelo multimodal combina visão e linguagem. Para documentos com layout variável — fotos de recibos, notas fiscais de diferentes emissores, formulários escaneados com pequenas rotações ou ruído de fundo —, ele costuma extrair campos como nome do emitente, data, valor total e itens com uma tolerância que pipelines tradicionais de template só alcançam com muito esforço.
O grande diferencial é a instrução em linguagem natural. Em vez de definir coordenadas e regras de ancoragem, você escreve algo como: "Extraia do documento os campos: razão social, CNPJ, data de emissão, valor total e lista de itens com quantidade e preço unitário". O modelo retorna um JSON e ainda consegue lidar com pequenas variações de terminologia, como "total", "valor a pagar" ou "total da nota".
Outra vantagem é o entendimento de contexto. Se a foto corta parte do documento ou a imagem está levemente desfocada, o modelo pode inferir o valor com base no restante do layout. Isso é útil em cenários de pré-análise, classificação e triagem, onde o objetivo é reduzir trabalho manual, não substituir uma auditoria.
No entanto, essa flexibilidade tem um custo de previsibilidade. O modelo pode errar exatamente nos campos que mais importam, como valores e identificadores, e nem sempre indica baixa confiança. Por isso, a recomendação é tratar a saída multimodal como uma hipótese, não como verdade absoluta.
Onde o OCR tradicional ainda é necessário
Apesar dos avanços, há situações em que o OCR tradicional — ou um pipeline híbrido — continua sendo a melhor escolha.
Alta precisão em campos críticos. Notas fiscais, boletos, contratos e documentos de identidade exigem que cada dígito esteja correto. Um erro em um CNPJ ou em um valor de imposto pode gerar retrabalho ou problema fiscal. Mecanismos de OCR baseados em detecção de caracteres, com bounding boxes e confiança por caractere, oferecem um nível de auditoria que muitos modelos multimodais não fornecem.
Layouts muito densos ou tabelas complexas. Extratos bancários, faturas de energia com múltiplas seções e formulários com caixas de seleção podem confundir o modelo, que tende a "ler" de forma linear e pode misturar colunas ou ignorar campos. OCR com segmentação de regiões, aliado a regras de pós-processamento, costuma ser mais estável.
Textos manuscritos ou de baixíssima qualidade. Embora alguns modelos multimodais leiam manuscritos razoáveis, a precisão ainda varia muito. Se o seu fluxo inclui formulários preenchidos à mão, vale testar com um conjunto representativo antes de abandonar o OCR tradicional. Em muitos casos, a combinação de OCR para transcrever e multimodal para interpretar o contexto é a mais robusta.
Requisitos de rastreabilidade e conformidade. Em setores regulados, pode ser necessário justificar exatamente como um dado foi extraído, com coordenadas e confiança por caractere. Um modelo de linguagem que retorna apenas o texto final pode não atender a essa exigência sem um registro adicional de evidências.
Como validar um fluxo multimodal em B2B
Antes de substituir ou complementar um pipeline existente, construa um conjunto de validação que reflita a variedade real dos documentos recebidos. Inclua fotos tiradas com diferentes iluminações e ângulos, documentos digitalizados com resolução baixa, múltiplas páginas e casos com carimbos ou anotações.
Defina métricas por tipo de campo. Para valores, CNPJs e datas, use acurácia exata (match idêntico). Para razão social e endereço, aceite correspondência aproximada com distância de edição. Para listas de itens, avalie precisão e recall por linha, não apenas a presença de itens.
Crie um script que compare a saída do modelo com o ground truth e registre os erros. Um exemplo simples:
import os
import json
import base64
from openai import OpenAI
client = OpenAI(
base_url=os.environ["BASE_URL"],
api_key=os.environ["API_KEY"],
)
def extrair_documento(caminho_imagem):
with open(caminho_imagem, "rb") as f:
imagem_base64 = base64.b64encode(f.read()).decode("utf-8")
resposta = client.chat.completions.create(
model=os.environ.get("MODEL_NAME", "modelo-multimodal"),
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Extraia os campos do documento e retorne JSON com: razao_social, cnpj, data_emissao, valor_total, itens."},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{imagem_base64}"}},
],
}
],
response_format={"type": "json_object"},
)
return json.loads(resposta.choices[0].message.content)
Esse código é genérico e funciona com qualquer endpoint compatível com o SDK da OpenAI. As variáveis BASE_URL e API_KEY são fornecidas pela sua equipe de acesso.
Além da acurácia, monitore a taxa de recusas ou respostas fora do schema. Adicione um fallback: se o JSON não puder ser parseado ou os campos críticos estiverem ausentes, envie o documento para revisão humana ou para o pipeline tradicional. Isso evita que erros silenciosos cheguem ao sistema de origem.
Por fim, faça um piloto controlado. Compare o resultado do modelo multimodal com o do OCR atual em um volume pequeno (por exemplo, 200 documentos hipotéticos) e meça não apenas a taxa de acerto, mas também o esforço de correção manual e o custo operacional estimado pelo número de tokens processados. Ajuste os limiares de confiança até encontrar o equilíbrio entre automação e revisão.
Armadilhas comuns
- Confiar em campos numéricos sem verificação. Valores e identificadores devem passar por uma checagem adicional, como dígito verificador ou consulta a uma base de referência.
- Ignorar a variabilidade de formato. Um modelo treinado com notas de um estado pode falhar em outro. Revalide periodicamente.
- Não planejar para imagens ilegíveis. Sem um tratamento de erro, o fluxo para. Defina um limite de qualidade (resolução mínima, contraste) e recuse documentos abaixo dele com uma mensagem clara.
- Subestimar a segurança e a privacidade. Documentos B2B podem conter dados sensíveis. Garanta que o tráfego e o armazenamento estejam de acordo com a política da sua empresa e com a LGPD.
Conclusão
Modelos multimodais já resolvem boa parte da extração de dados em documentos com layout variável, reduzindo a necessidade de templates e regras manuais. Mas a adoção em fluxos B2B deve ser criteriosa: use-os para triagem, extração preliminar e entendimento de contexto, mantendo OCR tradicional ou revisão humana para campos críticos. A validação contínua com dados reais é o que separa um piloto promissor de um sistema confiável.
A TokenRecarga fornece acesso a modelos de IA para empresas brasileiras, com atendimento e faturamento no Brasil.
Quer entender como a sua empresa pode usar modelos de IA com atendimento e faturamento no Brasil? Fale com a gente — a equipe da TokenRecarga responde em português.