A inferência no dispositivo está remodelando a pilha de sensores

Principais Conclusões

• Com a inferência no dispositivo, um sensor passa a ser avaliado mais pelo que entrega a um modelo próximo do que pela limpeza com que faz o streaming. 
• A largura de banda da memória, e não o TOPS de pico, limita a maioria dos projetos de edge, e a quantização em 8 bits é a alavanca para encaixar um modelo na memória on-chip.
• Em projetos always-on, a eficiência energética é obtida com ativação em camadas: leve cada decisão para o estágio mais barato capaz de tomá-la, porque mover dados custa mais do que fazer a matemática.

A Inferência Vai para o Dispositivo

Edge AI está passando de projetos-piloto para produtos convencionais em 2026. Dos aproximadamente 21 bilhões de dispositivos IoT conectados em operação, a maioria ainda envia seus dados para fora do dispositivo para processamento. Mas o silício desenvolvido para essa finalidade está levando esse trabalho para bordo: os primeiros microcontroladores STM32 com uma unidade dedicada de processamento neural (NPU) chegaram à produção em volume no fim de 2024, e os módulos edge-AI de faixa de valor caíram para patamares de preço que tornam a inferência local a opção econômica padrão.

Agora os Sensores Alimentam um Modelo

Quando a inferência passa a rodar localmente, um sensor é avaliado menos pela limpeza com que digitaliza um sinal e mais pela utilidade de sua saída para o modelo ao seu lado. Isso tem três consequências:

• Dados mais limpos e com faixa mais ampla. Os modelos penalizam ruído e clipping, então as front ends estão ganhando mais headroom. Unidades de medição inercial de dupla faixa (IMUs) capturam simultaneamente vibração sutil e choque intenso, sem perda de dados entre as faixas. Os fornecedores de microfones agora elevam os pontos de sobrecarga acústica junto com as relações sinal-ruído, para que um evento alto não sature antes de o modelo detectá-lo.
• Compute dentro do sensor. Núcleos de machine learning e unidades de processamento no sensor em IMUs, motores de AI dentro de microfones MEMS e visão on-die permitem que o componente emita uma decisão ou uma característica em vez de um fluxo bruto, para que o host possa permanecer em sleep.
• Saída esparsa, orientada a eventos. Sensores de visão baseados em eventos e microfones com wake-on-sound usam largura de banda e compute apenas quando algo muda, em vez de fazer streaming 24 horas por dia.

Esses desenvolvimentos também ajudam a proteger a privacidade. Sensores time-of-flight e radar informam distância e movimento, não imagens, e a visão in-sensor mantém os pixels brutos no die, de modo que um sensor de presença pode cumprir sua função sem que um feed de câmera jamais saia do componente.

A Largura de Banda, Não o TOPS, Define o Limite

O número de destaque para um componente de edge AI geralmente é sua classificação em TOPS (trilhões de operações por segundo), e esse é o parâmetro errado para dimensionar um projeto. Dois aceleradores classificados com o mesmo TOPS podem apresentar throughput real muito diferente porque o desempenho depende da largura de banda da memória, dos operadores suportados pelo silício e de quão bem o compilador do fornecedor mapeia sua rede para ele. 

Na maioria dos projetos de edge, mover tensores é o fator limitante, então o processador fica parado esperando a memória muito antes de ficar sem capacidade de cálculo. Energia por inferência, e não TOPS de pico, é o número que reflete o que a bateria realmente vê. Ajuda pensar em dois regimes, divididos por onde o modelo reside: SRAM on-chip ou DRAM externa.

O Regime do Microcontrolador

Em um microcontrolador, o limite está na SRAM on-chip: muitas vezes apenas 256 KB a 512 KB. Esse orçamento precisa acomodar as ativações do modelo e os buffers de trabalho (os tensores de runtime), então o modelo precisa ser pequeno e quantizado para caber, com seus pesos mantidos em flash. A quantização é a alavanca: converter pesos de ponto flutuante de 32 bits para inteiros de 8 bits reduz um modelo em aproximadamente três a quatro vezes com pouca perda de precisão, o suficiente para que uma rede da classe MobileNet quantizada caiba em cerca de 1 MB de flash, onde a versão em float não caberia.

O Regime do Edge SoC

Em um edge SoC maior executando pipelines de visão ou um pequeno modelo de linguagem, a restrição passa para a LPDDR externa, em que a capacidade importa menos do que a velocidade com que pesos e ativações podem ser transmitidos. Memória também é uma questão de sourcing. A realocação da capacidade de DRAM para data centers de AI em 2026 elevou os preços de LPDDR e apertou a oferta. Os fornecedores travam a mesma batalha no lado da largura de banda: em maio, a Synaptics chamou a largura de banda da memória de gargalo principal para a inferência de modelos de linguagem no dispositivo e apontou a compressão agressiva de pesos como a forma de recuperar throughput.

Ative o Chip Grande por Último

Manter um sistema always-on sem drenar a bateria se resume a empilhar detectores por custo: os estágios caros permanecem desligados até que um mais barato ganhe o direito de ativá-los. O que quer que rode continuamente define o consumo em idle do sistema, então o objetivo é tornar esse estágio inferior o mais econômico possível e deixá-lo controlar tudo acima dele.

A Camada do Microfone

Um microfone MEMS inteligente executa uma pequena rede neural para detecção de atividade de voz com dezenas de microampères, depois escala para um modelo mais profundo para keyword spotting somente quando detecta fala, e desperta o host apenas depois disso.

A Camada de Movimento

O núcleo de machine learning de uma IMU classifica a atividade no próprio sensor e gera uma interrupção. O processador host e qualquer acelerador permanecem em deep sleep até que apareça uma classe de interesse.

A Camada de Presença

Um radar de 60 GHz, como o BGT60LTR11AIP da Infineon, ou um sensor time-of-flight multizona realiza a detecção de presença com processamento on-chip, ativando uma câmera ou um pipeline de visão completo somente depois de confirmar que há uma pessoa presente.

A economia aparece na forma como esses produtos passam a maior parte do tempo: em idle. Para dar uma noção aproximada de escala, um sistema que mantém um host ativo para escutar consome na faixa de miliampères, enquanto uma front end em camadas fica em idle na faixa de dezenas de microampères e consome miliampères apenas por uma fração de segundo quando algo acontece. Em uma bateria tipo moeda, a diferença entre always-on e camadas é a diferença entre dias e anos de vida útil.

Coloque a Inteligência no Estágio Mais Barato

Em sensoriamento, memória e energia, a lógica de projeto se resume a dois princípios que devem orientar a seleção dos seus componentes:

• Resolva cada decisão o mais abaixo possível na pilha. Toda classificação que uma IMU, um microfone ou um sensor de presença puder resolver sozinho é uma a menos para a qual o host precisará despertar.
• Mover dados custa mais do que a matemática. Bytes enviados por um barramento ou para a nuvem consomem mais energia do que a própria computação, portanto prefira componentes que informem resultados em vez de amostras brutas. 

Cada função que você empurra para dentro do sensor deixa de ser carregada pelo processador host, pela memória e pela interface. A contrapartida é a flexibilidade. Coloque inteligência no sensor quando a tarefa for estável e bem compreendida. Mantenha-a no host quando o modelo mudar com frequência ou precisar de retreinamento em campo, onde regravar o firmware é melhor do que reprojetar um motor fixo. 

Para orientação sobre onde, na pilha, cada elemento de inteligência deve ficar, veja The Edge-Sensing BOM: What to Spec, from IMUs to Interfaces, que analisa a BOM linha por linha: IMUs, time-of-flight, radar, microfones, hubs de sensores, memória e interfaces.