Casa > Blog > Notícias do setor > Um sistema de detecção de anomalias em placas de circuito impresso baseado em visão computacional.

Um sistema de detecção de anomalias em placas de circuito impresso baseado em visão computacional.

Nov 04
Fonte:

Autores: Yang Yuxue, Lin Weiyang, Wang Bo, Li Huiming

Resumo

Para superar os desafios do alto custo computacional e da baixa adaptabilidade em ambientes complexos na detecção de defeitos em placas de circuito impresso (PCBs) em dispositivos de borda, propõe-se um sistema de detecção automática leve, projetado para implantação em borda. O sistema é baseado na arquitetura YOLOv8n, integrando técnicas de transferência de aprendizado, poda de modelos e destilação de conhecimento para reduzir significativamente a complexidade do modelo e aumentar a adaptabilidade a ambientes com amostras pequenas e recursos limitados. Para lidar com condições extremas na aquisição de vídeo em borda, como iluminação variável, vibração de esteiras transportadoras, baixo contraste e oclusão de lentes, o sistema mantém desempenho em tempo real e estabilidade, demonstrando grande robustez. Experimentos em um conjunto de dados público de defeitos em PCBs mostram que o sistema proposto supera os modelos convencionais existentes em precisão de detecção e velocidade de inferência, exibindo, em particular, robustez superior e valor prático em cenários de detecção de borda em tempo real. Além disso, uma interface gráfica do usuário (GUI) desenvolvida com PySide6 verifica ainda mais a implantabilidade e a praticidade do sistema em ambientes industriais, fornecendo uma solução eficaz para alcançar detecção de visão de borda eficiente, estável e de baixo consumo de energia, com perspectivas de aplicação promissoras.

Palavras-chave: Internet das Coisas (IoT); detecção de defeitos em placas de circuito impresso; visão computacional; YOLOv8; dispositivo de borda; PySide6


0. Introdução

Como componente fundamental e indispensável de produtos eletrônicos, a qualidade de fabricação das placas de circuito impresso (PCBs) afeta diretamente o desempenho e a confiabilidade operacional de todo o sistema. A detecção de defeitos em PCBs visa identificar possíveis defeitos durante o processo de fabricação de forma rápida e precisa, servindo como uma etapa crucial de controle de qualidade na produção eletrônica. No entanto, em ambientes industriais práticos, os defeitos em PCBs apresentam características complexas, como tipos diversos, pequenas escalas e distribuições espaciais incertas. Os métodos tradicionais de detecção, baseados em inspeção manual ou lógica baseada em regras, são subjetivos e limitados em sua capacidade, o que os torna incapazes de atender às exigências industriais modernas de alta precisão, eficiência e automação.

Com o rápido avanço das tecnologias de visão computacional e aprendizado profundo, as redes neurais convolucionais (CNNs) projetadas para reconhecimento de imagens têm alcançado notável sucesso em tarefas de detecção de objetos, promovendo a transformação da detecção de defeitos em placas de circuito impresso (PCBs) da extração manual de características para o aprendizado inteligente de características. No entanto, os principais modelos de aprendizado profundo ainda enfrentam dois grandes desafios na implementação industrial: (1) Para atingir maior precisão, os modelos tendem a se tornar cada vez mais complexos, levando a altos custos computacionais e baixas velocidades de inferência, o que dificulta a detecção em tempo real em dispositivos de borda com recursos limitados; (2) Devido à escassez de amostras de treinamento específicas para defeitos em PCBs, os modelos treinados em conjuntos de dados pequenos são propensos a sobreajuste, reduzindo assim o desempenho de generalização. Além disso, diferentemente das tarefas gerais de detecção de objetos, a detecção de defeitos em PCBs é caracterizada por alvos de granularidade fina, pistas semânticas fracas e forte interferência de ruído de fundo, o que impõe requisitos mais rigorosos à robustez e adaptabilidade de implementação do modelo.

Para enfrentar esses desafios, este estudo projeta e implementa um sistema de detecção de defeitos em placas de circuito impresso (PCBs) leve e altamente robusto para ambientes de computação de borda. Especificamente, o sistema é construído sobre o framework YOLOv8n, aproveitando sua estrutura compacta e capacidade de inferência eficiente para reduzir significativamente os custos computacionais. Durante o treinamento do modelo, a aprendizagem por transferência é adotada para migrar características visuais pré-treinadas em conjuntos de dados gerais de grande escala para a tarefa de detecção de defeitos em PCBs, atenuando a dificuldade de aprendizado com amostras pequenas. Além disso, a poda do modelo e a destilação de conhecimento são introduzidas para otimizar a arquitetura do modelo de detecção, comprimir sua escala de parâmetros e melhorar a eficiência e a estabilidade da implantação em dispositivos de borda. Para lidar com desafios como iluminação variável, desfoque de movimento e perda de quadros na aquisição de vídeo industrial, o sistema integra um módulo robusto de pré-processamento de quadros e estabilização de previsão em nível de quadro, aprimorando a confiabilidade em uma perspectiva de nível de sistema. Finalmente, uma interface gráfica do usuário (GUI) baseada em PySide6 é desenvolvida para proporcionar uma experiência intuitiva e amigável, simplificando o fluxo de trabalho operacional.

A pesquisa apresentada neste artigo oferece uma solução prática para a detecção de defeitos em placas de circuito impresso (PCBs) em dispositivos de computação de borda com recursos limitados e fornece novas perspectivas sobre a redução do tamanho dos modelos e a otimização da robustez em condições de amostra pequena.



2. Projeto e Implementação do Sistema

2.1 Lidando com amostras pequenas e simplificação do modelo

Na detecção de defeitos em placas de circuito impresso (PCBs), a escassez de dados é um fator crucial que limita o desempenho do aprendizado profundo. Devido aos altos custos de anotação e à quantidade limitada de dados sobre defeitos, alcançar uma generalização robusta com amostras pequenas tornou-se um importante foco de pesquisa.

Para mitigar esse problema, utiliza-se a aprendizagem por transferência para migrar características aprendidas em tarefas de origem de grande escala para a tarefa de detecção do alvo, acelerando a convergência e melhorando o desempenho em amostras pequenas. Modelos YOLO pré-treinados em conjuntos de dados de objetos gerais podem servir como "modelos professores" para orientar os "modelos alunos", aprimorando a detecção de pequenos defeitos.

Figura 1. Princípio da aprendizagem por transferência

Figura 1. Princípio da aprendizagem por transferência

Adotamos o YOLOv8n — o membro mais leve da família YOLOv8 [ 9 ] . Com aproximadamente 3,2×10 6 parâmetros e 8,7×10 9 FLOPs, ele oferece inferência de alta velocidade adequada para implantação na borda. Eficiência e adaptabilidade adicionais são alcançadas por meio de: 

(1) Poda estrutural: Poda de camadas convolucionais e canais redundantes na rede YOLOv8n para reduzir parâmetros e computação.

(2) Destilação de conhecimento: Restringir o “modelo do aluno” leve por meio da orientação de um “modelo do professor” de alto desempenho, melhorando a precisão da detecção.

(3) Aumento de dados: Ajustar parâmetros de aprimoramento no espaço de cores HSV para aumentar a diversidade da amostra e a robustez do modelo.

Conforme ilustrado na Figura 2, o processo de treinamento do modelo inclui preparação de dados, configuração de hiperparâmetros, treinamento e avaliação do modelo e otimização por poda. Se as métricas de avaliação do modelo não atenderem às expectativas, os parâmetros são ajustados automaticamente e o treinamento e a poda são repetidos até que um desempenho de detecção satisfatório seja alcançado.

Figura 2. Processo de treinamento do modelo

Figura 2. Processo de treinamento do modelo


2.2 Sistema e Implantação no Lado da Borda

Para atender aos requisitos de facilidade de uso e conveniência de implantação em ambientes industriais reais, um sistema integrado de detecção de defeitos em placas de circuito impresso (PCBs) foi projetado e implementado utilizando o framework PySide6. O sistema suporta modos de entrada de imagem e vídeo, oferecendo alta interatividade e uma experiência amigável ao usuário, adequada para implantação em dispositivos de borda. A interface do sistema oferece os seguintes recursos: 

(1) Suporte para múltiplas fontes de entrada, incluindo imagens individuais, pastas de imagens em lote e fluxos de vídeo; 

(2) Parâmetros de detecção personalizáveis ​​(limiar de confiança, limiar de IoU) e opções de exibição (mostrar rótulos de classe, níveis de confiança, etc.); 

(3) Exibição em tempo real e armazenamento em banco de dados dos resultados da detecção; 

(4) Funções estendidas, como recuperação de registros de detecção e navegação de informações de caixa delimitadora. 

O processo de detecção do sistema inclui interação com a interface do usuário, análise da fonte de entrada, gerenciamento das threads de detecção de imagem/vídeo e atualização dos resultados. Como mostrado na Figura 3, após o usuário selecionar o tipo de entrada e definir os parâmetros, o sistema inicia automaticamente a thread de processamento de imagem ou vídeo correspondente para realizar a detecção quadro a quadro e exibir os resultados. 

Os principais eventos do sistema incluem eventos de comando de detecção, eventos de atualização de alvo, eventos de seleção da lista de detecção e eventos de gerenciamento de threads em segundo plano, conforme descrito na Tabela 1.


3. Resultados e Análise Experimental

3.1 Conjunto de dados e pré-processamento

Os experimentos utilizam o conjunto de dados PKU-Market-PCB disponibilizado pela Universidade de Pequim [ 10 ] . Ele é gerado sinteticamente com 1.386 imagens de alta resolução e seis tipos de defeitos: Missing_hole (furo ausente), Mouse_bite (mordida de rato), Open_circuit (circuito aberto), Short (curto-circuito), Spur (esporão) e Spurious_copper (cobre espúrio). Os defeitos típicos no conjunto de dados são mostrados na Figura 4.

Figura 3 Temporização da detecção do sistema

Figura 3 Temporização da detecção do sistema

Tabela 1. Principais eventos do sistema

EventoTipoDescrição
DetecçãoCliqueInicie o thread de processamento de imagem ou o thread de processamento de mídia de acordo com o tipo de detecção.
Tópico de processamento de mídia—Ler as imagens sequencialmente, realizar a detecção e atualizar a lista de resultados e caixas delimitadoras.
Tópico de Processamento de Imagens—Leia sequencialmente as imagens da lista de imagens, realize a detecção, atualize e exiba os resultados e a lista de caixas delimitadoras e remova as imagens processadas da lista.
Objeto alvoMudarExiba o resultado da detecção da caixa delimitadora selecionada.
ListaCliqueExiba o resultado da detecção da caixa delimitadora selecionada e mostre a imagem de detecção correspondente.

Figura 4. Defeitos típicos na superfície da placa de circuito impresso.

Figura 4. Defeitos típicos na superfície da placa de circuito impresso.

Para garantir a validade científica e a robustez do treinamento do modelo, todo o conjunto de dados foi dividido em conjuntos de treinamento, validação e teste na proporção de 8:1:1. No conjunto de treinamento, os alvos de defeito são relativamente pequenos e distribuídos de forma esparsa, aumentando a dificuldade de percepção e localização de objetos pequenos e impondo requisitos mais elevados ao sistema de detecção.

Figura 5. Informações de anotação dos dados do conjunto de treinamento

Figura 5. Informações de anotação dos dados do conjunto de treinamento


3.2 Métricas

Para avaliar de forma abrangente o desempenho do modelo de detecção de defeitos, são utilizadas as seguintes métricas de avaliação: 

(1) Precisão: Mede a proporção de verdadeiros positivos entre todos os positivos previstos, refletindo a resistência do modelo a detecções falsas. 

(2) Recall: Mede a capacidade do modelo de identificar todas as amostras verdadeiramente positivas, refletindo a resistência a detecções perdidas. 

(3) Pontuação F1: A média harmônica de Precisão e Recall, refletindo a capacidade geral de detecção do modelo. 

(4) mAP (precisão média): A média da precisão média em todas as classes, usada para avaliar o desempenho geral de classificação e localização do modelo. 

As fórmulas para calcular Precisão, Revocação, Pontuação F1 e mAP são as seguintes: 

Fórmula de cálculo

TP representa o número de amostras positivas classificadas corretamente; FP representa o número de amostras negativas classificadas erroneamente como positivas; FN representa o número de amostras positivas classificadas erroneamente como negativas; c é o número total de categorias de imagens; i é o número de detecções; e AP é a acurácia média de uma única categoria.


3.3 Implementação do Sistema e Resultados em Múltiplos Cenários

O sistema de detecção é executado em uma plataforma Ubuntu 23.04 equipada com um processador Intel Core i5-11400F (12 threads), 16 GB de memória e uma GPU NVIDIA GeForce RTX 3060 (12 GB de VRAM). A plataforma de implantação de inferência utiliza o Windows 10 com um processador Intel i7-6600U e 8 GB de memória, enquanto a implantação na borda é implementada na placa de desenvolvimento de computação de borda NLE-AI800, produzida pela Beijing Newland Era Technology Co., Ltd. Como mostrado na Figura 6, a interface do sistema de detecção suporta entradas de imagem e vídeo, fornecendo diversos parâmetros de detecção configuráveis ​​e visualização de resultados em tempo real. 

Figura 6 Interface do Sistema de Detecção de Defeitos

Figura 6 Interface do Sistema de Detecção de Defeitos

(1) Batch Image Detection Batch detection was conducted on a folder named "img2video" containing defect images. The detection results are shown in Figure 7. The folder includes 66 defect images, and by iterating through them one by one, a total of 269 defects were detected. Users can view each defect by clicking the corresponding item in the results list, which instantly highlights the defect in the image display window. Figure 8 demonstrates how clicking on the 235th detected defect (a missing hole) allows the system to quickly locate and display the corresponding image region. 

Figura 7. Resultados da Detecção de Pastas em Lote

Figure 7. Batch Folder Detection Results

(2) Video Stream Detection The system supports frame-by-frame video detection mode. As shown in Figure 9, a video composed of 50 defect images was analyzed, and 282 defects were identified. The system also supports defect localization and frame backtracking, making it suitable for quality inspection scenarios in production line camera systems. 

Figura 8. Informações detalhadas sobre os resultados da detecção de defeitos na imagem.

Figure 8. Detailed information on image defect detection results

Figura 9. Resultados da detecção de vídeo

Figure 9. Video detection results

(3) Extreme Condition Detection To evaluate the system's robustness under extreme conditions, tests were conducted on images affected by "blurring," "occlusion," and "offset." As shown in Figure 10, the system successfully identified most defects even under these challenging conditions, indicating strong environmental adaptability. 

(4) Edge Device Detection As shown in Figure 11, detection results from edge device deployment in real industrial settings demonstrate the system’s ability to identify typical defects such as short circuits, open circuits, and missing holes. The device achieves real-time performance while maintaining high accuracy, verifying the deployability of the proposed model in low-power scenarios.


3.4 Performance Evaluation

3.4.1 Evaluation of the Detection System's Model Training Results

The image size was set to 1,280×720 pixels, the batch size to 8, the number of training epochs to 300, and the initial learning rate to 0.01. As shown in Table 2, training concluded at the 206th epoch, and the optimal result was achieved at the 106th epoch. The inference time was 11.5 ms. The model achieved an average Precision of 0.98, an average Recall of 0.961, and an average mAP of 0.982 across all defect classes. Performance on Spurious_copper was slightly weaker, while Missing_hole and Short were predicted more accurately.

Figura 10. Resultados da detecção em condições extremas.

Figure 10. Detection results under extreme conditions

Figura 11. Resultados da detecção de bordas

Figure 11. Edge detection results

3.4.2 Evaluation of the Detection System’s Model Prediction Results

Os resultados da previsão do modelo são apresentados na Tabela 3 e são, em geral, consistentes com os resultados da fase de treinamento. A Figura 12 compara as imagens de defeitos corretamente rotuladas (linhas 1 e 2) com as imagens de defeitos previstas (linhas 3 e 4). As visualizações indicam um bom desempenho geral, embora algumas detecções perdidas (por exemplo, linha 3, imagem 2) e detecções falsas (por exemplo, linha 4, imagem 3) estejam presentes.

3.4.3 Avaliação do desempenho do sistema de detecção

Precisão e Revocação são duas métricas-chave para o desempenho da classificação. A Precisão mede a proporção de verdadeiros positivos entre os positivos previstos, enquanto a Revocação mede a proporção de verdadeiros positivos corretamente identificados. A Figura 13 mostra como a Precisão, a Revocação e a pontuação F1 variam com o limiar de confiança. Como visto na Figura 13(a), a Precisão aumenta com o limiar e atinge 1,0 em todas as classes com um limiar de 0,73; no entanto, a partir desse ponto, a Revocação cai drasticamente. Com base na pontuação F1, um limiar de confiança de 0,73 produz o melhor desempenho geral. A matriz de confusão na Figura 14 visualiza as previsões, mostrando um forte desempenho geral, mas uma detecção relativamente mais fraca para classes com diferenças sutis entre as classes (por exemplo, Cobre Espúrio e Espinho).

Tabela 2 Resultados do treinamento do modelo

Tipo de defeitoTotal de imagens/unidadesCategoria Anotação QuantidadePrecisãoLembrarmAP@50mAP@50:95
todos662800,9800,9610,9820,563
Buraco ausente66450,9911.0000,9950,658
Curto66450,9991.0000,9950,562
Mordida de rato66491.0000,9380,9920,593
Cobre espúrio66430,9400,9530,9850,477
Circuito aberto66490,9700,9590,9680,589
Esporão66490,9780,9130,9570,497

Tabela 3 Resultados da previsão do modelo

TipoTotal de imagens/unidadesCategoria Anotação QuantidadePrecisãoLembrarmAP@50mAP@50:95
todos662800,9670,9680,9820,565
Buraco ausente66450,9881.0000,9950,667
Curto66450,9931.0000,9950,563
Mordida de rato66490,9790,9390,9920,586
Cobre espúrio66430,9170,9530,9860,479
Circuito aberto66490,9650,9590,9680,596
Esporão66490,9590,9570,9560,500


3.4.4 Avaliação Experimental Comparativa do Sistema de Detecção

Para validar ainda mais o desempenho, o modelo proposto foi comparado com detectores convencionais no conjunto de dados público de defeitos de PCB da Universidade de Pequim, com dados comparativos extraídos de [ 11 ] . Como mostrado na Tabela 4, o modelo proposto alcança precisão de previsão e precisão média (mAP) superiores em comparação com as linhas de base.

Figura 12. Comparação entre imagens de defeitos corretamente rotuladas e imagens de defeitos previstas.

Figura 12. Comparação entre imagens de defeitos corretamente rotuladas e imagens de defeitos previstas.

Figura 13 Resultados da avaliação do desempenho do sistema

Figura 13 Resultados da avaliação do desempenho do sistema

Figura 14. Visualização dos resultados da avaliação utilizando o método da matriz de confusão.

Figura 14. Visualização dos resultados da avaliação utilizando o método da matriz de confusão.

Tabela 4 Resultados experimentais comparativos (%)

ModeloBuraco ausenteMordida de ratoCircuito abertoCurtoEsporãoCobre espúriomapa
R-CNN mais rápido91,778,280,684,874,885,182,5
YOLOx99,591,292,590,186,394,492,3
PCB-YOLO99,590,799,598,590,996,795,9
FCM-YOLO99,598,198,997,897,498,598,3
Modelo proposto98,897,996,599,395,991,796,2


4. Conclusão

Para atender às demandas simultâneas de desempenho em tempo real e restrições de recursos em cenários de computação de borda, este artigo projetou e implementou um sistema leve de detecção de defeitos em placas de circuito impresso (PCBs) baseado no YOLOv8n. Ao integrar técnicas de transferência de aprendizado, poda de modelos e destilação de conhecimento, o sistema reduz significativamente a complexidade do modelo e aprimora o desempenho da detecção em ambientes complexos e com amostras pequenas. A interface gráfica do usuário (GUI) desenvolvida com PySide6 permite entrada e interação multimodal para imagens e vídeos, oferecendo excelente adaptabilidade de engenharia e flexibilidade de implantação.

Experimentos realizados em um conjunto de dados público demonstram que o modelo proposto supera os métodos convencionais existentes em termos de precisão de detecção, velocidade de inferência e robustez. Ele mantém a estabilidade mesmo em condições desafiadoras, como oclusão, desfoque e vibração do dispositivo. Experimentos de implantação em dispositivos de borda reais confirmam ainda mais a viabilidade do sistema em condições de baixo consumo de energia e baixa latência, destacando seu grande potencial para aplicação prática e implantação futura.


Referências

  1. [1] REN S., HE K., GIRSHICK R., et al. Faster R-CNN: Towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2017, 39(6): 1137–1149. ↩︎ Voltar para: [1]
  2. [2] HU K., WANG B., SHEN Y., et al. Método de identificação de defeitos para folheado de álamo baseado em rede generativa adversarial progressiva e modelo MASK R-CNN. BioResources , 2020, 15(2): 3041–3052. ↩︎ Voltar para: [2]
  3. [3] REDMON J., DIVVALA S., GIRSHICK R., et al. You Only Look Once: Unified, real-time object detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition , 2016: 779–788. ↩︎ Voltar para: [3]
  4. [4] LIU W., ANGUELOV D., ERHAN D., et al. SSD: Single shot multibox detector. In European Conference on Computer Vision . Springer, 2016: 21–37. ↩︎ Voltar para: [4]
  5. [5] Hu Xin, Hu Shuai, Ma Lijun, et al. Método de detecção de defeitos em PCB baseado na fusão de MBAM e YOLOv5. Journal of Graphics , 2024, 45(1): 47–55. ↩︎ Voltar para: [5]
  6. [6] He Guozhong, Liang Yu. Detecção de defeitos em PCBs baseada em redes neurais convolucionais. Journal of Graphics , 2022, 43(1): 21–27. ↩︎ Voltar para: [6]
  7. [7] Wu Jigang, Cheng Yuan, Shao Jun, et al. Detecção de defeitos em PCBs baseada no algoritmo YOLOv4 aprimorado. Journal of Instrument and Instrumentation , 2021(10): 171–178. ↩︎ Voltar para: [7]
  8. [8] Su Jia, Jia Xinyu, Hou Weimin. Algoritmo de detecção de defeitos em PCB baseado em YOLO-J. Computer Integrated Manufacturing Systems , 2024, 33(11): 3984–3998. ↩︎ Voltar para: [8]
  9. [9] GLENN J. YOLOv8 [Online]. Acessado em 16/04/2025. GitHub: ultralytics/ultralytics. ↩︎ Voltar para: [9]
  10. [10] Laboratório de Robótica Inteligente da Universidade de Pequim. Conjunto de dados PKU-Market-PCB [Online]. Acessado em 16/04/2025. ↩︎ Voltar para: [10]
  11. [11] Yan Shu, Guo Ying, Huang Jun. FCM-YOLO: Um método de detecção de defeitos em PCB baseado em aprimoramento de características e fusão multiescala. Control and Decision , 2024, 39(10): 3181–3189. ↩︎ Voltar para: [11]


Direitos autorais livres

Rótulo :
Retornar

DESCUBRA MAIS