Raspberry Pi AI caméra, une caméra dopée à l’intelligence artificielle à 80€ !
Visiblement la fondation Raspberry Pi n’est pas à l’abri de l’engouement pour l’intelligence artificielle !
Début juin, la maison mère Raspberry avait ainsi annoncé le lancement du Raspberry Pi AI Kit, une extension pour le Raspberry Pi 5 visant à ajouter une unité de calcul dédiée à l’intelligence artificielle, la fondation annonce aujourd’hui le lancement de la Raspberry Pi AI Camera, une caméra embarquant une puce dédiée au traitement de l’image par intelligence artificielle.
Faisons donc un petit tour d’horizon de cette nouvelle caméra, en commençant par ses caractéristiques techniques, avant de revenir rapidement sur l’utilité d’une caméra avec de l’intelligence artificielle embarquée.
Le capteur Sony IMX500, au cœur de l’image et de l’intelligence artificielle.
Comme vous le savez sûrement, Raspberry Pi et Sony entretiennent un lien privilégié, les micro-ordinateurs britanniques étant assemblés dans l’usine Galloise du géant Japonais. C’est donc assez naturellement que la fondation est allé chercher du côté de la division photo de Sony pour trouver le capteur photo au cœur de sa nouvelle caméra.
Là ou le Sony IMX500 sort du lot, c’est qu’il ne s’agit pas simplement d’un capteur photo, mais également d’une unité dédiée au traitement de l’image par intelligence artificielle.
Ainsi, en plus de proposer une image 12 mégapixels, avec une résolution de 4056×3040 pixels à 10 images par secondes, ou 2028×1520 pixels à 30 images par secondes, ce capteur est également doté d’un processeur dédié au traitement de l’image (Image Signal Processor), ainsi que d’une mémoire SRAM embarquée, lui permettant de traiter les données directement sur la puce sans avoir à les transférer vers l’extérieur.
C’est donc le capteur de Sony qui constitue ainsi la partie image mais également l’intelligence artificielle de cette nouvelle caméra dédiée au Raspberry.
Le microcontrôleur maison RP2040 à la rescousse pour gérer les réseaux de neurones !
Pour épauler le capteur de chez Sony cette caméra vient également embarquer un microcontrôleur RP2040, développé par la fondation elle même, et qui sera en charge du stockage et de la gestion du firmware, mais surtout des modèles de réseaux neuronaux que vous pourrez uploader sur la caméra.
La fondation précise d’ailleurs que contrairement au Kit AI, cette caméra sera compatible avec toutes les versions du Raspberry Pi et devrait s’intégrer facilement avec les bibliothèques et outils logiciels existants, et qu’il sera possible d’uploader nos propres modèles d’intelligence artificielle, soi via le protocole I2C pour les plus ancienne version du Raspberry, soi via un protocole maison plus rapide pour le Raspberry 5.
Au final, une caméra avec de l’intelligence artificielle embarquée, à quoi ça sert ?
Nous ne rentrerons pas ici dans la question de savoir si nous avons vraiment besoin de caméras dopées à l’IA, si l’IA est une vraie révolution ou un nuage de fumée, etc., Nous nous concentrerons ici sur le fait d’expliquer les utilisations possibles de ces nouvelles technologies.
Quelle différence entre traitement classique et traitement embarqué ?
Pour comprendre l’utilité d’une caméra avec de l’intelligence artificielle embarquée, il faut donc d’abord comprendre la différence de traitement « traditionnel » de l’image par intelligence artificielle, et son traitement lors de l’utilisation d’une caméra embarquant ces technologies. Pour ça, rien ne vaut un schéma !
Comme le montre le schéma ci-dessus, le traitement d’une image par une caméra IA diffère principalement par la partie du système en charge du traitement des données. Là ou une caméra classique prend une image, la transmet à l’ordinateur (ici le Raspberry Pi), qui devra ensuite effectuer les calculs pour analyser l’image via des réseaux neuronaux, une caméra IA effectue en interne ces différents traitements.
Ainsi, le traitement au niveau de la caméra permet de gagner du temps en évitant les transferts, de réduire la charge de calcul du processeur principal et, grâce à la spécialisation du processeur de traitement de l’image, d’optimiser le calcul par l’utilisation de technologies dédiées.
À quels usages réels faut-il nous attendre ?
S’il est encore un peu tôt pour prédire les usages précis qui seront fait de cette caméra par la communauté, il est probable que l’on observe principalement des usages liés à la classification et la reconnaissance d’objets, l’analyse de mouvements, etc., comme le montre la vidéo ci-dessous.
Il est également probable que cette caméra voit une adoption importante dans un cadre de la recherche académique, de produits bon marché ou de solutions de surveillance DIY, ceci grâce à un coup réduit et un format « prêt à l’emploi » simple d’utilisation.
Il est en tous cas probable que nous observions une nette séparation de la communauté en deux tranches, les concepteurs/chercheurs et les utilisateurs, le domaine de l’IA au delà du simple rôle de consommateur restant encore, au moins pour le moment, réservé à des utilisateurs très avancés.
