Character.AI a lancé AvatarFX, un nouveau modèle de génération vidéo par IA actuellement en bêta fermée. Ce modèle anime des personnages IA dans divers styles et avec différentes voix, générant des vidéos à partir de texte et d'images préexistantes. Il est accessible dans le Lab expérimental de la plateforme, avec des plans d'intégration prochaine dans l'application principale. L'accès anticipé sera disponible pour les abonnés Character.AI+, avec une disponibilité plus large prévue dans les mois à venir.
Basée aux États-Unis, Character.AI est confrontée à des préoccupations de sécurité existantes. La plateforme a été poursuivie en justice pour des allégations selon lesquelles ses chatbots auraient encouragé l'automutilation et le suicide, en particulier chez les jeunes utilisateurs. Ces poursuites allèguent que la plateforme peut causer des dommages graves, notamment l'automutilation, la sollicitation sexuelle, l'isolement, la dépression, l'anxiété et la violence. L'ajout de capacités vidéo pourrait intensifier les risques de manipulation émotionnelle.
Character.AI a répondu à ces préoccupations de sécurité en mettant en œuvre des contrôles parentaux et des mesures de protection, notamment des modifications des modèles pour les utilisateurs de moins de 18 ans, une meilleure détection des contenus inappropriés et des avertissements rappelant aux utilisateurs que l'IA n'est pas une personne réelle. Cependant, l'efficacité de ces mesures dépend de l'adoption par les utilisateurs et de l'amélioration continue des outils de modération.