A pornografia criada por meio de geradores de imagens com IA tem os mesmos efeitos que outros tipos de pornografia mais "tradicionais". Pode-se supor que a pornografia com IA tenha uma virtude em relação a outros tipos de pornografia: ela cria imagens digitalmente e não envolve a exploração de pessoas reais. Mas essa suposição seria falsa. A IA não cria nada. Os geradores de imagens de IA precisam de material de origem para "entender" o significado da entrada e compilar a imagem resultante. Esse fato já está levando a ações judiciais de direitos autorais.
Os geradores de "deepfake" pegam imagens, vÃdeos e/ou áudio de uma pessoa e constroem imagens, vÃdeos e falas falsas dessa pessoa. Os usuários podem criar deepfakes de qualquer indivÃduo que desejarem, inclusive celebridades, crianças ou pessoas conhecidas. Quando esses deepfakes são pornográficos, trata-se de uma forma de abuso sexual. No momento em que este artigo foi escrito, uma lei está tramitando no Congresso dos EUA que tornaria ilegal a pornografia deepfake não consensual gerada por IA.