Principales empresas de IA debaten directrices para chatbots compañeros
Menos del uno por ciento de las interacciones con Claude de Anthropic son escenarios de rol. Representantes de Anthropic, Apple, Google, OpenAI, Meta y Microsoft se reunieron en un taller organizado por Anthropic y la Universidad de Stanford para abordar el uso de los asistentes de IA como compañeros.
Consenso sobre usuarios vulnerables
El taller de ocho horas buscó establecer pautas de despliegue para estos sistemas. Un punto de acuerdo fue la necesidad de mejores métodos de verificación de edad y intervenciones dirigidas cuando se detecten patrones dañinos, con especial atención a los usuarios más jóvenes.
Enfoque en la seguridad de los menores
La protección de adolescentes y niños fue un tema principal. Character.AI, popular en este grupo, planea prohibir la función de chat a menores de 18 años la próxima semana. Esta medida se produce en un contexto de demandas de padres contra fabricantes de chatbots por muertes de menores.
Divergencias en el contenido para adultos
Mientras hubo acuerdo sobre los usuarios jóvenes, el enfoque para adultos fue más divisivo. La discusión se centró en cómo equilibrar la libertad de los usuarios mayores de 18 años sin ser excesivamente paternalistas. OpenAI permitirá conversaciones eróticas en ChatGPT a partir de diciembre, mientras que Anthropic, Google y Microsoft mantienen sus prohibiciones.
Antecedentes del encuentro
La motivación del taller, según Anthropic, fue reunir a diferentes industrias y campos para tener conversaciones transversales sobre el papel que debe jugar la IA en las interacciones humanas. Asistieron empresas, académicos y expertos, incluidos representantes de plataformas para adultos como Candy.ai.
Próximos pasos y repercusión
Los investigadores de Stanford elaborarán un libro blanco con directrices de seguridad a principios del próximo año. Sin una regulación gubernamental más amplia, es improbable que todas las empresas adopten voluntariamente los mismos estándares, por lo que las disputas sobre las prácticas de diseño continuarán.
