Anthropic Memperkenalkan 'Vektor Persona' untuk Pengendalian Kepribadian AI dan Pencegahan Perubahan Berbahaya
Diedit oleh: gaya ❤️ one
Anthropic telah mengembangkan metode baru yang disebut 'vektor persona' untuk memantau dan mengendalikan ciri-ciri kepribadian dalam model bahasa besar (LLM). Metode ini memungkinkan identifikasi dan pengendalian sifat-sifat seperti kejahatan, sikap menjilat, dan kecenderungan untuk berhalusinasi dalam model AI.
Vektor persona berfungsi dengan mengidentifikasi pola aktivitas dalam jaringan saraf model yang mengontrol sifat-sifat tertentu. Dengan menggunakan vektor ini, pengembang dapat memantau perubahan kepribadian model selama penggunaan dan pelatihan, serta mencegah munculnya sifat-sifat yang tidak diinginkan. Selain itu, vektor persona dapat digunakan untuk mengidentifikasi data pelatihan yang berpotensi menyebabkan perubahan kepribadian yang tidak diinginkan.
Metode ini telah diuji pada model sumber terbuka seperti Qwen 2.5-7B-Instruct dan Llama-3.1-8B-Instruct, menunjukkan efektivitasnya dalam berbagai arsitektur model. Pendekatan ini menawarkan cara yang lebih transparan dan dapat dipahami untuk mengelola perilaku model AI, yang penting untuk memastikan keselarasan dengan nilai-nilai manusia dan meningkatkan keselamatan penggunaan AI.
Sumber-sumber
Benzinga
Anthropic's Official Announcement on Persona Vectors
Anthropic's Research Paper on Persona Vectors
AI Models Can Secretly Influence Each Other, Study Reveals
AI LLMs Can Independently Plan and Execute Cyberattacks, Study Finds
AI Is Entering an 'Unprecedented Regime.' Should We Stop It?
Baca lebih banyak berita tentang topik ini:
Saham Alphabet Melonjak ke Puncak Setelah Pengumuman Gemini 3 dan Pengungkapan Kepemilikan Berkshire Hathaway
Nvidia dan Microsoft Suntikkan $15 Miliar ke Anthropic, Valuasi Meroket ke $350 Miliar
GitHub Universe 2025 Perkenalkan Agent HQ untuk Memusatkan Alur Kerja Pengembang AI yang Terfragmentasi
Apakah Anda menemukan kesalahan atau ketidakakuratan?
Kami akan mempertimbangkan komentar Anda sesegera mungkin.
