Mysl mimozemšťana: Hlavní vědec OpenAI v nové eseji říká, že jsme vytvořili intelekt, kterému doopravdy nerozumíme

Protože jsou systémy vytvořeny spíše procesem škálování a empirickou optimizací než explicitním návrhem. Jejich fungování se opírá o abstraktní koncepty a při zvyšování schopností se výsledky obtížněji interpretují. Podobně jako v neurovědu, celkové chování vývoje těchto systémů uniká úplnému porozumění.

Value alignment je vnitřní vlastnost modelu – schopnost držet se a zobecňovat z principů vysoké úrovně a chovat se rozumně i v nejasných, konfliktních nebo neznámých situacích. Zahrnuje schopnost jednat s poctivostí, integritou a láskou k lidstvu, na rozdíl od goal alignment, který se týká plnění konkrétních zadaných cílů.

Existují dvě hlavní třídy: první jsou metody orientované na posílení zarovnaného chování v rámci učení se od odměny, kde akce modelu vyhodnocují AI podle shody s daným modelem preferencí. Druhý přístup využívá schopnost modelu zobecňovat z předtréninkových dat prostřednictvím speciálně vytvořených trénovacích datových sad nebo zaměřením na zarovnanou část distribuce předtréninku.