教育新闻网该框架使用“ Seldonian”算法，该算法以艾萨克·阿西莫夫(Isaac Asimov)的“基金会”(Foundation)系列的主角命名，这是作者首次出现“机器人法则”的虚构宇宙的延续。
根据团队的研究，Seldonian体系结构允许开发人员定义自己的操作条件，以防止系统在训练或优化时超过某些阈值。从本质上讲，这应该允许开发人员阻止AI系统伤害或歧视人类。
深度学习系统为从面部识别到股市预测的一切提供支持。在大多数情况下，例如图像识别，只要机器是正确的，机器如何得出结论并不重要。如果AI能够以90%的准确率识别猫，那么我们可能会认为它是成功的。但是，当涉及到更重要的事情时，例如预测累犯的算法或使药物剂量自动化的AI，几乎没有误差的余地。
为此，研究人员使用他们的Seldonian算法框架创建了一个AI系统，该系统可以监视和分配糖尿病患者中的胰岛素，另一个可以预测学生的GPA。在前者中，研究人员建立了Seldonian框架，以确保该系统在学习优化剂量时不会使患者陷入车祸。在后者中，他们试图防止性别偏见。
这两个实验都证明是有效的，并且据研究人员称，这已成功证明Seldonian算法可以抑制不良行为。
当前的AI开发范例将消除偏见的负担加在了最终用户身上。例如，执法部门使用的面部识别技术亚马逊的Rekognition软件，如果降低了准确度阈值，则效果最好，但在这种水平上显示出明显的种族偏见。使用该软件的警察必须选择是否要道德地或成功地使用该技术。
Seldonian框架应减轻最终用户的负担，并将其放在开发者身上。通过包括适当的缓解算法(例如，告诉机器“无种族偏见”的信息)，可以消除有害偏见的可能性，同时仍允许软件运行。
这是数学上完成的。研究人员演示了几种简单的算法，这些算法用机器可以理解的术语表达不需要的行为。因此，Seldonian算法没有告诉机器“不要让性别偏见影响您的GPA预测”，而是更准确地预测每个人的GPA，但不要让预测的GPA与实际GPA之间的差异超出一定范围。考虑性别的门槛。”
研究人员希望，随着团队的进一步发展，该框架可以做的事情不仅仅是彻底改革当前的AI技术：
使用我们的框架设计的算法不仅是现有应用中ML算法的替代品，我们希望他们能为以前认为使用ML风险太大的新应用铺平道路。
对无人驾驶汽车和自动驾驶机器人之类的近期技术的影响是巨大的，这实质上是阿西莫夫(Asimov)的“机器人法则”的基础。如果开发人员可以保证学习机不会出现危险行为或突然决定进行优化，他们的编程方式涉及伤害或监禁人类，我们可能正处在AI黄金时代的边缘。
