【美国学生们因人工智能监控误报被叫到办公室，甚至被逮捕】
[什么叫“监控大国”，你不知道就等于“没有”。]
（美联社）莱斯利·马西斯知道女儿说错了话。但她没想到，这个13岁的女孩竟然会因此被捕。
这名少女在与同学网上聊天时讲了一个冒犯性的笑话，触发了学校的监控软件。
上午还没结束，这位田纳西州八年级学生就被逮捕了。她的母亲说，她被审问、脱衣搜身，并在牢房里过了一夜。
当天早些时候，她的朋友们还取笑她黝黑的肤色，称她为“墨西哥人”，尽管她其实不是。当一位朋友问她周四有什么计划时，她写道：“周四我们要把所有墨西哥人都杀光。”
马西斯表示，这些言论“错误”且“愚蠢”，但实际情况表明，这些言论并不构成威胁。
“这让我不禁想，这就是我们生活的美国吗？”马西斯谈起女儿被捕的事时说道。“而这愚蠢至极的技术，只会随机挑选单词，却不考虑上下文。”
美国学校的监控系统越来越多地监控学生在学校账户和设备上的所有内容。全国数千个学区使用 Gaggle 和 Lightspeed Alert 等软件来追踪孩子们的在线活动，寻找他们可能伤害自己或他人的迹象。借助人工智能，技术可以深入到在线对话中，并立即通知学校官员和执法部门。
教育工作者表示，这项技术拯救了生命。但批评人士警告称，它可能会因儿童言语不慎而使其面临刑事定罪。
民主与技术中心主任伊丽莎白·莱尔德说：“它使执法人员能够例行进入学生的生活，包括在家里。”
——学校加强对威胁的警惕
美国民众对校园枪击事件深恶痛绝，多个州对校园威胁采取了更强硬的立场。田纳西州就是其中之一，该州于2023年通过了一项零容忍法律，要求任何针对学校的大规模暴力威胁必须立即向执法部门报告。
2023年8月被捕的这名13岁女孩当时正在使用与她就读的费尔维尤中学（Fairview Middle School）学校邮箱绑定的聊天功能与朋友们发短信，而该校使用Gaggle监控学生的账户。（美联社为保护女孩的隐私，隐去了她的姓名。该学区尚未回应置评请求。）
根据他们向学校系统提起的诉讼，这名少女被带入监狱，遭到审问和脱衣搜身，她的父母直到第二天才被允许与她交谈。她不知道为什么父母不在场。
“她后来告诉我，‘我以为你恨我。’这种感觉一直萦绕在我的心头，”女孩的母亲马西斯说道。
法院下令对女孩进行八周的软禁、心理评估以及二十天的替代学校教育。
Gaggle 首席执行官杰夫·帕特森 (Jeff Patterson) 在接受采访时表示，学校系统并没有按照 Gaggle 的初衷来使用它。他表示，Gaggle 的目的是发现早期预警信号，并在问题升级到执法部门之前进行干预。
帕特森说：“我希望这是一个教育的时刻，而不是执法的时刻。”
——学生私人聊天面临意想不到的审查
佛罗里达州教育律师沙哈尔·帕施 (Shahar Pasch) 表示，那些以为自己在朋友之间进行私人聊天的学生往往没有意识到自己正受到持续监视。
她代理的一名少女在 Snapchat 的私人故事中开了个关于校园枪击案的玩笑。Snapchat 的自动检测软件发现了这条评论，并向联邦调查局报警，几个小时后，女孩就在校园里被逮捕。
16岁的亚历克莎·曼加尼奥蒂斯（Alexa Manganiotis）表示，监控软件的运行速度之快让她感到震惊。她就读的西棕榈滩德雷福斯艺术学校（Dreyfoos School of the Arts）去年试用了监控程序“光速警报”（Lightspeed Alert）。亚历克莎在为校报采访一位老师时发现，两名学生曾在学校电脑上输入了一些威胁该老师的言论，然后又删除了。“光速警报”截获了这些内容，“大约五分钟后，他们就被带走了，”亚历克莎说。
Alexa 表示，青少年在网上发表的内容比成年人面临更严重的后果。
她说：“如果一个成年人在电脑上讲了一个极具威胁性的种族主义笑话，他们可以删除它，而且不会被逮捕。”
Lightspeed Systems 公司参谋长艾米·贝内特 (Amy Bennett) 表示，该软件通过识别欺凌、自残、暴力或虐待的早期预警信号，帮助人手不足的学校“采取主动而非惩罚措施”。
这项技术还可以帮助执法部门应对心理健康危机。佛罗里达州波尔克县学校（一个拥有超过10万名学生的学区）的学校安全项目在四年内收到了近500次Gaggle警报，官员们在教育委员会的公开会议上表示。这导致72起根据《贝克法案》的非自愿住院案件。该州法律允许当局在学生对自己或他人构成风险时，强制要求其进行心理健康评估。
南方贫困法律中心的律师萨姆·博伊德表示：“很多经历过非自愿检查的孩子都认为这是一次非常痛苦且有害的经历——这对他们的心理健康没有任何帮助。”波尔克学区和西棕榈滩学区尚未发表评论。
——分析显示误报率很高
学校可以用来评估软件有效性的信息（例如错误警报率）被科技公司严格掌握，除非学校自己跟踪数据，否则无法公开。
最近10个月里，Gaggle向堪萨斯州劳伦斯学区报告了1200多起事件。但美联社通过公共记录请求收到的数据分析显示，其中近三分之二的警报被学校官员视为无关紧要，其中包括200多起学生作业时误报的事件。
一门摄影课的学生因担心Gaggle检测到裸体照片而被叫到校长办公室。这些照片已从学生的谷歌云端硬盘中自动删除，但已在自己的设备上备份被标记图片的学生表示，这只是一场误报。学区官员表示，他们后来调整了软件设置，以减少误报。
2024 年毕业的娜塔莎·托克扎班 (Natasha Torkzaban) 表示，她因编辑朋友的大学论文而受到举报，因为论文中有“心理健康”字样。
“我认为，理想情况下，我们不会把一个新奇的人工智能解决方案强加于美国青少年心理健康和自杀率等根深蒂固的问题上，但我们现在就面临这个问题，”托克扎班说道。她是劳伦斯高中一群学生记者和艺术家之一，她们上周对学校系统提起诉讼，指控Gaggle对他们实施了违宪监控。
学校官员表示，他们非常重视对 Gaggle 的担忧，但也表示该技术已检测到数十起迫在眉睫的自杀或暴力威胁。
教育委员会成员安妮·科斯特洛 (Anne Costello) 在 2024 年 7 月的一次董事会会议上表示：“有时你必须从更大的利益出发来看待交易。”
经历磨难两年后，马西斯说女儿的情况有所好转，但她仍然“害怕”碰到逮捕她的校警。她说，女儿就读的另类学校的老师们充满同情心，这让她感到欣慰。他们每天都会抽出时间，让孩子们分享自己的感受和挫折，而不会评头论足。
“就好像我们只是想让孩子们成为小士兵，但他们不是，”马西斯说。“他们只是凡人。”
