中新网福州4月30日电，奇安信集团董事长齐向东于第八届数字中国建设峰会期间对媒体进行访谈，他指出，不断涌现的新兴应用场景，淋漓尽致地揭示了人工智能大型模型所蕴含的巨大生产力和创造力。然而，这项新技术如同双刃剑，在为应用带来诸多机遇的同时，也遭遇了三方面的挑战。
首先，我们需要关注的是“小数据”的潜在风险。众所周知，传统的大数据存在诸多问题，如碎片化和质量不一。然而，大模型所依赖的却是经过精心筛选和加工的“精华小数据”。若这些精华小数据遭到窃取、泄露或被恶意篡改，企业的核心竞争力将不可避免地受到损害。
其次，大模型面临“裸奔”的潜在威胁。此类模型在诸如智慧城市、工业控制系统以及智慧政务等关键领域深度应用，其风险已形成网络效应。据奇安信监测，众多Ollama大模型服务器处于“裸奔”状态，面临遭受攻击并导致业务中断的隐患。
第三点，需关注的是人工智能决策失误的风险。对AI系统的过度依赖，可能使得区分是非、真伪变得困难，黑客可能会利用系统漏洞或实施数据投毒等手段来干扰大型模型的决策过程。此外，当内部员工在更新知识库时若引入了错误信息，同样会污染模型的学习环境，进而导致错误的结论产生。
齐向东提出，为确保AI安全，需关注五个核心要素：首先，建立大模型安全的“红域”，并确立多层次的边界隔离；其次，强化权限管理，以用户身份作为新防线，加强网络与数据安全防护；再者，严格审查内容，打造覆盖大模型整个生命周期的内容安全管理体系；此外，以实战为出发点，提升大模型应用的安全性评估；最后，实现运营闭环，确保对安全威胁的实时监控和紧急处理。
