미국 상무부의 기술을 개발하고 시험하는 기관 인 미국 기준 기술 연구소(NIST)는 악의적인 공격 - 특히 '독극물'로 AI 모델 훈련 데이터를 공격하는 것이 AI 시스템의 성능을 어떻게 저하시키는지 측정하기 위해 설계된 테스트베드를 재발표했습니다.
Dioptra (고전천문 및 측량기구의 이름에서 파생된 것)는 2022년에 처음으로 릴리스된 모듈식 오픈 소스 웹 기반 도구로, 회사가 AI 모델을 훈련하고 이 모델을 사용하는 사람들이 AI 위험을 평가, 분석하고 추적하는 데 도움을 주기 위해 개발되었습니다. NIST는 Dioptra가 모델을 벤치마킹하고 연구하는 데 사용될 수 있으며 '레드 팀' 환경에서 모델에 모의 위협을 노출하는 데 공통 플랫폼을 제공할 수 있다고 전합니다.
“머신러닝 모델에 대한 적대적 공격의 영향을 테스트하는 것이 Dioptra의 목표 중 하나입니다,” NIST는 보도 자료에서 썼습니다. “무료로 다운로드할 수 있는 이 오픈 소스 소프트웨어는 정부 기관 및 중소기업을 포함한 커뮤니티들이 AI 개발자들이 자신들의 시스템 성능에 대한 주장을 평가하기 위한 평가를 실시하는 데 도움을 줄 수 있습니다.”
Dioptra는 AI가 남용되어 비동의적 성적 영상을 생성하는 등 AI의 위험을 완화하는 방법을 제시하는 NIST 및 NIST의 최근에 설립된 AI 안전 연구소의 문서와 함께 데뷔했습니다. 마찬가지로 모델의 능력과 전반적인 모델 안전성을 평가하기 위해 설계된 도구 세트 인 U.K. AI Safety Institute의 Inspect도 데뷔했습니다. 미국과 영국은 작년 11월 영국 블레치리 공원에서 개최된 영국 AI 안전 정상회의에서 발표된 것처럼, 고급 AI 모델 테스트를 공동으로 개발하는 데 관한 파트너십을 진행 중에 있습니다.
그러나 NIST는 Dioptra가 모델의 위험을 완전히 제거할 수 있다고 주장하지는 않습니다. 그러나 기관은 Dioptra가 어떤 유형의 공격이 AI 시스템의 성능을 효과적으로 낮추게 만드는지 밝히고 이러한 영향을 성능에 대해 양적으로 측정할 수 있다고 제안합니다.
그러나 주요 제한 사항 중 하나로 Dioptra는 Meta의 확장 Llama 패밀리와 같이 다운로드하여 로컬에서 사용할 수있는 모델에서만 바로 사용할 수 있습니다. OpenAI의 GPT-4o와 같이 API 뒤에 숨겨진 모델은 당분간 사용할 수 없습니다.
