Magika 1.0：谷歌AI文件识别工具升级，支持更多格式与优化性能

Magika 1.0：全面升级，性能与功能双提升

谷歌近日推出了基于人工智能的文件类型检测工具Magika 1.0，这是其首个稳定版本，采用Rust语言进行重构，旨在提升速度和内存安全性。

Magika自去年开放源代码以来，已在开源社区得到广泛应用，每月下载量超过100万次。此次更新引入了全新的架构，并支持更多文件类型。

核心引擎采用Rust，性能显著提升

Magika 1.0的核心引擎已完全采用Rust重写，使得其性能和内存安全性得到显著提升。此外，它还提供了原生的Rust命令行工具，能够在单核CPU上每秒识别数百个文件，并在多核CPU上扩展至每秒数千个。

支持多种文件格式，增强识别能力

Magika 1.0的文件类型支持能力扩展至200多种，包括数据科学与机器学习、现代编程与网页开发、DevOps与配置文件、数据库与图形格式等。例如，它支持Jupyter Notebooks、Numpy、PyTorch、ONNX、Apache Parquet、SQLite、AutoCAD、Photoshop等。

此外，Magika 1.0还提升了区分相似格式的能力，例如可以分别识别JSONL与JSON、TSV与CSV、Apple二进制plist与XML plist，以及区分C与C++、JavaScript与TypeScript等语言文件。

技术实现挑战与优化

在技术实现上，Magika团队面临了训练数据规模庞大与部分文件类型样本稀缺的挑战。为此，谷歌采用自研的SedPack数据集库，通过流式加载与解压技术实现高效训练。同时，使用生成式AI工具Gemini创建高质量的合成训练数据，以增强模型的泛化能力。

易于集成与使用

Magika 1.0同步更新了Python与TypeScript模块，简化了开发者在各语言中的集成过程。用户可通过简单命令在Linux、macOS或Windows上安装原生客户端，或使用pipx install magika安装Python包。

谷歌表示，Magika的未来发展将持续聚焦于性能优化与文件类型扩展，并鼓励开发者社区参与贡献。