SHARK Studio下载 - SHARK Studio源代码下载

SHARK Studio

Python

nod.ai SHARK 20240531.1300

下载

鲨鱼

高性能机器学习分布

我们目前正在重建鲨鱼以利用涡轮机。在完成此操作之前，请确保您使用.exe释放或SHARK-1.0分支的结帐，以进行工作鲨鱼

先决条件 - 驱动程序

安装Windows硬件驱动程序

[AMD RDNA用户]在此处下载最新的驱动程序（23.2.1是最古老的驱动程序）。
[MACOS用户]从此处下载并安装1.3.216 Vulkan SDK。 SDK的较新版本将不起作用。
[NVIDIA用户]从此处下载并安装最新的CUDA / VULKAN驱动程序

Linux驱动程序

MESA / RADV驱动器无法与FP16一起使用。请使用最新的AMGPU-PRO驱动程序（非Pro OSS驱动程序也无法工作）或最新的NVIDIA Linux驱动程序。

其他用户请确保您从这里使用最新的供应商驱动程序和Vulkan SDK，如果您使用的是Vulkan Check Check vulkaninfo在终端窗口中工作

Windows 10/11用户的鲨鱼稳定扩散的快速启动

从（先决条件）[https://github.com/nod-ai/shark-studio#install-your-hardware-drivers]中安装驱动程序

下载稳定版本或最新的鲨鱼1.0预释放。

双击.EXE，或从命令行（推荐）运行，您应该在浏览器中使用UI。

如果您有自定义模型，则将它们放在.exe所在的models/目录中。

享受。

更多安装说明

*我们建议您在下载新的EXE版本时，将EXE下载到新文件夹中。如果您将其与上一个安装的同一文件夹下载，则必须使用`rm *.vmfb`删除旧的` *.vmfb`文件。您也可以使用`-clear_all`标志一次清洁所有旧文件。 *如果您最近更新了驱动程序或此二进制文件（EXE文件），我们建议您清除所有本地文物，并用```clear_all''

跑步

打开命令提示符或PowerShell终端，将文件夹（ cd ）更改为.EXE文件夹。然后从命令提示符中运行EXE。这样，如果发生错误，您将能够将其剪切并寻求帮助。（如果它总是为您工作而没有错误，则可以双击EXE）
第一次运行可能需要几分钟下载和编译模型。感谢您的耐心。下载约为5GB。
您可能会看到Windows Defender消息，要求您授予打开Web服务器端口的权限。接受它。
打开浏览器以访问稳定的扩散Web服务器。默认情况下，端口为8080，因此您可以访问http：// localhost：8080/。
如果您希望始终在浏览器中运行，请在运行EXE时使用--ui=web命令参数。

停下来

选择正在运行EXE的命令提示符。按CTRL-C，等待片刻或关闭终端。

高级安装（仅适用于开发人员）

开发人员的高级安装（Windows，Linux和MacOS）

Windows 10/11用户

如果您还没有，请从这里安装Windows的Git。

查看代码

git clone https://github.com/nod-ai/SHARK.git
cd SHARK

切换到正确的分支（重要！）

目前，鲨鱼正在main分支上为涡轮机重建。目前，除非您正在进行重建工作，否则您强烈不鼓励使用main ，并且不应该期望那里的代码生成图像生成的工作应用程序，因此现在您需要切换到SHARK-1.0分支并使用稳定的代码。

git checkout SHARK-1.0

以下设置说明假定您在此分支上。

设置您的Python Virtualenvorment和依赖项

Windows 10/11用户

从此处安装最新的Python 3.11.x版本

允许安装脚本在PowerShell中运行

 set-executionpolicy remotesigned

设置VENV并安装必要的软件包（Torch-Mlir，Nodlabs/Shark，...）

. / setup_venv.ps1 # You can re-run this script to get the latest version

Linux / MacOS用户

./setup_venv.sh
source shark1.venv/bin/activate

在设备上运行稳定的扩散-WebUI

Windows 10/11用户

(shark1.venv) PS C:gshark > cd .appsstable_diffusionweb
(shark1.venv) PS C:gsharkappsstable_diffusionweb > python .index.py

Linux / MacOS用户

(shark1.venv) > cd apps/stable_diffusion/web
(shark1.venv) > python index.py

访问稳定的扩散在http：// localhost：8080/？__theme = dark

在设备上运行稳定的扩散-Commandline

Windows 10/11用户

(shark1.venv) PS C:gshark > python .appsstable_diffusionscriptsmain.py -- app = " txt2img " -- precision = " fp16 " -- prompt = " tajmahal, snow, sunflowers, oil on canvas " -- device = " vulkan "

Linux / MacOS用户

python3.11 apps/stable_diffusion/scripts/main.py --app=txt2img --precision=fp16 --device=vulkan --prompt= " tajmahal, oil on canvas, sunflowers, 4k, uhd "

您可以用cpu替换vulkan ，以在CPU上或使用cuda运行以在CUDA设备上运行。如果您有多个Vulkan设备，则可以使用--device=vulkan://1等来解决它们

AMD 7900XTX上的输出看起来像：

Average step time: 47.19188690185547ms/it
Clip Inference time (ms) = 109.531
VAE Inference time (ms): 78.590

Total image generation time: 2.5788655281066895sec

这是生成的一些样本：

Tajmahal，雪，向日葵，canvas_0上的油

螃蟹玩小号的照片

如果您在硬件上运行它有任何麻烦，请在Shark Discord服务器上找到我们。

二进制安装

设置新的PIP虚拟环境

此步骤为Python设置了一个新的Virtualenv

python --version # Check you have 3.11 on Linux, macOS or Windows Powershell
python -m venv shark_venv
source shark_venv/bin/activate   # Use shark_venv/Scripts/activate on Windows

# If you are using conda create and activate a new conda env

# Some older pip installs may not be able to handle the recent PyTorch deps
python -m pip install --upgrade pip

MACOS金属用户请安装https://sdk.lunarg.com/sdk/download/latest/mac/vulkan-sdk.dmg，并启用“系统宽安装”

安装鲨鱼

此步骤PIP在Linux Python 3.8、3.10和3.11以及MacOS / Windows Python 3.11上安装鲨鱼和相关软件包

pip install nodai-shark -f https://nod-ai.github.io/SHARK/package-index/ -f https://llvm.github.io/torch-mlir/package-index/ -f  https://nod-ai.github.io/SRT/pip-release-links.html --extra-index-url https://download.pytorch.org/whl/nightly/cpu

运行鲨鱼罐模型测试。

pytest tank/test_models.py

有关我们的Pytest Suite和CLI的更详细的演练，请参见Tank/readme.md。

下载并运行Resnet50样本

curl -O https://raw.githubusercontent.com/nod-ai/SHARK/main/shark/examples/shark_inference/resnet50_script.py
# Install deps for test script
pip install --pre torch torchvision torchaudio tqdm pillow gsutil --extra-index-url https://download.pytorch.org/whl/nightly/cpu
python ./resnet50_script.py --device= " cpu "  # use cuda or vulkan or metal

下载并运行BERT（Minilm）样本

curl -O https://raw.githubusercontent.com/nod-ai/SHARK/main/shark/examples/shark_inference/minilm_jit.py
# Install deps for test script
pip install transformers torch --extra-index-url https://download.pytorch.org/whl/nightly/cpu
python ./minilm_jit.py --device= " cpu "  # use cuda or vulkan or metal

开发，测试和基准

如果要使用python3.11并使用TF导入工具，则可以使用以下环境变量，例如：set USE_IREE=1用于上游iree

 # PYTHON=python3.11 VENV_DIR=0617_venv IMPORTER=1 ./setup_venv.sh

通过测试框架运行数百种鲨鱼坦克型号

python -m  shark.examples.shark_inference.resnet50_script --device= " cpu " # Use gpu | vulkan
# Or a pytest
pytest tank/test_models.py -k " MiniLM "

如何将本地建造的IREE / TORCH-MLIR与鲨鱼一起使用

如果您是Torch-Mlir开发人员或IREE开发人员，并且希望测试本地更改，则可以使用pip uninstall torch-mlir和 /或pip uninstall iree-compiler iree-runtime ，并在本地构建Python bitthon bitthon，并在此处提到的IREE和此处提到的Torch-Mlir，并将其设置为Pythonth。

如何将本地建造的火炬与鲨鱼一起使用：

1.) Run ` ./setup_venv.sh in SHARK ` and activate ` shark.venv ` virtual env.
2.) Run ` pip uninstall torch-mlir ` .
3.) Go to your local Torch-MLIR directory.
4.) Activate mlir_venv virtual envirnoment.
5.) Run ` pip uninstall -r requirements.txt ` .
6.) Run ` pip install -r requirements.txt ` .
7.) Build Torch-MLIR.
8.) Activate shark.venv virtual environment from the Torch-MLIR directory.
8.) Run ` export PYTHONPATH= ` pwd ` /build/tools/torch-mlir/python_packages/torch_mlir: ` pwd ` /examples ` in the Torch-MLIR directory.
9.) Go to the SHARK directory.

现在，鲨鱼将使用您的本地构建火炬 - 马里尔仓库。

基准调度

要产生单个调度的基准，您可以添加--dispatch_benchmarks=All --dispatch_benchmarks_dir=<output_dir>到您的pytest命令行参数。如果您只想编译特定的调度，则可以用空格分离字符串而不是"All"指定它们。例如 - --dispatch_benchmarks="0 1 2 10"

例如，在CUDA上生成和运行Minilm的调度基准：

 pytest -k "MiniLM and torch and static and cuda" --benchmark_dispatches=All -s --dispatch_benchmarks_dir=./my_dispatch_benchmarks

给定命令将填充<dispatch_benchmarks_dir>/<model_name>/带有ordered_dispatches.txt ，列出并列出并订购了调度及其潜伏期，以及包含.mlir，.vmfb的每个调度文件夹，以及该调度的基准标记的结果。

如果您想将其合并到Python脚本中，则可以在初始化SharkInference时传递dispatch_benchmarks和dispatch_benchmarks_dir命令，并且在编译时将生成基准测试。例如：

 shark_module = SharkInference(
        mlir_model,
        device=args.device,
        mlir_dialect="tm_tensor",
        dispatch_benchmarks="all",
        dispatch_benchmarks_dir="results"
    )

输出将包括：

所有调度的订购列表dispatches.txt及其运行时
在指定的目录中，每个调度都会有一个目录（所有调度都会有MLIR文件，但仅编制了指定调度的二进制文件和基准数据）
一个.mlir文件，其中包含调度基准
一个包含调度基准的编译.VMFB文件
一个.mlir文件仅包含HAL可执行文件
HAL可执行文件的编译.VMFB文件
一个包含基准输出的.TXT文件

有关如何从鲨鱼罐中运行模型测试和基准测试的进一步说明，请参见Tank/readme.md。

API参考

鲨鱼推理API


from shark.shark_importer import SharkImporter

# SharkImporter imports mlir file from the torch, tensorflow or tf-lite module.

mlir_importer = SharkImporter(
    torch_module,
    (input),
    frontend="torch",  #tf, #tf-lite
)
torch_mlir, func_name = mlir_importer.import_mlir(tracing_required=True)

# SharkInference accepts mlir in linalg, mhlo, and tosa dialect.

from shark.shark_inference import SharkInference
shark_module = SharkInference(torch_mlir, device="cpu", mlir_dialect="linalg")
shark_module.compile()
result = shark_module.forward((input))

演示运行MHLO IR的示例。

 from shark.shark_inference import SharkInference
import numpy as np

mhlo_ir = r"""builtin.module  {
      func.func @forward(%arg0: tensor<1x4xf32>, %arg1: tensor<4x1xf32>) -> tensor<4x4xf32> {
        %0 = chlo.broadcast_add %arg0, %arg1 : (tensor<1x4xf32>, tensor<4x1xf32>) -> tensor<4x4xf32>
        %1 = "mhlo.abs"(%0) : (tensor<4x4xf32>) -> tensor<4x4xf32>
        return %1 : tensor<4x4xf32>
      }
}"""

arg0 = np.ones((1, 4)).astype(np.float32)
arg1 = np.ones((4, 1)).astype(np.float32)
shark_module = SharkInference(mhlo_ir, device="cpu", mlir_dialect="mhlo")
shark_module.compile()
result = shark_module.forward((arg0, arg1))

使用REST API的示例

设置鲨鱼与搅拌机一起使用
设置鲨鱼与KoboldCPP一起使用

受支持和验证的模型

鲨鱼的维持是为了支持ML模型中的最新创新：

TF拥抱面模型	鲨鱼CPU	鲨鱼库达	鲨鱼金属
伯特
Distilbert
GPT2
盛开
稳定的扩散
视觉变压器
RESNET50

有关鲨鱼支持的模型的完整列表，请参阅Tank/readme.md。

沟通渠道

鲨鱼不和谐服务器：与鲨鱼团队和其他用户的实时讨论
GitHub问题：功能请求，错误等

执照

NOD.AI鲨鱼已根据Apache 2.0许可证的条款获得许可，其LLVM例外。有关更多信息，请参见许可证。

展开

附加信息

版本 nod.ai SHARK 20240531.1300
类型 Python
更新时间 2025-07-12
大小 967.24KB
来自于 Github

SHARK Studio

鲨鱼

安装Windows硬件驱动程序

Linux驱动程序

Windows 10/11用户的鲨鱼稳定扩散的快速启动

跑步

停下来

开发人员的高级安装（Windows，Linux和MacOS）

Windows 10/11用户

查看代码

切换到正确的分支（重要！）

设置您的Python Virtualenvorment和依赖项

Windows 10/11用户

允许安装脚本在PowerShell中运行

设置VENV并安装必要的软件包（Torch-Mlir，Nodlabs/Shark，...）

Linux / MacOS用户

在设备上运行稳定的扩散-WebUI

Windows 10/11用户

Linux / MacOS用户

访问稳定的扩散在http：// localhost：8080/？__theme = dark

在设备上运行稳定的扩散-Commandline

Windows 10/11用户

Linux / MacOS用户

设置新的PIP虚拟环境

安装鲨鱼

运行鲨鱼罐模型测试。

下载并运行Resnet50样本

下载并运行BERT（Minilm）样本

通过测试框架运行数百种鲨鱼坦克型号

如何将本地建造的IREE / TORCH-MLIR与鲨鱼一起使用

基准调度

鲨鱼推理API

演示运行MHLO IR的示例。

使用REST API的示例

受支持和验证的模型

沟通渠道

相关项目

执照