deepmark
1.0.0
DeepMark AI在大型语言模型（LLM）中进行选择时，可以使生成性AI构建者做出明智的决定，从而可以在您自己的数据上对各种LLM进行无缝评估，因此您的AI应用程序具有可预测且可靠的性能。
普华永道最近的一项研究显示，到2030年，人工智能（AI）预计将为全球经济贡献约15.7万亿美元。随着AI在各个领域继续发挥关键作用，生成的AI和大型语言模型（LLM）已成为创建能够产生巨大业务价值的AI驱动应用程序的强大构件，并且生成AI是这些应用程序中的关键元素。
AI在过去十年中引发了一场革命，现在是麻省理工学院（https://horizon.mit.edu/about-us）的AI主题专家相信，生成的AI将进一步改变几个领域，例如代码开发，聊天机器人，音频/视频。随着OpenAI等生成AI公司及其产品（例如Chatgpt）的发展，AI与Gen Gen有法律，道德和信任问题。这些挑战使需要对产品进行良好评估，包括需要改善或对推动整体技术的各种模型进行排名的指标。这也是当今几家公司适应Genai的障碍。
根据HBR的最新报告：生成AI无法以设定和验证的基础运行 - 工具需要不断监督。
尽管评估指标是明确定义的，并且通常会在发布LLM模型时立即评估内在指标，但是没有可用的工具（开源或专有工具）使开发人员能够无缝地对其独特数据进行任务特定（内在的）评估。接近它的唯一解决方案是Langchain Langsmith，它仍处于封闭状态，并且不足以提供对采用必不可少的全面外部指标。
总而言之，组织需要能够在其数据上评估LLM模型，以提供可验证的结果，以平衡准确性，精度，召回率（模型在给定数据集中正确识别正面案例的能力）和可靠性，因为模型可以为相同的提示产生不同的答案，从而阻碍用户评估产出精度的能力。
为了应对这一可靠性挑战，我们（Ingestai Labs）开发了DeepMark AI，这是一种基准测试工具，可以在您自己的数据上评估各种外部（特定于任务）指标的大型语言模型（LLM）。它与领先的生成AI API（例如GPT-4，人类，GPT-3.5 Turbo，Cohere，AI21等）进行了预先建立的整合。
当前的Genai（LLM）评估指标
在评估LLMS的性能时，可以使用两种主要类型的指标类型：内在和外在。
内在指标的示例包括，但不限于
外部指标，或称为特定任务指标，可能包括：
这些评估指标并不详尽，根据上下文和要求，特定的应用可能具有其他或替代指标，但是某些特定于任务的指标（例如延迟，准确性或成本）可以被视为最常用的指标。
DeepMark AI为语言模型（LLM）提供了独特的测试环境，使Genai开发人员可以在几秒钟内轻松诊断出不准确性和性能问题。通过使用DeepMark AI，生成的AI应用程序开发人员可以在特定任务（提问，情感分析，NER等）上运行数百或数千次迭代的LLM模型，并在几秒钟内获得精确的评估结果。
DeepMark AI是一种专门为生成AI构建器设计的工具。本解决方案重点介绍了外部（特定于任务）指标的迭代评估，以根据特定用例的独特需求确定最可预测，可靠和成本效益的生成AI模型。 DeepMark AI为各种重要的Genai性能指标提供了全面评估的功能，例如：
DeepMark AI在通过大型语言模型的最重要的性能指标进行导航时，使开发人员和组织有能力做出明智的决定。
用户采用：
自2023年2月推出以来，Ingestai Labs Plantorm（游乐场，AI聚合器，App Builder）已迅速成为社区驱动的平台，用于快速探索，实验和快速对各种AI用例的原型制作。
该平台获得了重要的行业认可：
在不到一年的时间里，Ingestai积累了超过40,000个人的令人印象深刻的用户群，每月有近15,000个活跃用户，并且在客户中和渠道中，纳斯达克交易的公司很少。这种牵引力的水平表明了该平台吸引和吸引用户并产生业务价值的能力。
可靠性是确定生成AI模型有效性的关键因素。 DeepMark.ai.ai通过在各种条件下评估模型性能并捕获潜在的故障点来提供全面的可靠性评估。这使开发人员能够确定改进的领域，并提高其AI应用程序的整体可靠性。
确保生成AI模型的准确性对于产生高质量输出至关重要。 DeepMark.ai.ai为开发人员提供了通过广泛的测试和验证程序严格评估其模型准确性的工具。通过利用先进的统计技术和比较方法，开发人员可以得出对其生成AI应用程序准确性的有意义的见解。
在部署生成AI模型之前，了解成本的影响对于优化资源分配和最大化投资回报率至关重要。 DeepMark.ai结合了成本分析，使开发人员能够对与在不同的Genai模型上运行其AI应用程序相关的财务要求进行精确估算。通过提供成本预测，deepmark.ai可以帮助开发人员做出明智的决定以实现成本效益的解决方案。
确保生成的产出的相关性至关重要，尤其是在使用生成AI来解决特定用例的应用中。 DeepMark.AI.AI通过为开发人员提供与所需标准进行比较的工具来促进相关性评估。这使开发人员可以微调其模型，并确保生成的内容与预期的目标和要求保持一致。
对生成AI模型的API的延迟评估对于提供高质量，有效的AI驱动应用至关重要。延迟表示在提出请求后获得响应所花费的时间，并且是性能的潜在指标。通过评估延迟，AI开发人员可以识别效率低下，并确保AI应用程序以最佳速度执行。这有助于总体用户满意度，并影响AI应用程序的可靠性和信誉。
评估和监视数百或数千个请求的失败率是评估生成AI应用鲁棒性的重要方面。 DeepMark.ai提供失败率评估功能，使开发人员可以在每秒数百到数千个请求中无缝跟踪失败率。通过提供对潜在故障模式的见解，deepmark.ai使开发人员可以主动解决问题并保持最佳绩效。
将Ingestai Labs开发的DeepMark.AI技术纳入AI开发中可以带来许多优势，包括：
DeepMark.ai通过为开发人员提供可靠的评估指标，成本估算和优化建议来确定可预测性和成本效益。这使开发人员有能力做出明智的决定，从而降低了与设计和部署生成AI应用程序相关的风险。
通过利用数据和严格，deepmark.ai使组织能够在评估生成AI模型时仅依靠直觉。这种数据驱动的方法灌输了对决策过程的信心，从而使AI应用程序开发更加精确和准确。
DeepMark.ai全面评估可靠性，准确性，相关性和成本效益的能力有助于提高AI应用程序的整体质量。通过持续的监视或定期评估，开发人员可以迭代地改善其模型的性能（例如改善元元素或微调），从而确保最佳性能和用户满意度。
Ingestai正在基于专有的比较数据集建立自己的偏见检测模型，该数据集由7,55多个不同的大型语言模型的多种请求和响应组成，这些请求和响应被标记和用于培训，测试和精炼偏见相关的上下文，实时检测和解决偏见和不安全建议和无手法提示或不安全提示或不安全或无效的识别。 DeepMark AI是一种基于AI应用程序开发人员的专有ML模型的工具，可靠地评估可预测性，准确性，成本效率和其他基准指标。通过优先考虑安全性，真实性，可预测性和成本效益，同时利用数据和严格性，DeepMark AI使开发人员能够构建高质量的可靠生成的AI驱动应用程序。 DeepMark AI凭借其全面的功能和好处，为寻求利用生成AI的真正潜力的组织开辟了新的可能性。
Docker图像：https：//hub.docker.com/r/embedditor/deepmark
您可以在Docker网页上找到详细说明。
安装Laravel
PHP工匠存储：链接
PHP工匠队列：表
PHP工匠迁移
在.env中设置Bearer_Token
使用P.5的令牌作为HTTP标头“ X-Bearer-Toke”
安装前端
npm inpm run dev ，或为生产版本npm run build
