人工智能技术文章
-
- vLLM OpenAI 兼容服务怎样限制并发请求
- vLLM OpenAI 兼容服务的并发限制要分三层:入口请求队列、运行态序列数和 token 预算。本文给出启动参数组合、503 边界与客户端退避思路。
- 科技周边 · 人工智能 | 2星期前 | 并发控制 · 并发请求 vLLM 推理服务 OpenAI兼容服务 392浏览 收藏
-
- Transformers BitsAndBytesConfig 怎样设置 4-bit 计算类型
- Transformers 的 4-bit 配置容易把量化类型、计算类型和其它模块 dtype 混在一起。本文用 BitsAndBytesConfig 拆开三者边界,给出 NF4、bfloat16、dtype=auto 和 device_map 的实用配置方法。
- 科技周边 · 人工智能 | 2星期前 | 人工智能 · Transformers bitsandbytes 4-bit量化 BitsAndBytesConfig bnb_4bit_compute_dtype 347浏览 收藏
-
- Transformers generate 怎样区分 output_scores 与 output_logits
- Transformers generate 的 output_scores 与 output_logits 都保存生成步分数,但前者是经过生成处理的 scores,后者更接近未处理的模型 logits。本文说明返回开关、数据结构和实际选择方法。
- 科技周边 · 人工智能 | 2星期前 | Transformers generate output_scores output_logits 393浏览 收藏
-
- RAG 应用怎样用检索评估区分召回和生成问题
- RAG 应用排障不能只盯着最终答案。本文用 context_recall、context_precision、faithfulness 和 answer_correctness 拆分检索与生成问题,并给出一套可接入回归集的评估方法。
- 科技周边 · 人工智能 | 2星期前 | 476浏览 收藏
-
- OpenTelemetry OTTL 怎样按条件修改日志属性
- 用 OTTL set where 按服务与字段条件补日志属性,提供 Collector 配置,并说明资源层级、缺失值、覆盖、条件组合与错误策略。
- 科技周边 · 人工智能 | 2星期前 | 172浏览 收藏
-
- OpenTelemetry Go 编译期插桩怎样接入服务
- OpenTelemetry Go 编译期插桩通过 otelc 接管 Go 构建,在不修改业务源码的情况下为支持的依赖注入遥测。本文说明安装、构建替换、OTLP 环境变量、容器接入和与手工埋点及 eBPF 的边界。
- 科技周边 · 人工智能 | 2星期前 | go · 可观测性 · Go OpenTelemetry OTLP otelc 编译期插桩 348浏览 收藏
-
- Gemini API 内置 URL Context 怎样处理网页资料
- 本文围绕 Gemini API 内置 URL Context,说明如何提交公开网页、如何读取 URL 引用与检索状态,以及 20 个 URL、34MB、登录墙和私有网络等输入边界。
- 科技周边 · 人工智能 | 2星期前 | 204浏览 收藏
-
- Gemini Interactions API 怎样保存多轮会话状态
- 通过 previous_interaction_id 继续 Gemini 多轮会话,说明游标持久化、每轮配置、并发分支与保留期限,并提供 Python 示例。
- 科技周边 · 人工智能 | 2星期前 | 187浏览 收藏
-
- Gemini API 函数调用怎样串联多个工具
- 用 Gemini API 串联多个工具时,关键是把工具声明、模型决策、本地执行和结果回传拆开,并用依赖顺序控制调用链。
- 科技周边 · 人工智能 | 2星期前 | 265浏览 收藏
-
- AI 应用怎样记录 token 用量和请求追踪信息
- 用 OpenTelemetry 的 trace、metric 和结构化日志记录 AI 应用的 token 用量与请求追踪信息,并比较日志、Collector 和厂商 SDK 的适用边界。
- 科技周边 · 人工智能 | 2星期前 | token · ai · 323浏览 收藏
-
- LangChain 怎样把工具调用结果映射到消息历史
- LangChain 的工具调用不是把返回值自动塞进任意列表,而是要用 AIMessage 中的调用记录和匹配的 ToolMessage 组成连续消息历史;工具还需要改状态时,再通过 Command 同时写回 messages 和自定义状态。
- 科技周边 · 人工智能 | 2星期前 | python · 工具调用 · LangChain Command AIMessage ToolMessage tool_call_id 消息历史 250浏览 收藏
-
- Safetensors 怎么只读取指定权重并查看文件元数据
- Safetensors 文件可以先通过 safe_open 查看权重键和文件级元数据,再按目标键读取单个张量。本文说明 get_tensor、get_slice、metadata 的分工,并处理缺键、空元数据和分片模型边界。
- 科技周边 · 人工智能 | 2星期前 | 256浏览 收藏
-
- ONNX Runtime 怎样为不同硬件选择执行提供者
- ONNX Runtime 的执行提供者应结合硬件、依赖、算子覆盖与模型形状选择。本文说明 CUDA、TensorRT、OpenVINO、DirectML 和 CoreML 的候选范围,提供注册顺序与性能比较示例,区分可用、注册和实际分配。
- 科技周边 · 人工智能 | 2星期前 | 371浏览 收藏
-
- PyTorch torch.compile 怎样定位图断裂原因
- torch.compile 变慢或日志出现多个 FX 图时,先用 eager 基线排除代码错误,再用 fullgraph=True、TORCH_LOGS=graph_breaks 和 torch._dynamo.explain 定位断点。本文按值班手册给出改写、隔离和回退路径。
- 科技周边 · 人工智能 | 2星期前 | 性能排查 · PyTorch 性能排查 torch.compile TorchDynamo 图断裂 fullgraph 475浏览 收藏
查看更多
课程推荐
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- Golang深入理解GPM模型
- Golang深入理解GPM调度器模型及全场景分析,希望您看完这套视频有所收获;包括调度器的由来和分析、GMP模型简介、以及11个场景总结。
- 474次学习
查看更多
AI推荐
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1151次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1137次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1313次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1254次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1108次使用

