golang专题下共有 13994 篇文章
-
- Golang调用TensorRT-LLM优化教程
- 是的,使用Golang调用TensorRT-LLM可提升大模型推理性能。1.通过安装CUDA、cuDNN和TensorRT并使用Docker管理依赖;2.安装TensorRT-LLM并转换模型格式;3.编写C++代码加载模型并通过CGO封装为Golang可用接口;4.使用Golang并发特性实现高效推理服务。量化策略方面,FP16精度损失小且性能好,INT8需校准以减少精度损失,FP8兼顾性能与精度,选择时应结合基准测试、校准、迭代优化及硬件支持。数据传递上,使用C.malloc分配内存并用deferC.
- 科技周边· 人工智能 | 7个月 | golang 并发处理 CGO TensorRT-LLM 大模型推理 263浏览 收藏
-
- Golang网络连接优化技巧分享
- 合理配置HTTPTransport复用机制可显著提升性能。1.增大MaxIdleConns至1000,提高MaxIdleConnsPerHost至100,设置IdleConnTimeout为45秒;2.全局复用http.Client实例,避免连接池分散;3.启用Keep-Alive并匹配服务端配置;4.监控QPS、延迟、连接命中率及资源使用,持续调优。正确配置后延迟可降30%以上。
- Golang· Go教程 | 1个月 | golang 网络连接复用 263浏览 收藏
查看更多
课程推荐
-
- Golang深入理解GPM模型
- Golang深入理解GPM调度器模型及全场景分析,希望您看完这套视频有所收获;包括调度器的由来和分析、GMP模型简介、以及11个场景总结。
- 474次学习
-
- Go语言课程Gin框架实战
- Gin是一个用Go(Golang)编写的HTTPweb框架。它是一个类似于 martini 但拥有更好性能的API框架,由于 httprouter,速度提高了近40倍。如果你需要极好的性能,使用Gin吧。
- 339次学习
-
- Golang云原生架构师课程
- Go是一门并发支持、垃圾回收的编译型系统编程语言;本课程转载自哔哩哔哩:https://www.bilibili.com/video/BV1Mh411M7A
- 205次学习
-
- Go编程基础视频教程
- Go是一门并发支持、垃圾回收的编译型系统编程语言,旨在创造一门具有在静态编译语言的高性能和动态语言的高效开发之间拥有良好平衡点的一门编程语言。我们收集了这套《Go编程基础视频教程》,希望能够帮助大家更好的学习go语言。
- 168次学习
-
- Golang进阶实战编程
- 本课程是在《Go语言基础视频》基础之上录制的,是Go语言基础的后半部分。包括包的管理,IO操作,Go语言最大的亮点:高并发,goroutine,channel,反射等。本视频主要为了帮助Go语言的初学者,从零到一的快速入门。学完本套课程,可以学会如果通过包管理Go项目,并发模型,以及并发实现,channel通道如何传递数据,反射等等。
- 129次学习

