使用OpenAi的食品识别和营养估算
来源:dev.to
2025-02-11 20:19:00
0浏览
收藏
大家好,今天本人给大家带来文章《使用OpenAi的食品识别和营养估算》,文中内容主要涉及到,如果你对文章方面的知识点感兴趣,那就请各位朋友继续看下去吧~希望能真正帮到你们,谢谢!
这是您可以在短短20分钟内使用openai构建简单的食物识别和营养估算应用程序的方法 它的工作原理
>图像编码:图像被转换为base64格式,以通过openai的api处理。>食物识别提示:该应用将图像发送到openai,以识别食物及其各自的数量。
营养估计:使用另一个提示来估计基于确定的食品及其数量的营养价值。> 显示结果:使用gradio显示出估计的卡路里,蛋白质,脂肪和碳水化合物的值。
>
这是一个非常简单的代码,可以改进/更好地组织起来,但是想法是说明它可以轻松地创建一个简单的poc。 如果您正在从事有趣的项目,请在上与我联系
from openai import OpenAI from pydantic import BaseModel import base64 from typing import List import gradio as gr def encode_image(image_path): with open(image_path, "rb") as image_file: return base64.b64encode(image_file.read()).decode('utf-8') openai_api_key = "key" client = OpenAI(api_key=openai_api_key) """pydantic models to record food items and nutrient information, not necessary but helpful if you intend to create apis or use the data in other ways. """ class Food(BaseModel): name: str quantity: str class Items(BaseModel): items: List[Food] class Nutrient(BaseModel): steps: List[str] reasons: str kcal: str fat: str proteins: str carbohydrates: str def recognize_items(image): """This function takes an image and returns a list of recognized food items along with their count and the nutrition. """ #first recognize items and quantities messages = [ { "role": "user", "content": [ { "type": "text", "text": f"You are an expert in recognising individual food items and their quantity. Give count(number) for countable items and an estimate for liquid/mixed or non countable items. For example if you have one burger,two pastries, 2 pav, bhaji and dal in an image, you return burger,pastry,pav, bhaji and dal along with the count or estimates without any duplicates. For non countable items give an estimate in grams while explaining like 'looks 1 teaspoon of sauce, so around 5-8 grams' or 'looks 1 serving of bhaji, so around 150-200gms'. Given the image below, recognise food items with their quantity.", } ], } ] base64_image = encode_image(image) dic = { "type": "image_url", "image_url": { "url": f"data:image/jpeg;base64,{base64_image}", "detail": "low" }, } messages[0]["content"].append(dic) response = client.beta.chat.completions.parse( model="gpt-4o-mini", messages=messages, response_format=Items, max_tokens=300, temperature=0.1 ) foods = response.choices[0].message.parsed res = "" for food in foods.items: res=res+food.name+ " "+food.quantity+"\n" #now estimate nutrition, we can use a separate model for this task messages = [ { "role": "user", "content": [ { "type": "text", "text": f"You are an expert in estimating information regarding nutririon given the food items and thier quantities. Think step by step considering the given food items and their quantities, and give an estimated range(lowest - highest) of kcal, range(lowest - highest) of fat, range of proteins(lowest - highest) and carbohydrates(lowest - highest). Ignore contributions from minor items. Ensure your estimations are solely based on the provided quantities. Return steps,reasons and estimations if this food was consumed. \n\nfood and quantity consumed by user: {res} \n\n.", } ], } ] dic = { "type": "image_url", "image_url": { "url": f"data:image/jpeg;base64,{base64_image}", "detail": "low" }, } messages[0]["content"].append(dic) response = client.beta.chat.completions.parse( model="gpt-4o-mini", messages=messages, response_format=Nutrient, max_tokens=500, temperature=0.1 ) nuts = response.choices[0].message.parsed steps = " ".join(nuts.steps) res=res+"\n"+steps+"\n\ncalories: "+nuts.kcal+" \nfats: "+nuts.fat+" \nproteins: "+nuts.proteins+" \ncarbohydrates: "+nuts.carbohydrates+"\n"+nuts.reasons+"\n"+"*These are estimations based on image. They might not be perfect or accurate. Please calculate based on the food you consume for a more precise estimate." return res with gr.Blocks() as demo: foods=None with gr.Row(): image_input = gr.Image(label="Upload Image",height=300,width=300,type="filepath") with gr.Row() as but_row: submit_btn = gr.Button("Detect food and quantity") with gr.Row() as text_responses_row: text_response_1 = gr.Textbox(label="Detected food and quantity",scale=1) submit_btn.click( recognize_items, inputs=[image_input], outputs=[text_response_1] ) if __name__ == "__main__": demo.launch()
好了,本文到此结束,带大家了解了《使用OpenAi的食品识别和营养估算》,希望本文对你有所帮助!关注golang学习网公众号,给大家分享更多文章知识!
版本声明
本文转载于:dev.to 如有侵犯,请联系study_golang@163.com删除

- 上一篇
- 哪吒汽车计划融资40亿元-45亿元,领投方或出资30亿元

- 下一篇
- 京东方“一种柔性线路板、发光模组和显示装置”专利公布
查看更多
最新文章
-
- 文章 · python教程 | 10分钟前 |
- Pythondef函数从入门到精通,def语法超详细解读
- 487浏览 收藏
-
- 文章 · python教程 | 21分钟前 |
- PyCharm小白从零开始教程,手把手教你用PyCharm敲代码
- 306浏览 收藏
-
- 文章 · python教程 | 27分钟前 |
- PyCharm新手必看!手把手教你如何新建项目(附详细步骤)
- 187浏览 收藏
-
- 文章 · python教程 | 42分钟前 |
- Python双斜杠运算符//是什么意思?手把手教你搞懂地板除规则
- 399浏览 收藏
-
- 文章 · python教程 | 1小时前 |
- Python中int是什么?带你揭开整数类型背后的秘密
- 419浏览 收藏
-
- 文章 · python教程 | 1小时前 |
- Python代码不怕被反编译?这些防反编译技巧快收藏!
- 482浏览 收藏
-
- 文章 · python教程 | 2小时前 |
- Python异步编程从入门到精通:手把手教你用asyncio库
- 369浏览 收藏
-
- 文章 · python教程 | 2小时前 |
- PyCharm入门教程:手把手教你搭建第一个Python项目
- 280浏览 收藏
-
- 文章 · python教程 | 2小时前 |
- Pythonsum函数怎么用?手把手教你用它轻松求和
- 142浏览 收藏
-
- 文章 · python教程 | 2小时前 |
- Pythonabs函数怎么用?手把手教你搞定绝对值运算
- 289浏览 收藏
-
- 文章 · python教程 | 2小时前 |
- Python菜鸟教程:手把手教你用def定义函数
- 203浏览 收藏
查看更多
课程推荐
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 508次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 484次学习
查看更多
AI推荐
-
- 茅茅虫AIGC检测
- 茅茅虫AIGC检测,湖南茅茅虫科技有限公司倾力打造,运用NLP技术精准识别AI生成文本,提供论文、专著等学术文本的AIGC检测服务。支持多种格式,生成可视化报告,保障您的学术诚信和内容质量。
- 96次使用
-
- 赛林匹克平台(Challympics)
- 探索赛林匹克平台Challympics,一个聚焦人工智能、算力算法、量子计算等前沿技术的赛事聚合平台。连接产学研用,助力科技创新与产业升级。
- 101次使用
-
- 笔格AIPPT
- SEO 笔格AIPPT是135编辑器推出的AI智能PPT制作平台,依托DeepSeek大模型,实现智能大纲生成、一键PPT生成、AI文字优化、图像生成等功能。免费试用,提升PPT制作效率,适用于商务演示、教育培训等多种场景。
- 108次使用
-
- 稿定PPT
- 告别PPT制作难题!稿定PPT提供海量模板、AI智能生成、在线协作,助您轻松制作专业演示文稿。职场办公、教育学习、企业服务全覆盖,降本增效,释放创意!
- 102次使用
-
- Suno苏诺中文版
- 探索Suno苏诺中文版,一款颠覆传统音乐创作的AI平台。无需专业技能,轻松创作个性化音乐。智能词曲生成、风格迁移、海量音效,释放您的音乐灵感!
- 102次使用
查看更多
相关文章
-
- Flask框架安装技巧:让你的开发更高效
- 2024-01-03 501浏览
-
- Django框架中的并发处理技巧
- 2024-01-22 501浏览
-
- 提升Python包下载速度的方法——正确配置pip的国内源
- 2024-01-17 501浏览
-
- Python与C++:哪个编程语言更适合初学者?
- 2024-03-25 501浏览
-
- 品牌建设技巧
- 2024-04-06 501浏览