OpenAI CPO 談做AI產(chǎn)品的幾個(gè)理念,深受啟發(fā)! 精華
前言
在微博看到有i陸三金大佬發(fā)了OpenAI、Anthropic 兩家公司的首席產(chǎn)品官的同臺(tái)訪談,看倆人討論如何在生成式 AI 的不確定性下做產(chǎn)品?!?/p>
提取了一下要點(diǎn),有興趣可以去看原視頻:
- 在模型被訓(xùn)練出來之前,每個(gè)人都不知道模型會(huì)怎么樣,會(huì)涌現(xiàn)哪些能力,研究團(tuán)隊(duì)也不知道,它的性能是 60%、90% 還是 99% ,而基于每一種情況去構(gòu)建產(chǎn)品又很不一樣。
- OpenAI CPO:很多事情在 60% 的情況下已經(jīng)可以做,只是你要針對(duì)性的做產(chǎn)品。
- Anthropic CPO :與客戶進(jìn)行試點(diǎn)項(xiàng)目時(shí),同一天會(huì)收到兩家公司的反饋,一家公司會(huì)說,這完全解決了我們的問題,我們已經(jīng)被困擾三個(gè)月了;另一家公司會(huì)說,完全沒作用,比其他模型還糟糕。
- 兩人都提到了現(xiàn)在的模型不是智能受到了限制,而是評(píng)估受到了限制。Claude 實(shí)際上比較擅長(zhǎng)評(píng)估,Anthropic 在面試產(chǎn)品的時(shí)候,會(huì)要求寫一段提示詞,來去做評(píng)估。寫評(píng)估正在成為產(chǎn)品經(jīng)理的核心技能。
- Anthropic CPO :AI 產(chǎn)品功能目前取決于你在評(píng)估和提示方面的表現(xiàn)。
OpenAI 建立了一個(gè)訓(xùn)練營(yíng),讓每個(gè)產(chǎn)品經(jīng)理學(xué)習(xí)如何撰寫評(píng)估,以及好的評(píng)估與壞的評(píng)估之間的區(qū)別?!?/p>
- 除了評(píng)估,產(chǎn)品經(jīng)理還應(yīng)該掌握哪些技能:Anthropic CPO 認(rèn)為產(chǎn)品經(jīng)理應(yīng)該要會(huì)做原型;OpenAI CPO 則認(rèn)為 PM 應(yīng)該去了解技術(shù)。
- OpenAI CPO:過去 25 年,我們?cè)谝环N高度確定性下做軟件產(chǎn)品,固定輸入會(huì)出現(xiàn)固定的輸出,但現(xiàn)在這一點(diǎn)不復(fù)存在了。?
- OpenAI CPO 提到了人們有多快適應(yīng)新技術(shù),他舉了自己乘坐 Waymo 的例子,前 5 分鐘,替自動(dòng)駕駛擔(dān)心,能不能開好;5-10 分鐘,哇,我生活在未來;10 分鐘之后,開始覺得無聊。他說 ChatGPT 才 2 年,但是我們回頭再看的時(shí)候,會(huì)覺得以前的東西都是垃圾。
- 展望未來,Anthropic CPO 認(rèn)為趨勢(shì)是模型會(huì)越來越主動(dòng),提前幫用戶準(zhǔn)備資料、日程之類的;更加異步,就像是 o1 會(huì)花更長(zhǎng)時(shí)間去做一些更復(fù)雜的任務(wù),而不是實(shí)時(shí)回答。OpenAI CPO 則補(bǔ)充了多模態(tài)交互,而不僅僅是文本交互。
前幾天接到一個(gè)任務(wù),需要把近5年湖北省國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展統(tǒng)計(jì)公報(bào)中涉及的指標(biāo)名稱、指標(biāo)數(shù)值、指標(biāo)單位提取出來形成一張表格,供指標(biāo)監(jiān)測(cè)和數(shù)據(jù)分析用?!?/p>
首先看下統(tǒng)計(jì)公報(bào)的內(nèi)容結(jié)構(gòu),分綜合、農(nóng)業(yè)和工業(yè)等板塊分別闡述統(tǒng)計(jì)指標(biāo)情況。
以前我們遇到這種工作任務(wù),一般兩種方案,一是找人手動(dòng)一個(gè)個(gè)找到并錄入到表格中,二是嘗試寫代碼來提取,但因?yàn)槊總€(gè)指標(biāo)的的位置、指標(biāo)單位不固定,不好實(shí)現(xiàn),效果還不一定好。兩種方案處理起來都費(fèi)時(shí)費(fèi)力。
直接在線使用通用大模型
首先把頁面打印成pdf格式的文件。
然后編寫提示詞,參考前一篇文章提到的結(jié)構(gòu)化提示詞?!?/p>
需要下面這個(gè)提示詞的可以在公眾號(hào)后臺(tái)輸入提示詞關(guān)鍵詞?!?/p>
# Role:國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展統(tǒng)計(jì)公報(bào)提取助手
## Background : 我是一個(gè)數(shù)據(jù)分析工程師,需要你幫我提取政府統(tǒng)計(jì)公告中的指標(biāo)數(shù)據(jù)到表格中,以便供我進(jìn)一步分析。
## Profile:
- author: cc
- version: 0.1
- language: 中文
- description: 我是一位國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展統(tǒng)計(jì)公報(bào)提取助手, 專注于提取指標(biāo)信息.
## Goals:
- 你需要根據(jù)用戶提供給你的文本,提取其中的指標(biāo)名稱、數(shù)值、指標(biāo)單位。
- 輸出的提取信息必須準(zhǔn)確、清晰。
## Constrains:
1. 不能偷懶,要全部提取完;不能偷懶,要全部提取完;不能偷懶,要全部提取完
2. 對(duì)于不在用戶輸入的文件中的指標(biāo)信息, 不要捏造
3. 要嚴(yán)格區(qū)分指標(biāo)名稱、指標(biāo)數(shù)值、指標(biāo)單位,分成三列分別展示,不要把三者放一列進(jìn)行展示,如果指標(biāo)不存在單位,請(qǐng)用"-"表示
## Skills:
1. 熟悉政府統(tǒng)計(jì)公報(bào)中的內(nèi)容
2. 能分清政府統(tǒng)計(jì)公報(bào)文本中哪些是指標(biāo)名稱、指標(biāo)數(shù)值和指標(biāo)單位
## Examples :
輸入文本:""" 初步核算,2023年全省生產(chǎn)總值為55803.63億元;年末全省常住??5838萬?,其中,城鎮(zhèn)3822萬?,鄉(xiāng)村2016萬?。城鎮(zhèn)化率達(dá)到65.47%。。"""
提取輸出:
指標(biāo)名稱 指標(biāo)數(shù)值 指標(biāo)單位
生產(chǎn)總值 55803.63 億元
常住?? 5838 萬人
城鎮(zhèn)人口 3822 萬人
鄉(xiāng)村人口 2016 萬人
城鎮(zhèn)化率 65.47 %
## Workflows:
1.讀取文件所有內(nèi)容,理解哪些是指標(biāo)
2.讓我們一步一步思考,結(jié)合上下文,準(zhǔn)確提取指標(biāo)名稱、指標(biāo)數(shù)值、指標(biāo)單位
3.以表格的形式進(jìn)行輸出,表頭為序號(hào)、指標(biāo)名稱、指標(biāo)數(shù)值、指標(biāo)單位
把文件和提示詞一起輸入
得到結(jié)果如下,我檢查了下開頭和結(jié)尾,結(jié)果是比較準(zhǔn)確的。但是中間有遺漏,大模型偷懶了,也可能是一次性讀不了這么多內(nèi)容?!?/p>
隨后嘗試了下kimi,發(fā)現(xiàn)一次提取不全,得繼續(xù)追問,才能提取完整?!?/p>
復(fù)制到Excel,檢查一下,就搞定了~,重復(fù)以上動(dòng)作5次,五年的數(shù)據(jù)就提取好了??偣泊蟾庞昧瞬坏?0分鐘?!?/p>
官方要是有一個(gè)導(dǎo)出成表格的插件就更好了,復(fù)制到excel的操作也免了?!?/p>
用扣子工作流來實(shí)現(xiàn)上述需求
既然官方?jīng)]有,那么就折騰一下,借助扣子搭建一個(gè)工作流,實(shí)現(xiàn)直接到飛書表格的效果。大概可以分成以下步驟:
- 解析上傳的PDF文件的文本信息
- 調(diào)用大模型提取文本中的指標(biāo)信息
- 將指標(biāo)數(shù)據(jù)錄入到飛書表格中
下圖是我使用扣子構(gòu)建的工作流
從圖中可以看出,在上傳一個(gè)pdf文件后,首先使用官方文件讀取插件將文件內(nèi)容解析出來。
第二步是通過分段策略將文本分成多個(gè)段落,這樣做是為了工作流的健壯性,如果文本太長(zhǎng),會(huì)超過大模型上下文長(zhǎng)度導(dǎo)致數(shù)據(jù)提取不全?!?/p>
第三步是調(diào)用飛書excel插件進(jìn)行表格和工作簿的創(chuàng)建以及表頭的插入?!?/p>
第四步是基于段落來進(jìn)行指標(biāo)提取以及錄入工作。該步驟通過遍歷段落列表
在第四步中,主要針對(duì)每個(gè)段落進(jìn)行指標(biāo)提取操作,將結(jié)果通過對(duì)話的方式反饋給我們。同時(shí),將指標(biāo)提取結(jié)果結(jié)構(gòu)化,然后調(diào)用飛書插件將數(shù)據(jù)插入到工作簿中?!?/p>
第五步等到所有的段落都提取完成,將飛書表格的鏈接地址嵌入到回答中反饋給我們。至此,指標(biāo)提取工作完成?!?/p>
大家可以去扣子上使用試試,雖然還不太完善
訪問地址:??https://www.coze.cn/store/agent/7436388189331472394?bid=6ecqv4o600g1k??
大模型做圖片內(nèi)容提取
早上,老婆丟給我一張圖,說一個(gè)表格文件找不到了,只有一張截圖。
直接給到大模型,請(qǐng)?zhí)崛D片中的內(nèi)容,輸出成表格形式
復(fù)制到wps,搞定~
AI改變生活,AI節(jié)省時(shí)間~
生成logo
起因是公眾號(hào)改了名字,改成了AI思與行,所以想換個(gè)新頭像?!?/p>
前幾天看到一個(gè)國(guó)外文生圖網(wǎng)站生成的圖像還不錯(cuò),于是拿來試試
地址:https://ideogram.ai/t/explore
提示詞先想好,然后用大模型翻譯成英文
第一次生成的提示詞:I want to create a logo for my AI self-media, with a style that is simple, abstract, and has a touch of technology and futurism.
第二次生成的提示詞:I want to create a logo for my AI self-media, with a style that is simple, abstract, and has a touch of technology and futurism. AI self-media topic.
第三次生成的提示詞:I want to create a logo for my AI self-media, with a style that is simple, abstract, and has a touch of technology and futurism. The slogan for the AI self-media is "Thought and Action," reflecting this theme.
第四次生成的提示詞:I want to create a logo , with a style that is simple, abstract, and has a touch of technology futurism、Cyberpunk. The slogan is "Thought and Action," reflecting this theme.
最后選了第三次生成的第3張和第四次生成的第3張。試了下效果,選這張作為全平臺(tái)的頭像。
和同事討論了下,以一般設(shè)計(jì)師的水平,應(yīng)該要設(shè)計(jì)蠻久,效果還不一定好
大模型不會(huì)撂挑子,任勞任怨,不好看再生成一版就好了,要是換成公司設(shè)計(jì)師,你試試
感受
過去 25 年,我們?cè)谝环N高度確定性下做軟件產(chǎn)品,固定輸入會(huì)出現(xiàn)固定的輸出,但現(xiàn)在這一點(diǎn)不復(fù)存在了。對(duì)這句話深表認(rèn)同,以前做傳統(tǒng)產(chǎn)品,每個(gè)功能都被提前設(shè)計(jì)好,用戶點(diǎn)哪個(gè)功能,會(huì)出現(xiàn)什么結(jié)果,都是有預(yù)期和可確定的。現(xiàn)在圍繞大模型做產(chǎn)品,是不確定大模型的輸出的?!?/p>
就像現(xiàn)在智能駕駛上大模型一樣,以往智能駕駛基于人工編寫的規(guī)則進(jìn)行自主駕駛,呈現(xiàn)出不靈活、不類人的缺點(diǎn),武漢老百姓給百度蘿卜快跑取名苕(傻)蘿卜,就是這個(gè)原因。
上面提取公報(bào)中指標(biāo)信息的例子,在大模型出來以前要實(shí)現(xiàn)類似功能會(huì)非常困難,要么編寫復(fù)雜的規(guī)則代碼做提取,要么訓(xùn)練一個(gè)專門處理這種任務(wù)的小模型,現(xiàn)在有了大模型,可以解決之前很難用傳統(tǒng)技術(shù)解決的問題?!?/p>
找到大模型擅長(zhǎng)做的事情,知道大模型的特點(diǎn)和能力邊界
比如一方面要利用它的生成能力,比如上面說的文生圖的例子,可能大模型越有創(chuàng)意、越發(fā)散越好?!?/p>
但是對(duì)于一些to b應(yīng)用場(chǎng)景,在追求準(zhǔn)確性和嚴(yán)肅性的背景下,要對(duì)模型的能力做相應(yīng)的收斂和限制。
最后產(chǎn)品經(jīng)理在設(shè)計(jì)AI產(chǎn)品時(shí),應(yīng)該自己嘗試,只有真正動(dòng)手,才能有深刻感受。
參考資料:
??https://weibo.com/1706699904/5098051490812296 ??
??https://www.youtube.com/watch?v=IxkvVZua28k ??
本文轉(zhuǎn)載自 ??AI 思與行??,作者: cd
