发布日期:2024-11-27 13:47 点击次数:83
著作转载于新智元
创业一年半后,前大脑高等相关科学家、Reka首席科学家兼勾搭首创东谈主Yi Tay通知已重返谷歌!
他回到了谷歌DeepMind,回到了他的前司理Quoc Le部属职责,职位为高等资深相关科学家,不时从事东谈主工智能和大语言模子(LLM)的相关。
这是他记忆的第一周。
在他创立Reka的1年9个月里,Yi Tay说他资格了十分振作东谈主心的时光,并从这段全新的资格中学到了许多。
他还写了一篇博客,共享了他的资格和此次转型——
博客地址:https://www.yitay.net/blog/returning-to-google-deepmind
1
在Reka的639天
在Reka的时光里,Yi Tay学到了许多对于谷歌外部基础重要的常识,包括使用PyTorch、GPU等外部资源。
此外,他还学会了如何支吾不褂讪的GPU、供应商和策动资源(关联博客著作见下)。
博客地址:https://www.yitay.net/blog/training-great-llms-entirely-from-ground-zero-in-the-wilderness
他和Reka的首创团队成员统统,以老本最优的形势构建了一些出色的模子。
本年5月,Reka Core的弘扬踏进Lmsys的前五名,模子自己名依次七,并得手独特了GPT-4的早期版块。
在资源(资金、算力和东谈主力)远少于其他实践室的情况下,他们获取了这一收货,Yi Tay为此感到十分高慢。
要知谈,他们的技艺团队所有不到15东谈主。
在这段日子里,Yi Tay也参与了许多技艺共享。
包括在WebConf的LLM日作念主题演讲、越南的GenAI峰会、swyx的Latent Space播客节目,以及受TechInAsia邀请进行的一场炉边话语。
与此同期,行为创业者,他学到了许多对于创业、生意和从零运行诞生公司的常识。
对他来说,这是一段极为垂死的时辰。
就在他离开谷歌运行创业时,得知浑家怀上了他们的第一个孩子。
为了同期处理这样多事情,他的身心健康受到了严重影响,由于高强度的职责和不健康的生活形势,他的体重增多了15公斤。
本年3月,Yi Tay还写了一篇长帖,回想了创业一年并兼任「奶爸」的艰愁肠程,并共享了全天24小时的日程。
[下昼3:00] 认真起床。 [下昼3:30] 晃晃悠悠走到书桌前,搜检睡前跑的任务。莫得收到任务挂掉的音讯辅导(Clustermon安逸无事),谢天谢地!和浑家、宝宝说声「晨安」。喝杯咖啡细心。 [下昼4:00] 和另一家公司开线上会议,他们挑升与咱们配合。 [下昼4:30] 边写代码边吃家东谈主帮我买的外卖午餐。欧洲的共事运行上线。 [下昼4:30] 给宝宝洗浴。 [下昼5:00] 回到书桌不时写代码,再来一杯咖啡。 [下昼6:00] 和几位共事临时线上权术技艺问题。 [下昼7:00] 检察浑家和宝宝是否一切安好。浑家给宝宝换尿布,我赞理准备她的晚餐。 [晚上8:00] 再次搜检任务,不时写代码。感受Cuda和GPU的糟糕。两个任务挂掉了。果真绝了! [晚上9:00] 躺在床上休息良晌,刷X。用匿名小号@agihippo发个辛辣不雅点。 [晚上9:30] 有点疼痛地不时写代码,同期在Reka的Slack迅速频谈发几条搞笑音讯。 [晚上10:00] 吃家里的晚饭。诚然有点凉,但无所谓了。 [晚上10:30] 团队全员同步会议,跨时区的大家齐上线了! [晚上11:30] 浑家就寝,我接受哄娃任务。 [午夜12:00] 喂宝宝,让她再行入睡(但愿她此次能睡久少量!) [凌晨1:00] 和@DaniYogatama聊天一个小时。 [凌晨2:00] 搜检任务,不时写代码和调试。不可再喝咖啡了:( 亚洲共事们大多下线了,只剩下我和好意思国的共事在Slack上聊天。 [凌晨3:00] 有点饿了,点了一份照烧鸡肉饭外卖。 [凌晨3:30] 喂宝宝!她运行闹腾,不愿入睡。我抱着她走了半小时。 [凌晨4:30] 终于回到书桌前。外卖到了,开吃!边吃边用Reka Flash和Reka Core作念一些测试。又一次感受到「为东谈主父母」的奇妙体验。 [凌晨5:00] 感到疼痛和被Bug折磨的挫败感。跑去另一间房,望望宝宝睡得是否浅显。 [凌晨6:00] 回到Slack回应音讯,搜检任务。又有一个任务挂了☠️☠️,重启任务。 [清早7:00] 刷X和TikTok,念念考要不要就寝。反念念东谈主生。再发一条@agihippo的辛辣不雅点。 [清早7:30] 天运行亮了,我在家里粗率走走,向仍是醒着的家东谈主谈「晨安」。 [清早8:00] 上床就寝。今天的班杀青了。浑家起床接着带宝宝。把宝宝交到她的手中,感到快慰☺️。 [清早8:30] 手机忘了静音,被音讯吵醒,深感疼痛,意象还有不到4小时就得起来插附近昼1点的线下职责会议,倍感压力。 [清早9:00] 好了,此次是真的就寝了(但愿能睡着)。
不外,Ti Tay仍对这一阶段的资格感到惬意,并合计这是一次珍视的「学术假期」与学习资格。
历程创业的尝试后,他认为我方如故更像又名科学家/相关员,而不是其他身份,因此他决定记忆他的相关本职,回到谷歌投身相关。
1
明星联创纷纷卖身大厂
Reka建树于2022年,团队由谷歌和Meta的相关东谈主员构成。
逼迫2023年6月,该公司已得手筹集5750万好意思元,估值达到3亿好意思元。
然则,本年险些莫得什么要紧进展——唯独值得注见地是,本年5月,Reka与Snowflake的10亿好意思元收购洽商闹翻,交游最终流产。
本年,前谷歌职工创办的初创企业险些齐在靠近一个疾苦的「隆冬」时刻。许多首创东谈主纷纷跳船。
3月,Inflection的CEO Mustafa Suleyman离开公司,转投微软;
6月,Adept的CEO David Luan跳槽到了亚马逊;
8月,Character.AI的CEO Naom Shazeer携总裁Daniel De Freitas集体跑路,重返老东家谷歌;
可见,这一年大家齐不好过。
不祥你也会忍不住问,初创们的糊口为如何此疾苦?
毕竟,这些出走谷歌的大佬们,基本上在创业前一直齐在埋头搞相关。
谷歌部门更像是「学术相关机构」,并非蹙迫需要产生现款流,专注相关是中枢。
而生意化政策,是决议者的事。
一朝外出创业,两种环境所需的技巧截然有异。
对于学术界的相关者来说,擅长相关,频频并不料味着擅长惩办/筹谋一家公司。
其次,东谈主员亦然一浩劫题。
即使最佳的初创公司,频频也靠近里面紊乱,首创东谈主出现不对的事并不目生。
再加上,「学者降生」的首创东谈主,可能并不相宜企业的惩办结构,增多了突破的可能性。
此外,AI斥地的崇高老本,以及现存公司强烈竞争,这些身分使得这些初创公司,从一运行就靠近疾苦的处境。
况兼,即使是最优秀的AI初创,要是莫得像谷歌、亚马逊、微软等大公司提供财务守旧和云做事,也难以沉寂糊口。
参考贵府:
https://www.yitay.net/blog/returning-to-google-deepmind