1.大型系统容量评估和性能保障(一)
2.企业微信+讯飞AI推送每日情侣问候
3.吃透mrcp协议
4.玩一玩通义千问Qwen开源版,讯飞讯飞Win11 RTX3060本地安装记录!源码
5.40K成功入职:六年开发终获小米Offer(附面经+面试题+答案详解)
大型系统容量评估和性能保障(一)
综述:系统性能的平台学习和评估主要分为四部分,建议按顺序学习以确保知识体系的讯飞讯飞连贯性和深入理解。本篇为第一部分,源码主要涉及架构设计的平台omp源码编译要素与概念,之后会详细探讨如何设计系统、讯飞讯飞进行测试以及常用测试工具的源码使用。本篇将从核心因素、平台非核心因素出发,讯飞讯飞解析应用服务器、源码数据库、平台缓存、讯飞讯飞消息队列的源码具体参考指标,以及如何通过监控、平台测试、维护等手段提升系统的可用性、可伸缩性、可扩展性、安全性。
一、架构设计要素及概念
设计系统时需综合考虑五项核心性能因素:高性能、可用性、可伸缩性、可扩展性、安全性。高性能追求运行效率高、性价比高;可用性要求系统可靠、故障/宕机少、可持续稳定运行;可伸缩性需考虑在用户增加、访问上升时,通过增加节点手段缓解高并发和数据存储压力,提高服务能力;可扩展性则强调在系统运行基础上,能够快速响应添加新业务和新功能;安全性则是防止攻击和数据泄露,确保服务安全稳定。此外,还有六项非核心因素:可监控性、可测试性、可维护性、代找源码可重用性、鲁棒性、易用性,这些因素同样重要,帮助系统实现高效、稳定、灵活的运行。
二、各服务器的具体参考指标
系统性能指标主要由应用服务器、数据库、缓存、消息队列四部分构成。应用服务器关注部署结构、容量与性能、其他指标;数据库侧重复制模型、失效转移策略、容量和性能指标;缓存关注部署结构、容量与性能指标;消息队列则考虑部署结构、容量与性能指标。每一部分均设有相应的评估指标,例如部署结构、容量与性能指标等,以全面衡量系统性能。
三、记忆方法
学习架构设计要素及概念时,建议采用记忆方法。通过梳理核心与非核心因素,理解每一部分的具体参考指标,并进行系统性能指标的分解,可有效提升学习效率。记忆方法不仅能帮助快速复习关键概念,还能加深对系统性能优化的理解。
为了持续获取更多技术知识和交流,关注公众号“讯飞技术(ifly_tech)”并加入Java高级技术交流群(群号:),这里是一个技术交流平台,致力于探讨各大框架、源码、原理、swooole源码分析算法、架构、新技术等,为学习者提供相互切磋、共同进步的机会。
企业微信+讯飞AI推送每日情侣问候
写在前面,消息推送是基本程序员技能。 结合讯飞AI,设想实现智能、个性化的问候与天气提醒。 此项目以模拟情侣关系,每日为伴侣自动推送。 关注公众号思维兵工厂,后台输入“浪漫推送”,获取源代码与教程。 项目使用免费API,适于个人体验。 准备:企业微信申请(认证影响部分功能,仅基本消息推送不受限),官方为新用户提供万tokens赠额,通过文中链接额外获得最多万tokens。讯飞AI用于文案生成,每个优化调用消耗约tokens,万tokens能发条推送。 彩云科技天气API,每天提供次免费调用。 项目语言:python,需第三方库requests、zhdate、websocket-client。 个人服务器可实现自动每日推送。 配置文件修改、重命名config_demo.json为config.json,即可运行。 分步骤配置:讯飞星火、企业微信、彩云科技及个人信息。注意:设置可信IP、php 源码cms添加企业微信接收消息URL可能需自行解决官方限制,或联系公众号寻求帮助。 个性化配置包括日志输出、称呼、城市信息、纪念日和开始日设置。 成功配置后,通过企业微信邀请伴侣绑定,运行程序即可自动收到消息推送。 消息以单图文形式,文本长度限制为字节,超过将被裁剪,因此需控制讯飞AI文案在字内,减少设置可适当增加文案空间。 后续版本可能加入日程提醒功能,敬请期待。 感兴趣可关注公众号思维兵工厂。吃透mrcp协议
要深入理解MRCP协议,理解其处理流程、SIP信令流程以及协议的具体步骤至关重要。仅仅通过搭建Freeswitch和UnimrcpServer,并确保二者之间的通信顺畅,并不足以自认为已经吃透。 真正的吃透意味着你需要深入了解每个环节,这包括但不限于:源码解析:研究Freeswitch的源代码,理解其内部逻辑和处理机制。
实践应用:利用Java或Node等编程语言,构建一个实际的语音转写服务,结合SIP和MRCP v2协议,实现自定义客户端与百度、腾讯、讯飞MRCP服务器的交互。
近期,我的探索进一步深化,我不仅实现了Java版本的MRCP客户端,还开发出了纯Java的MRCP服务器,实现了客户端和服务器之间的双向通信。 当前的sourceforge json源码挑战包括:大规模压测:测试服务器在高并发情况下的性能。
扩展性:支持与不同ASR服务的集成,以增强功能多样性和兼容性。
玩一玩通义千问Qwen开源版,Win RTX本地安装记录!
大约两天前,阿里发布了一个重要消息。
他们开源了一个名为通义千问-7B-Chat的低配版大语言模型。
这可能是国内首个由大型企业开源的大语言模型。
虽然它是低配版,但在各类测试中表现优秀。
官方介绍称,Qwen-7B是基于Transformer的大语言模型,在超大规模的预训练数据上进行训练。预训练数据类型多样,包括大量网络文本、专业书籍、代码等。同时,基于Qwen-7B,我们使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。本仓库为Qwen-7B-Chat的仓库。
官方还提供了许多测试结果。
例如,在C-Eval验证集上的得分对比显示,与同级别的羊驼模型相比,其得分“吊打”对手,甚至比热门的开源模型ChatGLM2也要高出不少。
此外,还有英文测评、代码测评、数学测评、长序列测评和工具使用能力测评等,全方位碾压同类亿参数模型,在即将开源的用于评估工具使用能力的自建评测基准上,居然战胜了GPT-4。
不管怎样,大型企业开源的东西总不会太差。这可能是最好的小型中文大语言模型。
阿里已经亮出态度,接下来压力给到百度、讯飞、华为... 哈哈~~
既然阿里都开源了,我们自然就笑纳了,接下就在本机跑一个试试。
以下是我在Win RTX G上完整的安装记录。玩过的可以跳过,没玩过的可以当个参考。
我的安装思路完全来自官网指引:
官方的安装指引看起来非常简单。只需安装modelscope这个包,然后运行一段Python代码即可。然而,世界上看似简单的东西,做起来往往都不那么简单。一步一坑是常态,踩过了,就简单了。
常规流程1:创建并激活虚拟环境。我们还是用常用的 MiniConda 创建一个虚拟的Python环境。
2. 安装modescope基础库
3. 编写Python代码
不需要自己编写,直接抄官方代码。
创建一个test.py文件,然后将代码粘贴到里面,Ctrl+S 保存代码。
4. 运行代码
运行代码很简单。上面已经激活了虚拟环境。然后用cd命令,进入到代码所在目录。然后用Python运行就可以了。
运行代码之后,会自动联网下载一个G的模型文件。
阿里毕竟是做服务器的,我在杭州,这速度真的是相当给力。不用魔法,就能飞起,这是搞国外项目,永远享受不到的待遇啊。
按正常的节奏来说,下载完大模型,然后运行代码。通义千问大模型就会乖乖的回答我预设的两个问题了。
但是...不可能这么顺利。
其实还有很多包还没装完,我就按我出错的顺序和解决方法,一个个来记录吧。
踩坑记录1:缺少transformers包
提示信息如下:
解决方法很简答,运行提示中的命令即可:
2. 缺少tiktoken包
提示信息如下:
解决方法:
3. 缺少accelerate包
提示信息如下:
解决方法:
4. 爆显存了OutOfMemory
终于所有包都装完了。
再次运行test.py
软件有条不紊的运行,好像有戏。可惜,最终还是卡在硬件配置上了。
见到了熟悉的OutOfMemory。
在大语言模型面前,G显存,啥都不是。
查了一下资料,BF需要.2G显存才可以运行...
遇到这种情况,没啥办法,只能用量化。官方也提供了4bit量化的代码,直接拷贝过来,搞了一个test2.py文件。
5. 运行4bit量化代码出错
错误提示如下:
大概就是量化的时候需要用到一个叫bitsandbytes的依赖包。
那就安装一下呗:
安装非常简单快速,没有任何问题。
6. 量化包不支持Windows
安装完依赖之后运行test2.py 很快就收到了如下错误:
这句话对于一个英语只过了4级的人有点难度啊。什么叫尽管有可用的GPU但是CUDA设置失败.... 你这句式是不是等价于,你有一个女朋友,但是不能用!
查了一下资料,bitsandbytes库目前仅支持Linux发行版,Windows目前不受支持。。。
还好上面的资料已经过时了,其实已经有大佬做了Windows版本。
7. Windows版量化包版本太低
为了解决上面一个问题,找到了一个Windows版本的依赖包。
安装命令如下:
安装完成之后,本以为完事大吉了。
还是太年轻...
错误提示如下:
这个问题出在两个方面,一个是这个包好像只支持8bit量化,而我代码里有用的是4bit。另外一个问题就是错误日志中提到的版本太低。
没办法,又是一顿乱找,狂开N个网页。
最后最终找到了可以用的版本。
安装命令:
终于安装成功0.版本
8 缺少transformers_stream_generator包
习惯了,习惯了。上面的都搞完了,又出现缺包提示。
解决方法:
9. Numpy不可用。
所有包装完之后,运行test2.py,眼看这要成功了,又跳出一个“Numpy is not available” 。
用pip list 查看了一下包列表,明明有这个包,怎么就不能用呢?
不管了,直接更新有一把看看。
把Numpy升级到最新版 :
安装过程出现红色提示:
内心凉了一半。
提示里面说modelscope需要的是1., 但是我装了1..2... 最怕就是这种版本问题了...
我也不知道该怎么排查,想着就死马当活马医了。
最后...居然成功了,这是~~什么道理~~!
通过日志可以看到,AI已经做出了回答。答案也正确且通顺。幸福来的太突然...
到这里,我就成功的在我的Rtx G上面把“通义千问”给跑起来了。理论上所有的8G N卡也能跑起来!
成功后,心态就平稳很多了,半天功夫没白费,美滋滋。
趁热打铁,抽个几分钟来测试一下运行速度。
加载模型用了好几分钟,回答问题大概只用了几秒钟。还不错啊,这速度基本能用了。
按上面的方式运行代码,AI只能回答预设的几个问题。这样搞起来就有点不爽,每次提问,还得改源代码,重新加载模型...
所以我又花了几分钟,写了一个WebUI。
界面如下:
写这个界面和功能,大概只用了行Python代码。Gradio这东西用起来确实爽,怪不得那么多开源项目都用这个来做界面。
心满意足了!!!
有没有看到这里,还是一头雾水的人?哈哈!
那么我就提供一个无需配置,无需登录,直接可以体验的网址把:
通义千问官方主页:
有兴趣的可以去玩一玩!
收工!
K成功入职:六年开发终获小米Offer(附面经+面试题+答案详解)
从面试到现在已有一个多月了,面试的问题还记得八九成。五一前刚从上家离职趁着假期有空把面试问题总结一下。主要是记录一下问题,答案三言两语写不完,网上有蛮多文章讲的挺好所以本文不再展开。
这次面试像是照镜子知道了自身的不足,接下来还需扎实沉淀技术。加强算法能力。理解源码。努力不负每次机会。
统计下数据算个帐
年wh 投了+ 面了4个 拿到2个。。大部分是不回复。
年wh 投了多个 面了7个 拿到4个。(后来某种原因拒绝了讯飞的offer、选择了某公司)
~年sz 数据不记得了。虽然自己是个弱鸡但是感觉工作挺好找。(年用友)
所以年wh真是神奇,我一度怀疑是简历太水了,发给sz、hz朋友看他们说还好啊没问题。难道是特朗普贸易战搞的招聘困难?微笑
讲个真实的笑话,前一阵子在wh面一家小公司架构师职位 场景:4个人同时面我,一个大桌子,总经理办公室
总经理:你要不要做销售啊 以前做过销售吗? 我:尴尬的说做销售太难了我没这个能力。(黑人问号为啥一开始就跟我聊这个,难道我看起来这么没有技术含量?我投了几十个简历了兴奋的来这里你跟我说这?这对的起我认真的态度吗?) 总经理:哦!你公司做硬件产品的啊!(我简历里有写NLP机器人项目) 我:“这是个软件产品”(what the f**k,大哥哥你对我有严重的误解。) 总经理:那就让技术总监来面一下吧(估计是让他没面子了)
开始技术面
他: 介绍一下你做的项目 我: 介绍某个项目的背景,说了下项目是干啥用的,简单提了一下技术栈 大概5~6分钟 因为要互动所以不能一个人说太久 他:GRPC是干什么用的,你们为什么不用http restful来做呢 我:远程调用 基于http2 有4中调用方式 序列化协议采用protobuf(心里想这么多内容了你一个个的问吧) 他:好的,我技术面完了 总经理补了几句总结性的客套话 面试结束
WTF 这就结束了?这才分钟不到?我就这样被淘汰了?嗯是的微笑
ok 综上所述 抱着终于得到了一次技术面的心情写下这个题目。
对就是这样,不要看轻一个人。