2024年10月golang高性能队列（go语言循环队列的实现）
⑴golang高性能队列（go语言循环队列的实现
⑵go语言循环队列的实现
⑶队列的概念在顺序队列中，而使用循环队列的目的主要是规避假溢出造成的空间浪费，在使用循环队列处理假溢出时，主要有三种解决方案本文提供后两种解决方案。顺序队和循环队列是一种特殊的线性表，与顺序栈类似，都是使用一组地址连续的存储单元依次存放自队头到队尾的数据元素，同时附设队头(front)和队尾(rear)两个指针，但我们要明白一点，这个指针并不是指针变量，而是用来表示数组当中元素下标的位置。本文使用切片来完成的循环队列，由于一开始使用三册饥个穗洞参数的make关键字创建切片，在输出的结果中不包含nil值(看起来很舒服)，而且在验证的过程中发现使用append()函数时切片内置的cap会发生变化，在消除了种种障碍后得到了一个四不像的循环队列，即设置的指针是顺序队列的指针，但实际上进行的操作是顺序队列的操作。最后是对make()函数和append()函数的一些使用体验和小结，队列的应用放在链队好了。官方描述(片段)即切片是一个抽象层，底层是对数组的引用。当我们使用构建出来的切片的每个位置的值都被赋为interface类型的初始值nil，但是nil值也是有大小的。而使用来进行初始化时，虽然生成的切片中不包含nil值，但是无法通过设置的指针变量来完成入队和出队的操作，只能使用append()函数来进行操作在go语言中，切片是一片连续的内存空间加上长度与容量的标识，比数组更为常用。使用append关键字向切片中追加元素也是常见的切片操作正是基于此，在使用go语言完成循环队列时，州族返首先想到的就是使用make(type,len,cap)关键字方式完成切片初始化，然后使用append()函数来操作该切片，但这一方式出现了很多问题。在使用append()函数时，切片的cap可能会发生变化，用不好就会发生扩容或收缩。最终造成的结果是一个四不像的结果，入队和出队操作变得与指针变量无关，失去了作为循环队列的意义，用在顺序队列还算合适。参考博客：Go语言中的NilGolang之nilGo语言设计与实现
⑷golang实现本地延迟队列
⑸有个服务会大量使用延迟消息，进行事件处理。随着业务量不断上涨。在晚间、节假日等流量高峰期消息延迟消息队列限流会导致事件丢失，影响业务。与下游沟通后给上调到了最大限流值，问题依然存在，于是决定自己搞一套降级方案。下游服务触发限流时，能降级部分流量到本地延迟队列，把业务损失降到最低。本地延迟队列承接部分mq流量流程如下：.使用zset存储延迟消息，其中：score为执行时间，value为消息体.启动协程轮询zset，获取score最小的条数据，协程执行间隔时间xs????????如果最小分值小于等于当前时间戳，则发送消息????????若最小分值大于当前时间戳，sleep等待执行需要对key进行hash，打散到多个分片中，避免大key和热key问题，官方大key定义因此，需保证每个key中value数量n《，单个value大小不超过/nkb假设承接wqps，如何处理？wqps延迟s时，最开始消息队列会积累*=条消息假如每条消息大小b，需占用存储kb=Mb=GB为避免大key问题，每个zset存大隐放个元素，需要哈希到（是key的数量，可配置个zset中。整个集群假设台实例，每个处理qps平均在左右。单实例消费能力计算：遍历每个zset，针对每个zset起goroutine处理，此示例中需要起个但是每秒能处理成功的只有个，其他都在空跑综上：将rediskey分片数n和每次处理的消息数m进行动态配置，便于调整当流量上涨时，调大分片数n和闹仿肆单实例单分片并发数m即可，假如消费间隔ms，集群处理能力为n*m*qpsn=(qps*)/若qps=q，则计算公式如下zadd=qzRange=**n/zRemove=qsetNx=**n若wqps，则读qps=+**=，写wprosredis读写性能好，可支持较大并发量，zrange可直接取液轿出到达执行时间的消息consredis大key问题导致对数据量有一定的限制分片数量扩缩容会漏消费，会导致事件丢失，业务有损key分片数量过多时，redis读写压力较大机器资源浪费，个协程，单实例同一秒只有个针对处理，其他都在空跑流程如下：使用带缓冲的channel来实现延迟队列，channel中存放的数据为消息体（包括执行时间，channel能保证先进先出从channel中取出数据后，判断是否到达执行时间到达，同步发送mq未到达，sleep剩余执行时间，然后再次执行从channel读出的数据如果未到达执行时间，无法再次放入channel中，需要协程sleep（执行时间-当前时间wqps延迟s时，最开始消息队列会积累*=条消息，假设每条消息大小b，需要G存储空间channel大小=（qps*/c,c=集群实例数，c==》channel大小为，占用M内存要处理wqps，分摊到每个机器的处理速度为/=，假设单协程处理qps，开个即可。pros：本地存储，相比redis，读写速度更快；协程数量少，开销低；资源利用率较方案一高cons：稳定性不如redis，实例故障可能导致数据丢失；worker池和channel扩缩容依赖服务重启，成本高速度慢综上，我们以wqps为例，对比两种方案在以下指标差异，选择方案二。附上demo
⑹golang配制高性能sql.DB
⑺有很多教程是关于Go的sql.DB类型和如何使用它来执行SQL数据库查询的。但大多数内容都没有讲述SetMaxOpenConns(),SetMaxIdleConns()和SetConnMa
⑻最近一直在寻找一个高性能，高可用的消息队列做内部服务之间的通讯。一开始想到用zeromq，但在查找资料的过程中，意外的发现了Nsq这个由golang开发的消息队列，毕竟是golang原汁原味的东西，功能齐全，关键是性能还不错。其中支持动态拓展，消除单点故障等特性，都可以很好的满足我的需求下面上一张Nsq与其他mq的对比图，看上去的确强大。下面简单记录一下Nsq的使用方法图片来自golang开发者大会在使用Nsq服务之前，还是有必要了解一下Nsq的几个核心组件整个Nsq服务包含三个主要部分先看看官方的原话是怎么说：nsqlookupd是守护进程负责管理拓扑信息。客户端通过查询nsqlookupd来发现指定话题（topic的生产者，并且nsqd节点广播话题（topic和通道（cha后面两个channel由于没有消费者，所有的message均会被缓存在相应的队列里，直到消费者出现这里想到一个问题是，如果一个channel只有生产者不停的在投递message，会不会导致服务器资源被耗尽？也许nsqd内部做了相应处理，但还是要避免这种情况的出现了解nsqlookupd，nsqd与客户端中消费者和生产者的关系消费者有两种方式与nsqd建立连接生产者必须直连nsqd去投递message(网上说，可以连接到nsqlookupd，让nsqlookupd自动选择一个nsqd去完成投递，但是我用Producer的tcp是连不上nsqlookupd的，不知道//Nsq接收测试
⑼golang有什么比较好得分布式任务队列，类似Python的celery
⑽nsq虽然可以实现.但是nsq的定时任务现在还无法持吵运久升灶梁化辩闭,如果定时任务未执行期间nsq服务被重启将丢失.
⑾【golang】高并发下TCP常见问题解决方案
⑿首先，看一下TCP握手简单描绘过程：其握手过程原理，就不必说了，有很多详细文章进行叙述，本文只关注研究重点。在第三次握手过程中，如果服务器收到ACK，就会与客户端建立连接，此时内核会把连接神贺从半连接队列移除，然后创建新的连接，并将其添加到笑兆全连接队列，等待进程调用。如果服务器繁忙，来不及调用连接导致全连接队列溢出，服务器就会放弃当前握手连接，发送RST给客户端，即碰瞎租connectionresetbypeer。在linux平台上，客户端在进行高并发TCP连接处理时，最高并发数量都要受系统对用户单一进程同时打开文件数量的限制（这是因为系统每个TCP都是SOCKET句柄，每个soker句柄都是一个文件，当打开连接超过限制，就会出现toomanyopenfiles。使用下指令查看最大句柄数量：增加句柄解决方案
⒀golang有什么比较好得分布式任务队列，类似Python的celery
⒁NOTE:masterisourdevelopmentbranchandmaynotbestableatalltimes.
⒂组件分享之后端组件——基于Golang实现的高性能和弹性的流处理器benthos
⒃近期正在探索前端、后端、系统端各类常用组件与工具，对其一些常见的组件进行再次整理一下，形成标准化组件专题，后续该专题将包含各类语言中的一些常用碰纯组件。欢迎大家进行持续关注。本节我们分享的是基于Golang实现的高性能和弹性的流处理器benthos，它能够以各种代理模式连接各种源和接收器，并对有效负载执行水合、浓缩、转换和过滤。它带有强大的映射语言，易于部署和监控，并且可以作为静态二进制文件、docker映像或无服务器函数放入您的管道，使其成为云原生。Benthos是完全声明性的，告悄流管道在单个配置文件中定义，允许您指定连接器袜吵渣和处理阶段列表：ApachePulsar,AWS(DynamoDB,Kinesis,S,SQS,SNS),Azure(Blobstorage,Queuestorage,Tablestorage),Cassandra,Elasticsearch,File,GCP(Pub/Sub,Cloudstorage),HDFS,HTTP(serverandclient,includingwebsockets),Kafka,Memcached,MQTT,Nanomsg,NATS,NATSJetStream,NATSStreaming,NSQ,AMQP.(RabbitMQ),AMQP,Redis(streams,list,pubsub,hashes),MongoDB,SQL(MySQL,PostgreSQL,Clickhouse,MSSQL),Stdin/Stdout,TCP&UDP,socketsandZMQ.、docker安装具体使用方式可以参见该文档有关如何配置更高级的流处理概念（例如流连接、扩充工作流等的指导，请查看说明书部分。有关在Go中构建您自己的自定义插件的指导，请查看公共API。