DataOps 的关键部分 DataOps是一种数据管理方法，旨在通过自动化、协作和持续交付来提高数据管道的效率、可靠性和可重复性。在DataOps中，有许多重要的组成部分，但最重要的部分是数据管道的自动化。 数据管道的自动化是DataOps的核心，因为它可以确保数据管道的各个组成部分能够自动化地协同工作，从而提高数据流的效率和准确性。自动化可以通过多种技术和工具来实现，例如： ...

常用命令 push pull add rm switch branch fetch merge rebase cherry-pick diff commit...

降维 假设：我们有一个2 x 6的矩阵，然后乘上一个6 x 3的矩阵后，变成了一个2 x 3的矩阵。 Embedding层，在某种程度上，就是用来降维的，降维的原理就是矩阵乘法。 假如我们有一个100W X10W的矩阵，用它乘上一个10W X 20的矩阵，我们可以把它降到100W X 20，瞬间量级降了10W/20=5000倍！！！ 这就是嵌入层的一个作用——降维。 升维 接...

wireshark界面 中间选择不同的网络进行分析 工具栏作用：开始监听、停止监听、重新监听、配置 wireshark解析https数据包 wireshark解析https 确定秘钥交换类型 这里介绍如何进行https数据包的解密，获取数据包应用层的信息，例如url、json、xml等等。 本步骤适合 能获取服务器证书的场景下的 ssl数据包全量解密。 需要说明的是，仅RSA...

数据流图 组件解释 Producer 消息的生产者，Producer通过MQ 的负载均衡模块选择相应的Broker集群队列进行消息投递，比如电商系统产生的订单消息。 Consumer 消息的消费者，消费者会从Broker中获取数据，进行后续的消息处理，比如从Broker中获取到订单信息，之后库存业务系统会根据订单中的商品进行对应的库存减少。 Name Server 路由中心...

跨域资源共享Doc 简介 跨源资源共享(CORS)（或通俗地译为跨域资源共享）是一种基于 HTTP 头的机制，该机制通过允许服务器标示除了它自己以外的其它 origin（域，协议和端口），使得浏览器允许这些 origin 访问加载自己的资源。跨源资源共享还通过一种机制来检查服务器是否会允许要发送的真实请求，该机制通过浏览器发起一个到服务器托管的跨源资源的”预检”请求。在预检中，浏览器发送...

G304 Potential file inclusion via variable 路径从何而来？如果您不确定它永远不会有用户输入，最好在使用前清理它并使用已知前缀，例如： filePath = filepath.Join(basePath,filepath.Clean(filePath)) f, err := os.Open(filePath) G107 Potential HT...

TIME_WAIT netstat -an|awk '/tcp/ {print $6}'|sort|uniq -c vim /etc/sysctl.conf 编辑文件，加入以下内容： net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_fin_tim...

Golang pprof是Golang官方的profiling工具，非常强大，使用也比较方便。 我们在程序中嵌入如下几行代码， import _ "net/http/pprof" go func() { http.ListenAndServe("0.0.0.0:8899", nil) }() 在浏览器中输入http://ip:8899/debug/pprof/可以看到一个汇...