原文链接 全面理解搜索Query 1. 前言 Query理解（QU，Query Understanding），简单来说就是从词法、句法、语义三个层面对query进行结构化解析。这里query从广义上来说涉及的任务比较多，最常见的就是我们在搜索系统中输入的查询词，也可以是FAQ问答或阅读理解中的问句，又或者可以是人机对话中用户的聊天输入。本文主要介绍在搜索中的query理解，会相对系统...

降维 假设：我们有一个2 x 6的矩阵，然后乘上一个6 x 3的矩阵后，变成了一个2 x 3的矩阵。 Embedding层，在某种程度上，就是用来降维的，降维的原理就是矩阵乘法。 假如我们有一个100W X10W的矩阵，用它乘上一个10W X 20的矩阵，我们可以把它降到100W X 20，瞬间量级降了10W/20=5000倍！！！ 这就是嵌入层的一个作用——降维。 升维 接...

wireshark界面 中间选择不同的网络进行分析 工具栏作用：开始监听、停止监听、重新监听、配置 wireshark解析https数据包 wireshark解析https 确定秘钥交换类型 这里介绍如何进行https数据包的解密，获取数据包应用层的信息，例如url、json、xml等等。 本步骤适合 能获取服务器证书的场景下的 ssl数据包全量解密。 需要说明的是，仅RSA...

数据流图 组件解释 Producer 消息的生产者，Producer通过MQ 的负载均衡模块选择相应的Broker集群队列进行消息投递，比如电商系统产生的订单消息。 Consumer 消息的消费者，消费者会从Broker中获取数据，进行后续的消息处理，比如从Broker中获取到订单信息，之后库存业务系统会根据订单中的商品进行对应的库存减少。 Name Server 路由中心...

跨域资源共享Doc 简介 跨源资源共享(CORS)（或通俗地译为跨域资源共享）是一种基于 HTTP 头的机制，该机制通过允许服务器标示除了它自己以外的其它 origin（域，协议和端口），使得浏览器允许这些 origin 访问加载自己的资源。跨源资源共享还通过一种机制来检查服务器是否会允许要发送的真实请求，该机制通过浏览器发起一个到服务器托管的跨源资源的”预检”请求。在预检中，浏览器发送...

G304 Potential file inclusion via variable 路径从何而来？如果您不确定它永远不会有用户输入，最好在使用前清理它并使用已知前缀，例如： filePath = filepath.Join(basePath,filepath.Clean(filePath)) f, err := os.Open(filePath) G107 Potential HT...

TIME_WAIT netstat -an|awk '/tcp/ {print $6}'|sort|uniq -c vim /etc/sysctl.conf 编辑文件，加入以下内容： net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_fin_tim...

Golang pprof是Golang官方的profiling工具，非常强大，使用也比较方便。 我们在程序中嵌入如下几行代码， import _ "net/http/pprof" go func() { http.ListenAndServe("0.0.0.0:8899", nil) }() 在浏览器中输入http://ip:8899/debug/pprof/可以看到一个汇...

什么是TCC TCC 是 Try 、Confirm 、Cancel 三个词语的缩写，最早是由 Pat Helland 于 2007 年发表的一篇名为《 Life beyond Distributed Transactions:an Apostate’s Opinion 》的论文提出。 TCC组成 Try阶段：尝试执行，完成所有业务检查（一致性）, 预留必须业务资源（准隔...

使用BERT的词向量生成 from transformers import BertTokenizer, BertModel import torch # 初始化分词器和模型 tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base...