Envoy架构概览(9):访问日志,MongoDB,DynamoDB,Redis
Envoy架构概览(9):访问日志,MongoDB,DynamoDB,Redis
架构师研究会
发布于 2018-04-09 17:12:18
发布于 2018-04-09 17:12:18
访问日志
HTTP连接管理器和tcp代理支持具有以下功能的可扩展访问日志记录：
- 每个连接管理器或tcp代理的任意数量的访问日志。
- 异步IO刷新架构。 访问日志记录不会阻塞主要的网络处理线程。
- 可定制的访问日志格式使用预定义的字段以及任意的HTTP请求和响应头。
- 可自定义的访问日志过滤器，允许将不同类型的请求和响应写入不同的访问日志。
访问日志配置。
MongoDB
Envoy支持具有以下功能的网络级别MongoDB嗅探过滤器：
- MongoDB格式的BSON解析器。
- 详细的MongoDB查询/操作统计信息，包括路由集群的计时和分散/多次计数。
- 查询记录。
- 每个通过$ comment查询参数的callsite统计信息。
- 故障注入。
MongoDB过滤器是Envoy的可扩展性和核心抽象的一个很好的例子。 在Lyft中，我们在所有应用程序和数据库之间使用这个过滤器。 它提供了对应用程序平台和正在使用的特定MongoDB驱动程序不可知的重要数据源。
MongoDB代理过滤器配置参考。
DynamoDB
Envoy支持具有以下功能的HTTP级别DynamoDB嗅探过滤器：
- DynamoDB API请求/响应解析器。
- DynamoDB每个操作/每个表/每个分区和操作统计。
- 4xx响应的失败类型统计信息，从响应JSON分析，例如ProvisionedThroughputExceededException。
- 批量操作部分失败统计。
DynamoDB过滤器是Envoy在HTTP层的可扩展性和核心抽象的一个很好的例子。 在Lyft中，我们使用此过滤器与DynamoDB进行所有应用程序通信。 它为使用中的应用程序平台和特定的AWS SDK提供了宝贵的数据不可知的来源。
DynamoDB筛选器配置。
Redis
Envoy可以充当Redis代理，在集群中的实例之间对命令进行分区。在这种模式下，Envoy的目标是保持可用性和分区容错度的一致性。将特使与Redis Cluster进行比较时，这是重点。 Envoy被设计为尽力而为的缓存，这意味着它不会尝试协调不一致的数据或保持全局一致的群集成员关系视图。
Redis项目提供了与Redis相关的分区的全面参考。请参阅“分区：如何在多个Redis实例之间分割数据”。
Envoy Redis的特点：
- Redis协议编解码器。
- 基于散列的分区。
- Ketama发行。
- 详细的命令统计。
- 主动和被动健康检查。
计划的未来增强：
- 额外的时间统计。
- 断路。
- 请求折叠分散的命令。
- 复制。
- 内置重试。
- 跟踪。
- 哈希标记。
配置
有关过滤器配置的详细信息，请参阅Redis代理过滤器配置参考。
相应的集群定义应该配置环哈希负载平衡。
如果需要进行主动健康检查，则应该使用Redis健康检查对群集进行配置。
如果需要被动健康检查，还要配置异常检测。
为了进行被动健康检查，将超时，命令超时和连接关闭映射连接到5xx。来自Redis的所有其他响应被视为成功。
支持的命令
在协议级别，支持管道。 MULTI（事务块）不是。尽可能使用流水线来获得最佳性能。
在命令级别，Envoy仅支持可靠地散列到服务器的命令。因此，所有支持的命令都包含一个密钥。受支持的命令在功能上与原始Redis命令相同，除非可能出现故障。
有关每个命令用法的详细信息，请参阅官方的Redis命令参考。
Command | Group |
|---|---|
DEL | Generic |
DUMP | Generic |
EXISTS | Generic |
EXPIRE | Generic |
EXPIREAT | Generic |
PERSIST | Generic |
PEXPIRE | Generic |
PEXPIREAT | Generic |
PTTL | Generic |
RESTORE | Generic |
TOUCH | Generic |
TTL | Generic |
TYPE | Generic |
UNLINK | Generic |
GEOADD | Geo |
GEODIST | Geo |
GEOHASH | Geo |
GEOPOS | Geo |
HDEL | Hash |
HEXISTS | Hash |
HGET | Hash |
HGETALL | Hash |
HINCRBY | Hash |
HINCRBYFLOAT | Hash |
HKEYS | Hash |
HLEN | Hash |
HMGET | Hash |
HMSET | Hash |
HSCAN | Hash |
HSET | Hash |
HSETNX | Hash |
HSTRLEN | Hash |
HVALS | Hash |
LINDEX | List |
LINSERT | List |
LLEN | List |
LPOP | List |
LPUSH | List |
LPUSHX | List |
LRANGE | List |
LREM | List |
LSET | List |
LTRIM | List |
RPOP | List |
RPUSH | List |
RPUSHX | List |
EVAL | Scripting |
EVALSHA | Scripting |
SADD | Set |
SCARD | Set |
SISMEMBER | Set |
SMEMBERS | Set |
SPOP | Set |
SRANDMEMBER | Set |
SREM | Set |
SSCAN | Set |
ZADD | Sorted Set |
ZCARD | Sorted Set |
ZCOUNT | Sorted Set |
ZINCRBY | Sorted Set |
ZLEXCOUNT | Sorted Set |
ZRANGE | Sorted Set |
ZRANGEBYLEX | Sorted Set |
ZRANGEBYSCORE | Sorted Set |
ZRANK | Sorted Set |
ZREM | Sorted Set |
ZREMRANGEBYLEX | Sorted Set |
ZREMRANGEBYRANK | Sorted Set |
ZREMRANGEBYSCORE | Sorted Set |
ZREVRANGE | Sorted Set |
ZREVRANGEBYLEX | Sorted Set |
ZREVRANGEBYSCORE | Sorted Set |
ZREVRANK | Sorted Set |
ZSCAN | Sorted Set |
ZSCORE | Sorted Set |
APPEND | String |
BITCOUNT | String |
BITFIELD | String |
BITPOS | String |
DECR | String |
DECRBY | String |
GET | String |
GETBIT | String |
GETRANGE | String |
GETSET | String |
INCR | String |
INCRBY | String |
INCRBYFLOAT | String |
MGET | String |
MSET | String |
PSETEX | String |
SET | String |
SETBIT | String |
SETEX | String |
SETNX | String |
SETRANGE | String |
STRLEN | String |
失败模式
如果Redis抛出一个错误，我们把这个错误作为响应传递给这个命令。 Envoy将错误数据类型的Redis响应视为正常响应，并将其传递给调用者。
特使也可以产生自己的错误来回应客户。
Error | Meaning |
|---|---|
no upstream host | The ring hash load balancer did not have a healthy host available at the ring position chosen for the key. |
upstream failure | The backend did not respond within the timeout period or closed the connection. |
invalid request | Command was rejected by the first stage of the command splitter due to datatype or length. |
unsupported command | The command was not recognized by Envoy and therefore cannot be serviced because it cannot be hashed to a backend server. |
finished with n errors | Fragmented commands which sum the response (e.g. DEL) will return the total number of errors received if any were received. |
upstream protocol error | A fragmented command received an unexpected datatype or a backend responded with a response that not conform to the Redis protocol. |
wrong number of arguments for command | Certain commands check in Envoy that the number of arguments is correct. |
在MGET的情况下，每个不能被获取的单独的密钥将产生错误响应。 例如，如果我们获取五个键和两个键的后端超时，我们会得到一个错误的响应，每个代替值。
$ redis-cli MGET a b c d e
1) "alpha"
2) "bravo"
3) (error) upstream failure
4) (error) upstream failure
5) "echo"本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。
原始发表：2018-01-14，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号