CoolMind

If you cannot measure it, you cannot improve it.

Python command line comparison

编写 Python 的命令行程序时，一个很重要的问题是：如何声明参数，然后解析，最终被程序调用。能否灵活的 声明，组合会决定我们是否需要用额外的代码来替代这些功能。例如参数的互斥，子命令等。 总结 argparse click Types Mul...

Posted by chunyang on November 10, 2021

Add Unique ID for Http Request

后端服务的每一次请求会进入各种逻辑，发生各种问题。在大并发情况下，不同请求之间的 日志还会混在一起。 背景 唯一的 id 和日志模块合并 具体案例 背景 为了便于查找和分析问题， 一般我们需要识别每一次请求。有两种方式： 用户请求都会有唯一的 id，例如支付宝...

Posted by chunyang on November 3, 2021

Who passes the additional argument to my `fn` ?

Recently in an implementation of a functionality, following error keeps showing and drives me crazy. Traceback (most recent call last): File "te...

Posted by chunyang on May 21, 2021

GeoHash algorithm

最近遇到一个问题：K 个距离最近商铺问题。用户实时汇报其坐标，需要返回距离其最近的 K 个商铺 问题。 方法一 方法二 在 8 个方向移动 参考 商铺的量很大，如果每次都遍历计算一遍计算复杂度很高。 class Shop { Pos pos; // ...

Posted by chunyang on March 1, 2021

Merge tensorflow models

Sometimes you want to transfer certain weights from multiple models into a single model or just want to merge multiple models. There are at least t...

Posted by chunyang on December 27, 2020

Estimator core in evaluator

记录另外一次 Estimator 的 core 排查。 背景 复现代码 Lessons learned 参考 背景 我们用户使用 Estimator 都是使用 chief + worker + ps + evaluator 的形式。在线上偶发的 evaluator 这...

Posted by chunyang on November 24, 2020

Estimator OOM after export model frequently

最近用户反馈一个 Estimator 的问题，OOM (out of memory)。由于完全使用的是 Estimator 的逻辑，出错问题 排查了很久。最终使用多个工具找到问题的根源。ps_util 打印内存，objgraph 寻找内存泄露。 背景 序列化问题 模型导出 ...

Posted by chunyang on October 27, 2020

Feature column a tutorial

特征列 feature column 深度神经网络输入 Feature columns 引入 Tensorflow 和其它库 构造示例数据 示例数据 演示几种不同类型的特征列 数值列 (Numeric columns) 分桶列 (Bucketized co...

Posted by chunyang on September 11, 2020