jumpserver/apps/common
Jiangjie.Bai 7cf6e54f01
refactor tree (重构&优化资产树/用户授权树加载速度) (#5548) (#5549)
* Bai reactor tree ( 重构获取完整资产树中节点下资产总数的逻辑) (#5548)

* tree: v0.1

* tree: v0.2

* tree: v0.3

* tree: v0.4

* tree: 添加并发锁未请求到时的debug日志

* 以空间换时间的方式优化资产树

* Reactor tree togther v2 (#5576)

* Bai reactor tree ( 重构获取完整资产树中节点下资产总数的逻辑) (#5548)

* tree: v0.1

* tree: v0.2

* tree: v0.3

* tree: v0.4

* tree: 添加并发锁未请求到时的debug日志

* 以空间换时间的方式优化资产树

* 修改授权适配新方案

* 添加树处理工具

* 完成新的用户授权树计算以及修改一些信号

* 重构了获取资产的一些 api

* 重构了一些节点的api

* 整理了一些代码

* 完成了api 的重构

* 重构检查节点数量功能

* 完成重构授权树工具类

* api 添加强制刷新参数

* 整理一些信号

* 处理一些信号的问题

* 完成了信号的处理

* 重构了资产树相关的锁机制

* RebuildUserTreeTask 还得添加回来

* 优化下不能在root组织的检查函数

* 优化资产树变化时锁的使用

* 修改一些算法的小工具

* 资产树锁不再校验是否在具体组织里

* 整理了一些信号的位置

* 修复资产与节点关系维护的bug

* 去掉一些调试代码

* 修复资产授权过期检查刷新授权树的 bug

* 添加了可重入锁

* 添加一些计时,优化一些sql

* 增加 union 查询的支持

* 尝试用 sql 解决节点资产数量问题

* 开始优化计算授权树节点资产数量不用冗余表

* 新代码能跑起来了,修复一下bug

* 去掉 UserGrantedMappingNode 换成 UserAssetGrantedTreeNodeRelation

* 修了些bug,做了些优化

* 优化QuerySetStage 执行逻辑

* 与小白的内存结合了

* 删掉老的表,迁移新的 assets_amount 字段

* 优化用户授权页面资产列表 count 慢

* 修复批量命令数量不对

* 修改获取非直接授权节点的 children 的逻辑

* 获取整棵树的节点

* 回退锁

* 整理迁移脚本

* 改变更新树策略

* perf: 修改一波缩进

* fix: 修改handler名称

* 修复授权树获取资产sql 泛滥

* 修复授权规则有效bug

* 修复一些bug

* 修复一些bug

* 又修了一些小bug

* 去掉了老的 get_nodes_all_assets

* 修改一些写法

* Reactor tree togther b2 (#5570)

* fix: 修改handler名称

* perf: 优化生成树

* perf: 去掉注释

* 优化了一些

* 重新生成迁移脚本

* 去掉周期检查节点资产数量的任务

* Pr@reactor tree togther guang@perf mapping (#5573)

* fix: 修改handler名称

* perf: mapping 拆分出来

* 修改名称

* perf: 修改锁名

* perf: 去掉检查节点任务

* perf: 修改一下名称

* perf: 优化一波

Co-authored-by: Jiangjie.Bai <32935519+BaiJiangJie@users.noreply.github.com>
Co-authored-by: Bai <bugatti_it@163.com>
Co-authored-by: xinwen <coderWen@126.com>

Co-authored-by: xinwen <coderWen@126.com>
Co-authored-by: 老广 <ibuler@qq.com>
2021-02-05 13:29:29 +08:00
..
auth Dev beta (#3048) 2019-08-21 20:27:21 +08:00
const refactor tree (重构&优化资产树/用户授权树加载速度) (#5548) (#5549) 2021-02-05 13:29:29 +08:00
db refactor tree (重构&优化资产树/用户授权树加载速度) (#5548) (#5549) 2021-02-05 13:29:29 +08:00
drf perf: 修改 OPTION 获取 choices 字段选项; 修改display字段翻译 (显示名称) 2021-01-18 15:01:09 +08:00
fields feat: 抽象View Mapping Serializer架构设计; 重构工单View、Serializer模块 (#5371) 2021-01-02 07:25:23 +08:00
migrations [Update] 修改迁移 2019-03-04 15:38:59 +08:00
mixins feat: 添加缓存模块,添加组织资源统计 (#5407) 2021-01-17 12:08:21 +08:00
templatetags [Update] 修改org mixin 2019-06-25 20:32:12 +08:00
urls Dev csv (#2640) 2019-05-21 16:24:01 +08:00
utils refactor tree (重构&优化资产树/用户授权树加载速度) (#5548) (#5549) 2021-02-05 13:29:29 +08:00
README.md 1.5.7 Merge to dev (#3766) 2020-03-12 16:24:38 +08:00
__init__.py [Update] 迁移celery到ops 2018-04-02 13:19:31 +08:00
api.py fix: 修改common resource api的权限,否则auditor无法使用 2020-06-05 14:43:40 +08:00
apps.py Bugfix (#3232) 2019-09-17 12:34:47 +08:00
cache.py fix: 修复缓存框架组织切换问题&组织的 resource_statistics 字段是只读 2021-01-17 19:28:00 +08:00
compat.py Finish access key auth 2016-12-25 13:15:28 +08:00
decorator.py Dev ansible windows 2 (#2783) 2019-06-13 18:58:43 +08:00
exceptions.py fix: 批量删除管理用户报错信息太丑 2020-12-17 14:47:37 +08:00
http.py fix(perms): 用户添加到用户组报错 2020-09-27 20:53:34 +08:00
local.py perf(settings): 优化settings配置 (#5515) 2021-01-26 17:54:12 +08:00
permissions.py perf(permission): 优化权限控制,显式的声明权限 2021-02-03 14:28:47 +08:00
signals.py [Update] 修改settings配置 (#2067) 2018-11-22 12:27:27 +08:00
signals_handlers.py perf(settings): 优化settings配置 (#5515) 2021-01-26 17:54:12 +08:00
struct.py 1.5.7 Merge to dev (#3766) 2020-03-12 16:24:38 +08:00
tasks.py feat: 添加缓存模块,添加组织资源统计 (#5407) 2021-01-17 12:08:21 +08:00
tests.py Add new model to operate log (#3546) 2019-12-18 15:37:53 +08:00
thread_pools.py perf(assets): 优化节点树 2020-09-21 10:23:09 +08:00
tree.py [Update] 更新命令批量执行资产树(将没有ssh协议的资产设置为nocheck) 2020-01-15 10:46:41 +08:00
validators.py fix(django3): 修复django3兼容问题 2020-11-20 15:25:37 +08:00

README.md

Common app

Common app provide common view, function or others.

Common app shouldn't rely on other apps, because It may lead to cycle import.

If your want to implement some function or class, you should think whether other app use or not. If yes, You should make in common.

If the ability more relate to your app tightness, It's mean your app provide this ability, not common, You should write it on your app utils.

Celery usage

JumpServer use celery to run task async. Using redis as the broker, so you should run a redis instance

Run redis

$ yum -y install redis 

or

$ docker run -name jumpserver-redis -d -p 6379:6379 redis redis-server

Write tasks in app_name/tasks.py

ops/tasks.py

from __future__ import absolute_import

import time
from celery import shared_task
from common import celery_app


@shared_task
def longtime_add(x, y):
    print 'long time task begins'
    # sleep 5 seconds
    time.sleep(5)
    print 'long time task finished'
    return x + y
    

@celery_app.task(name='hello-world')
def hello():
    print 'hello world!'
  

Run celery in development

$ cd apps
$ celery -A common worker -l info 

Test using task

$ ./manage.py shell
>>> from ops.tasks import longtime_add
>>> res = longtime_add.delay(1, 2)
>>> res.get()