Dogfooding by vegetableysm

[vegetableysm]

Task 1: 在本地试用 GraphScope

• 安装 GraphScope
• 载入 ogbn_mag 内置图
• Project ogbn_mag到一个简单图，选择点标签为 paper, 边标签为 cites, 属性都为空。
• 在简单图上运行一个 Kcore 算法, 并打印结果为 pandas.DataFrame
• 在 ogbn_mag图上启动交互引擎 （Interactive）
• 通过 gremlin 计算图有多少点，边
• 对于 ogbn_mag图，使用 learning 定义并执行一个 GCN 训练过程，可参考 CI 或文档中定义的过程
• 退出 GraphScope。

Task 2: 在本地开发调试 GraphScope

• 通过 vineyardd直接启动 vineyard
• 从源代码编译 Analytical Engine，找到编译出的binary grape_engine， 通过 grape_engine直接运行 analytical_engine，然后退出 grape_engine 进程
• 为 GAE 添加一条日志 ( analytical_engine/core/server/analytical_server.cc)，并重新编译，启动并找到新添加的日志
• 从源代码编译 Interactive Engine，找到编译出的 frontend-x-SNAPSHOT.jar和 gaia_executor,直接运行这个 jar 包和这个 gaia_executor，使 frontend 能够连接到 executor。
• 了解 Frontend 和 Executor 的代码位置和组织结构，为 GIE 的 Frontend (interactive_engine/frontend/src/main/java/com/alibaba/graphscope/frontend/Frontend.java) 和 executor (interactive_engine/executor/assembly/v6d/src/bin/gaia_executor.rs) 各添加一条日志，并重新编译，启动并找到新添加的日志
• 从源代码编译 Learning Engine, 找到 libgraphlearn_shared.so
• 使用 setup.py 安装 coordinator 和 client。 注意因依赖关系， client 安装要在 coordinator 之前
• 继续安装 GAE，GIE，和 GLE 到预设安装目录。（上一步只有编译。相当于 make 和 make install 的区别）
• 找到 Client， Coordinator， GAE，GIE 和 GLE 的安装位置目录
• 若一切正常，这时你能通过 python 拉起 graphscope。启动python，import graphscope 并载入一个内置 modern_graph 图，在图上启动图交互引擎，发送一个查所有点的语句。
• 退出 graphscope

Task 3: 运行本地测试

• 找到 CI 定义的位置和文件
• 找到单元测试的位置，参考在 CI 中是如何运行这些单元测试的步骤，并在本地运行CI上的本地测试 （如果没有，可开 Issue 加入运行）
• GAE 的单元测试
• GIE 的单元测试
• GLE 的单元测试
• 运行一组 Python 中的单元测试 test_min.py 。（Python 中的单元测试更像是集成测试，因为往往由多个引擎参与）
• 在 python/graphscope/tests/minitest下新增一个test 文件，在里面添加一个涉及多个引擎的测试，其中要包括载入一张 ogbn_mag 图，打印 Kcore 算法结果，通过 Gremlin 查询图的点边数量，执行 GCN 训练。

Task 4: 在 Kubernetes 上使用 GraphScope （Python SDK）

• 通过客户端在 K8S 环境下安装 Graphscope，建立一个 Session，通过 kubectl 查看拉起来的 Pod 和 Service （可通过 minikube/kind 在单机搭建 K8S 环境）
• 通过载图 API 载一个图 ogbn_mag
• 在图上运行一个 LPA 算法，并打印结果为 pandas.DataFrame
• 在图上启动交互引擎 （Interactive）
• 通过 gremlin 计算图有多少点，边
• 使用 learning 定义并执行一个 GCN 训练过程
• 关闭 Session

Task 5: 在 Kubernetes 上使用 GraphScope （Helm）

• 通过 Helm 安装 GraphScope，并载图，运行算法，Gremlin 和 Learning

Task 6: 独立部署

• 独立部署 GAE，并载图 modern_graph，运行 LPA 算法
• 独立部署 GIE，发送 gremlin 查询点边数量

Task 7: 打包镜像与了解 Kubernetes 上运行的基本概念

• 构建 GAE 的镜像
• 构建 GIE 的镜像 （包括 Frontend 和 Executor）
• 构建 GLE 的镜像
• 构建 Coordinator 的镜像
• 为 GAE 添加一条日志 ( analytical_engine/core/server/analytical_server.cc) 并重新构建镜像，在不使用 docker push的情况下，使用新的镜像启动并在日志中可以找到新添加的日志 （使用 registry 和 tag 来选择使用哪个镜像）
• 为 GIE 的 Frontend (interactive_engine/frontend/src/main/java/com/alibaba/graphscope/frontend/Frontend.java) 和 executor (interactive_engine/executor/assembly/v6d/src/bin/gaia_executor.rs) 各添加一条日志 并重新构建 Frontend 和 Executor 镜像，在不使用 docker push的情况下，使用新的镜像启动并可以找到新添加的日志
• 为 Coordinator 添加一个异常 (coordinator/gscoordinator/coordinator.py)，并重新构建 Coordinator 镜像。启动并找到异常的报错。（日志在控制台中或者在 Coordinator Pod 的日志中）
• 清除所有 GraphScope 的资源，包括镜像，容器。

Task 8: 运行 K8S 上的测试

• 找到在 Kubernetes 上运行的测试，找到在 CI 中是如何运行这些单元测试的
• 参考 CI 的步骤，运行 test_demo_scripts.py 中的 test_demo_distribute 测试
• 尝试添加一个在 Kubernetes 上运行的测试，并运行。其中要包括载入一张 ogbn_mag 图，打印 Kcore 算法结果，通过 Gremlin 查询图的点边数量，执行 GCN 训练。

kernel version && ubuntu version
Linux version 5.15.0-58-generic (buildd@lcy02-amd64-101) (gcc (Ubuntu 11.3.0-1ubuntu1~22.04) 11.3.0, GNU ld (GNU Binutils for Ubuntu) 2.38)
python version
Python 3.10.6

[vegetableysm]

Task 1: 在本地试用 GraphScope

• 安装 GraphScope
  
  需要将/home/userdir/.local/bin 加入PATH

• 在 ogbn_mag图上启动交互引擎 （Interactive）
  
  需要手动安装 java 环境
  sudo apt install openjdk-11-jdk-headless解决

• 对于 ogbn_mag图，使用 learning 定义并执行一个 GCN 训练过程，可参考 CI 或文档中定义的过程
  
  需要手动安装 tensorflow
  pip3 install tensorflow
  安装的 tensorflow 为 2.12.0 版本，其依赖的包的版本与 graphscope 有冲突
  
  改用2.8.0版本的 tensorflow 问题解决
  pip3 install tensorflow=2.8.0
  
  参考主页 README 的训练过程，链接404

补充
Task1 主要时间花费并不是在上述问题环节，而是接口使用上，举例：
s = g.project(vertices={"paper": []}, edges={"cites": []})
无属性的图进行 project，写法问题（discussion中也有其他人遇到这个问题）
node_num = interactive.execute('g.V().count()').one()
edge_num = interactive.execute("g.E().count()").one()
写法与相关文档 gremlin-python 通过 github 仓库内搜索遍历文档才找到。
graphscope.io/docs search 功能特别慢

[sighingnow]

The tensorflow issue has been addressed by #2650

[vegetableysm]

okk

[sighingnow]

graphscope.io/docs search 功能特别慢

Addressed in #2682

[vegetableysm]

Task 2: 在本地开发调试 GraphScope

• 从源代码编译 Analytical Engine，找到编译出的binary grape_engine， 通过 grape_engine直接运行 analytical_engine，然后退出 grape_engine 进程
  环境配置
  使用
  ./gs install-deps dev --cn
  curl 会报错404
  
  使用
  ./gs install-deps dev
  会报错，改用 sudo
  
  使用
  sudo ./gs install-deps dev
  会报源不安全
  
  更换 pip3 的源
  http://mirrors.aliyun.com/pypi/simple/
  问题解决
  编译 analytical
  无问题

• 为 GAE 添加一条日志 ( analytical_engine/core/server/analytical_server.cc)，并重新编译，启动并找到新添加的日志
  直接更改源码 make 没有识别到文件更改，make clean 后才重新编译

• 从源代码编译 Interactive Engine，找到编译出的 frontend-x-SNAPSHOT.jar和 gaia_executor,直接运行这个 jar 包和这个 gaia_executor，使 frontend 能够连接到 executor。
  编译没有问题，但是有一些 warning
  这个包我不确定如何运行，直接用 java 运行会报错
  java -jar ./interactive/frontend/target/frontend-0.0.1-SNAPSHOT.jar
  报错信息
  
  直接运行 gaia_executor 会越界，看起来像是 main 读取命令行参数的时候越界
  报错信息以及 backtrace 信息
  

此外，运行 executor 前需要先用 vineyard 进行载图，参考 https://graphscope.io/docs/latest/interactive_engine/dev_and_test 。vineyard object id 即为 fragment group id

如果vineyard 载图时手动设置了 socket，那同样启动 executor 的时候需要设置。

[siyuan0322]

@shirly121 Add usage for frontend
@BingqingLyu Add usage for executor
@YuanSi add version in makefile

[BingqingLyu]

To use executor, try

./interactive_engine/executor/assembly/v6d/target/release/gaia_executor log4rs.yml executor.vineyard.properties

You can find log4rs.yml and the executor config file executor.vineyard.properties in GraphScope/interactive_engine/assembly/src/conf/graphscope/, and you need to specify the values in executor.vineyard.properties.