【Hackathon 6th Article No.6】稀疏计算的使用指南 #880

KeithMaxwell · 2024-04-22T03:37:52Z

No description provided.

paddle-bot · 2024-04-22T03:37:57Z

你的PR提交成功，感谢你对开源项目的贡献!
请检查PR提交格式和内容是否完备，具体请参考示例和模版。
Your PR has been submitted. Thanks for your contribution!
Please check its format and content. For this, you can refer to Template and Demo.

zhwesky2010 · 2024-04-24T10:24:50Z

rfcs/Article/guide_to_use_sparse.md

+
+可见，ResNet 稀疏网络的代码和常规 ResNet 网络代码几乎没有差别。通过增加 import 路径替换，原网络代码基本都无需改动。通过 `from paddle.sparse import nn`，则可保持与原来的`nn.*`写法一致，更易于上手。
+
+## 3. 3D点云 CenterPoint


改成：Paddle 稀疏计算实战案例吧

zhwesky2010 · 2024-04-24T10:25:22Z

rfcs/Article/guide_to_use_sparse.md

+可见，ResNet 稀疏网络的代码和常规 ResNet 网络代码几乎没有差别。通过增加 import 路径替换，原网络代码基本都无需改动。通过 `from paddle.sparse import nn`，则可保持与原来的`nn.*`写法一致，更易于上手。
+
+## 3. 3D点云 CenterPoint
+


介绍一下，将以 3D点云CenterPoint 为例来介绍

zhwesky2010 · 2024-04-24T10:26:08Z

rfcs/Article/guide_to_use_sparse.md

+PaddlePaddle支持的主要稀疏格式包括：
+
+- COO格式（Coordinate Format）：用坐标表示非零元素的稀疏矩阵，包括三个数组：行索引、列索引和值。
+- CSR格式（Compressed Sparse Row）：将稀疏矩阵的行压缩，以节省存储空间。


包含几个数组介绍下

zhwesky2010 · 2024-04-24T10:29:58Z

rfcs/Article/guide_to_use_sparse.md

+```python
+import numpy as np
+import paddle.sparse as sparse
+def random_sparse_tensor(shape, density, sparse_type='coo'):


这个可以写简单一些吗，直接paddle.rand 然后随机mask或dropout，然后在 to_sparse_coo/to_sparse_csr 就可以

KeithMaxwell · 2024-04-25T01:46:57Z

@zhwesky2010 已经全部按照要求修改了，麻烦研发老师再看看

zhwesky2010 · 2024-04-28T12:07:58Z

rfcs/Article/guide_to_use_sparse.md

- COO格式（Coordinate Format）：用坐标表示非零元素的稀疏矩阵，包括三个数组：行索引、列索引和值。
- CSR格式（Compressed Sparse Row）：将稀疏矩阵的行压缩，以节省存储空间。
+- COO格式（Coordinate Format）：此格式使用坐标来表示稀疏矩阵中的非零元素，涉及三个数组：行索引、列索引和值。
+- CSR格式（Compressed Sparse Row）：此格式通过压缩稀疏矩阵的行来节省存储空间。它包含三个数组，即Index Pointers，indices和Data数组。


行指针信息、列坐标和值

zhwesky2010 · 2024-04-28T12:08:48Z

rfcs/Article/guide_to_use_sparse.md

@@ -15,15 +15,22 @@

 PaddlePaddle支持的主要稀疏格式包括：

- COO格式（Coordinate Format）：用坐标表示非零元素的稀疏矩阵，包括三个数组：行索引、列索引和值。
- CSR格式（Compressed Sparse Row）：将稀疏矩阵的行压缩，以节省存储空间。
+- COO格式（Coordinate Format）：此格式使用坐标来表示稀疏矩阵中的非零元素，涉及三个数组：行索引、列索引和值。


行坐标、列坐标和值

zhwesky2010 · 2024-04-28T12:08:57Z

rfcs/Article/guide_to_use_sparse.md

@@ -84,6 +91,12 @@ CSR格式也存储三个数组，分别是Index Pointers，indices以及Data数

 例如，第一个index pointers对是`[0,2]`，那么这是表示稀疏矩阵第0行（0在Index Pointers数组中的索引是0）中元素的信息，并且表示第0行中共有两个非零元素。而使用`Indices[0,2]`可以获得这两个元素的列索引，使用`Data[0,2]`获取这两个元素具体的值。

+在`paddle.sparse`的CSR实现中，我们也使用了三个列表：
+
+- 一维列表`crows`对应于Index Pointers数组；


zhwesky2010 · 2024-04-28T12:08:59Z

rfcs/Article/guide_to_use_sparse.md


 COO格式：

 ![COO Matrix](images/coo.gif)

 COO格式存储三个数组：行索引（Row）、列索引（Column）以及值（Data）数组。使用Data数组中的元素的索引分别去访问Row数组和Column数组就可以得到该元素在原来矩阵中的位置。

+在`paddle.sparse`的COO实现中，使用了两个列表：
+
+- 二维列表`indices`，包含行索引和列索引；


zhwesky2010 · 2024-04-28T12:09:32Z

rfcs/Article/guide_to_use_sparse.md

-
+    dense_tensor = paddle.randn(shape)
+    dropout = paddle.nn.Dropout(p=density)
+    dense_tensor = dropout(dense_tensor)


paddle.nn.functional.dropout

zhwesky2010 · 2024-04-28T12:09:50Z

rfcs/Article/guide_to_use_sparse.md

    if sparse_type == 'coo':
-        return sparse.sparse_coo_tensor(indices, values.tolist(), shape)
+        sparse_tensor = dense_tensor.to_sparse_coo(sparse_dim=dense_tensor.dim())


sparse_dim用默认的就可以吧

sparse_dim用默认的就可以吧
@zhwesky2010
如下图所示，我没有给定sparse_dim参数的值，代码报错了：

我的paddle版本为稳定版2.6.1。

KeithMaxwell · 2024-04-28T15:20:10Z

@zhwesky2010
已经按照要求修改了，麻烦研发老师再看看

zhwesky2010 · 2024-04-29T03:23:07Z

rfcs/Article/guide_to_use_sparse.md

@@ -15,29 +15,31 @@

 PaddlePaddle支持的主要稀疏格式包括：

- COO格式（Coordinate Format）：此格式使用坐标来表示稀疏矩阵中的非零元素，涉及三个数组：行索引、列索引和值。
- CSR格式（Compressed Sparse Row）：此格式通过压缩稀疏矩阵的行来节省存储空间。它包含三个数组，即Index Pointers，indices和Data数组。
+- COO格式（Coordinate Format）：此格式使用坐标来表示稀疏矩阵中的非零元素，涉及三个数组：行坐标、列坐标和值数组。


包含三个数组

zhwesky2010 · 2024-04-29T03:24:03Z

rfcs/Article/guide_to_use_sparse.md


-* Index Pointers数组中相邻的两个元素可以确定两个信息。
+  * 指针对中第一个元素的坐标r是稀疏矩阵行号。


这一句可以删掉

zhwesky2010 · 2024-04-29T03:27:31Z

rfcs/Article/guide_to_use_sparse.md


-  * 其次，这些值表示Indices数组的 [start: stop] 切片，它们的差是每行中非零元素的个数。使用指针查找索引以确定数据中每个元素的列。
+  * 若a不等于b，可以用a和b两个值构造一个切片[a:b]，那么使用该切片访问列坐标数组就可以得到第r行中非零元素的列坐标；若使用该切片访问值数组就可以得到第r行中非零元素的值。


写简单一点，若a不等于b，那么 indices[a: b]就是第r行中非零元素的列坐标、Data[a: b] 就是第r行中非零元素的值

zhwesky2010 · 2024-04-29T03:33:48Z

rfcs/Article/guide_to_use_sparse.md

+
+CSR格式也存储三个数组，分别是行指针信息（Index Pointers），列坐标（indices）以及值（Data）数组。
+
+* 行指针信息数组中相邻的两个元素，假设它们的坐标分别是r和r+1，值分别为a和b，那么可以确定：


行指针信息数组记录了....，假设其中两个相邻的元素坐标分别是...

zhwesky2010 · 2024-04-29T03:34:21Z

rfcs/Article/guide_to_use_sparse.md

-* Indices数组记录了每个元素的列索引。
-* Data数组记录了元素的值
+* 列坐标数组记录了非零元素的列坐标。
+* 值数组记录了非零元素的值



这个例子就不需要了，上面已经通过r、r+1举例

KeithMaxwell · 2024-04-29T09:58:09Z

@zhwesky2010 已经按照要求修改了，麻烦研发老师再看看

zhwesky2010

LGTM

【Hackathon 6th Article No.6】稀疏计算的使用指南

5549457

paddle-bot bot added the contributor label Apr 22, 2024

luotao1 mentioned this pull request Apr 22, 2024

【Hackathon 6th】优秀稿件征集与传播 PaddlePaddle/Paddle#62907

Closed

luotao1 assigned luotao1 and zhwesky2010 Apr 24, 2024

zhwesky2010 reviewed Apr 24, 2024

View reviewed changes

【Hackathon 6th Article No.6】稀疏计算的使用指南 update

7fb1499

zhwesky2010 reviewed Apr 28, 2024

View reviewed changes

apply changes

bf39552

zhwesky2010 reviewed Apr 29, 2024

View reviewed changes

KeithMaxwell added 2 commits April 29, 2024 17:47

Merge branch 'PaddlePaddle:master' into sparse

874b39e

apply changes

305dd26

zhwesky2010 approved these changes Apr 30, 2024

View reviewed changes

zhwesky2010 merged commit aabe7b2 into PaddlePaddle:master Apr 30, 2024
1 check passed

KeithMaxwell deleted the sparse branch April 30, 2024 06:13

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

【Hackathon 6th Article No.6】稀疏计算的使用指南 #880

【Hackathon 6th Article No.6】稀疏计算的使用指南 #880

KeithMaxwell commented Apr 22, 2024

paddle-bot bot commented Apr 22, 2024

zhwesky2010 Apr 24, 2024

zhwesky2010 Apr 24, 2024

zhwesky2010 Apr 24, 2024

zhwesky2010 Apr 24, 2024

KeithMaxwell commented Apr 25, 2024

zhwesky2010 Apr 28, 2024

zhwesky2010 Apr 28, 2024

zhwesky2010 Apr 28, 2024

zhwesky2010 Apr 28, 2024

zhwesky2010 Apr 28, 2024

zhwesky2010 Apr 28, 2024

KeithMaxwell Apr 28, 2024

KeithMaxwell commented Apr 28, 2024

zhwesky2010 Apr 29, 2024

zhwesky2010 Apr 29, 2024

zhwesky2010 Apr 29, 2024

zhwesky2010 Apr 29, 2024

zhwesky2010 Apr 29, 2024

KeithMaxwell commented Apr 29, 2024

zhwesky2010 left a comment


		可见，ResNet 稀疏网络的代码和常规 ResNet 网络代码几乎没有差别。通过增加 import 路径替换，原网络代码基本都无需改动。通过 `from paddle.sparse import nn`，则可保持与原来的`nn.*`写法一致，更易于上手。

		## 3. 3D点云 CenterPoint


		* Index Pointers数组中相邻的两个元素可以确定两个信息。
		* 指针对中第一个元素的坐标r是稀疏矩阵行号。


		* 其次，这些值表示Indices数组的 [start: stop] 切片，它们的差是每行中非零元素的个数。使用指针查找索引以确定数据中每个元素的列。
		* 若a不等于b，可以用a和b两个值构造一个切片[a:b]，那么使用该切片访问列坐标数组就可以得到第r行中非零元素的列坐标；若使用该切片访问值数组就可以得到第r行中非零元素的值。


		CSR格式也存储三个数组，分别是行指针信息（Index Pointers），列坐标（indices）以及值（Data）数组。

		* 行指针信息数组中相邻的两个元素，假设它们的坐标分别是r和r+1，值分别为a和b，那么可以确定：

【Hackathon 6th Article No.6】稀疏计算的使用指南 #880

【Hackathon 6th Article No.6】稀疏计算的使用指南 #880

Conversation

KeithMaxwell commented Apr 22, 2024

paddle-bot bot commented Apr 22, 2024

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

KeithMaxwell commented Apr 25, 2024

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

KeithMaxwell commented Apr 28, 2024

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

KeithMaxwell commented Apr 29, 2024

zhwesky2010 left a comment

Choose a reason for hiding this comment