Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

中文的手语识别 #96

Open
ZoomQuiet opened this issue Oct 17, 2018 · 8 comments
Open

中文的手语识别 #96

ZoomQuiet opened this issue Oct 17, 2018 · 8 comments
Assignees
Labels
想法 +思路/观点 推广 not only 中文编程 自然语言NLP todo
Milestone

Comments

@ZoomQuiet
Copy link

ZoomQuiet commented Oct 17, 2018

建议[HL2CN] Hand Language to Chinese 手语识别

背景

专用帖: 对中文编程的质疑, 困惑, 批评, 吐槽 中阐述的:

  • 中文编程努力方向从根上有偏离

分析

  • 想解决辅助普遍人快速进入编程世界, 将界面中文其实并不能解决问题
  • 反而, 通过编程, 将普通人带入编程福利世界:
    • 可以用自然的语言/行为来控制电脑可以控制的
  • 这才是扩大电脑使用人群,提高人民互联网幸福感的方向吧

建议

聋哑人和正常人的交流很重要, 也很常见

  • 手语, 又是全球通用的, 一共就两种变种
  • 但是, 手语言的学习和使用,又比英文还要困难
  • 那么, 提供一套兼容全球手语的双向翻译器/或是简单的识别器
    • 立即可以为上千万聋哑人获得更多的电脑控制权
    • 结合 IFTTT 以及 Home 类似智能家庭控制器
    • 完全可以形成一个嵌入专用硬件的产业了

方案

参考: 解除好友2:暗网 (豆瓣)

  • 技术上已经没有什么问题
  • 普通的电脑摄像头/webcam 捕捉手部动作
    • 通过边缘处理, 抽象出骨架的动作
    • 对比手语单词的关键动作结点, 进行简单的查询匹配
    • 即可识别主要单词, 加上模糊查询, 统计分析, 精确率就可以提升
  • 初期, 也可以配合专有手套通过其它信号装置更加敏感的捕捉到行为特征:
    • 颜色
    • 红外灯
    • NFC
    • 近场雷达
    • 次声波
    • ...
  • 关键可以用任何语言来混杂完成...
@4b5ent1
Copy link
Member

4b5ent1 commented Oct 17, 2018

挺好,我就很想闭着眼睛编程。

@4b5ent1 4b5ent1 added the 推广 not only 中文编程 label Oct 17, 2018
@4b5ent1
Copy link
Member

4b5ent1 commented Oct 17, 2018

据我所知,手语有很多象形语素在里面,这跟中文的产生,本质上是一致的。盲文的情况不太了解,书上见到的大多是基于字母的转译。

@nobodxbodon
Copy link
Member

手语输入也需转换为中文吧? 就如同语音输入也需转换为中文

@ZoomQuiet
Copy link
Author

@Absente 是也乎,( ̄▽ ̄)

  • Google 就有专门的盲人/聋哑人工程师协助来解决特殊人群的搜索问题
  • 另外, 这种自动转化目标不一定一定要是编程
    • 加速人群间的交流
    • 甚至于, 可以直接提供给有稿件的 CCTV
    • 可以自动形成手语翻译, 节省人工...

@nobodxbodon 嗯哼...

  • 之前说过, 手语是世界通用的
  • 转换过来的文字可以是任何语言:
    • 因为手语的结构非常接近中文
    • 也是用尽可能少的基本元素来串接组合为新词
    • 所以, 使用手语言的无法在哪个国家
    • 本质上其思维习惯是近中文的...
    • 这直接带来使用动力,而不是编程这种目标模糊的行为...

@4b5ent1 4b5ent1 added this to the 2018戊戌 milestone Oct 20, 2018
@4b5ent1 4b5ent1 changed the title 建议[HL2CN] Hand Language to Chinese 手语识别 中文的手语识别 Nov 30, 2018
@4b5ent1 4b5ent1 added the 想法 +思路/观点 label Nov 30, 2018
@4b5ent1 4b5ent1 added todo 自然语言NLP nV-非冯 非冯诺依曼架构/体系 labels Dec 8, 2018
@nobodxbodon
Copy link
Member

相对手语, 也许语音输入适用的人群广的多.
之前看到此贴, 找了一下发现国外已有类似工具开发: Speaking in code: how to program by voice

@nobodxbodon nobodxbodon removed the nV-非冯 非冯诺依曼架构/体系 label Nov 25, 2019
@nobodxbodon
Copy link
Member

组内似乎没有手语用户。如无打算实施,将暂时关闭。

@ccl-private
Copy link

@ZoomQuiet 你还有在研究中文手语识别吗?

@ZoomQuiet
Copy link
Author

ZoomQuiet commented Dec 24, 2019 via email

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
想法 +思路/观点 推广 not only 中文编程 自然语言NLP todo
Projects
None yet
Development

No branches or pull requests

4 participants